CN118284386A - 具有腔内和腔外协作器械的外科系统 - Google Patents

Abstract

提供了外科系统。在一个示例性实施方案中，外科系统包括第一窥镜装置，该第一窥镜装置具有在腔外空间内的第一部分和定位在腔内空间内的第二部分。该第一窥镜装置传输第一场景的图像数据。第二窥镜装置被设置在该腔外空间内，并且传输第二场景的图像数据。该第一器械的该第一部分存在于该第二窥镜装置的视场内以相对于该第二窥镜装置跟踪该第一窥镜装置。控制器接收所传输的该第一场景和该第二场景的图像数据，以确定从该第一窥镜装置到该腔外空间内的该第二窥镜装置的相对距离，并且提供合并图像。该合并图像中的该第一窥镜装置和该第二窥镜装置中的至少一者是其代表性描绘。

Description

具有腔内和腔外协作器械的外科系统

相关申请的交叉引用

本申请要求2021年9月29日提交并且名称为“Cooperative Access”的美国临时专利申请号63/249,980的优先权，该美国临时专利申请的公开内容全文以引用方式并入本文。

技术领域

本发明整体涉及用于锚定式协作内窥镜和腹腔镜进入以及组织操纵等的外科系统以及使用该外科系统的方法。

背景技术

外科系统通常结合有成像系统，该成像系统可允许执业医生在一个或多个显示器(例如，监测器、计算机平板屏幕等)上查看外科部位和/或其一个或多个部分。显示器可以是手术室本地的和/或远程的。成像系统可包括具有相机的窥镜，该相机查看外科部位并将视图传输到执业医师可查看的一个或多个显示器。

成像系统可能受到它们能够识别和/或传达给执业医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。对于另一示例，某些成像系统可能无法在术中将某些信息传送和/或传达给执业医生。

因此，仍需改善的外科成像。

发明内容

本发明提供了外科系统。在一个示例性实施方案中，外科系统包括第一窥镜装置、第二窥镜装置和控制器。第一窥镜装置具有第一部分和第二部分，该第一部分被构造成能够部分地插入腔外解剖空间中并且定位在腔外解剖空间内，该第二部分在第一部分的远侧并且被构造成能够定位在腔内解剖空间内。第一窥镜装置被配置为能够传输该第一窥镜装置的视场内的第一场景的图像数据。第二窥镜装置被构造成能够至少部分地插入腔外解剖空间中并且设置在腔外解剖空间内，并且传输第二窥镜装置的视场内的第二场景的图像数据，第二场景不同于第一场景，其中第一器械的第一部分的至少一部分存在于第二窥镜装置的视场内，从而相对于第二窥镜装置跟踪第一窥镜装置。控制器被配置为能够接收所传输的第一场景和第二场景的图像数据，能够确定从第一窥镜装置的位于腔内解剖空间内的第二部分到腔外空间内的第二窥镜装置的相对距离，以及在单个场景中提供第一窥镜装置和第二窥镜装置的至少一部分的合并图像，其中合并图像中的第一窥镜装置和第二窥镜装置的一部分中的至少一者是其代表性描绘。

在一些实施方案中，第一窥镜装置和第二窥镜装置的一部分可在合并图像中各自被示出为其代表性描绘。在其他实施方案中，第一窥镜装置和第二窥镜装置中的至少一者的至少一部分可在合并图像中被示出为其实际描绘。

在一些实施方案中，系统可包括可被配置为能够显示第一场景的第一显示器和被配置为能够显示第二场景的第二显示器。在某些实施方案中，第一显示器和第二显示器中的至少一者可被配置为能够显示单个场景。在某些实施方案中，系统可包括可被配置为能够显示单个场景的第三显示器。

在一些实施方案中，第一场景不能包括第二窥镜装置，并且第二场景不能包括第一窥镜装置的第二区段。

在一些实施方案中，第一窥镜装置可包括柔性主体，该柔性主体具有延伸穿过该柔性主体的工作通道。该工作通道可被构造成能够允许器械的远侧端部插入并且穿过腔外空间并且进入腔内空间，使得器械存在于腔外空间和腔内空间两者中。在此类实施方案中，第二场景不能包括器械的远侧端部。

在一些实施方案中，第一窥镜装置可包括设置在第一窥镜装置的第一部分上的基准标记。在此类实施方案中，控制器可以被配置为能够基于基准标记跟踪第一窥镜装置的第二部分。

还提供了方法。在一个示例性实施方案中，一种方法包括：当第一窥镜装置的第一区段被定位在腔外解剖空间内并且第一窥镜装置的在第一区段远侧的第二区段被定位在腔内解剖空间内时，由第一窥镜装置传输第一窥镜装置的视场内的第一场景的图像数据；当第二窥镜装置被定位在腔外空间内时，由第二窥镜装置传输第二窥镜装置的视场内的第二场景的图像数据，第二场景不同于第一场景；由控制器接收所传输的第一场景和第二场景的图像数据；由控制器确定从第一窥镜装置的位于腔内解剖空间内的第二区段到腔外空间内的第二窥镜装置的相对距离；以及在单个场景中生成第一窥镜装置和第二窥镜装置的至少一部分的合并图像，其中在单个场景中示出的第一窥镜装置和第二窥镜装置的一部分中的至少一者是其代表性描绘。

在一些实施方案中，该方法可包括在合并图像中显示第一窥镜装置的一部分的代表性描绘，以及在合并图像中显示第二窥镜装置的代表性描绘。

在一些实施方案中，该方法可包括在第一显示器上显示第一场景以及在第二显示器上显示第二场景。

在一些实施方案中，该方法可包括在第一显示器和第二显示器中的至少一者上显示单个场景。

在一些实施方案中，该方法可以包括在第三显示器上显示单个场景。

在一些实施方案中，该方法可包括将器械插入穿过第一窥镜装置的柔性主体的工作通道，以使器械的远侧端部进入并且穿过腔外空间并且进入腔内空间中，使得器械存在于腔外空间和腔内空间两者中。在此类实施方案中，第二场景不能包括器械的远侧端部。

在一些实施方案中，该方法包括由控制器基于布置在第一窥镜装置的第一区段上的基准标记来跟踪第一窥镜装置的布置在腔内空间内的第二区段。

在一些实施方案中，第一场景不能包括第二窥镜装置，并且第二场景不能包括第一窥镜装置的第一区段。

附图说明

参考如下附图描述本发明：

图1为外科可视化系统的一个实施方案的示意图；

图2为图1的外科装置、成像装置和关键结构之间的三角测量的示意图；

图3为外科可视化系统的另一实施方案的示意图；

图4为外科可视化系统的控制系统的一个实施方案的示意图；

图5为外科可视化系统的控制系统的控制电路的一个实施方案的示意图；

图6为外科可视化系统的组合逻辑电路的一个实施方案的示意图；

图7为外科可视化系统的顺序逻辑电路的一个实施方案的示意图；

图8为外科可视化系统的又一实施方案的示意图；

图9为外科可视化系统的控制系统的另一实施方案的示意图；

图10为示出各种生物材料的波长对吸收系数的曲线图；

图11为使外科部位可视化的光谱发射器的一个实施方案的示意图；

图12为描绘用于区分输尿管与遮蔽物的说明性高光谱识别特征的曲线图；

图13为描绘用于区分动脉与遮蔽物的说明性高光谱识别特征的曲线图；

图14为描绘用于区分神经与遮蔽物的说明性高光谱识别特征的曲线图；

图15为在术中利用的近红外(NIR)飞行时间测量系统的一个实施方案的示意图；

图16示出了图15的系统的飞行时间时序图；

图17为在术中利用的近红外(NIR)飞行时间测量系统的另一实施方案的示意图；

图18为计算机实现的交互式外科系统的一个实施方案的示意图；

图19为用于在手术室中执行外科手术的外科系统的一个实施方案的示意图；

图20为包括智慧外科器械和外科集线器的外科系统的一个实施方案的示意图；

图21为示出控制图20的智慧外科器械的方法的流程图；

图22为具有内窥镜器械和腹腔镜器械的常规外科系统的示意图，示出了结肠的局部剖视图，其中内窥镜器械通过自然腔道插入结肠中，并且腹腔镜器械通过腹腔插入并且与结肠的外表面相互作用；

图23为具有腹腔镜器械和腔内器械的外科系统的示例性实施方案的示意图，示出了通过腹腔镜入路插入结肠中的腔内器械；

图24为具有腹腔镜器械和两个腔内器械的外科系统的示例性实施方案的示意图，示出了通过腹腔镜入路插入结肠中的腔内器械；

图25为外科系统的示例性实施方案的示意图；

图26为具有腹腔镜器械和腔内器械的外科系统的示例性实施方案的示意图，示出了通过腹腔镜入路插入结肠中的腔内器械。

图26a为从腹腔镜的视角观察的图26的外科系统的合并图像的示意图；

图26b为从内窥镜的视角观察的图26的外科系统的合并图像的示意图；并且

图27为具有腹腔镜器械和腔内器械的外科系统的示例性实施方案的示意图，示出了通过腹腔镜入路插入结肠中的腔内器械。

具体实施方式

现在将描述某些示例性实施方案以从整体上理解本文所公开的装置、系统和方法的结构、功能、制造和使用的原理。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员将会理解，在本文中具体描述的和在附图中示出的装置、系统和方法是非限制性的示例性实施方案，并且本发明的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征部可与其他实施方案的特征部进行组合。此类修改和变型旨在包括在本发明的范围之内。

此外，在本公开中，各实施方案中名称相似的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每个名称相似的部件的每个特征部。另外，在所公开的系统、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类系统、装置和方法使用的形状的类型。本领域中技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。本领域的技术人员将会理解，尺寸可能不是精确的值，但是由于诸如制造公差和测量设备的灵敏度之类的任何数量的因素而被认为是大约处于该值。系统和装置及其部件的大小和形状可以至少取决于将与系统和装置一起使用的部件的大小和形状。

外科可视化

一般来讲，外科可视化系统被配置为能够利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化系统被进一步配置为能够以有帮助的方式将数据传达给一个或多个执业医生。本公开的各个方面提供了对患者的解剖结构和/或外科手术的改善的可视化，和/或使用可视化来提供对外科工具(在本文也称为“外科装置”或“外科器械”)的改善的控制。

“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化系统可与机器人外科系统结合使用，但外科可视化系统不限于与机器人外科系统一起使用。在某些情况下，使用外科可视化系统实现的外科可视化可在没有机器人以及/或者具有有限的机器人辅助和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。

在某些情况下，结合有外科可视化系统的外科系统可实现智慧切开以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带、板和其他外来结构。关键结构可基于不同患者和/或不同手术来确定。例如，智慧切开技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现更智能的决策。

结合有外科可视化系统的外科系统可实现智慧吻合技术，该智慧吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。可利用外科可视化平台来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可在外科手术期间补偿外科器械、患者和/或患者的解剖结构的运动，以便为执业医生提供回到感兴趣点的指导。

外科可视化系统可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。相对于淋巴结诊断和标测，外科可视化平台可例如在术前定位、标测和理想地诊断涉及癌性诊断和分期的淋巴系统和/或淋巴结。

在外科手术期间，执业医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中移动。在此类情况下，执业医生可能无法在术中准确地确定关键结构的位置。

当关键结构的位置不确定时和/或当关键结构与外科工具之间的接近度未知时，执业医生的决策过程可能受到阻碍。例如，执业医生可避开某些区域，以便避免意外切开关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，执业医生可能无法进入某些期望的区域。例如，过度谨慎可能导致执业医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。

外科可视化系统可允许术中识别和避开关键结构。因此，外科可视化系统可实现增强的术中决策制定和改善的外科结果。外科可视化系统可提供高级可视化能力，超出执业医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给执业医生的内容。外科可视化系统可以增强和加强医疗从业者在组织治疗(例如，解剖等)之前能够知道的信息，并且因此可在各种情况下改善结果。因此，执业医生知道外科可视化系统正在跟踪例如可在切开期间接近的关键结构，可在整个外科手术中确信地保持动力。外科可视化系统可在足够长的时间内向执业医生提供指示，以使执业医生暂停和/或减慢外科手术并评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向执业医生提供理想的、优化的和/或可定制的信息量，以允许执业医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结配置成意外损坏，并因此最小化由外科手术引起的伤害风险。

下文详细描述外科可视化系统。一般来讲，外科可视化系统可包括被配置为能够发射多个光谱波的第一光发射器、被配置为能够发射光图案的第二光发射器以及被配置为能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的接收器或传感器。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(例如，三维表面形貌)以及相对于外科部位的距离(诸如到至少部分隐藏结构的距离)。成像系统可将几何表面标测图和距离传达给执业医生。在此类情况下，提供给执业医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。

贯穿本公开，除非特别提到可见光，否则任何提到的“光”可包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(例如，可被其检测)的那部分，并且可被称为“可见光”或者简称为“光”。典型的人眼将对空气中约380nm至约750nm的波长作出响应。不可见光谱(例如，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。

图1例示了外科可视化系统100的实施方案。外科可视化系统100被配置为能够在解剖场内创建关键结构101的视觉表示。关键结构101可包括单个关键结构或多个关键结构。如本文所讨论的，关键结构101可以是多种结构中的任一种，诸如解剖结构(例如，输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经、血管、肿瘤、或其他解剖结构)或外来结构(例如，外科装置、外科紧固件、外科夹具、外科大头钉、探条、外科带、外科板、或其他外来结构)。如本文所讨论的，关键结构101可基于不同患者和/或不同手术来识别。关键结构以及使用可视化系统识别关键结构的实施方案在2020年10月6日发布的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034中进一步描述，该专利据此全文以引用方式并入。

在一些情况下，关键结构101可嵌入组织103中。组织103可以是多种组织中的任一种，诸如脂肪、结缔组织、粘连和/或器官。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被执业医生的“肉眼”看见。组织103还遮蔽关键结构101使其不被外科可视化系统100的成像装置120看见。关键结构101可被部分地遮蔽使其不被执业医生和/或成像装置120看见，而不是被完全遮蔽。

外科可视化系统100可用于临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向执业医生提供实时信息，诸如关于接近度数据、尺寸和/或距离的实时信息。本领域技术人员将理解，信息可能不是精确实时的，但出于多种原因中的任一种原因，诸如由数据传输引起的时间延迟、由数据处理引起的时间延误和/或测量设备的灵敏度，信息可能被认为是实时的。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，执业医生可避免在外科手术期间在关键结构101和/或关键结构101的预定义接近度中的区域周围操纵外科装置。对于另一示例，通过识别关键结构101，执业医生可避免对关键结构101的切开和/或在该关键结构附近的切开，从而有助于防止对关键结构101造成损伤和/或帮助防止执业医生使用的外科装置被关键结构101损坏。

外科可视化系统100被配置为能够结合外科可视化系统的距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征部可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织103的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括被配置为能够提供外科部位的实时视图的成像装置120。例如，成像装置120可包括光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置为能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可诸如在显示器(例如，监测器、计算机平板屏幕等)上实时地提供给执业医生。所显示的视图可利用基于组织识别、横向标测和距离传感器系统104的附加信息来增强。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可协作以在术中向执业医生提供高级数据合成和集成信息。

成像装置120可被配置为能够检测可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)。成像装置120的示例包括窥镜，例如内窥镜、关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞镜、十二指肠镜、肠镜、食管胃十二指肠镜(胃镜)、喉镜、鼻咽肾镜、乙状结肠镜、胸腔镜、输尿管镜或外窥镜。窥镜在微创外科手术中可能特别有用。在开放式外科手术应用中，成像装置120可能不包括窥镜。

组织识别子系统可利用光谱成像系统来实现。光谱成像系统可依赖于诸如高光谱成像、多光谱成像或选择性光谱成像的成像。组织的高光谱成像的实施方案在2016年3月1日发布的名称为“System And Method For Gross Anatomic Pathology UsingHyperspectral Imaging”的美国专利号9,274,047中进一步描述，该专利据此全文以引用方式并入。

表面标测子系统可利用光图案系统来实现。使用光图案(或结构化光)进行表面标测的各种表面标测技术可用于本文所述的外科可视化系统中。结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。表面标测和包括光源和用于投射光图案的投射仪的外科系统的实施方案在以下专利中进一步描述：2017年3月2日公开的名称为“Set Comprising A Surgical Instrument”的美国专利公布号2017/0055819；2017年9月7日公开的名称为“Depiction System”的美国专利公布号2017/0251900；以及2019年12月30日提交的名称为“Surgical Systems ForGenerate Three Dimensional Constructs Of Anatomical Organs And CouplingIdentified Anatomical Structures There”的美国专利申请号16/729,751，这些专利的全文据此以引用方式并入本文。

距离确定系统可结合到表面标测系统中。例如，可利用结构化光来生成可见表面105的三维(3D)虚拟模型并确定相对于可见表面105的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。

外科可视化系统100还包括外科装置102。外科装置102可以是任何合适的外科装置。外科装置102的示例包括外科解剖器、外科缝合器、外科抓紧器、施夹器、排烟器、外科能量装置(例如，单极探头、双极探头、消融探头、超声装置、超声端部执行器等)等。在一些实施方案中，外科装置102包括具有相对的钳口的端部执行器，该相对的钳口从外科装置102的轴的远侧端部延伸并且被构造成能够接合其间的组织。

外科可视化系统100可被配置为能够识别关键结构101以及外科装置102与关键结构101的接近度。外科可视化系统100的成像装置120被配置为能够检测各种波长的光，诸如可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文所述。成像装置120可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维(3D)图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置为能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织103的表面105上的光(结构化光)的图案重叠，如图1所示。

如在该例示的实施方案中一样，外科可视化系统100可结合到机器人外科系统110中。机器人外科系统110可具有多种构型，如本文所讨论的。在该例示的实施方案中，机器人外科系统110包括第一机器人臂112和第二机器人臂114。机器人臂112、114各自包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置为能够操纵外科装置102，并且第二机器人臂114被配置为能够操纵成像装置120。机器人外科系统110的机器人控制单元被配置为能够向第一机器人臂112和第二机器人臂114发出控制运动，这些控制运动可能分别影响外科装置102和成像装置120。

在一些实施方案中，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统110分开。例如，机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特定坐标系配准。例如，用于机器人臂112、114的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的位置。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。

机器人外科系统的示例包括Ottava^TM机器人辅助外科系统(新泽西州新不伦瑞克市(New Brunswick,NJ)的强生公司(Johnson&Johnson))、da外科系统(加利福尼亚州森尼韦尔市(Sunnyvale,CA)的直觉外科公司(Intuitive Surgical,Inc.))、Hugo^TM机器人辅助外科系统(明尼苏达州明尼阿波利斯市(Minneapolis,MN)的美敦力公司(MedtronicPLC))、外科机器人系统(英国剑桥市(Cambridge,UK)的CMR外科有限公司(CMRSurgical Ltd))和平台(加利福尼亚州雷德伍德城(Redwood City,CA)的AurisHealth,Inc.公司(Auris Health,Inc.))。各种机器人外科系统以及使用机器人外科系统的实施方案在以下专利中进一步描述：美国专利公布号2018/0177556，名称为“FlexibleInstrument Insertion Using An Adaptive Force Threshold”，2016年12月28日提交；美国专利公布号2020/0000530，名称为“Systems And Techniques For Providing MultiplePerspectives During Medical Procedures”，2019年4月16日提交；美国专利公布号2020/0170720，名称为“Image-Based Branch Detection And Mapping For Navigation”，2020年2月7日提交；美国专利公布号2020/0188043，名称为“Surgical Robotics System”，2019年12月9日提交；美国专利公布号2020/0085516，名称为“Systems And Methods ForConcomitant Medical Procedures”，2019年9月3日提交；美国专利公布号8,831,782，名称为“Patient-Side Surgeon Interface For ATeleoperated Surgical Instrument”，2013年7月15日提交；以及国际专利公布号WO 2014151621，名称为“Hyperdexterous SurgicalSystem”，2014年3月13日提交，这些专利据此全文以引用方式并入。

外科可视化系统100还包括发射器106。发射器106被配置为能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，外科可视化系统100使用投射光阵列130来确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置为能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。

如在该例示的实施方案中一样，成像装置120可包括光学波形发射器123，诸如通过将该光学波形发射器安装在成像装置120上或以其他方式附着在该成像装置上。光学波形发射器123被配置为能够发射可穿透组织103的表面105并到达关键结构101的电磁辐射124(近红外(NIR)光子)。成像装置120和光学波形发射器123可能够由机器人臂114定位。光学波形发射器123安装在成像装置122上或以其他方式位于该成像装置上，但在其他实施方案中可定位在与成像装置120分开的外科装置上。成像装置120的对应的波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置为能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长被配置为能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。

外科可视化系统100的距离传感器系统104被配置为能够确定外科部位处的一个或多个距离。距离传感器系统104可以是飞行时间距离传感器系统，该飞行时间距离传感器系统包括发射器(诸如本例示的实施方案中的发射器106)并且包括接收器108。在其他情况下，飞行时间发射器可与结构化光发射器分开。发射器106可包括非常小的激光源，并且接收器108可包括匹配的传感器。距离传感器系统104被配置为能够检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。

在该例示的实施方案中，距离传感器系统104的接收器108定位在外科装置102上，但在其他实施方案中，接收器108可安装在单独的外科装置上，而不是安装在外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他实施方案中，用于距离传感器系统104的接收器108可安装在机器人系统110的独立的机器人控制臂上(例如，安装在第二机器人臂114上)，而不是安装在外科装置102所耦接到的第一机器人臂112上，可安装在由另一个机器人操作的可移动臂上，或者安装在手术室(OR)台或固定装置上。在一些实施方案中，成像装置120包括接收器108，以允许使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离d_e进行三角测量。接收器108的三维方位可以是已知的和/或在术中与机器人坐标平面配准。

如在例示的实施方案中一样，距离传感器系统104的发射器106的位置可由第一机器人臂112控制，并且距离传感器系统104的接收器108的位置可由第二机器人臂114控制。在其他实施方案中，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。

在图1中，d_e是从发射器106到组织103的表面105的发射器-组织距离，并且d_t是从外科装置102的远侧端部到组织103的表面105的装置-组织距离。距离传感器系统104被配置为能够确定发射器-组织距离d_e。装置到组织距离d_t可从发射器106在外科装置102上的已知方位获得，例如，相对于外科装置102的远侧端部，在其靠近外科装置远侧端部的轴上。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离d_t可根据发射器-组织距离d_e确定。在一些实施方案中，外科装置102的轴可包括一个或多个关节运动接头，并且可相对于外科装置102的远侧端部处的发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在一些实施方案中，三维相机可用于对到表面105的一个或多个距离进行三角测量。

在图1中，d_w是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且d_A是关键结构101在组织103的表面105下方的深度(例如，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间被配置为能够确定相机-关键结构距离d_w。

如图2所示，关键结构101相对于组织103的表面105的深度d_A可通过以下方法来确定：根据距离d_w以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知位置(以及因此它们之间的已知距离d_x)进行三角测量，以确定距离d_y(其为距离d_e和d_A之和)。另外或另选地，来自光学波形发射器123的飞行时间可被配置为能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离d_w，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。

附加地或另选地，距离d_A可由超声、配准磁共振成像(MRI)或计算机断层摄影(CT)扫描来确定。在另其他情况下，可利用光谱成像来确定距离d_A，因为成像装置120接收到的检测信号可基于材料的类型(例如，组织103的类型)而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。

在图3所示的外科可视化系统160的另一实施方案中，外科装置162(而不是成像装置120)包括光学波形发射器123和被配置为能够检测反射的波形的波形传感器122。光学波形发射器123被配置为能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离d_t和d_w，如本文所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离d_A可如下确定：

d_A＝d_w-d_t

外科可视化系统100包括控制系统，该控制系统被配置为能够控制外科可视化系统100的各个方面。图4例示了可用作外科可视化系统100(或本文所述的其他外科可视化系统)的控制系统的控制系统133的一个实施方案。控制系统133包括被配置为能够与存储器134信号通信的控制电路132。存储器134被配置为能够存储可由控制电路132执行的指令，诸如用于确定和/或识别关键结构(例如，图1的关键结构101)的指令、确定和/或计算一个或多个距离和/或三维数字表示的指令，以及向执业医生传达信息的指令。因此，存储在存储器134内的指令构成计算机程序产品，该计算机程序产品包括当由控制电路132执行时使控制电路如上所述执行的指令。此类指令还可存储在任何计算机可读介质(诸如光盘、SD卡、USB驱动器等、或单独装置的存储器)上，指令可从该计算机可读介质复制到存储器134中或直接执行。复制或直接执行的过程涉及携带计算机程序产品的数据载体信号的创建。如在该例示的实施方案中一样，存储器134可存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141，但存储器134可存储逻辑部件136、138、140、141的任何组合和/或可将各种逻辑部件组合在一起。控制系统133还包括成像系统142，该成像系统包括相机144(例如，成像系统包括图1的成像装置120)、显示器146(例如，监测器、计算机平板屏幕等)，以及相机144和显示器146的控件148。相机144包括图像传感器135(例如，波形传感器122)，该图像传感器被配置为能够接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146被配置为能够向执业医生描绘真实的、虚拟的和/或虚拟增强的图像和/或信息。

在示例性实施方案中，图像传感器135是包含高达数百万个离散光电探测器部位(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦接器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器135对约350nm至约1050nm范围内的波长，诸如约400nm至约1000nm范围内的波长敏感。本领域的技术人员将理解，值可能不精确地为某个值，但出于多种原因中的任一种原因，诸如测量装备和制造公差的灵敏度，值被认为是约为该值。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。

控制系统133还包括发射器(例如，发射器106)，该发射器包括光谱光源150和结构化光源152，该光谱光源和该结构化光源各自可操作地联接到控制电路133。单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。组织识别逻辑部件140被配置为能够经由由相机144的图像传感器135接收的来自光谱光源150的数据来识别关键结构(例如，图1的关键结构101)。表面标测逻辑部件136被配置为能够基于反射的结构化光来确定可见组织(例如，组织103)的表面轮廓。利用飞行时间测量，距离确定逻辑部件141被配置为能够确定到可见组织和/或关键结构的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141中的每一者的输出被配置为能够提供给成像逻辑138，并且由成像逻辑部件138组合、混合和/或覆盖以经由成像系统142的显示器146传送给医疗从业者。

控制电路132可具有多种构型。图5例示了控制电路170的一个实施方案，该控制电路可用作被配置为能够控制外科可视化系统100的各方面的控制电路132。控制电路170被配置为能够实现本文所述的各种过程。控制电路170包括微控制器，该微控制器包括处理器172(例如，微处理器或微控制器)，该处理器可操作地联接到存储器174。存储器174被配置为能够存储机器可执行指令，这些机器可执行指令在由处理器172执行时使处理器172执行机器指令以实现本文所述的各种过程。处理器172可以是本领域中已知的数种单核处理器或多核处理器中的任一种处理器。存储器174可包括易失性存储介质和非易失性存储介质。处理器172包括指令处理单元176和运算单元178。指令处理单元176被配置为能够从存储器174接收指令。

表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141可具有多种构型。图6例示了组合逻辑电路180的一个实施方案，该组合逻辑电路被配置为能够使用诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者的逻辑部件来控制外科可视化系统100的各方面。组合逻辑电路180包括有限状态机，该有限状态机包括组合逻辑部件182，该组合逻辑部件被配置为能够在输入端184处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据、由组合逻辑部件182处理该数据，以及向控制电路(例如，控制电路132)提供输出184。

图7例示了顺序逻辑电路190的一个实施方案，该顺序逻辑电路被配置为能够使用诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者的逻辑部件来控制外科可视化系统100的各方面。顺序逻辑电路190包括有限状态机，该有限状态机包括组合逻辑部件192、存储器194和时钟196。存储器194被配置为能够存储有限状态机的当前状态。顺序逻辑电路190可为同步的或异步的。组合逻辑部件192被配置为能够在输入端426处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据，由组合逻辑部件192处理该数据，并且向控制电路(例如，控制电路132)提供输出499。在一些实施方案中，时序逻辑电路190可包括处理器(例如，图5的处理器172)和有限状态机的组合以实现本文中的各种过程。在一些实施方案中，有限状态机可包括组合逻辑电路(例如，图7的组合逻辑电路192)和时序逻辑电路190的组合。

图8例示了外科可视化系统200的另一实施方案。外科可视化系统200通常类似于图1的外科可视化系统100来构造和使用，例如包括外科装置202和成像装置220。成像装置220包括光谱光发射器223，该光谱光发射器被配置为能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。成像装置220还可包括三维相机和相关联的电子处理电路。外科可视化系统200被示出为在术中用于识别和有利于避开在器官203的表面205上不可见的某些关键结构，诸如器官203(在该实施方案中为子宫)中的输尿管201a和血管201b。

外科可视化系统200被配置为能够经由结构化光确定从外科装置202上的发射器206到子宫203的表面205的发射器-组织距离d_e。外科可视化系统200被配置为能够基于发射器-组织距离d_e来外推从外科装置202到子宫203的表面205的装置-组织距离d_t。外科可视化系统200还被配置为能够确定从输尿管201a到表面205的组织-输尿管距离d_A以及从成像装置220到输尿管201a的相机-输尿管距离d_w。如本文例如相对于图1的外科可视化系统100所述，外科可视化系统200被配置为能够利用例如光谱成像和飞行时间传感器来确定距离d_w。在各种实施方案中，外科可视化系统200可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织到输尿管距离d_A(或深度)。

如上所述，外科可视化系统包括控制系统，该控制系统被配置为能够控制外科可视化系统的各个方面。控制系统可具有多种构型。图9例示了用于外科可视化系统(诸如图1的外科可视化系统100、图8的外科可视化系统200或本文所述的其他外科可视化系统)的控制系统600的一个实施方案。控制系统600为转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当那些结构被组织，例如、脂肪、结缔组织、血液组织和/或器官和/或血液遮掩时，以及/或者检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。

控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648，该转换逻辑电路被配置为能够将组织数据转换为外科医生和/或其他执业医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600被配置为能够将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种实施方案中，控制系统600被配置为能够在接近一个或多个关键结构时向执业医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。

由控制系统600采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。

控制系统600被配置为能够检测关键结构(如上所述，该关键结构可包括一个或多个关键结构)并提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。

控制系统600包括光谱控制电路602。光谱控制电路602可为现场可编程门阵列(FPGA)或另一合适的电路构型，诸如相对于图6、图7和图8所描述的构型。光谱控制电路602包括处理器604，该处理器被配置为能够从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。例如，视频输入处理器606被配置为能够接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置为能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608被配置为能够将视频输出信号提供给图像叠加控制器610。

视频输入处理器606经由患者隔离电路614操作地联接到患者侧处的相机612。相机612包括固态图像传感器634。患者隔离电路614可包括多个变压器，使得患者与系统中的其他电路隔离。相机612被配置为能够通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括另一图像传感器技术，诸如本文结合图4所讨论的图像传感器技术。相机612被配置为能够以14比特/像素信号输出613个图像。本领域技术人员将理解，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，在该例示的实施方案中，该融合电路采用硬件寄存器618和Nios2协处理器620，该硬件寄存器和该Nios2协处理器被配置为能够处理相机输出信号613。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。

激光脉冲控制电路622被配置为能够控制激光引擎624。激光引擎624被配置为能够输出包括近红外(NIR)在内的多个波长(λ1，λ2，λ3......λn)的光。激光引擎624可在多种模式下操作。例如，激光引擎624可在两种模式下操作。在第一模式(例如，正常操作模式)下，激光引擎624被配置为能够输出照明信号。在第二模式(例如，识别模式)下，激光引擎624被配置为能够输出RGBG和NIR光。在各种实施方案中，激光引擎624可在偏振模式下操作。

来自激光引擎624的光输出626被配置为能够照亮术中外科部位627中的靶向解剖结构。激光脉冲控制电路622还被配置为能够控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪被配置为能够将预先确定的波长(λ2)的激光图案631(诸如线和/或点的网格或图案)投射在外科部位627处的手术组织或器官上。相机612被配置为能够接收图案化光以及通过相机光学器件632输出的反射光。图像传感器634被配置为能够将所接收的光转换成数字信号。

彩色RGB融合电路616还被配置为能够将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的靶向解剖结构上的激光图案631。处理模块638被配置为能够处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还被配置为能够输出表示外科部位处的靶向解剖结构的组织或器官的三维渲染形状的第二视频信号642。

第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，整合模块643被配置为能够确定到掩埋关键结构的距离(例如，图1的距离d_A)(例如，经由三角化算法644)，并且到掩埋关键结构的距离可经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监测器652以及定位在外科部位627处的相机624/激光图案投射仪630。

在各种情况下，可采用诸如来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监测器652。术前数据的配准的实施方案在2018年9月11日提交的名称为“Integration Of Imaging Data”的美国专利公布号2020/0015907中进一步描述，该专利据此全文以引用方式并入本文。

视频监测器652被配置为能够从图像叠加控制器610输出整合/增强视图。执业医生可在一个或多个显示器上在不同视图之间选择和/或切换。在第一显示器652a上(在该例示的实施方案中，该第一显示器为监测器)，执业医生可在(A)其中描绘可见组织的三维渲染的视图与(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二显示器652b上(在该例示的实施方案中，该第二显示器为监测器)，执业医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。

本文所述的各种外科可视化系统可用于对各种不同类型的组织和/或解剖结构进行可视化，包括可被光谱的可见部分中的EMR遮蔽而无法可视化的组织和/或解剖结构。外科可视化系统可利用如上所述的光谱成像系统，该光谱成像系统可被配置为能够基于不同类型的组织的组成材料的变化组合来可视化不同类型的组织。特别地，光谱成像系统可以被配置为能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可被配置为能够基于组成材料的特定组合来表征被可视化的组织的组织类型。

图10示出了描绘各种生物材料的吸收系数如何在EMR波长光谱上变化的曲线图300。在曲线图300中，竖直轴线302表示生物材料的吸收系数(以cm^-1为单位)，水平轴线304表示EMR波长(以μm为单位)。曲线图300中的第一条线306表示水在各种EMR波长下的吸收系数，第二条线308表示蛋白质在各种EMR波长下的吸收系数，第三条线310表示黑色素在各种EMR波长下的吸收系数，第四条线312表示脱氧血红蛋白在各种EMR波长下的吸收系数，第五条线314表示氧合血红蛋白在各种EMR波长下的吸收系数，以及第六条线316表示胶原蛋白在各种EMR波长下的吸收系数。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，外科可视化系统的光谱成像系统可被配置为能够发射多个不同波长的EMR，基于在不同波长处检测到的吸收EMR吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。

图11示出了利用光谱成像技术来对不同组织类型和/或解剖结构进行可视化的实施方案。在图11中，光谱发射器320(例如，图4的光谱光源150)被成像系统用来对外科部位322进行可视化。由光谱发射器320发射并从外科部位322处的组织和/或结构反射的EMR由图像传感器(例如，图4的图像传感器135)接收，以对组织和/或结构进行可视化，该组织和/或结构可以是可见的(例如，位于外科部位322的表面处)或被遮蔽的(例如，位于外科部位322处的其他组织和/或结构的下面)。在该实施方案中，成像系统(例如，图4的成像系统142)基于光谱特征来对肿瘤324、动脉326和各种异常328(例如，与已知或预期的光谱特征不相符的组织)进行可视化，这些光谱特征由不同组织/结构类型中的每一者的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可显示在与成像系统相关联或联接到该成像系统的显示屏上(例如，图4的成像系统142的显示器146)、主显示器上(例如，图19的主显示器819)、非无菌显示器上(例如，图19的非无菌显示器807、809)、外科集线器的显示器上(例如，图19的外科集线器806的显示器)、装置/器械显示器上、和/或另一显示器上。

成像系统可被配置为能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，如图11所示，成像系统可在与成像系统相关联或联接到该成像系统的显示屏上、在主显示器上、在非无菌显示器上、在外科集线器的显示器上、在装置/器械显示器上和/或在另一显示器上显示与被可视化的肿瘤324相关联的边界330。边界330可指示应切除以确保肿瘤324完全切除的组织的面积或数量。外科可视化系统的控制系统(例如，图4的控制系统133)可被配置为能够基于由成像系统识别的组织和/或结构来控制或更新边缘330的尺寸。在该例示的实施方案中，成像系统已识别视场(FOV)内的多个异常328。因此，控制系统可将所显示的边界330调整到第一更新的边界332，该第一更新的边界具有足够的尺寸来涵盖异常328。此外，成像系统还识别出与最初显示的边界330部分重叠的动脉326(如动脉326的高亮区域334所指示)。因此，控制系统可将所显示的边界调整到第二更新的边界336，该第二更新的边界具有足够的尺寸来涵盖动脉326的相关部分。

作为上文关于图10和图11所描述的组织和/或结构的吸收特性的补充或代替，还可根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图12、图13和图14例示了不同类型的组织或结构在不同EMR波长上的反射率的各种曲线图。图12为说明性输尿管特征对遮蔽物的图形表示340。图13为说明性动脉特征对遮蔽物的图形表示342。图14为说明性神经特征对遮蔽物的图形表示344。图12、图13和图14中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。

可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(例如，“选择性光谱”成像)。通过利用选择性光谱成像，可使获得光谱图像所需的时间量最小化，使得可实时获得信息，并在手术中加以利用。这些波长可由执业医生或由控制电路基于用户(例如，执业医生)的输入来选择。在某些情况下，波长可基于机器学习和/或控制电路可经由例如云或外科集线器访问的大数据来选择。

图15例示了对组织进行光谱成像的一个实施方案，该组织在术中用于测量波形发射器和被组织遮蔽的关键结构之间的距离。图15示出了利用波形424、425的飞行时间传感器系统404的实施方案。飞行时间传感器系统404可被结合到外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统404包括位于同一外科装置402上的波形发射器406和波形接收器408(例如，位于图1的同一外科装置102上的发射器106和接收器108)。发射波400从发射器406延伸到关键结构401(例如，图1的关键结构101)，并且接收波425被接收器408从关键结构401反射回去。在该例示的实施方案中，外科装置402穿过延伸到患者的腔407中的套管针410定位。尽管在该例示的实施方案中使用了套管针410，但也可使用其他套管针或其他进入装置，或者可不使用进入装置。

波形424、425被配置为能够诸如通过具有NIR或SWIR光谱波长中的波长来穿透遮蔽组织403。光谱信号(例如，高光谱、多光谱或选择性光谱)或光声信号从发射器406发射(如指向远侧的第一箭头407所示)，并且可穿透其中关键结构401隐蔽的组织403。所发射的波形424被关键结构401反射，如指向近侧的第二箭头409所示。所接收的波形425可由于外科装置402的远侧端部与关键结构401之间的距离d而被延迟。可基于关键结构401的光谱特征来选择波形424、425以靶向组织403内的关键结构401，如本文所述。发射器406被配置为能够提供二进制信号开和关，如图16所示，例如该二进制信号可由接收器408测量。

基于发射波424与接收波425之间的延迟，飞行时间传感器系统404被配置为能够确定距离d。图16中示出图15的发射器406和接收器408的飞行时间时序图430。延迟是距离d的函数，并且距离d由下式给出：

其中c＝光的速度；t＝脉冲的长度；q1＝发射光时累积的电荷；q2＝不发射光时累积的电荷。

波形424、425的飞行时间对应于图15中的距离d。在各种情况下，附加发射器/接收器和/或来自发射器406的脉冲信号可被配置为能够发射非穿透信号。非穿透信号可被配置为能够确定从发射器406到遮蔽组织403的表面405的距离。在各种情况下，关键结构401的深度可由下式确定：

d_A＝d_w-d_t

其中d_A＝关键结构401的深度；d_w＝从发射器406到关键结构401的距离(图15中的d)；以及d_t＝从发射器406(在外科装置402的远侧端部上)到遮蔽组织403的表面405的距离。

图17例示了利用波524a、524b、524c、525a、525b、525c的飞行时间传感器系统504的另一实施方案。飞行时间传感器系统504可被结合到外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统504包括波形发射器506和波形接收器508(例如，图1的发射器106和接收器108)。波形发射器506定位在第一外科装置502a(例如，图1的外科装置102)上，并且波形接收器508定位在第二外科装置502b上。外科装置502a、502b分别穿过第一套管针510a和第二套管针510b定位，这两个套管针延伸到患者的腔507中。尽管在该例示的实施方案中使用了套管针510a、510b，但也可使用其他套管针或其他进入装置，或者可不使用进入装置。发射波524a、524b、524c从发射器506朝向外科部位延伸，并且接收波525a、525b、525c从外科部位处的各种结构和/或表面反射回接收器508。

不同的发射波524a、524b、524c被配置为能够靶向外科部位处的不同类型的材料。例如，波524a靶向遮蔽组织503，波524b靶向第一关键结构501a(例如，图1的关键结构101)，该第一关键结构在该例示的实施方案中为血管，并且波524c靶向第二关键结构501b(例如，图1的关键结构101)，该第二关键结构在该例示的实施方案中为癌肿瘤。波524a、524b、524c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织503的表面505反射，并且NIR和/或SWIR波形可穿透组织503的表面505。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器506发射。可基于关键结构501a、501b的光谱特征来选择波524b、524c以靶向组织503内的关键结构501a、501b，如本文所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请在本公开中以引用方式并入本文。

发射波524a、524b、524c从靶向材料(即，分别为表面505、第一关键结构501a和第二结构501b)反射。所接收的波形525a、525b、525c可由于距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c而被延迟。

在其中发射器506和接收器508可独立定位(例如，定位在单独的外科装置502a、502b上和/或由单独的机器人臂控制)的飞行时间传感器系统504中，可根据发射器506和接收器508的已知方位计算各种距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。例如，当外科装置502a、502b由机器人控制时，这些方位可以是已知的。关于发射器506和接收器508的位置以及光子流靶向某一组织的时间的知识以及由接收器508接收的该特定响应的信息可允许确定距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构501a、501b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统504可确定各种距离。

在诸如在显示器上提供给执业医师的视图中，可旋转接收器508，使得所得图像中的靶结构的质心保持恒定(例如，在垂直于选定靶结构503、501a或501b的轴线的平面中)。这种取向可快速传送相对于靶结构的一个或多个相关距离和/或视角。例如，如图17所示，从关键结构501a垂直于视平面(例如，血管在页面内/页面外取向)的视角显示外科部位。这种取向可以是默认设置；然而，该视图可由执业医生旋转或以其他方式调整。在某些情况下，执业医生可在限定由成像系统提供的外科部位的视角的不同表面和/或靶结构之间切换。

如在该例示的实施方案中一样，接收器508可安装在套管针510b(或其他进入装置)上，外科装置502b通过该套管针定位。在其他实施方案中，接收器508可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器508可安装在与控制外科装置502a的机器人外科系统分开的动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(OR)工作台或固定装置。在此类情况下，发射器506和接收器508的位置可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统504的输出对距离进行三角测量。

飞行时间传感器系统和近红外光谱(NIRS)相结合，称为TOF-NIRS，能够以纳秒分辨率测量近红外光的时间分辨剖面，可见于“Time-Of-Flight Near-InfraredSpectroscopy For Nondestructive Measurement Of Internal Quality InGrapefruit”，《美国园艺学会杂志》(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3 225-228期，其全部内容据此以引用方式并入本文。

可视化系统及其方面和用途的实施方案在以下专利中进一步描述：2018年9月11日提交的名称为“Surgical Visualization Platform”的美国专利公布号2020/0015923；2018年9月11日提交的名称为“Controlling An Emitter Assembly Pulse Sequence”的美国专利公布号2020/0015900；2018年9月11日提交的名称为“Singular EMR SourceEmitter Assembly”的美国专利公布号2020/0015668；2018年9月11日提交的名称为“Combination Emitter And Camera Assembly”的美国专利公布号2020/0015925；2018年9月11日提交的名称为“Surgical Visualization With Proximity Tracking Features”的美国专利公布号2020/00015899；2018年9月11日提交的名称为“Surgical VisualizationOf Multiple Targets”的美国专利公布号2020/00015903；2018年9月11日提交的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034；2018年9月11日提交的名称为“Operative Communication Of Light”的美国专利公布号2020/0015897；2018年9月11日提交的名称为“Robotic Light Projection Tools”的美国专利公布号2020/0015924；2018年9月11日提交的名称为“Surgical Visualization Feedback System”的美国专利公布号2020/0015898；2018年9月11日提交的名称为“Surgical Visualization AndMonitoring”的美国专利公布号2020/0015906；2018年9月11日提交的名称为“IntegrationOf Imaging Data”的美国专利公布号2020/0015907；2018年9月11日提交的名称为“Robotically-Assisted Surgical Suturing Systems”的美国专利号10,925,598；2018年9月11日提交的名称为“Safety Logic For Surgical Suturing Systems”的美国专利公布号2020/0015901；2018年9月11日提交的名称为“Robotic Systems With SeparatePhotoacoustic Receivers”的美国专利公布号2020/0015914；2018年9月11日提交的名称为“Force Sensor Through Structured Light Deflection”的美国专利公布号2020/0015902；2018年12月4日提交的名称为“Method Of Hub Communication”的美国专利公布号2019/0201136；2019年12月30日提交的名称为“Analyzing Surgical Trends By ASurgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“DynamicSurgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Generating Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThereto”的美国专利申请号16/729,751；2019年12月30日提交的名称为“SurgicalSystems Correlating Visualization Data And Powered Surgical Instrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive SurgicalSystem Control According To Surgical Smoke Cloud Characteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System ControlAccording To Surgical Smoke Particulate Characteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A SurgicalSystem”的美国专利申请号16/729,803；2019年12月30日提交的名称为“Method Of UsingImaging Devices In Surgery”的美国专利申请号16/729,807；2021年9月29日提交的名称为“Surgical Devices,Systems,and Methods Using Fiducial Identification andTracking”的美国临时专利申请号63/249,652；2021年9月29日提交的名称为“SurgicalDevices,Systems,and Methods for Control of One Visualization with Another”的美国临时专利申请号63/249,658；2021年9月29日提交的名称为“Methods and Systemsfor Controlling Cooperative Surgical Instruments”的美国临时专利申请号63/249,870；2021年9月29日提交的名称为“Methods and Systems for Controlling CooperativeSurgical Instruments with Variable Surgical Site Access Trajectories”的美国临时专利申请号63/249,881；2021年9月29日提交的名称为“Methods and Systems forControlling Cooperative Surgical Instruments”的美国临时专利申请号63/249,877；和2021年9月29日提交的名称为“Cooperative Access”的美国临时专利申请号63/249,980，这些专利据此全文以引用方式并入。

外科集线器

本文所述的各种可视化或成像系统可结合到包括外科集线器的系统中。一般来讲，外科集线器可以是能够跨越多个医疗设施的综合数字医疗系统的部件，并且被配置为能够向大量患者提供综合全面的改善的医疗护理。该综合数字医疗系统包括基于云的医疗分析系统，其被配置为能够互连到跨许多不同医疗设施定位的多个外科集线器。外科集线器被配置为能够与一个或多个元件互连，诸如用于对患者实施医疗手术的一个或多个外科器械和/或在执行医疗手术期间使用的一个或多个可视化系统。外科集线器提供了各种各样的功能以改善医疗手术的结果。可将由各种外科装置、可视化系统和外科集线器生成的关于患者和医疗手术的数据传输到基于云的医疗分析系统。然后，可将该数据与从位于其他医疗设施处的许多其他外科集线器、可视化系统和外科器械收集的类似数据进行汇总。可通过基于云的分析系统分析所收集的数据发现各种模式和相关性。结果，可生成用于生成数据的技术的改善，并且这些改善然后可被传播到各种外科集线器、可视化系统和外科器械。由于所有前述部件的互连，可发现医疗手术和实践中的改进，否则如果许多部件没有如此互连，则可能不会发现该改进。

被配置为能够接收、分析和输出数据的外科集线器以及使用此类外科集线器的方法的示例在以下专利中进一步描述：美国专利公布号2019/0200844，名称为“Method OfHub Communication,Processing,Storage And Display”，2018年12月4日提交；美国专利公布号2019/0200981，名称为“Method Of Compressing Tissue Within A StaplingDevice And Simultaneously Displaying The Location Of The Tissue Within TheJaws”，2018年12月4日提交；美国专利公布号2019/0201046，名称为“Method ForControlling Smart Energy Devices”，2018年12月4日提交；美国专利公布号2019/0201114，名称为“Adaptive Control Program Updates For Surgical Hubs”，2018年3月29日提交；美国专利公布号2019/0201140，名称为“Surgical Hub SituationalAwareness”，2018年3月29日提交；美国专利公布号2019/0206004，名称为“InteractiveSurgical Systems With Condition Handling Of Devices And Data Capabilities”，2018年3月29日提交；美国专利公布号2019/0206555，名称为“Cloud-based MedicalAnalytics For Customization And Recommendations To A User”，2018年3月29日提交；以及美国专利公布号2019/0207857，名称为“Surgical Network Determination OfPrioritization Of Communication,Interaction,Or Processing Based On System OrDevice Needs”，2018年11月6日提交，这些专利据此全文以引用方式并入。

图18例示了计算机实现的交互式外科系统700的一个实施方案，其包括一个或多个外科系统702和基于云的系统(例如，可包括联接到存储装置705的远程服务器713的云704)。每个外科系统702包括与云704通信的至少一个外科集线器706。在一个示例中，如图18所示，外科系统702包括可视化系统708、机器人系统710和智能(或“智慧”)外科器械712，它们被配置为能够彼此通信并且/或者与集线器706通信。智能外科器械712可包括成像装置。外科系统702可包括M个集线器706、N个可视化系统708、O个机器人系统710和P个智能外科器械712，其中M、N、O和P为大于或等于一的整数，其可等于或不等于彼此中的任一者或多者。本文描述了各种示例性智能外科器械和机器人系统。

由外科集线器从外科可视化系统收集的数据可以多种方式中的任一种使用。在示例性实施方案中，外科集线器可接收来自在外科环境中与患者一起使用(例如，在外科手术的执行期间在手术室中使用)的外科可视化系统的数据。外科集线器可以一种或多种方式中的任一种方式使用所接收的数据，如本文所讨论的。

外科集线器可被配置为能够使用外科可视化系统实时地分析所接收的数据，并且基于对所接收的数据的分析来调整对与患者一起使用的外科可视化系统和/或一个或多个智能外科器械中的一者或多者的控制。这种调整可包括例如调整智能外科器械的一个或多个操作控制参数、使一个或多个智能外科器械的一个或多个传感器进行测量以帮助获得患者的当前生理状况和/或智能外科器械的当前操作状态的理解、以及其他调整。下文将进一步讨论智能外科器械的控制和调整操作。智能外科器械的操作控制参数的示例包括马达速度、切割元件速度、时间、持续时间、能量施加水平以及光发射。外科集线器以及控制和调整智能外科器械操作的示例在先前提及的以下专利中进一步描述：美国专利申请号16/729,772，名称为“Analyzing Surgical Trends By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,747，名称为“Dynamic Surgical Visualization Systems”，2019年12月30日提交；美国专利申请号16/729,744，名称为“Visualization SystemsUsing Structured Light”，2019年12月30日提交；美国专利申请号16/729,778，名称为“System And Method For Determining,Adjusting,And Managing Resection MarginAbout A Subject Tissue”，2019年12月30日提交；美国专利申请号16/729,729，名称为“Surgical Systems For Proposing And Corroborating Organ Portion Removals”，2019年12月30日提交；美国专利申请号16/729,778，名称为“Surgical System ForOverlaying Surgical Instrument Data Onto A Virtual Three DimensionalConstruct Of An Organ”，2019年12月30日提交；美国专利申请号16/729,751，名称为“Surgical Systems For Generating Three Dimensional Constructs Of AnatomicalOrgans And Coupling Identified Anatomical Structures Thereto”，2019年12月30日提交；美国专利申请号16/729,740，名称为“Surgical Systems CorrelatingVisualization Data And Powered Surgical Instrument Data”，2019年12月30日提交；美国专利申请号16/729,737，名称为“Adaptive Surgical System Control According ToSurgical Smoke Cloud Characteristics”，2019年12月30日提交；美国专利申请号16/729,796，名称为“Adaptive Surgical System Control According To Surgical SmokeParticulate Characteristics”，2019年12月30日提交；美国专利申请号16/729,803，名称为“Adaptive Visualization By A Surgical System”，2019年12月30日提交；以及美国专利申请号16/729,807，名称为“Method Of Using Imaging Devices In Surgery”，2019年12月30日提交；以及美国专利申请号17/068,857，名称为“Adaptive Responses FromSmart Packaging Of Drug Delivery Absorbable Adjuncts”，2020年10月13日提交；美国专利申请号17/068,858，名称为“Drug Administration Devices That Communicate WithSurgical Hubs”，2020年10月13日提交；美国专利申请号17/068,859，名称为“ControllingOperation Of Drug Administration Devices Using Surgical Hubs”，2020年10月13日提交；美国专利申请号17/068,863，名称为“Patient Monitoring Using DrugAdministration Devices”，2020年10月13日提交；美国专利申请号17/068,865，名称为“Monitoring And Communicating Information Using Drug Administration Devices”，2020年10月13日提交；美国专利申请号17/068,867，名称为“Aggregating And AnalyzingDrug Administration Data”，2020年10月13日提交，这些专利据此全文以引用方式并入。

外科集线器可被配置为能够使得在外科环境中在显示器上提供所接收的数据的可视化，使得外科环境中的执业医生可查看该数据并由此接收对在外科环境中使用的成像装置的操作的理解。经由可视化提供的此类信息可包括文本和/或图像。

图19示出了包括外科集线器806(例如，图18的外科集线器706或本文描述的其他外科集线器)、机器人外科系统810(例如，图1的机器人外科系统110或本文的其他机器人外科系统)和可视化系统808(例如，图1的可视化系统100或本文描述的其他可视化系统)的外科系统802的一个实施方案。如本文所讨论的，外科集线器806可与云通信。图19示出了外科系统802用于对平躺在外科手术室816中的手术台814上的患者执行外科手术。机器人系统810包括外科医生的控制台818、患者侧推车820(外科机器人)和机器人系统外科集线器822。机器人系统外科集线器822通常被配置为能够类似于外科集线器822并且可与云通信。在一些实施方案中，机器人系统外科集线器822和外科集线器806可以组合。患者侧推车820可通过患者身体中的微创切口操纵智能外科工具812，同时执业医生(例如，外科医生、护士和/或其他执业医生)通过外科医生控制台818查看外科部位。外科部位的图像可由成像装置824(例如，图1的成像装置120或本文所述的其他成像装置)获得，该成像装置可由患者侧推车820操纵以对成像装置824进行取向。机器人系统外科集线器822可用于处理外科部位的图像，以随后通过外科医生的控制台818显示给外科医生。

主显示器819被定位在手术室816的无菌区中并且被配置为能够对于手术台814处的操作者可见。此外，如在该例示的实施方案中一样，可视化塔818可被定位在无菌区外部。可视化塔818包括彼此背离的第一非无菌显示器807和第二非无菌显示器809。由外科集线器806引导的可视化系统808被配置为能够利用显示器807、809、819来将信息流协调到无菌区内部和外部的执业医生。例如，外科集线器806可使可视化系统808在非无菌显示器807或809中的一者或两者上显示如由成像装置824获得的外科部位的快照和/或视频，同时保持外科部位在主显示器819上的实时馈送。例如，非无菌显示器807或809上的快照和/或视频可允许非无菌执业医生执行与外科手术相关的诊断步骤。

外科集线器806被配置为能够将由非无菌执业医生在可视化塔818处输入的诊断输入或反馈路由至无菌场内的主显示器819，其中可由手术台814处的无菌执业医生查看该诊断输入或反馈。例如，输入可呈对显示在非无菌显示器807和/或809上的快照和/或视频的修改形式，其可通过外科集线器806路由到主显示器819。

外科集线器806被配置为能够将信息流协调至智能外科器械812的显示器，如在各种美国专利申请中所描述的那样，这些专利申请在本公开中以引用方式并入本文。由非无菌操作者在可视化塔818处输入的诊断输入或反馈可由外科集线器806路由到无菌区内的显示器819，其中外科器械812的操作者和/或无菌区中的其他执业医生可查看该诊断输入或反馈。

智能外科器械812和成像装置824(该成像装置也是智能外科工具)作为外科系统802的一部分在外科手术中与患者一起使用。可在例如外科手术中使用(可去除地联接到患者侧推车820并与机器人外科系统810和外科集线器806通信)的其他智能外科器械812a也在图19中示出为可用的。不能与机器人外科系统810和外科集线器806通信的非智能(或“哑巴”)外科器械817(例如，剪刀、套管针、插管、手术刀等)也在图19中示出为可供使用。

操作智能外科器械

智能外科装置可具有存储在其上(例如，存储在其存储器中)的算法，该算法被配置为能够可例如通过其处理器在智能外科装置上执行，以控制智能外科装置的操作。在一些实施方案中，作为存储在智能外科装置上的替代或补充，算法可存储在被配置为能够与智能外科装置通信的外科集线器上，例如存储在其存储器中。

算法以定义和/或表示指令、通知、信号等的一组或多组多个数据点的形式存储，以控制智能外科装置的功能。在一些实施方案中，由智能外科装置收集的数据可以被智能外科装置使用，例如被智能外科装置的处理器使用，以改变算法的至少一个可变参数。如上文所讨论的，外科集线器可与智能外科装置通信，因此由智能外科装置收集的数据可被传送到外科集线器和/或由与外科集线器通信的另一装置收集的信息可被传送到外科集线器，并且数据可从外科集线器被传送到智能外科装置。因此，作为智能外科装置被配置为能够改变所存储的可变参数的替代或补充，外科集线器可被配置为能够将改变的至少一个变量单独地或作为算法的一部分传送到智能外科装置和/或外科集线器可将指令传送到智能外科装置以改变如由外科集线器所确定的至少一个变量。

至少一个可变参数在算法的数据点当中，例如包括在用于操作智能外科装置的指令中，并且因此每个可变参数能够通过改变算法的所存储的多个数据点中的一个或多个数据点来改变。在至少一个可变参数已改变之后，算法的后续执行根据改变的算法进行。因此，通过考虑到患者的实际情况以及正在使用智能外科装置的外科手术的实际条件和/或结果，可为患者管理智能外科装置随时间的操作，以增加智能外科装置的有益结果使用。对至少一个可变参数的改变是自动的，以改善患者结果。因此，智能外科装置可被配置为能够基于患者和患者的周围条件提供个性化药物，以提供智慧系统。在执行外科手术期间使用智能外科装置的外科环境中，至少一个可变参数的自动改变可允许基于在执行外科手术期间收集的数据来控制智能外科装置，这可帮助确保智能外科装置被有效且正确地使用和/或可帮助减少因伤害关键解剖结构而伤害患者的机会。

至少一个可变参数可以是多种不同参数中的任一参数。可变参数的示例包括马达速度、马达扭矩、能量水平、能量施加持续时间、组织压缩速率、钳口闭合速率、切割元件速度、负荷阈值等。

图20例示了智能外科器械900的一个实施方案，其包括存储器902，该存储器具有存储在其中的算法904，该算法包括至少一个可变参数。算法904可以是单个算法或可包括多个算法，例如，用于外科器械操作的不同方面的单独算法，其中每个算法包括至少一个可变参数。智能外科器械900可以是图1的外科装置102、图1的成像装置120、图8的外科装置202、图8的成像装置220、图15的外科装置402、图17的外科装置502a、图17的外科装置502b、图18的外科装置712、图19的外科装置812、图19的成像装置824、或其他智能外科器械。外科器械900还包括处理器906，该处理器被配置为能够执行算法904以控制外科器械900的至少一个方面的操作。为了执行算法904，处理器906被配置为能够运行存储在存储器902中的程序以访问存储器902中的算法904的多个数据点。

外科器械900还包括通信接口908(例如，无线收发器或其他有线或无线通信接口)，该通信接口被配置为能够与另一装置(诸如外科集线器910)通信。通信接口908可被配置为能够允许单向通信，诸如向远程服务器(例如，云服务器或其他服务器)和/或向本地外科集线器服务器提供数据，以及/或者从远程服务器和/或本地外科集线器服务器接收指令或命令，或双向通信，诸如提供关于外科器械900的信息、消息、数据等和/或存储在其上的数据，并且接收指令，诸如来自医生的指令；关于对软件的更新的远程服务器、关于对软件的更新的本地外科集线器服务器、等的指令。

外科器械900在图20中被简化，并且可包括附加的部件，例如总线系统、柄部、在其远侧端部处具有端部执行器的细长轴、电源等。处理器906还可以被配置为能够执行存储在存储器902中的指令以总体上控制装置900，包括其其他电子部件，诸如通信接口908、音频扬声器、用户接口等。

处理器906被配置为能够改变算法904的至少一个可变参数，使得算法904的后续执行将根据所改变的至少一个可变参数进行。为了改变算法904的至少一个可变参数，处理器906被配置为能够修改或更新存储器902中的至少一个可变参数的数据点。处理器906可被配置为能够在执行外科手术期间使用外科装置900实时地改变算法904的至少一个可变参数，这可适应实时条件。

作为处理器906改变至少一个可变参数的补充或替代，处理器906可被配置为能够响应于从外科集线器910接收的指令来改变算法904和/或算法904的至少一个可变参数。在一些实施方案中，处理器906被配置为能够仅在与外科集线器910通信并接收到来自该外科集线器的指令之后才改变至少一个可变参数，这可帮助确保外科器械900与其中正在使用外科器械900的外科手术的其他方面的协调动作。

在示例性实施方案中，处理器906执行算法904以控制外科器械900的操作，基于实时数据改变算法904的至少一个可变参数，并且在改变至少一个可变参数之后执行算法904以控制外科器械900的操作。

图21例示了使用外科器械900的方法912的一个实施方案，该方法包括改变算法904的至少一个可变参数。处理器906通过执行存储在存储器902中的算法904来控制914外科器械900的操作。基于该随后已知的数据和/或随后收集的数据中的任一者，处理器904改变916算法904的至少一个可变参数，如上文所讨论的。在改变至少一个可变参数之后，处理器906通过执行算法904来控制918外科器械900的操作，此时至少一个可变参数已改变。处理器904可在执行外科手术期间多次改变916至少一个可变参数，例如零次、一次、两次、三次等。在方法912的任何部分期间，外科器械900可使用通信接口908与一个或多个计算机系统(例如，外科集线器910、远程服务器诸如云服务器等)通信，以向其提供数据和/或从其接收指令。

态势感知

智能外科器械的操作可基于患者的态势感知而改变。智能外科器械的操作可诸如通过智能外科器械的用户以不同方式操纵器械、向器械提供不同的输入、停止使用器械等来手动改变。另外或另选地，智能外科器械的操作可通过改变该器械的算法(例如，通过改变该算法的至少一个可变参数)来自动改变。如上所述，算法可自动调整，无需用户输入请求改变。在执行外科手术期间使调整自动化可帮助节省时间，可允许执业医师专注于外科手术的其他方面，和/或可简化执业医师使用外科器械的过程，这各自可诸如通过避开关键结构、考虑器械在其上和/或附近使用的组织类型控制外科器械等来改善患者结果。

本文所述的可视化系统可用作态势感知系统的一部分，该态势感知系统可由外科集线器(例如，外科集线器706、外科集线器806或本文所述的其他外科集线器)体现或执行。具体地，对外科器械(包括其位置、取向和动作)、组织、结构、用户和/或位于外科场或手术室内的其他事物进行表征、识别和/或可视化可提供情境数据，态势感知系统可利用该情境数据来推断各种信息，诸如正在执行的外科手术或其步骤的类型、外科医生或其他执业医生正在操纵的组织和/或结构的类型、以及其他信息。然后，态势感知系统可利用情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以备使用(例如，激活电外科发生器以备在外科手术的后续步骤中使用电外科器械等)，控制智能外科器械(例如，定制算法的外科器械操作参数，如下文进一步讨论的)等。

尽管包括响应感测到的数据的算法(例如，通过改变算法的至少一个可变参数)的智能外科装置可以是对在不考虑感测到的数据的情况下操作的“哑巴”装置的改善，但当孤立地考虑时，例如在没有正在被执行的外科手术的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制外科装置。例如，用于响应于特定的感测参数来控制外科器械的算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性、易切割性)，并且因此以不同的方式响应由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个示例，响应于外科缝合器感测到用于闭合其端部执行器的意外高的力来控制外科缝合器的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺组织)，外科器械的控制算法将响应于用于闭合的意外高的力而使马达最佳地减速，从而避免撕裂组织(例如，改变控制马达速度或扭矩的可变参数，使马达更慢)。对于抗撕裂的组织(诸如胃组织)，器械的算法将响应于用于闭合的意外高的力而使马达最佳地加速，从而确保端部执行器被正确地夹持在组织上(例如，改变控制马达速度或扭矩的可变参数，使马达更快)。在不知道肺组织或胃组织是否已被夹持的情况下，算法可能会次优地改变或根本不改变。

外科集线器可被配置为能够基于从各种数据源所接收的数据来导出关于正在被执行的外科手术的信息，并且然后相应地控制模块化装置。换句话讲，外科集线器可被配置为能够从所接收的数据推断关于外科手术的信息，并且然后基于所推断的外科手术的背景来控制可操作地联接到外科集线器的模块化装置。模块化装置可包括可由态势感知系统控制的任何外科装置，例如可视化系统装置(例如，相机、显示屏等)、智能外科器械(例如，超声外科器械、电外科器械、外科缝合器、排烟器、内窥镜等)。模块化装置可包括被配置为能够检测与正在使用该装置的患者相关联的参数和/或与模块化装置本身相关联的参数的传感器。

根据所接收的数据导出或推断的背景信息可包括例如正在被执行的外科手术的类型、外科医生(或其他执业医生)正在执行的外科手术的特定步骤、正在手术的组织的类型或作为外科手术的受试者的体腔。外科集线器的态势感知系统可被配置为能够以多种不同的方式根据从数据源所接收的数据导出背景信息。在示例性实施方案中，由外科集线器的态势感知系统接收的背景信息与用于一个或多个模块化装置的特定控制调整或一组控制调整相关联。控制调整各自对应于可变参数。在一个示例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库、患者监测装置和/或模块化装置的数据)与关于外科手术的对应的背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科手术的背景信息。在另一示例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科手术的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制至少一个模块化装置的对应背景信息。在另一示例中，态势感知系统包括当提供背景信息作为输入时，生成或检索针对一个或多个模块化装置的一项或多项控制调整的另外的机器学习系统、查找表或其他此类系统。

包括态势感知系统的外科集线器可为外科系统提供任何数量的益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科手术过程期间的处理精度和/或数据的使用。另一个益处是，外科集线器的态势感知系统可通过允许针对每个外科手术的特定背景调整外科器械(和其他模块化装置)(诸如针对不同的组织类型进行调整)并在外科手术期间验证动作来改善外科手术结果。又一个益处是，态势感知系统可通过根据手术的特定背景自动建议接下来的步骤、提供数据以及调整显示器和手术室中的其他模块化装置来改善外科医生和/或其他执业医生执行外科手术的效率。另一个益处包括根据正在被执行的外科手术的特定步骤主动地且自动地控制模块化装置，以诸如通过在确定RF电外科器械的后续步骤需要使用RF电外科器械的情况下，态势感知外科集线器主动地激活RF电外科器械所连接到的发生器来减少执业医生在外科手术的过程期间需要与外科系统交互或控制外科系统的次数。主动地激活能量源允许器械在手术的先前步骤一完成就准备好使用。

例如，态势感知外科集线器可被配置为能够确定正在手术的组织的类型。因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器可被配置为能够例如通过改变或引起外科器械的关于马达速度或扭矩的算法的至少一个可变参数的改变来针对组织类型使外科器械的马达正确地加速或减速。

对于另一示例，正在手术的组织的类型可能影响针对特定组织间隙测量值对外科缝合器的压缩率和负荷阈值进行的调整。态势感知外科集线器可被配置为能够推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许态势感知外科集线器确定被外科缝合器的端部执行器夹持的组织是肺组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器可被配置为能够例如通过改变或引起外科缝合器的关于压缩速率和负荷阈值的算法的至少一个可变参数的改变来针对组织类型适当地引起外科缝合器的压缩速率和负荷阈值的调整。

作为又一示例，在吹气手术期间被操作的体腔的类型可能影响排烟器的功能。态势感知外科集线器可被配置为能够确定外科部位是否处于压力下(通过确定外科手术正在利用吹气)并确定手术类型。由于手术类型通常在特定体腔中执行，因此外科集线器可被配置为能够例如通过改变或引起排烟器的关于马达速率的算法的至少一个可变参数的改变来针对正在操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器可为胸部手术和腹部手术两者提供一致的排烟量。

作为又一示例，正在被执行的手术的类型可能影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜式手术需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器可被配置为能够确定外科手术是否是关节镜式手术。外科集线器可被配置为能够通过例如改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来调整发生器的RF功率水平或超声振幅(例如，调整能量水平)以补偿流体填充环境。相关地，正在手术的组织的类型可能影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器可被配置为能够例如通过改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来确定正在执行的外科手术的类型，并且然后根据外科手术的预期组织曲线分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器可被配置为能够在外科手术的整个过程中而不是仅在逐个手术的基础上调整超声外科器械或RF电外科器械的能量水平。态势感知外科集线器可被配置为能够确定正在执行或随后将要执行的外科手术的步骤，并且然后更新发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。

作为另一示例，态势感知外科集线器可被配置为能够根据在外科部位处外科医生和/或其他执业医生预期需要查看的特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。外科集线器被配置为能够相应地主动改变所显示的视图(例如，由用于可视化系统的成像装置提供)，使得在整个外科手术中自动调整显示器。

作为又一示例，态势感知外科集线器被配置为能够确定正在被执行或随后将执行外科手术的哪个步骤以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器可被配置为能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生或其他执业医生请求该特定信息。

作为另一示例，态势感知外科集线器可被配置为能够确定外科医生和/或其他执业医生在外科手术过程期间是否犯了错误或以其他方式偏离了预期的动作过程，例如如在术前外科计划中所提供的。例如，外科集线器可被配置为能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在使用的设备与外科集线器确定的针对该正在执行的外科手术类型的预期步骤或设备进行比较。外科集线器可被配置为能够提供指示在外科手术中的特定步骤正在执行意外动作或正在利用意外装置的警示(视觉、听觉和/或触觉)。

在某些情况下，机器人外科系统(诸如本文所述的各种机器人外科系统中的任一机器人外科系统)的操作可由外科集线器基于其态势感知和/或来自其部件的反馈和/或基于来自云(例如，图18的云713)的信息来控制。

态势感知系统以及在执行外科手术期间使用态势感知系统的实施方案在以下先前提及的US专利中进一步描述：美国专利申请号16/729,772，名称为“Analyzing SurgicalTrends By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,747，名称为“Dynamic Surgical Visualization Systems”，2019年12月30日提交；美国专利申请号16/729,744，名称为“Visualization Systems Using Structured Light”，2019年12月30日提交；美国专利申请号16/729,778，名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”，2019年12月30日提交；美国专利申请号16/729,729，名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”，2019年12月30日提交；美国专利申请号16/729,778，名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”，2019年12月30日提交；美国专利申请号16/729,751，名称为“Surgical Systems For Generating Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThereto”，2019年12月30日提交；美国专利申请号16/729,740，名称为“Surgical SystemsCorrelating Visualization Data And Powered Surgical Instrument Data”，2019年12月30日提交；美国专利申请号16/729,737，名称为“Adaptive Surgical System ControlAccording To Surgical Smoke Cloud Characteristics”，2019年12月30日提交；美国专利申请号16/729,796，名称为“Adaptive Surgical System Control According ToSurgical Smoke Particulate Characteristics”，2019年12月30日提交；美国专利申请号16/729,803，名称为“Adaptive Visualization By A Surgical System”，2019年12月30日提交；以及美国专利申请号16/729,807，名称为“Method OfUsing Imaging Devices InSurgery”，2019年12月30日提交。

具有混合腔内和腔外装置的外科系统

在某些实施方案中，外科系统被构造成能够允许使用腹腔镜入路将一个或多个腔内器械引入到器官中。即，与常规系统(例如，具有通过自然腔道引入的腔内器械的系统)不同，本外科系统包括腔内器械，该腔内器械在使用时通过器官的腹腔镜侧接近并且进入器官(例如，结肠、膀胱、胃等)。这可提供具有降低的技术复杂性的双手能力。

此外，在一些实施方案中，腹腔镜器械(例如，抓紧器)和/或特征(例如，密封件或支架状结构)可被引入到腔外解剖空间中并且被构造成能够提供对腔内器械的一部分(例如，远侧部分)的局部支撑。这种局部支撑可以改善腔内器械的腔内反作用负荷能力。即，局部支撑件可允许在腔内器械的负载下的移动，以实现腔内器械(例如，消融元件或钳口)的端部执行器与手术部位的不同腔内壁之间的旋转、纵向推进和接触。

在一个示例性实施方案中，该外科系统通常可包括第一窥镜装置，该第一窥镜装置具有被构造成能够插入并定位在腔外解剖空间内的第一部分和在该第一部分远侧并且被构造成能够定位在腔内解剖空间内的第二部分；和第二器械，该第二器械被构造成能够插入该腔外解剖空间中并且被构造成能够联接到该第一窥镜装置的该第一部分并且使该第一窥镜装置的该第一部分在该腔外解剖空间内移动，以在该第一窥镜装置的该第二部分定位在该腔内解剖空间内时有利于该第二部分的移动。在一些实施方案中，该第一窥镜装置可以是具有延伸穿过其中的工作通道的柔性主体和在该柔性主体的远侧端部处的第一成像系统。该工作通道构造成能够使得第一器械的远侧端部能够插入并穿过该腔外解剖空间且进入该腔内解剖空间，使得该第一器械存在于该腔外空间和该腔内空间两者中。

在使用期间，通常，第一装置窥镜的第一部分插入腔外解剖空间中，并且第一窥镜装置的第二部分进一步插入腔内解剖空间中。然后通过该工作通道插入第一器械，以将该第一器械定位在该腔外空间和该腔内空间两者内。此外，该第二器械被插入该腔外解剖空间中。该第二器械可在插入该第一装置窥镜或插入该第一器械之前、同时或之后插入该腔外解剖空间中。在插入之后，该第二器械被移动以使该第一窥镜装置的所插入第二部分在该腔内解剖空间内移动。在插入该第一窥镜装置、该第一器械或该第二器械中的任一者之前，可例如经由可操作地联接到该第一窥镜装置的该第一部分的流体端口对该腔外空间、该腔内空间或两者进行吹气。

在另一示例性实施方案中，该外科系统通常可包括：锚定构件，该锚定构件被构造成能够定位在腔外解剖空间内并且与组织壁接触，该组织壁至少部分地限定腔内解剖空间；和插管，该插管具有被构造成能够插入并定位在该腔外解剖空间内的第一部分和在该第一部分远侧的被构造成能够定位在腔内解剖空间内的第二部分；和布置在该插管的在该腔外解剖空间中的该第一部分上的可选择性展开的稳定构件，该可选择性展开的稳定构件被构造成能够联接到该锚定构件。在一些实施方案中，该插管可被构造成能够允许第一器械的远侧端部插入并穿过该腔外解剖空间并且进入该腔内解剖空间，使得该第一器械存在于该腔外解剖空间和该腔内解剖空间两者中。此外，当处于展开状态时，该可选择性展开的稳定构件可被构造成能够为该第一器械提供锚定点，以有利于该第一器械在该腔内解剖空间内的枢转移动。

示例性外科系统可包括多种特征部，如本文所述和附图中所示。然而，本领域的技术人员将理解，外科系统可仅仅包括这些特征部中的一些和/或其可包括本领域已知的多种其他特征部。本文所述的外科系统仅仅旨在表示某些示例性实施方案。此外，虽然外科系统是结合结肠来示出以及描述的，但是本领域的技术人员将理解，这些外科锚定系统可结合任何其他合适的体腔或器官来使用。

部分组织壁厚肿瘤的外科切除常规通过自然腔道进行。例如，如图22所示，结肠10000包括部分组织壁肿瘤10001。如所示出，常规外科系统包括通过直肠10002插入结肠10000中的内窥镜10004和穿过内窥镜10004的工作通道10006的第一器械10008。第一器械10008接合肿瘤10001用于随后的移除。腹腔镜器械10010(例如，抓紧器)通过腹腔10012插入并且与结肠10000相互作用以帮助稳定肿瘤10001或定位结肠10000用于肿瘤移除。如下文将更详细讨论的，与这些常规外科系统和程序不同，本文所公开的外科系统被设计成使用腔内器械来移除患病组织(例如，病变或肿瘤)，这些腔内器械从腹腔镜侧而非通过自然腔道接近自然管腔或器官。

图23例示了具有第一窥镜装置10102以及第一腹腔镜器械10104和第二腹腔镜器械10106的外科系统10100的示例性实施方案，其用于位于结肠10103中的部分组织壁厚肿瘤10101的外科切除。为了简单起见，外科系统10010的某些部件未例示。

第一腹腔镜器械10104和第二腹腔镜器械10106各自通过相应的第一套管针10108和第二套管针10110插入腹腔10105(例如，腔外解剖空间)中。第一套管针10108和第二套管针10110各自联接到相应的机器人臂10112、10114。虽然第一腹腔镜器械10104和第二腹腔镜器械10106可具有多种构型，但在该实施方案中，每个腹腔镜器械10104、10106具有细长轴10104a、10106a，该细长轴在其远侧端部处具有端部执行器10104b、10106b。虽然每个端部执行器10104b、10106b可具有多种构型，但在该例示的实施方案中，每个端部执行器10104b、10106b是一组可移动钳口的形式。此外，虽然示出了两个腹腔镜器械，但是在其他实施方案中，可使用任何数量的腹腔镜器械(例如，一个、三个、四个等)。

第一窥镜装置10102包括具有延伸穿过其中的工作通道10118的柔性主体10116和在该柔性主体的远侧端部处的第一成像系统10120(例如，相机)。柔性主体可由任何合适的柔性材料形成。如所示出，在使用期间，第一窥镜装置10102的近侧端部联接到第一机器人臂10120，并且第一窥镜装置10102延伸进入并且穿过联接到第二机器人臂10124的套管针10122，并且进入腹腔10105(例如，腔外解剖空间)。套管针10122包括流体端口10123，该流体端口被构造成能够在将任何装置或器械插入腹腔10105中之前或同时对腹腔10105进行吹气。在其他实施方案中，可使用套管针10112、10114或任何其他合适的吹气机构和装置来对腹腔10105进行吹气。

第一窥镜装置10102进一步插入穿过结肠10103的壁10103a并且进入结肠腔10107(例如，腔内解剖空间)。虽然第一窥镜装置10102可以通过在结肠壁10103a中形成的切口10115直接插入，但是在该例示的实施方案中，插管10117的管腔通过切口10115插入并且部分地进入结肠腔10107中。这样，第一窥镜装置10102通过插管10117的管腔插入结肠腔10107中。

如图所示，第一窥镜装置10102具有存在于腹腔10105内的第一部分10102a和在第一部分10102a的远侧并且存在于结肠腔10107内的第二部分10102b。即，第一窥镜装置10102被设计成通过腹腔镜入路引入到结肠10103中。在插入第一窥镜装置的第二部分之前，可以例如通过经由先前插入结肠中的流体端口(未示出)或管腔(未示出)引入流体来对结肠进行吹气。在吹气之后，密封夹10109a和10109b可定位在结肠10103的吹气区域的相对端部上。

在一些实施方案中，套管针10122可以为第一窥镜装置10102的第一部分10102a提供结构支撑。此外，第一窥镜装置10102的第一部分10102a可由定位在马达壳体10121内的一个或多个工具驱动器(未示出)驱动，该马达壳体定位在机器人臂10124与套管针10122之间。

由于第一窥镜装置10102具有存在于腹腔10105和结肠腔10107两者内的柔性主体10116，因此需要协作支撑元件，使得第一窥镜装置10102的第二部分10102b可在结肠腔10107内移动。在该例示的实施方案中，协作支撑元件是第一腹腔镜器械10104。即，如图所示，端部执行器10104b的钳口抓紧第一腹腔镜器械10104，并且因此将该第一腹腔镜器械联接到第一窥镜装置10102的第一部分10102a。

虽然端部执行器的钳口可在各种位置处抓紧第一窥镜装置10104的第一部分10102a，但在该所例示的实施方案中，第一腹腔镜器械10104在腹腔10105内(例如，腔外解剖空间)且直接邻近结肠壁10103a的预定位置处联接到第一部分10102。更具体地，预定位置接近于在结肠壁10103a中形成的切口10115。在该实施方案中，第一腹腔镜器械10104的细长轴10104a是刚性的，并且因此可提供对第一窥镜装置的支撑并且在腹腔内(例如，腔外空间)移动第一窥镜装置的第一部分，以有利于第一窥镜装置10102的第二部分在结肠腔10107内(例如，腔内解剖空间)的移动。

在一些实施方案中，由第一腹腔镜器械10104提供的固定可以保持切口10115直立，以防止结肠内容物逸出到腹腔10105中。另选地或另外，端部执行器10104b的钳口可被构造成能够充当伤口保护器，所述伤口保护器可防止第一窥镜装置10102将不适当的负荷施加到切口边缘。

如图23中进一步所示，一旦第一窥镜装置10102的第二部分10102b定位在结肠腔10107内，器械10126就可通过第一窥镜装置10102的工作通道10118插入并且进入结肠腔10107中。一旦插入，器械10126便可与肿瘤10102相互作用以便随后移除。此外，第二腹腔镜装置10106的端部执行器10106b的钳口可与结肠10103相互作用，以帮助稳定结肠10103，从而移除肿瘤10102。

在一些实施方案中，局部机械对接可用作用于稳定柔性腔内装置或器械或装置的机构，例如，如图24所例示。

图24示出了外科系统10200的示例性实施方案，该外科系统被构造成能够允许腹腔镜进入腔内外科部位。外科系统10200包括插管10202、锚定构件10204和可选择性展开的稳定构件10206，它们用于位于结肠10203中的部分组织壁厚肿瘤10201的外科切除。

插管10202可具有多种不同构型。在该例示的实施方案中，插管10202具有第一部分10202a，该第一部分被构造成能够插入并定位在腹腔10208(例如，腔外解剖空间)内；和在第一部分10202a远侧的第二部分10202b，该第二部分被构造成能够定位在结肠10203的腔10210(例如，腔内解剖空间)内。插管10202可以由任何合适的材料形成。如图所示，在使用过程中，插管10202通过与机器人臂10214联接的套管针10212插入并且进入腹腔10208。套管针10212包括流体端口10216，该流体端口被构造成能够在将任何装置或器械插入腹腔10208中之前或同时对腹腔10208进行吹气。在其他实施方案中，可使用另一套管针或任何其他合适的吹气机构和装置对腹腔10208进行吹气。

插管10202进一步插入穿过结肠10203的壁10205并且进入结肠腔10210(例如，腔内解剖空间)。因此，插管10202设计成通过腹腔镜入路引入到结肠10203中。此外，一旦第一部分10202a和第二部分10202b分别定位在腹腔10208和结肠腔10201内，第一器械10220可插入穿过其中，使得第一器械10220的远侧端部可定位在结肠腔10210内并且用于移除肿瘤10201。

如图所示，插管10202允许第一器械10220的远侧端部通过腹腔10208引入结肠10203中，并且因此第一器械10220存在于腹腔10208和结肠腔10210两者中。虽然第一器械10220可具有多种构型，但在该例示的实施方案中，第一器械10220包括柔性轴10222，该柔性轴在其远侧端部处具有一对钳口10224。该对钳口10224被构造成能够与肿瘤10201相互作用。

在插入插管10202的第二部分10202b之前，可以例如通过经由先前插入结肠中的流体端口(未示出)或管腔(未示出)引入流体来对结肠10203进行吹气。在吹气之后，可密封吹气区域10203a。例如，在该例示的实施方案中，吹气区域10203a由插入腹腔10208中的腹腔镜装置10218的钳口10218a、10218b密封，其中钳口10218a、10218b抓紧该区域的一端，并且锚定构件10204围绕该区域的相对端部夹紧。这样，在该例示的实施方案中，锚定构件10204可用作锚定件和密封件两者。在其他实施方案中，可使用单独的密封元件。

锚定构件10204可具有多种构型。在该例示的实施方案中，锚定构件10202是定位在腹腔(例如，腔外解剖空间)内并且与结肠10203的组织壁10203a的外表面接触的夹具的形式。在插入插管10202之前、同时或之后，锚定构件10204可以被插入腹腔10208中并且被放置成与结肠壁10205接触(例如，围绕结肠10203的一部分布置)。

如图24中进一步所示，可选择性展开的稳定构件10206布置在插管10202的第一部分10202a上，并且因此在腹腔10208(例如，腔外解剖空间)内。可选择性展开的稳定构件10206可具有多种构型。在该例示的实施方案中，可选择性展开的稳定构件10206包括彼此枢转地连接的第一连杆10223a和第二连杆10223b，其中第一连杆10223a直接联接到插管10202。因此，可选择性展开的稳定构件10206可从未展开状态移动至展开状态(图24)。

在使用中，当处于展开状态(图24)时，可选择性展开的稳定构件10206被构造成能够联接到锚定构件10204。此联接为通过插管10202插入的第一器械10220提供了锚定点。由于第一器械10220包括柔性轴10222，锚定点允许第一器械10220在结肠腔10210内相对于插管10202枢转地移动。

可选择性展开的稳定构件10206可以多种方式联接到锚定构件10204。例如，在某些实施方案中，锚定构件10204可包括磁体10226，该磁体被构造成能够当可选择性展开的稳定构件10206处于展开状态时将可选择性展开的稳定构件10206联接到锚构件10204。在其他实施方案中，可使用任何其他合适的联接机构。

此外，可通过插管10202(例如，通过插管的一个或多个管腔)插入额外的器械或装置。例如，如图24所示，第一窥镜装置10228可插入并穿过插管10202，使得第一窥镜装置10228的第一部分存在于腹腔(例如，腔外解剖空间)中，并且第一窥镜装置10228的在第一部分远侧的第二部分定位在结肠腔(例如，腔内解剖空间)中。

在其他实施方案中，机器人可操纵和可锁定的插管可用于使用腹腔镜入路将腔内器械引入腔内解剖空间中。例如，如图25所示，机器人可操纵和可锁定的插管10300可插入穿过第一套管针10302并且进入腔外解剖空间10304(例如，腹腔)。第一套管针10302联接到第一机器人臂10306。如进一步示出的，第一器械10308可联接到第二机器人臂10310并且插入穿过第一套管针10302。第一器械10308可进一步插入穿过机器人可操纵且可锁定的插管10300，使得第一器械10308的远侧端部10310延伸穿过插管10300的远侧端部10312。结果，第一器械10308在结构上由插管10300的可操纵且可锁定的远侧端部10302引导和支撑。插管10300的移动(例如，通过第一机器人臂10306)可因此引导第一器械10308的远侧端部10312穿过在器官10316中形成的切口10314并且进入器官腔10318中，并且第二机器人臂10310的移动可导致第一器械10308的远侧端部10312在器官腔10318内相对于插管10300的远侧端部10312移动。

具有腔内和腔外协作器械的外科系统

本文提供的用于多源成像的装置、系统和方法允许协作式外科可视化。一般来讲，在协作式外科可视化中，各自收集外科部位的图像的第一成像系统和第二成像系统(例如，第一窥镜装置和第二窥镜装置)被配置为能够协作以提供外科部位的增强的成像。协作式外科可视化可改善外科部位处的患者解剖结构的可视化和/或改善对外科部位处的外科器械的控制。

在某些实施方案中，外科系统被构造成能够成布置在两个独立的解剖区域内，用于进行一个或多个外科任务。外科可视化系统可允许关键结构(例如，病变组织、解剖结构、外科器械等)的术中识别。因此，外科可视化系统可实现增强的术中决策制定和改善的外科结果。外科可视化系统可提供高级可视化能力，超出执业医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给执业医生的内容。外科可视化系统可以增强和加强医疗从业者在组织治疗(例如，解剖等)之前能够知道的信息，并且因此可在各种情况下改善结果。因此，执业医生知道外科可视化系统正在跟踪例如可在切开期间接近的关键结构，可在整个外科手术中确信地保持动力。外科可视化系统可在足够长的时间内向执业医生提供指示，以使执业医生暂停和/或减慢外科手术并评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向执业医生提供理想的、优化的和/或可定制的信息量，以允许执业医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结配置成意外损坏，并因此最小化由外科手术引起的伤害风险。

一般而言，本文提供的外科系统一般包括：第一窥镜装置，该第一窥镜装置被构造成能够定位在腔内解剖空间和腔外解剖空间两者中并且传输在其视场内的第一场景的图像数据；第二窥镜装置，该第二窥镜装置被构造成能够插入腔外解剖空间中并且传输在其视场内的第二不同场景的图像数据；以及控制器，该控制器被配置为能够接收所传输数据并且确定第一窥镜装置与第二窥镜装置之间的相对距离以提供合并图像。合并图像可以是单个场景中的至少第一窥镜装置和第二窥镜装置的至少一部分，并且合并图像中的第一窥镜装置和第二窥镜装置中的至少一者是其代表性描绘。因此，合并图像可由此提供外科部位的两个独立的视角，这可方便地允许执业医生仅查看一个显示器而不是多个显示器。另外，在该一个显示器内，合并图像允许执业医生协调布置在外科部位处或其附近的至少第一窥镜装置的相对位置和/或取向。在某些实施方案中，外科系统可包括跟踪装置，该跟踪装置与第一窥镜装置或第二窥镜装置中的一者相关联，并且被配置为能够传输指示第一窥镜装置或第二窥镜装置中的一者相对于第一窥镜装置或第二窥镜装置中的另一者的位置的信号。

本文提供的外科系统还可用于各种机器人外科系统，诸如上文所讨论的那些，并且可结合有各种跟踪和/或成像机构，诸如电磁(EM)跟踪尖端、光纤布拉格光栅、虚拟标签、基准标记、探头的使用、已知解剖结构的识别、各种3D扫描技术(诸如使用结构光)、先前讨论的各种传感器和/或成像系统等，以帮助跟踪器械、内窥镜和腹腔镜相对于彼此和/或相对于整个系统的移动。跟踪机构可被配置为能够从腹腔镜和内窥镜两者传输跟踪数据，使得可确定任一窥镜相对于另一窥镜的位置。另外，任一窥镜装置的视场内的关键结构(例如，病变组织、外科器械、解剖结构)可由在其视场内具有此类关键结构的窥镜跟踪。总之，本文的外科系统可跟踪每个窥镜的视场内的对象以及每个窥镜的相对位置。因此，跟踪数据的整体允许系统基于由另一个窥镜收集的跟踪数据来计算关键结构距在其视场中不具有关键结构的窥镜的距离。

在一个示例性实施方案中，外科系统还包括第一器械和第二器械。第一器械被构造成能够插入并穿过腔外解剖空间且进入腔内解剖空间，使得第一器械存在于腔外解剖空间和腔内解剖空间两者中。第二器械被构造成能够插入腔外解剖空间中。

此外，在一些实施方案中，成像系统(例如，相机)可被布置在第一窥镜装置的第二部分上并且被配置为能够传输第一窥镜装置的视场内的场景的图像数据。另选地或另外，成像系统(例如，相机)可被布置在第二窥镜装置上并且被配置为能够传输第二窥镜装置的视场内的场景的图像数据。这可允许在腔外解剖空间中工作的器械与在腔内解剖空间中工作的器械之间的协作可视化，并且进一步使得器械能够在单个外科部位上一起协作工作。

在各种实施方案中，本文提供的外科系统包括控制器。外科系统、控制器、显示器和/或各种器械、内窥镜和腹腔镜也可结合到多个不同的机器人外科系统中并且/或者可以是外科集线器的一部分，诸如上文讨论的任何系统和外科集线器。控制器通常被配置为能够合并分别来自内窥镜和腹腔镜的第一场景和第二场景，以在视觉上创建第一场景与第二场景之间的合并图像。控制器被配置为能够接收上文详细描述的跟踪数据，并且与第一场景和第二场景结合地生成合并图像，该合并图像包含对至少内窥镜或腹腔镜的代表性描绘以及在视觉上被组织壁遮挡的窥镜的视场内的任何结构。例如，如果合并图像来自内窥镜的视角，则合并图像是内窥镜正在观察的实时图像流，同时包括腹腔镜布置外科器械和腹腔镜(如果存在的话)的取向和位置的叠加。

在使用期间，通常，第一窥镜装置窥镜的第一部分被插入腔外解剖空间中，并且第一窥镜装置的第二部分(例如，在第一部分远侧的部分)被插入腔内解剖空间中。此外，第二窥镜装置被插入腔外解剖空间中。此外，第一器械插入并穿过腔外解剖空间并且进入腔内解剖空间，使得第一器械存在于腔外解剖空间和腔内解剖空间两者中。例如，第一器械可插入穿过第一窥镜装置的工作通道以将第一器械定位在两个空间内。此外，该第二器械被插入该腔外解剖空间中。该第二器械可在插入该第一装置窥镜或插入该第一器械之前、同时或之后插入该腔外解剖空间中。

示例性外科系统可包括多种特征部，如本文所述和附图中所示。然而，本领域的技术人员将理解，外科系统可仅仅包括这些特征部中的一些和/或其可包括本领域已知的多种其他特征部。本文所述的外科系统仅仅旨在表示某些示例性实施方案。此外，虽然外科系统是结合结肠来示出和描述的，但本领域的技术人员将理解，这些外科系统可结合任何其他合适的体腔或器官来使用。

图26示出具有第一窥镜装置10412和第二窥镜装置10414的外科系统10400的示例性实施方案，该第一窥镜装置和第二窥镜装置用于位于结肠10402中的部分组织壁厚肿瘤10401的外科切除。为了简单起见，外科系统10400的某些部件未例示。

第一窥镜装置10412包括具有延伸穿过其中的第一工作通道10424和第二工作通道10426的柔性主体10422和在该柔性主体的远侧端部处的第一成像系统10428(例如，相机)。柔性主体10422可由任何合适的柔性材料形成。

在使用期间，第一窥镜装置10412的近侧端部联接到第一机器人臂10430，并且第一器械10432联接到第二机器人臂10434。第一窥镜装置10412通过第一套管针10436插入腹腔10405(例如，腔外解剖空间)中。第一套管针10436联接到机器人臂10438。第一窥镜装置10412进一步插入穿过密封端口10440的管腔，其中密封端口10440布置在结肠10402的壁10406内，并且进入结肠腔10407(例如，腔内解剖空间)。第一窥镜装置10412可插入并穿过第一套管针10436和密封端口10440，使得第一窥镜装置10412的第一部分10412a存在于腹腔10405(例如，腔外解剖空间)中，并且第一窥镜装置10412的在第一部分10412a远侧的第二部分10412b定位在结肠腔10407(例如，腔内解剖空间)中。在一些实施方案中，密封端口10440可被省略，使得第一窥镜装置10412通过在结肠壁10402a中形成的切口直接插入。

如图所示，第一窥镜装置10412具有存在于腹腔10405内的第一部分10412a和在第一部分10412a的远侧并且存在于结肠腔10407内的第二部分10412b。即，第一窥镜装置10412被设计成通过腹腔镜入路引入到结肠10402中。在插入第一窥镜装置10412的第二部分10412b之前或之后，密封夹10409a和10409b可定位在结肠10402的吹气区域的相对端部上。

在一些实施方案中，第一窥镜装置10412的第一部分10412a可由马达壳体10421内的一个或多个工具驱动器(未示出)驱动，该马达壳体定位在机器人臂10438与第一套管针10436之间。

如图26中进一步所示，一旦第一窥镜装置10412的第二部分10412b定位在结肠腔10407内，第一器械10432就可插入穿过第一窥镜装置10412的第一工作通道10424，使得第一器械的远侧端部定位在结肠腔10407内。因此，第一器械10432存在于腹腔(例如，腔外解剖空间)和结肠腔10407(例如，腔内解剖空间)两者内。一旦插入，第一器械10432的端部执行器10433可与肿瘤10401相互作用，以便随后移除。虽然端部执行器10433可具有多种构型，但在该例示的实施方案中，端部执行器10433为一组可移动钳口的形式。在一些实施方案中，第一工作通道10424和第二工作通道10426中的至少一者被构造成能够允许器械的互换而不损害第一窥镜装置10412在腹腔10405和结肠腔10407中的至少一者内的定位。这也可维持第一成像系统10428的视场。

外科系统10400还包括控制器10470，该控制器通信地联接到内窥镜10412和腹腔镜10414并且被配置为能够分别从第一光学传感器10428和第二光学传感器10458接收第一场景和第二场景的所传输图像数据。在一些实施方案中，控制器10470还通信地联接到分别布置在内窥镜10412和腹腔镜10414内的第一跟踪装置10482和第二跟踪装置10484，并且被配置为能够从第一跟踪装置和第二跟踪装置接收所传输信号。控制器10470被配置为能够一旦接收到所传输信号就至少确定内窥镜10412与腹腔镜10414之间的相对距离。在某些实施方案中，控制器10470还可被配置为能够确定内窥镜10412与腹腔镜10414之间的相对取向。

如图26中进一步所示，第二窥镜装置10414以腹腔镜方式布置在腹腔10405内。第二窥镜装置包括具有延伸穿过其中的第三工作通道10454和第四工作通道10456的柔性主体10452和在该柔性主体的远侧端部处的第二成像系统10458(例如，相机)。柔性主体10452可由任何合适的柔性材料形成。

第二窥镜装置10414通过布置在腹壁10403内的第二套管针10466插入腹腔10405(例如，腔外解剖空间)中。第二套管针10466联接到第二机器人臂10468。第二窥镜装置10414被插入并定位在腹腔10405(例如，腔外解剖空间)中。在一些实施方案中，第二窥镜装置10414的柔性主体10452可由马达壳体10451内的一个或多个工具驱动器(未示出)驱动，该马达壳体定位在第二机器人臂10468与第二套管针10466之间。

如图所示，在使用期间，第二窥镜装置10414的近侧端部联接到第一机器人臂10460，并且第二器械10462联接到第二机器人臂10464。第二器械10462延伸进入并穿过第三工作通道10454并且进入腹腔10405(例如，腔外解剖空间)。虽然第二器械10462可具有多种构型，但在该所例示实施方案中，第二器械10462具有细长轴10462a，该细长轴在其远侧端部处具有端部执行器10463。在一些实施方案中，第二器械10462被构造成能够帮助从腹腔10405(例如，腔外解剖空间)操纵结肠10402，以便将第一器械10432布置在结肠腔10407(例如，腔内解剖空间)中。此外，第二器械10462的端部执行器10463可与结肠10402相互作用，以帮助稳定结肠10402，从而移除肿瘤10401。虽然端部执行器10463可具有多种构型，但在该例示的实施方案中，端部执行器10463为一组可移动钳口的形式。在一些实施方案中，端部执行器10463可用于在结肠腔10407内形成密封(例如，通过夹紧结肠10402)。

如图26所示，基准标记10480可布置在内窥镜10412的第一部分10412a上。基准标记10480在腹腔镜10414的光学传感器10458的视场内。基准标记10480固定在内窥镜10412的第一部分的外表面上，使得内窥镜10412的第二部分10412b的位置可通过光学传感器10458对基准标记10480的可视化来确定。基于来自识别基准标记10480的光学传感器10458的所传输图像数据，控制器10470被配置为能够向显示器提供合并图像，例如在外壳系统10400的第一显示器10471、第二显示器10472或两者上。在该合并图像中，内窥镜10412和腹腔镜10414中的至少一者是其代表性描绘。进一步讨论磁性基准标记和在检测位置中使用磁性基准标记的多种实施方案，例如在2021年9月29日提交的名称为“Surgical Devices,Systems,and Methods for Control of One Visualization with Another”的美国临时专利申请号63/249,658中。

在一些实施方案中，基准标记是可被视觉识别的物理符号。在其他实施方案中，基准标记可以是发光装置或电磁体发射装置，其可由腹腔镜识别以便跟踪内窥镜。另外，可在内窥镜的第一部分的外表面上布置多个基准标记，其中腹腔镜的光学传感器可识别哪些基准标记在腔外空间内。

第一显示器10471和第二显示器10472可被配置成多种构型。例如，在一些实施方案中，第一显示器可被配置为能够显示第一场景并且第二显示器可被配置为能够显示第二场景，并且第一显示器、第二显示器或两者可被进一步配置为能够显示合并图像。在另一实施方案中，外科系统10400可包括可用于显示合并图像的第三显示器10473，并且第一显示器10471和第二显示器10472仅用于分别显示来自光学传感器10428、10458的所传输图像数据，而无需任何修改。在该实施方案中，外科医生可在第一显示器10471和第二显示器10472上访问来自内窥镜10412和腹腔镜10414两者的实时场景，同时还可在第三显示器10473上访问合并图像。

如上所述，内窥镜10412包括第一光学传感器10428。第一光学传感器10428被配置为能够向控制器10470传输内窥镜10412的视场内的第一场景的图像数据。在该例示的实施方案中，肿瘤10401和外科器械10432布置在内窥镜10412的视场内。在一些实施方案中，内窥镜10412与腹腔镜10414之间的相对距离可通过使用投射到第一部分10412a和基准标记10480上(例如，经由照明元件)并且由第二光学传感器10458跟踪的结构光来确定。此外，在一些实施方案中，基于内窥镜10412与腹腔镜10414之间所确定相对距离以及内窥镜10412与肿瘤10401之间所确定的相对距离，控制器可计算腹腔镜10414与肿瘤10401之间的相对距离。

另外，腹腔镜10414包括第二光学传感器10458。第二光学传感器10458被配置为能够向控制器10470传输腹腔镜10414的视场内的第二场景的图像数据。外科器械10462被布置在腹腔镜10414的视场内。因此，控制器10470可基于所传输图像数据来确定外科器械10462与外科器械10432之间的相对距离。

图26a示出了合并图像的示例性实施方案。合并图像示出了腹腔镜10414的视场内的实时第二场景和结肠10402的内窥镜侧的一部分(例如，肿瘤10401和/或内窥镜10412)的重叠代表性描绘。基于结合基准标记10480的第二场景的所传输图像数据，控制器10470可从腹腔镜10414的视角提供合并图像，其中内窥镜10412和肿瘤10401被示出为实时对应于它们在腔内空间中的位置的代表性描绘。在例示的实施方案中，代表性描绘以对应肿瘤10401和内窥镜10412的虚线轮廓示出。然而，可使用其他形式的代表性描绘，诸如简单的几何形状来表示腔内空间内的非视觉器械和解剖结构。

另选地或另外，控制器10470可从内窥镜10412的视角生成合并图像。例如，在图26b中，合并图像例示了内窥镜10412的视场内的实时第一场景以及结肠10402的腹腔镜侧的一部分(例如，腹腔镜10414和/或外科器械10462)的重叠代表性描绘。本领域的技术人员将理解，如本文所用的短语“代表性描绘”是指在来自相机的实际描绘上的虚拟覆盖，其中该虚拟覆盖对应于布置在相机的视场内但由于障碍物被布置在相机与对象之间而对相机不可见的对象的位置和取向，并且如本文所用的短语“实际描绘”是指来自相机的未经修改的实时图像或视频流。基于光学传感器10428与基准标记10480相结合的所传输图像数据，控制器10470可以从内窥镜10412的视角提供合并图像，其中腹腔镜10414和外科器械10462示出为实时对应于它们在腔外空间中的位置的代表性描绘。在例示的实施方案中，代表性描绘以腹腔镜10414和外科器械10462的虚线轮廓示出。然而，可使用其他形式的代表性描绘，诸如简单的几何形状来表示腔内空间内的非视觉器械和解剖结构。

在某些实施方案中，可协调腔内空间和腔外空间两者中的器械之间的移动，因为这两组器械可被另一组器械可视化。例如，协作性缺陷修复(例如，缝合切口)可通过用器械从腹腔镜侧插入针钩，并且将针钩传递到腔内空间中来实现，其中移内窥镜方式布置的器械可抓住钩针。钩针然后可穿过结肠返回到腔外空间，重复该过程直到切口缝合闭合。

在其他实施方案中，可以通过基于时间的方法来跟踪内窥镜和腹腔镜相对于彼此的位置。一旦窥镜装置不能在视觉上彼此识别，则该时间点可成为参考点。可记录机器人臂对每个窥镜装置的移动，并且当窥镜装置在解剖空间内移动时，可随时间确定每个窥镜装置的位置。

用于独立地对两个独立解剖空间吹气的外科系统

在某些实施方案中，外科系统被构造成能够独立地对两个独立解剖区域进行吹气以用于进行一个或多个外科任务。一般而言，本外科系统包括：第一进入端口，该第一进入端口被构造成能够提供进入第一腔(例如，腔外解剖空间)并且使得能够对第一腔进行吹气；和第二进入端口，该第二进入端口被构造成能够提供进入单独腔(例如，腔内解剖空间)并且使得能够通过第一腔对单独腔进行吹气。这可为不同的器械提供单独的解剖工作体积，并且进一步使得这些不同的器械能够在单个外科部位上一起工作。

在一个示例性实施方案中，外科系统通常可包括：第一窥镜装置，该第一窥镜装置被构造成能够定位在腔内解剖空间和腔外解剖空间两者中；和第二窥镜装置，该第二窥镜装置被构造成能够插入腔外解剖空间中。第一窥镜装置具有第一吹气端口(例如，流体端口)，该第一吹气端口可操作地联接到第一窥镜装置并且被构造成能够将腔内解剖空间吹气到第一吹气空间中，并且第二窥镜装置具有第二吹气端口(例如，流体端口)，该第二吹气端口可操作地联接到第二窥镜装置并且被构造成能够将腔外解剖空间吹气到第二吹气空间中。因此，第一吹气空间和第二吹气空间两者均被独立地加压，并且因此产生以提供用于不同器械的单独的工作体积。

外科系统还包括第一器械和第二器械。第一器械被构造成能够插入并穿过腔外解剖空间且进入腔内解剖空间，使得第一器械存在于腔外解剖空间和腔内解剖空间两者中。第二器械被构造成能够插入腔外解剖空间中。

在一些实施方案中，外科系统可包括密封端口，该密封端口布置在将腔外解剖空间与腔内解剖空间分开的组织壁中。在某些实施方案中，密封端口被构造成能够允许第一窥镜装置的第二部分进入腔内解剖空间。

此外，在一些实施方案中，成像系统(例如，相机)可被布置在第一窥镜装置的第二部分上并且被配置为能够传输第一窥镜装置的视场内的场景的图像数据。另选地或另外，成像系统(例如，相机)可被布置在第二窥镜装置上并且被配置为能够传输第二窥镜装置的视场内的场景的图像数据。这可允许在腔外解剖空间中工作的器械与在腔内解剖空间中工作的器械之间的协作可视化，并且进一步使得器械能够在单个外科部位上一起协作工作。此外，当在特定手术任务或步骤或整个外科程序期间可能需要对第一吹气区域、第二吹气空间或两者进行调整时，可使用协作可视化。成像系统可包括多个相机，外科医生可以使用这些相机来实现在患者体内的外科治疗部位上的更好的透视。

在使用期间，通常，第一窥镜装置窥镜的第一部分被插入腔外解剖空间中，并且第一窥镜装置的第二部分(例如，在第一部分远侧的部分)被插入腔内解剖空间中。此外，第二窥镜装置被插入腔外解剖空间中。在插入第一窥镜装置之前、同时或之后，第一吹气端口可用于将腔内解剖空间吹气至第一压力，从而产生第一吹气空间。此外，在插入第一装置窥镜、对腔内解剖空间吹气和/或插入第二装置窥镜之前、同时或之后，可以经由第二吹气端口将腔外解剖空间吹气至第二压力，从而产生第二吹气空间。

此外，第一器械插入并穿过腔外解剖空间并且进入腔内解剖空间，使得第一器械存在于腔外解剖空间和腔内解剖空间两者中。例如，第一器械可插入穿过第一窥镜装置的工作通道以将第一器械定位在两个空间内。第一器械可在对腔内解剖空间、腔外空间或两者进行吹气之前、同时或之后插入。此外，该第二器械被插入该腔外解剖空间中。第二器械可在插入第一装置窥镜、插入第一器械、对腔内解剖空间吹气或对腔外空间吹气之前、同时或之后插入腔外解剖空间中。

示例性外科系统可包括多种特征部，如本文所述和附图中所示。然而，本领域的技术人员将理解，外科系统可仅仅包括这些特征部中的一些和/或其可包括本领域已知的多种其他特征部。本文所述的外科系统仅仅旨在表示某些示例性实施方案。此外，虽然外科系统是结合结肠来示出和描述的，但本领域的技术人员将理解，这些外科系统可结合任何其他合适的体腔或器官来使用。

图27示出具有第一窥镜装置10512和第二窥镜装置10514的外科系统10500的示例性实施方案，该第一窥镜装置和第二窥镜装置用于位于结肠10502中的部分组织壁厚肿瘤10501的外科切除。为了简单起见，外科系统10500的某些部件未例示。

第一窥镜装置10512包括具有延伸穿过其中的第一工作通道10524和第二工作通道10526的柔性主体10522和在该柔性主体的远侧端部处的第一成像系统10528(例如，相机)。柔性主体10522可由任何合适的柔性材料形成。

在使用期间，第一窥镜装置10512的近侧端部联接到第一机器人臂10530，并且第一器械10532联接到第二机器人臂10534。第一窥镜装置10512通过第一套管针10536插入腹腔10505(例如，腔外解剖空间)中。第一套管针10536联接到机器人臂10538。第一窥镜装置10512进一步插入穿过密封端口10540的管腔，其中密封端口10540布置在结肠10502的壁10506内，并且进入结肠腔10507(例如，腔内解剖空间)。第一窥镜装置10512可插入并穿过第一套管针10536和密封端口10540，使得第一窥镜装置10512的第一部分10512a存在于腹腔10505(例如，腔外解剖空间)中，并且第一窥镜装置10512的在第一部分10512a远侧的第二部分10512b定位在结肠腔10507(例如，腔内解剖空间)中。在一些实施方案中，密封端口10540被构造成能够在吹气程序期间防止结肠腔10507的内容物逸出到腹腔10505中。在其他实施方案中，密封端口10540可被省略，使得第一窥镜装置10512通过在结肠壁10502a中形成的切口直接插入。

如图所示，第一窥镜装置10512具有存在于腹腔10505内的第一部分10512a和在第一部分10512a的远侧并且存在于结肠腔10507内的第二部分10512b。即，第一窥镜装置10512被设计成通过腹腔镜入路引入到结肠10502中。在插入第一窥镜装置10512的第二部分10512b之前或之后，密封夹10509a和10509b可定位在结肠10502的吹气区域的相对端部上。

第一窥镜装置10512包括第一吹气端口10523，其被构造成能够在将任何设备或器械插入结肠腔10507中之前或同时对结肠腔10507进行吹气。在该例示实施方案中，第一吹气端口10523与第一窥镜装置10512的第二工作通道10526流体连通。因此，第一吹气端口10523可用于控制流体进入和离开该结肠腔10507以便对该结肠腔10507进行吹气或除气。虽然未示出，但是第一吹气端口10523连接到流体系统。流体系统可包括泵和流体贮存器。泵产生将流体推入并且膨胀(例如，加压)结肠腔10507的压力，并且产生从结肠腔10507抽吸流体以便使结肠腔10507放气(例如，减压)的吸力。流入或流出结肠腔10507的流体可为任何合适的流体(例如，生理盐水、二氧化碳气体等)。在其他实施方案中，可以使用任何其他合适的吹气机构和装置对结肠腔10507进行吹气和除气。

在一些实施方案中，第一窥镜装置10512的第一部分10512a可由马达壳体10521内的一个或多个工具驱动器(未示出)驱动，该马达壳体定位在机器人臂10538与第一套管针10536之间。

如图27中进一步所示，一旦第一窥镜装置10512的第二部分10512b定位在结肠腔10507内，第一器械10532就可插入穿过第一窥镜装置10512的第一工作通道10524，使得第一器械的远侧端部定位在结肠腔10507内。因此，第一器械10532存在于腹腔(例如，腔外解剖空间)和结肠腔10507(例如，腔内解剖空间)两者内。一旦插入，第一器械10532的端部执行器10533可与肿瘤10501相互作用，以便随后移除。虽然端部执行器10533可具有多种构型，但在该例示的实施方案中，端部执行器10533为一组可移动钳口的形式。在一些实施方案中，第一工作通道10524和第二工作通道10526中的至少一者被构造成能够允许器械的互换而不损害第一窥镜装置10512在腹腔10505和结肠腔10507中的至少一者内的定位。这也可维持第一成像系统10528的视场。

在一些实施方案中，第一窥镜装置10512可被构造成能够在结肠腔10507内产生密封。例如，如图27中所示，第一窥镜装置10512包括定位在第一窥镜装置10512的远侧端部处或附近的密封元件10531。虽然密封元件10531可具有多种构型，但是在该例示的实施方案中，密封元件10531是围绕第一窥镜装置10512定位的可膨胀环形环的形式。当第一窥镜装置10512前进通过腹腔10505并且进入结肠腔10507中时，密封元件10531处于放气状态。一旦在结肠腔10507中，密封元件10531可被充气，从而在其接合结肠10502的内组织壁时产生密封。此外，在某些实施方案中，当处于膨胀状态时，密封元件10531还可用作第一窥镜装置10512在结肠腔10507内的固定点。

如图27中进一步所示，第二窥镜装置10514以腹腔镜方式布置在腹腔10505内。第二窥镜装置包括具有延伸穿过其中的第三工作通道10554和第四工作通道10556的柔性主体10552和在该柔性主体的远侧端部处的第二成像系统10558(例如，相机)。柔性主体10552可由任何合适的柔性材料形成。

第二窥镜装置10514通过布置在腹壁10503内的第二套管针10566插入腹腔10505(例如，腔外解剖空间)中。第二套管针10566联接到第二机器人臂10568。第二窥镜装置10514被插入并定位在腹腔10505(例如，腔外解剖空间)中。第二套管针10566包括第二吹气端口10567，该第二吹气端口被构造成能够在将任何装置或器械插入腹腔10105中之前或同时对腹腔10105进行吹气。在该例示的实施方案中，第二吹气端口10567与第四工作通道10556流体连通。因此，第二吹气端口10567可用于控制流体进入和离开腹腔10505，以便对腹腔10505进行吹气或除气。虽然未示出，但是第二吹气端口10567连接到流体系统。流体系统可包括泵和流体贮存器。泵产生将流体推入腹腔10105并且使其膨胀(例如，加压)的压力，并且产生从腹腔10105抽吸流体以便使腹腔10105放气(例如，减压)的吸力。流入或流出腹腔10105的流体可为任何合适的流体(例如，生理盐水、二氧化碳气体等)。在其他实施方案中，可使用任何其他合适的吹气机构和装置对腹腔10105进行吹气和除气。

在一些实施方案中，第二窥镜装置10514的柔性主体10552可由马达壳体10551内的一个或多个工具驱动器(未示出)驱动，该马达壳体定位在第二机器人臂10568与第二套管针10566之间。

如图所示，在使用期间，第二窥镜装置10514的近侧端部联接到第一机器人臂10560，并且第二器械10562联接到第二机器人臂10564。第二器械10562延伸进入并穿过第三工作通道10554并且进入腹腔10505(例如，腔外解剖空间)。虽然第二器械10562可具有多种构型，但在该所例示实施方案中，第二器械10562具有细长轴10562a，该细长轴在其远侧端部处具有端部执行器10563。在一些实施方案中，第二器械10562被构造成能够帮助从腹腔10505(例如，腔外解剖空间)操纵结肠10502，以便将第一器械10532布置在结肠腔10507(例如，腔内解剖空间)中。此外，第二器械10562的端部执行器10563可与结肠10502相互作用，以帮助稳定结肠10502，从而移除肿瘤10501。虽然端部执行器10563可具有多种构型，但在该例示的实施方案中，端部执行器10563为一组可移动钳口的形式。在一些实施方案中，端部执行器10563可用于在结肠腔10507内形成密封(例如，通过夹紧结肠10502)。

在使用中，结肠腔10507经由通过第一吹气端口10523和第二工作通道10526进入的流体被加压到第一压力。另外，腹腔10505经由通过第二吹气端口10567和第四工作通道10556进入的流体被加压到第二压力。在一些实施方案中，第一压力不同于第二压力。另选地，第一压力和第二压力可相同。

可独立地调节第一压力和第二压力以改变腹腔10505、结肠腔10507或两者内的工作体积空间。例如，可通过增加腹腔10505中的压力、降低结肠腔10507中的压力或两者来增加腹腔10505内的工作体积空间。类似地，可通过降低腹腔10505中的压力、增加结肠腔10507中的压力或两者来减小腹腔10505内的工作体积空间。此外，可通过增加结肠腔10507中的压力来增加结肠腔10507内的工作体积空间，并且可通过降低结肠腔10507中的压力来减小结肠腔10507内的工作体积空间。

虽然未例示，但是第一成像系统10528和第二成像系统10558连接到提供外科手术部位的快照和/或实况视频馈送的一个或多个显示器。例如，显示器上的快照和/或实况视频馈送可允许执业医生从多个角度观察外科部位并且接近。因此，第一成像系统10528和第二成像系统10558可向执业医生提供信息，该信息可用于确定针对特定外科任务或步骤或贯穿整个外科程序的第一器械和第二器械的有效工作体积空间，以及需要对第一吹气空间、第二吹气空间或两者进行什么调整(如果有的话)。

本文所公开的外科系统可设计为单次使用后丢弃，或可设计为多次使用。然而无论是哪种情况，外科系统都可在至少使用一次之后经过修复再行使用。修复可包括拆卸外科装置、之后清洁或更换特定零件以及后续重新组装的步骤的任何组合。具体地，可拆卸该外科系统，并且可任意组合选择性地更换或去除外科系统的任何数量的特定零件或配件。在清洁和/或更换特定配件后，可对外科系统进行重新组装，以便随后在修复设施处使用或就在外科手术之前由手术团队使用。本领域的技术人员将理解，对外科装置进行修复可利用各种技术来进行拆卸、清洁/更换和重新组装。此类技术的使用以及所得的修复器械均在本申请的范围内。

此外，在本公开中，各实施方案中名称相似的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每个名称相似的部件的每个特征部。另外，在所公开的系统、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类系统、装置和方法使用的形状的类型。本领域中技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。系统和装置及其部件的大小和形状可至少取决于系统和装置将用于其中的受治疗者的解剖结构、系统和装置将与其一起使用的部件的大小和形状、以及系统和装置将用于其中的方法和手术。

应当理解，本文相对于抓握器械柄部的用户诸如临床医生来使用术语“近侧”和“远侧”。应当理解，本文分别使用术语“近侧”和“远侧”指的是分别被构造成能够安装到机器人上的手术器械的顶端(例如，在使用过程中离手术部位最远的端部)和底端(例如，在使用过程中离手术部位最近的端部)。诸如“前”和“后”的其他空间术语分别类似地对应于远侧和近侧。还应当理解，为便利和清楚起见，本文结图示使用空间用语诸如“竖直”和“水平”。然而，外科器械在许多取向和位置上使用，并且这些空间术语并非限制性和绝对的。

在本文中，值或范围可表示为“约”和/或从“约”一个特定值至另一个特定值。当表示此类值或范围时，所公开的其他实施方案包括所列举的特定值和/或从一个特定值到另一个特定值。类似地，当通过使用先行词“约”将值表示为近似值时，应当理解，本文公开了许多值，并且特定值形成另一个实施方案。还应当理解，其中公开了许多值，并且每个值在本文中也被公开为除了值本身之外的“约”该特定值。在实施方案中，“约”能够用于表示例如在所列举值的10％内，在所列举值的5％内或所列举值的2％内。

为了描述和限定本教导内容，注意除非另外指明，否则本文使用术语“基本上”来表示可表征任何定量的比较、值、测量、或其他表示的固有的不确定度。术语“基本上”在本文中也可用来表示定量表示可相对于所声明的参考发生变化而不会导致所关注的主题的基本功能发生变化的程度。

根据上述实施方案，本领域的技术人员将会认识到本发明的另外的特征和优点。因此，本发明不应受到已具体示出和描述内容的限制，除非所附权利要求有所指示。本文引用的所有出版物和参考文献全文明确地以引用方式并入本文。以引用方式全文或部分地并入本文的任何专利、公布或信息均仅在所并入的材料不与本文中阐述的现有定义、陈述或其他公开材料冲突的范围内。同样地，本申请明确阐述的公开内容取代了以引证方式并入本申请的任何冲突材料。

Claims (23)

1.一种外科系统，所述外科系统包括：

第一窥镜装置，所述第一窥镜装置具有第一部分和第二部分，所述第一部分被构造成能够部分地插入腔外解剖空间中并且定位在腔外解剖空间内，所述第二部分在所述第一部分的远侧并且被构造成能够定位在腔内解剖空间内，所述第一窥镜装置被配置为能够传输所述第一窥镜装置的视场内的第一场景的图像数据；

第二窥镜装置，所述第二窥镜装置被构造成能够至少部分地插入所述腔外解剖空间并且设置在所述腔外解剖空间内，并且能够传输所述第二窥镜装置的视场内的第二场景的图像数据，所述第二场景不同于所述第一场景，其中，所述第一器械的所述第一部分的至少一部分存在于所述第二窥镜装置的所述视场内，从而相对于所述第二窥镜装置跟踪所述第一窥镜装置；和

控制器，所述控制器被配置为能够接收所传输的所述第一场景和所述第二场景的图像数据，能够确定从所述第一窥镜装置的位于所述腔内解剖空间内的所述第二部分到腔外空间内的所述第二窥镜装置的相对距离，并且能够在单个场景中提供所述第一窥镜装置和所述第二窥镜装置的至少一部分的合并图像，其中，所述合并图像中的所述第一窥镜装置和所述第二窥镜装置的一部分中的至少一者是所述至少一者的代表性描绘。

2.根据权利要求1所述的外科系统，其中，所述第一窥镜装置和所述第二窥镜装置的一部分在所述合并图像中各自被示出为所述一部分的代表性描绘。

3.根据权利要求1或权利要求2所述的外科系统，其中，所述第一窥镜装置和所述第二窥镜装置中的至少一者的至少一部分在所述合并图像中被示出为所述至少一部分的实际描绘。

4.根据权利要求1至3中任一项所述的外科系统，所述外科系统还包括被配置为能够显示所述第一场景的第一显示器和被配置为能够显示所述第二场景的第二显示器。

5.根据权利要求4所述的外科系统，其中，所述第一显示器和所述第二显示器中的至少一者被进一步配置为能够显示所述单个场景。

6.根据权利要求4所述的外科系统，其中，所述外科系统还包括被配置为能够显示所述单个场景的第三显示器。

7.根据任一前述权利要求所述的外科系统，其中，所述第一场景不包括所述第二窥镜装置，并且其中，所述第二场景不包括所述第一窥镜装置的第二区段。

8.根据任一前述权利要求所述的外科系统，其中，所述第一窥镜装置包括柔性主体，所述柔性主体具有延伸穿过所述柔性主体的工作通道，所述工作通道被构造成能够允许器械的远侧端部插入并且穿过所述腔外空间并且进入所述腔内空间中，使得所述器械存在于所述腔外空间和所述腔内空间两者中。

9.根据权利要求8所述的外科系统，其中，所述第二场景不包括所述器械的所述远侧端部。

10.根据任一前述权利要求所述的外科系统，其中，所述第一窥镜装置包括设置在所述第一窥镜装置的所述第一部分上的基准标记。

11.根据权利要求10所述的外科系统，其中，所述控制器被配置为能够基于所述基准标记来跟踪所述第一窥镜装置的所述第二部分。

12.一种方法，所述方法包括：

在第一窥镜装置的第一区段被定位在腔外解剖空间内并且所述第一窥镜装置的在所述第一区段远侧的第二区段被定位在腔内解剖空间内时，由所述第一窥镜装置传输所述第一窥镜装置的视场内的第一场景的图像数据；

当第二窥镜装置被定位在所述腔外空间内时，由所述第二窥镜装置传输所述第二窥镜装置的视场内的第二场景的图像数据，所述第二场景不同于所述第一场景；

由控制器接收所传输的所述第一场景和所述第二场景的图像数据；

由所述控制器确定从所述第一窥镜装置的位于所述腔内解剖空间内的所述第二区段到所述腔外空间内的所述第二窥镜装置的相对距离；以及

在单个场景中生成所述第一窥镜装置和所述第二窥镜装置的至少一部分的合并图像，其中，所述单个场景中示出的所述第一窥镜装置和所述第二窥镜装置的一部分中的至少一者是所述至少一者的代表性描绘。

13.根据权利要求12所述的方法，所述方法还包括：

在所述合并图像中显示所述第一窥镜装置的一部分的代表性描绘；以及

在所述合并图像中显示所述第二窥镜装置的代表性描绘。

14.根据权利要求12所述的方法，还包括

在第一显示器上显示所述第一场景；以及

在第二显示器上显示所述第二场景。

15.根据权利要求14所述的方法，所述方法还包括在所述第一显示器和所述第二显示器中的至少一者上显示所述单个场景。

16.根据权利要求14所述的方法，所述方法还包括在第三显示器上显示所述单个场景。

17.根据权利要求12至16中任一项所述的方法，所述方法还包括将器械插入穿过所述第一窥镜装置的柔性主体的工作通道，以使器械的远侧端部进入并且穿过所述腔外空间并且进入所述腔内空间中，使得所述器械存在于所述腔外空间和所述腔内空间两者中。

18.根据权利要求17所述的方法，其中，所述第二场景不包括所述器械的所述远侧端部。

19.根据权利要求12至18中任一项所述的方法，所述方法还包括由所述控制器基于布置在所述第一窥镜装置的所述第一区段上的基准标记来跟踪所述第一窥镜装置的布置在所述腔内空间内的所述第二区段。

20.根据权利要求12至19中任一项所述的方法，其中，所述第一场景不包括所述第二窥镜装置，并且其中，所述第二场景不包括所述第一窥镜装置的所述第一区段。

21.一种包括指令的计算机程序产品，当所述程序由控制器执行时，所述指令使得所述控制器执行以下步骤：

在第一窥镜装置的第一区段被定位在腔外解剖空间内并且所述第一窥镜装置的在所述第一区段远侧的第二区段被定位在腔内解剖空间内时，接收所述第一窥镜装置的视场内的第一场景的图像数据；

当第二窥镜装置被定位在所述腔外空间内时，接收所述第二窥镜装置的视场内的第二场景的图像数据，所述第二场景不同于所述第一场景；

确定从所述第一窥镜装置的位于所述腔内解剖空间内的所述第二区段到所述腔外空间内的所述第二窥镜装置的相对距离；以及

在单个场景中生成所述第一窥镜装置和所述第二窥镜装置的至少一部分的合并图像，其中，所述单个场景中示出的所述第一窥镜装置和所述第二窥镜装置的一部分中的至少一者是所述至少一者的代表性描绘。

22.一种计算机可读介质，所述计算机可读介质上存储有根据权利要求21所述的计算机程序产品。

23.一种数据载体信号，所述数据载体信号承载根据权利要求21所述的计算机程序产品。