CN118302130A

CN118302130A - 使用基准识别和跟踪的外科装置、系统、方法

Info

Publication number: CN118302130A
Application number: CN202280077671.0A
Authority: CN
Inventors: F·E·谢尔顿四世; J·L·哈里斯; D·J·穆莫; C·J·谢伊布; A·C·德克; D·C·亚特斯
Original assignee: Cilag GmbH International
Current assignee: Cilag GmbH International
Priority date: 2021-09-29
Filing date: 2022-09-26
Publication date: 2024-07-05

Abstract

本公开提供了一种外科系统，该外科系统包括：外科装置，该外科装置具有远侧部分，该远侧部分被配置为能够在外科手术的执行期间被推进到患者的身体中；基准标记，该基准标记在该外科装置的该远侧部分的外部上，该基准标记存储与该外科装置相关联的信息；成像装置，该成像装置被配置为能够收集使该患者的身体中的该基准标记可视化的图像；和控制器，该控制器被配置为能够随着该外科手术的执行实时地分析该图像以检测与该外科装置相关联的该信息。

Description

使用基准识别和跟踪的外科装置、系统、方法

相关申请的交叉引用

本申请要求2021年9月29日提交的名称为“Surgical Devices,Systems,AndMethods Using Fiducial Identification And Tracking”的美国临时专利申请号63/249,652的优先权，该美国临时专利申请据此全文以引用方式并入。

技术领域

本公开整体涉及使用基准识别和跟踪的外科装置、系统和方法。

背景技术

外科系统通常结合有成像系统，该成像系统可允许执业医生在一个或多个显示器(例如，监测器、计算机平板屏幕等)上查看外科部位和/或其一个或多个部分。显示器可位于手术室本地和/或远程。成像系统可包括具有相机的窥镜，该相机查看外科部位并将视图传输到执业医师可查看的一个或多个显示器。

成像系统可能受到它们能够识别和/或传达给执业医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。又如，某些成像系统可能无法在术中将某些信息传送和/或传达给执业医生。

因此，仍需改善的外科成像。发明内容

一般来讲，提供了用于基准识别和跟踪的装置、系统和方法。

在一个方面，提供了一种外科系统，在一个实施方案中，该外科系统包括具有远侧部分的外科装置，该远侧部分被配置为能够在外科手术的执行期间被推进到患者的身体中；以及在外科装置的远侧部分的外部上的基准标记。基准标记存储与外科装置相关联的信息。该系统还包括成像装置和控制器，该成像装置被配置为能够收集使患者的身体中的基准标记可视化的图像，并且该控制器被配置为能够随着外科手术的执行实时地分析图像以检测与外科装置相关联的信息。

外科系统可以任意种方式变化。例如，所存储的信息对于外科装置可以是唯一的，并且可包括外科装置的型号和外科装置的序列号中的至少一者。又如，所存储的信息对于包括外科装置的可视化系统可以是唯一的。再又如，所存储的信息可包括认证签名，该认证签名指示外科装置被认证为正品，并且控制器可被配置为能够分析所检测到的信息，从而确定外科装置被认证为正品。

再如，所存储的信息可以不是静态的，并且可被配置为能够在外科手术的执行期间由外科装置的第二控制器改变。第二控制器可被配置为能够基于外科装置和/或外科装置的部件的当前状态来改变所存储的信息。第二控制器可被配置为能够经由磁参数变化、电磁参数变化、或电参数变化中的至少一者来改变所存储的信息。

再又如，所存储的信息可以是静态的并且无法改变。又如，基准标记可以附接到外科装置的固定部分。再如，基准标记可以附接到外科装置的可移动部分，并且控制器可被配置为能够分析所检测到的信息，从而确定外科装置的可移动部分的状况。又如，基准标记可以是无源的并且可包括条形码和QR码中的至少一者。再又如，基准标记可以是有源的并且可被配置为能够发射被配置为能够由成像装置检测到的能量，并且控制器可被配置为能够随着外科手术的执行实时地分析由成像装置检测到的能量并且由此确定外科装置相对于目标的位置。又如，外科装置可包括外科解剖器、外科缝合器、外科抓紧器、施夹器、排烟器、和外科能量装置中的一者。再如，外科集线器可包括该控制器。再又如，机器人外科系统可包括控制器，并且外科装置和成像装置可各自被配置为能够以可释放的方式联接到机器人外科系统并由该机器人外科系统控制。

又如，外科方法可包括在外科手术的执行期间将外科装置推进到患者的身体中，该外科装置可以以可释放的方式联接到机器人外科系统，该方法还可以包括在外科手术的执行期间将成像装置推进到患者的身体中，成像装置以可释放的方式联接到机器人外科系统，该方法还可以包括使用成像装置在外科手术的执行期间收集基准标记的图像，并且该方法可包括在外科手术的执行期间使用控制器来分析图像以检测与外科装置相关联的信息。所存储的信息可包括认证签名，该认证签名指示外科装置被认证为正品，并且分析可包括基于认证签名来确定外科装置被认证为正品。该方法还可以包括利用控制器基于在外科手术的执行期间由外科装置执行的动作来改变所存储的信息。基准标记可以发射能量，并且该方法还可以包括在外科手术的执行期间使用控制器来分析所发射的能量，并且由此确定外科装置相对于目标的位置。机器人外科系统可以包括控制器，或者外科集线器可以包括控制器。

附图说明

参考如下附图描述本发明：

图1为外科可视化系统的一个实施方案的示意图；

图2为图1的外科装置、成像装置和关键结构之间的三角测量的示意图；

图3为外科可视化系统的另一实施方案的示意图；

图4为外科可视化系统的控制系统的一个实施方案的示意图；

图5为外科可视化系统的控制系统的控制电路的一个实施方案的示意图；

图6为外科可视化系统的组合逻辑电路的一个实施方案的示意图；

图7为外科可视化系统的顺序逻辑电路的一个实施方案的示意图；

图8为外科可视化系统的又一实施方案的示意图；

图9为外科可视化系统的控制系统的另一实施方案的示意图；

图10为示出各种生物材料的波长对吸收系数的曲线图；

图11为使外科部位可视化的光谱发射器的一个实施方案的示意图；

图12为描绘用于区分输尿管与遮蔽物的说明性高光谱识别特征的曲线图；

图13为描绘用于区分动脉与遮蔽物的说明性高光谱识别特征的曲线图；

图14为描绘用于区分神经与遮蔽物的说明性高光谱识别特征的曲线图；

图15为在术中利用的近红外(NIR)飞行时间测量系统的一个实施方案的示意图；

图16示出了图15的系统的飞行时间时序图；

图17为在术中利用的近红外(NIR)飞行时间测量系统的另一实施方案的示意图；

图18为计算机实现的交互式外科系统的一个实施方案的示意图；

图19为用于在手术室中执行外科手术的外科系统的一个实施方案的示意图；

图20为包括智慧外科器械和外科集线器的外科系统的一个实施方案的示意图；

图21为示出控制图20的智慧外科器械的方法的流程图；

图22为例示结肠的主要切除的结肠的示意图；

图22A为十二指肠粘膜表面再造手术的一个实施方案的透视局部剖视图；

图23为包括基准标记的外科器械的一个实施方案的远侧部分的透视图；

图24为基准标记的一个实施方案的透视图，示出了其可见光部分；

图25为图24的基准标记的透视图，示出了其超声光部分；

图26为图24的基准标记的透视图，示出了其红外光部分；并且

图27为从图23的外科器械的基准标记和从另一外科器械的基准标记收集信息的成像装置的一个实施方案的透视图。

具体实施方式

现在将描述某些示例性实施方案以从整体上理解本文所公开的装置、系统和方法的结构、功能、制造和使用的原理。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员将会理解，在本文中具体描述的和在附图中示出的装置、系统和方法是非限制性的示例性实施方案，并且本发明的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征部可与其他实施方案的特征部进行组合。此类修改和变型旨在包括在本发明的范围之内。

此外，在本公开中，各实施方案中名称相似的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每个名称相似的部件的每个特征部。另外，在所公开的系统、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类系统、装置和方法使用的形状的类型。本领域中技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。本领域的技术人员将会理解，尺寸可能不是精确的值，但是由于诸如制造公差和测量设备的灵敏度之类的任何数量的因素而被认为是大约处于该值。系统和装置及其部件的尺寸和形状可以至少取决于将与系统和装置一起使用的部件的尺寸和形状。

外科可视化

一般来讲，外科可视化系统被配置为能够利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化系统被进一步配置为以有帮助的方式将数据传达给一个或多个执业医生。本公开的各个方面提供了对患者的解剖结构和/或外科手术的改善的可视化，和/或使用可视化来提供对外科工具(在本文也称为“外科装置”或“外科器械”)的改善的控制。

“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化系统可与机器人外科系统结合使用，但外科可视化系统不限于与机器人外科系统一起使用。在某些情况下，使用外科可视化系统实现的外科可视化可在没有机器人以及/或者具有有限的机器人辅助和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。

在某些情况下，结合有外科可视化系统的外科系统可实现智慧切开以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带、板和其他外来结构。关键结构可基于不同患者和/或不同手术来确定。例如，智慧切开技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现更智能的决策。

结合有外科可视化系统的外科系统可实现智慧吻合技术，该智慧吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。可利用外科可视化平台来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可在外科手术期间补偿外科器械、患者和/或患者的解剖结构的运动，以便为执业医生提供回到感兴趣点的指导。

外科可视化系统可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。相对于淋巴结诊断和标测，外科可视化平台可例如在术前定位、标测和理想地诊断涉及癌性诊断和分期的淋巴系统和/或淋巴结。

在外科手术期间，执业医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，执业医生可能无法在术中准确地确定关键结构的位置。

当关键结构的位置不确定时和/或当关键结构与外科工具之间的接近度未知时，执业医生的决策过程可能受到阻碍。例如，执业医生可避开某些区域，以便避免意外切开关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，执业医生可能无法进入某些期望的区域。例如，过度谨慎可能导致执业医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。

外科可视化系统可允许术中识别和避开关键结构。因此，外科可视化系统可实现增强的术中决策制定和改善的外科结果。外科可视化系统可提供高级可视化能力，超出执业医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给执业医生的内容。外科可视化系统可增强和加强执业医生在组织治疗(例如，切开等)之前能够知道的内容，并且因此可在各种情况下改善结果。因此，执业医生知道外科可视化系统正在跟踪例如可在切开期间接近的关键结构，可在整个外科手术中确信地保持动力。外科可视化系统可在足够长的时间内向执业医生提供指示，以使执业医生暂停和/或减慢外科手术并评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向执业医生提供理想的、优化的和/或可定制的信息量，以允许执业医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结配置成意外损坏，并因此最小化由外科手术引起的伤害风险。

下文详细描述外科可视化系统。一般来讲，外科可视化系统可包括被配置为能够发射多个光谱波的第一光发射器、被配置为能够发射光图案的第二光发射器以及被配置为能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的接收器或传感器。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(例如，三维表面形貌)以及相对于外科部位的距离(诸如到至少部分隐藏结构的距离)。成像系统可将几何表面标测图和距离传达给执业医生。在此类情况下，提供给执业医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。附加地或另选地，成像系统可传达外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。

在整个公开内容中，除非特别提到可见光，否则任何提到的“光”可包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(例如，可被其检测)的那部分，并且可被称为“可见光”或简称为“光”。典型的人眼将对空气中约380nm至约750nm的波长作出响应。不可见光谱(例如，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。

图1例示了外科可视化系统100的实施方案。外科可视化系统100被配置为能够在解剖场内创建关键结构101的视觉表示。关键结构101可包括单个关键结构或多个关键结构。如本文所讨论的，关键结构101可以是多种结构中的任一种，诸如解剖结构(例如，输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经、血管、肿瘤、或其他解剖结构)或外来结构(例如，外科装置、外科紧固件、外科夹具、外科大头钉、探条、外科带、外科板、或其他外来结构)。如本文所讨论的，可基于不同患者和/或不同手术来识别关键结构101。关键结构以及使用可视化系统识别关键结构的实施方案在2020年10月6日发布的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034中进一步描述，该专利据此全文以引用方式并入。

在一些情况下，关键结构101可嵌入组织103中。组织103可以是多种组织中的任一种，诸如脂肪、结缔组织、粘连和/或器官。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被执业医生的“肉眼”看见。组织103还遮蔽关键结构101使其不被外科可视化系统100的成像装置120看见。关键结构101可被部分地遮蔽使其不被执业医生和/或成像装置120看见，而不是被完全遮蔽。

外科可视化系统100可用于临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向执业医生提供实时信息，诸如关于接近度数据、尺寸和/或距离的实时信息。本领域技术人员将理解，信息可能不是精确实时的，但出于多种原因中的任一种原因，诸如由数据传输引起的时间延迟、由数据处理引起的时间延误和/或测量设备的灵敏度，信息可能被认为是实时的。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，执业医生可避免在外科手术期间在关键结构101和/或关键结构101的预定义接近度中的区域周围操纵外科装置。又如，通过识别关键结构101，执业医生可避免对关键结构101的切开和/或在该关键结构附近的切开，从而有助于防止对关键结构101造成损伤和/或帮助防止执业医生使用的外科装置被关键结构101损坏。

外科可视化系统100被配置为能够结合外科可视化系统的距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征部可确定关键结构101在解剖场内的位置以及/或者外科装置102与可见组织103的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括被配置为能够提供外科部位的实时视图的成像装置120。例如，成像装置120可包括光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置为能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可诸如在显示器(例如，监测器、计算机平板屏幕等)上实时地提供给执业医生。所显示的视图可利用基于组织识别、横向标测和距离传感器系统104的附加信息来增强。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可协作以在术中向执业医生提供高级数据合成和集成信息。

成像装置120可被配置为能够检测可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)。成像装置120的示例包括内窥镜、关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞镜、十二指肠镜、肠镜、食管胃十二指肠镜(胃镜)、喉镜、鼻咽肾镜、乙状结肠镜、胸腔镜、输尿管镜或外窥镜。窥镜在微创外科手术中可能特别有用。在开放式外科手术应用中，成像装置120可能不包括窥镜。

组织识别子系统可利用光谱成像系统来实现。光谱成像系统可依赖于诸如高光谱成像、多光谱成像或选择性光谱成像的成像。组织的高光谱成像的实施方案在2016年3月1日发布的名称为“System And Method For Gross Anatomic Pathology UsingHyperspectral Imaging”的美国专利号9,274,047中进一步描述，该专利据此全文以引用方式并入。

表面标测子系统可利用光图案系统来实现。使用光图案(或结构化光)进行表面标测的各种表面标测技术可用于本文所述的外科可视化系统中。结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。表面标测和包括用于投射光图案的光源和投影仪的外科系统的实施方案在以下专利中进一步描述：美国专利公布号2017/0055819，名称为“Set Comprising A SurgicalInstrument”，2017年3月2日公布；美国专利公布号2017/0251900，名称为“DepictionSystem”，2017年9月7日公布；以及美国专利公布号2021/0196385，名称为“SurgicalSystems For Generating Three Dimensional Constructs Of Anatomical Organs AndCoupling Identified Anatomical Structures Thereto”，2021年7月1日公布，这些专利据此全文以引用方式并入。

距离确定系统可结合到表面标测系统中。例如，结构光可用于生成可见表面105的三维(3D)虚拟模型并且确定相对于可见表面105的各种距离。另外或另选地，距离确定系统可以依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。

外科可视化系统100还包括外科装置102。外科装置102可以是任何合适的外科装置。外科装置102的示例包括外科切开器、外科缝合器、外科抓紧器、施夹器、排烟器、外科能量装置(例如，单极探头、双极探头、消融探头、超声装置、超声端部执行器等)等。在一些实施方案中，外科装置102包括具有相对钳口的端部执行器，这些钳口从外科装置102的轴的远侧端部延伸并且被构造成能够在两者之间接合组织。外科可视化系统100可被配置为能够识别关键结构101以及外科装置102与关键结构101的接近度。外科可视化系统100的成像装置120被配置为能够检测各种波长的光，诸如可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文所述。成像装置120可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的3D图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置为能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可以与组织103的表面105上的光(结构化光)的图案重叠，如图1所示。

如在该例示的实施方案中一样，外科可视化系统100可结合到机器人外科系统110中。机器人外科系统110可具有多种构型，如本文所讨论的。在该例示的实施方案中，机器人外科系统110包括第一机器人臂112和第二机器人臂114。机器人臂112、114各自包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置为能够操纵外科装置102，并且第二机器人臂114被配置为能够操纵成像装置120。机器人外科系统110的机器人控制单元被配置为能够向第一机器人臂112和第二机器人臂114发出控制运动，这些控制运动可能分别影响外科装置102和成像装置120。

在一些实施方案中，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统110分开。例如，机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特定坐标系配准。例如，用于机器人臂112、114的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的位置。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。

机器人外科系统的示例包括Ottava^TM机器人辅助外科手术系统(新泽西州新不伦瑞克的强生公司(Johnson&Johnson of New Brunswick,NJ))、da 外科系统(加利福尼亚州桑尼维尔的直觉外科有限公司(Intuitive Surgical,Inc.of Sunnyvale,CA))、Hugo^TM机器人辅助外科手术系统(明尼苏达州明尼阿波利斯的美敦力公司(Medtronic PLCof Minneapolis,MN))、外科机器人系统(英国剑桥的CMR外科有限公司(CMRSurgical Ltd of Cambridge,UK))和平台(加利福尼亚州雷德伍德城的AurisHealth有限公司(Auris Health,Inc.of Redwood City,CA))。各种机器人外科系统以及使用机器人外科系统的实施方案在以下专利中进一步描述：美国专利公布号2018/0177556，名称为“Flexible Instrument Insertion Using An Adaptive Force Threshold”，2016年12月28日提交；美国专利公布号2020/0000530，名称为“Systems And Techniques ForProviding Multiple Perspectives During Medical Procedures”，2019年4月16日提交；美国专利公布号2020/0170720，名称为“Image-Based Branch Detection And MappingFor Navigation”，2020年2月7日提交；美国专利公布号2020/0188043，名称为“SurgicalRobotics System”，2019年12月9日提交；美国专利公布号2020/0085516，名称为“SystemsAnd Methods For Concomitant Medical Procedures”，2019年9月3日提交；美国专利公布号8,831,782，名称为“Patient-Side Surgeon Interface For A Teleoperated SurgicalInstrument”，2013年7月15日提交；以及国际专利公布号WO 2014151621，名称为“Hyperdexterous Surgical System”，2014年3月13日提交，这些专利据此全文以引用方式并入。

外科可视化系统100还包括发射器106。发射器106被配置为能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，外科可视化系统100使用投射光阵列130来确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置为能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。

如在该例示的实施方案中一样，成像装置120可包括光学波形发射器123，诸如通过将该光学波形发射器安装在成像装置120上或以其他方式附着在该成像装置上。光学波形发射器123被配置为能够发射可穿透组织103的表面105并且到达关键结构101的电磁辐射124(近红外(NIR)光子)。成像装置120和光学波形发射器123可能够由机器人臂114定位。光学波形发射器123安装在成像装置120上或以其他方式位于该成像装置上，但在其他实施方案中可定位在与成像装置120分开的外科装置上。成像装置120的对应波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置为能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长被配置为能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。

外科可视化系统100的距离传感器系统104被配置为能够确定外科部位处的一个或多个距离。距离传感器系统104可以是飞行时间距离传感器系统，该飞行时间距离传感器系统包括发射器(诸如本例示的实施方案中的发射器106)并且包括接收器108。在其他情况下，飞行时间发射器可与结构化光发射器分开。发射器106可包括非常小的激光源，并且接收器108可包括匹配的传感器。距离传感器系统104被配置为能够检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。

在该例示的实施方案中，距离传感器系统104的接收器108定位在外科装置102上，但在其他实施方案中，接收器108可安装在单独的外科装置上，而不是安装在外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他实施方案中，用于距离传感器系统104的接收器108可安装在机器人系统110的与外科装置102所联接到的第一机器人臂112分开的机器人控制臂上(例如，安装在第二机器人臂114上)，可安装在由另一机器人操作的动臂上，或者安装到手术室(OR)台或固定装置。在一些实施方案中，成像装置120包括接收器108，以允许使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知位置来对距离d_e进行三角测量。接收器108的3D位置可以是已知的和/或在术中与机器人坐标平面配准。

如在例示的实施方案中一样，距离传感器系统104的发射器106的位置可由第一机器人臂112控制，并且距离传感器系统104的接收器108的位置可由第二机器人臂114控制。在其他实施方案中，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。

在图1中，距离d_e是从发射器106到组织103的表面105的发射器-组织距离，并且距离d_t是从外科装置102的远侧端部到组织103的表面105的装置-组织距离。距离传感器系统104被配置为能够确定发射器-组织距离d_e。装置到组织距离d_t可从发射器106在外科装置102上的已知方位获得，例如，相对于外科装置102的远侧端部，在其靠近外科装置远侧端部的轴上。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离d_t可根据发射器-组织距离d_e确定。在一些实施方案中，外科装置102的轴可包括一个或多个关节运动接头，并且可相对于外科装置102的远侧端部处的发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在一些实施方案中，3D相机可用于对到表面105的一个或多个距离进行三角测量。

在图1中，距离d_w是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且距离d_A是关键结构101在组织103的表面105下方的深度(例如，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间被配置为能够确定相机-关键结构距离d_w。

如图2所示，关键结构101相对于组织103的表面105的深度d_A可通过以下方法来确定：根据相机-关键结构距离d_w以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知位置(以及因此它们之间的已知距离d_x)进行三角测量，以确定距离d_y(其为距离d_e和d_A之和)。另外或另选地，来自光学波形发射器123的飞行时间可被配置为能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离d_w，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。

另外或另选地，距离d_A可由超声、配准磁共振成像(MRI)或计算机断层摄影(CT)扫描来确定。在其他情况下，可以利用光谱成像来确定距离d_A，因为成像装置120接收到的检测信号可以基于材料的类型(例如，组织103的类型)而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。

在图3所示的外科可视化系统160的另一实施方案中，外科装置162(而不是成像装置120)包括光学波形发射器123和被配置为能够检测反射的波形的波形传感器122。光学波形发射器123被配置为能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离d_t和d_w，如本文所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离d_A可如下确定：

d_A＝d_w-d_t

外科可视化系统100包括控制系统，该控制系统被配置为能够控制外科可视化系统100的各个方面。图4例示了可用作外科可视化系统100(或本文所述的其他外科可视化系统)的控制系统的控制系统133的一个实施方案。控制系统133包括被配置为能够与存储器134信号通信的控制电路132。存储器134被配置为能够存储可由控制电路132执行的指令，诸如用于确定和/或识别关键结构(例如，图1的关键结构101)的指令、用于确定和/或计算一个或多个距离和/或三维数字表示的指令，以及用于将某些信息传送给执业医生的指令。因此，存储在存储器134内的指令构成计算机程序产品，该计算机程序产品包括当由处理器执行时使处理器如上所述执行的指令。此类指令还可存储在任何计算机可读介质(诸如光盘、SD卡、USB驱动器等、或单独装置的存储器)上，指令可从该计算机可读介质复制到存储器134中或直接执行。复制或直接执行的过程涉及携带计算机程序产品的数据载体信号的创建。如在该例示的实施方案中一样，存储器134可存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141，但存储器134可存储逻辑部件136、138、140、141的任何组合和/或可将各种逻辑部件组合在一起。控制系统133还包括成像系统142，该成像系统包括相机144(例如，成像系统包括图1的成像装置120)、显示器146(例如，监测器、计算机平板屏幕等)，以及相机144和显示器146的控制器148。相机144包括图像传感器135(例如，波形传感器122)，该图像传感器被配置为能够接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146被配置为能够向执业医生描绘真实的、虚拟的和/或虚拟增强的图像和/或信息。

在示例性实施方案中，图像传感器135是包含高达数百万个离散光电探测器部位(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦接器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器对约350nm至约1050nm范围内，诸如约400nm至约1000nm范围内的波长敏感。本领域的技术人员将理解，值可能不精确地为某个值，但出于多种原因中的任一种原因，诸如测量装备和制造公差的灵敏度，值被认为是约为该值。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。

控制系统133还包括发射器(例如，发射器106)，该发射器包括光谱光源150和结构化光源152，该光谱光源和该结构化光源各自可操作地联接到控制电路133。单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如，红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。组织识别逻辑部件140被配置为能够经由由相机144的图像传感器135接收的来自光谱光源150的数据来识别关键结构(例如，图1的关键结构101)。表面标测逻辑部件136被配置为能够基于反射的结构化光来确定可见组织(例如，组织103)的表面轮廓。利用飞行时间测量，距离确定逻辑部件141被配置为能够确定到可见组织和/或关键结构的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141中的每一者的输出被配置为能够提供给成像逻辑部件138，并且可由成像逻辑部件138组合、共混和/或重叠以经由成像系统142的显示器146传达给执业医生。

控制电路132可具有多种构型。图5例示了控制电路170的一个实施方案，该控制电路可用作被配置为能够控制外科可视化系统100的各方面的控制电路132。控制电路170被配置为能够实现本文所述的各种过程。控制电路170包括微控制器，该微控制器包括处理器172(例如，微处理器或微控制器)，该处理器可操作地联接到存储器174。存储器174被配置为能够存储机器可执行指令，这些机器可执行指令在由处理器172执行时使处理器172执行机器指令以实现本文所述的各种过程。处理器172可以是本领域中已知的数种单核处理器或多核处理器中的任一种处理器。存储器174可包括易失性存储介质和非易失性存储介质。处理器172包括指令处理单元176和运算单元178。指令处理单元176被配置为能够从存储器174接收指令。

表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141可具有多种构型。图6例示了组合逻辑电路180的一个实施方案，该组合逻辑电路被配置为能够使用诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者的逻辑部件来控制外科可视化系统100的各方面。组合逻辑电路180包括有限状态机，该有限状态机包括组合逻辑部件182，该组合逻辑部件被配置为能够在输入184处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据，由组合逻辑部件182处理该数据，并且向控制电路(例如，控制电路132)提供输出184。

图7例示了顺序逻辑电路190的一个实施方案，该顺序逻辑电路被配置为能够使用逻辑部件诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者来控制外科可视化系统100的各方面。顺序逻辑电路190包括有限状态机，该有限状态机包括组合逻辑部件192、存储器194和时钟196。存储器194被配置为能够存储有限状态机的当前状态。顺序逻辑电路190可为同步的或异步的。组合逻辑部件192被配置为能够在输入426处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据，由组合逻辑部件192处理该数据，并且向控制电路(例如，控制电路132)提供输出499。在一些实施方案中，顺序逻辑电路190可包括处理器(例如，图5的处理器172)和有限状态机的组合以实现本文的各种过程。在一些实施方案中，有限状态机可包括组合逻辑电路(例如，图7的组合逻辑电路192)和顺序逻辑电路190的组合。

图8例示了外科可视化系统200的另一实施方案。外科可视化系统200通常类似于图1的外科可视化系统100来构造和使用，例如包括外科装置202和成像装置220。成像装置220包括光谱光发射器223，该光谱光发射器被配置为能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。成像装置220还可包括三维相机和相关联的电子处理电路。外科可视化系统200被示出为在术中用于识别和有利于避开在器官203的表面205上不可见的某些关键结构，诸如器官203(在该实施方案中为子宫)中的输尿管201a和血管201b。

外科可视化系统200被配置为能够经由结构化光确定从外科装置202上的发射器206到子宫203的表面205的发射器-组织距离d_e。外科可视化系统200被配置为能够基于发射器-组织距离d_e来外推从外科装置202到子宫203的表面205的装置-组织距离d_t。外科可视化系统200还被配置为能够确定从输尿管201a到表面205的组织-输尿管距离d_A以及从成像装置220到输尿管201a的相机-输尿管距离d_w。如本文所述，例如，相对于图1的外科可视化系统100，外科可视化系统200被配置为能够利用例如光谱成像和飞行时间传感器来确定距离d_w。在各种实施方案中，外科可视化系统200可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离d_A(或深度)。

如上所述，外科可视化系统包括控制系统，该控制系统被配置为能够控制外科可视化系统的各个方面。控制系统可具有多种构型。图9例示了用于外科可视化系统(诸如图1的外科可视化系统100、图8的外科可视化系统200或本文所述的其他外科可视化系统)的控制系统600的一个实施方案。控制系统600为转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构(尤其是当这些结构被组织(例如，脂肪、结缔组织、血液组织和/或器官和/或血液)遮蔽时)，和/或检测组织可变性，诸如区分器官内的肿瘤和/或非健康组织与健康组织。

控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648，该转换逻辑电路被配置为能够将组织数据转换为外科医生和/或其他执业医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600被配置为能够将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种实施方案中，控制系统600被配置为能够在接近一个或多个关键结构时向执业医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。

由控制系统600采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。

控制系统600被配置为能够检测关键结构(如上所述，该关键结构可包括一个或多个关键结构)并且提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。

控制系统600包括光谱控制电路602。光谱控制电路602可为现场可编程门阵列(FPGA)或另一合适的电路构型，诸如相对于图6、图7和图8所描述的构型。光谱控制电路602包括处理器604，该处理器被配置为能够从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。例如，视频输入处理器606被配置为能够接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置为能够处理来自视频输入处理器606的视频输入信号并且将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608被配置为能够将视频输出信号提供给图像叠加控制器610。

视频输入处理器606经由患者隔离电路614操作地联接到患者侧处的相机612。相机612包括固态图像传感器634。患者隔离电路614可包括多个变压器，使得患者与系统中的其他电路隔离。相机612被配置为能够通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括另一图像传感器技术，诸如本文结合图4所讨论的图像传感器技术。相机612被配置为能够以14比特/像素信号输出613个图像。本领域技术人员将理解，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，在该例示的实施方案中，该融合电路采用硬件寄存器618和Nios2协处理器620，该硬件寄存器和该Nios2协处理器被配置为能够处理相机输出信号613。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。

激光脉冲控制电路622被配置为能够控制激光引擎624。激光引擎624被配置为能够输出包括近红外(NIR)在内的多个波长(λ1，λ2，λ3......λn)的光。激光引擎624可在多种模式下操作。例如，激光引擎624可在两种模式下操作。在第一模式(例如，正常操作模式)下，激光引擎624被配置为能够输出照明信号。在第二模式(例如，识别模式)下，激光引擎624被配置为能够输出RGBG和NIR光。在各种实施方案中，激光引擎624可在偏振模式下操作。

来自激光引擎624的光输出626被配置为能够照亮术中外科部位627中的靶向解剖结构。激光脉冲控制电路622还被配置为能够控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪被配置为能够将预先确定的波长(λ2)的激光图案631(诸如线和/或点的网格或图案)投射在外科部位627处的手术组织或器官上。相机612被配置为能够接收图案化光以及通过相机光学器件632输出的反射光。图像传感器634被配置为能够将所接收的光转换成数字信号。[0093]彩色RGB融合电路616还被配置为能够将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的靶向解剖结构上的激光图案631。处理模块638被配置为能够处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还被配置为能够输出表示外科部位处的靶向解剖结构的组织或器官的三维渲染形状的第二视频信号642。

第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，积分模块643被配置为能够确定到掩埋关键结构的距离(例如，图1的距离d_A)(例如，经由三角化算法644)，并且到掩埋关键结构的距离可以经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监测器652，以及定位在外科部位627处的相机624/激光图案投射仪630。

在各种情况下，可采用诸如来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并且最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并且被提供给视频监测器652。术前数据的配准的实施方案在2018年9月11日提交的名称为“Integration Of Imaging Data”的美国专利公布号2020/0015907中进一步描述，该专利据此全文以引用方式并入本文。

视频监测器652被配置为能够从图像叠加控制器610输出整合/增强视图。执业医生可在一个或多个显示器上在不同视图之间选择和/或切换。在第一显示器652a上(在该例示的实施方案中，该第一显示器为监测器)，执业医生可在(A)其中描绘可见组织的三维渲染的视图与(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二显示器652b上(在该例示的实施方案中，该第二显示器为监测器)，执业医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。

本文所述的各种外科可视化系统可用于对各种不同类型的组织和/或解剖结构进行可视化，包括可被光谱的可见部分中的EMR遮蔽而无法可视化的组织和/或解剖结构。外科可视化系统可利用如上所述的光谱成像系统，该光谱成像系统可被配置为能够基于不同类型的组织的组成材料的变化组合来可视化不同类型的组织。特别地，光谱成像系统可被配置为能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可被配置为能够基于组成材料的特定组合来表征被可视化的组织的组织类型。

图10示出了描绘各种生物材料的吸收系数如何在EMR波长光谱上变化的曲线图300。在曲线图300中，竖直轴线302表示生物材料的吸收系数(以cm^-1为单位)，水平轴线304表示EMR波长(以μm为单位)。曲线图300中的第一条线306表示水在各种EMR波长下的吸收系数，第二条线308表示蛋白质在各种EMR波长下的吸收系数，第三条线310表示黑色素在各种EMR波长下的吸收系数，第四条线312表示脱氧血红蛋白在各种EMR波长下的吸收系数，第五条线314表示氧合血红蛋白在各种EMR波长下的吸收系数，以及第六条线316表示胶原蛋白在各种EMR波长下的吸收系数。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，外科可视化系统的光谱成像系统可被配置为能够发射多个不同波长的EMR，基于在不同波长处检测到的吸收EMR吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。

图11示出了利用光谱成像技术来对不同组织类型和/或解剖结构进行可视化的实施方案。在图11中，光谱发射器320(例如，图4的光谱光源150)被成像系统用来对外科部位322进行可视化。由光谱发射器320发射并从外科部位322处的组织和/或结构反射的EMR由图像传感器(例如，图4的图像传感器135)接收，以对组织和/或结构进行可视化，该组织和/或结构可以是可见的(例如，位于外科部位322的表面处)或被遮蔽的(例如，位于外科部位322处的其他组织和/或结构的下面)。在该实施方案中，成像系统(例如，图4的成像系统142)基于光谱特征来对肿瘤324、动脉326和各种异常328(例如，与已知或预期的光谱特征不相符的组织)进行可视化，这些光谱特征由不同组织/结构类型中的每一者的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可显示在与成像系统相关联或联接到该成像系统的显示屏上(例如，图4的成像系统142的显示器146)、主显示器上(例如，图19的主显示器819)、非无菌显示器上(例如，图19的非无菌显示器807、809)、外科集线器的显示器上(例如，图19的外科集线器806的显示器)、外科器械或成像装置显示器上、和/或另一显示器上。

成像系统可被配置为能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，如图11所示，成像系统可在与成像系统相关联或联接到该成像系统的显示屏上、在主显示器上、在非无菌显示器上、在外科集线器的显示器上、在外科器械或成像装置显示器上和/或在另一显示器上显示与被可视化的肿瘤324相关联的边界330。边界330可指示应切除以确保肿瘤324完全切除的组织的面积或数量。外科可视化系统的控制系统(例如，图4的控制系统133)可被配置为能够基于由成像系统识别的组织和/或结构来控制或更新边缘330的尺寸。在该例示的实施方案中，成像系统已识别视场(FOV)内的多个异常328。因此，控制系统可将所显示的边界330调整到第一更新的边界332，该第一更新的边界具有足够的尺寸来涵盖异常328。此外，成像系统还识别出与最初显示的边界330部分重叠的动脉326(如动脉326的高亮区域334所指示)。因此，控制系统可将所显示的边界调整到第二更新的边界336，该第二更新的边界具有足够的尺寸来涵盖动脉326的相关部分。

作为上文关于图10和图11所描述的组织和/或结构的吸收特性的补充或代替，还可根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图12、图13和图14例示了不同类型的组织或结构在不同EMR波长上的反射率的各种曲线图。图12为说明性输尿管特征对遮蔽物的图形表示340。图13为说明性动脉特征对遮蔽物的图形表示342。图14为说明性神经特征对遮蔽物的图形表示344。图12、图13和图14中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。

可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(例如，“选择性光谱”成像)。通过利用选择性光谱成像，可使获得光谱图像所需的时间量最小化，使得可实时获得信息，并在手术中加以利用。这些波长可由执业医生或由控制电路基于用户(例如，执业医生)的输入来选择。在某些情况下，波长可基于机器学习和/或控制电路可经由例如云或外科集线器访问的大数据来选择。

图15例示了对组织进行光谱成像的一个实施方案，该组织在术中用于测量波形发射器和被组织遮蔽的关键结构之间的距离。图15示出了利用波形424、425的飞行时间传感器系统404的实施方案。飞行时间传感器系统404可被结合到外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统404包括位于同一外科装置402上的波形发射器406和波形接收器408(例如，位于图1的同一外科装置102上的发射器106和接收器108)。所发射的波400从发射器406延伸到关键结构401(例如，图1的关键结构101)，并且所接收的波425被接收器408从关键结构401反射回去。在该例示的实施方案中，外科装置402穿过延伸到患者的腔407中的套管针410定位。尽管在该例示的实施方案中使用了套管针410，但也可使用其他套管针或其他进入装置，或者可不使用进入装置。

波形424、425被配置为能够诸如通过具有NIR或SWIR光谱波长中的波长来穿透遮蔽组织403。光谱信号(例如，高光谱、多光谱或选择性光谱)或光声信号从发射器406发射(如指向远侧的第一箭头407所示)，并且可穿透其中关键结构401隐蔽的组织403。所发射的波形424被关键结构401反射，如指向近侧的第二箭头409所示。所接收的波形425可由于外科装置402的远侧端部与关键结构401之间的距离d而被延迟。可基于关键结构401的光谱特征来选择波形424、425以靶向组织403内的关键结构401，如本文所述。发射器406被配置为能够提供二进制信号开和关，如图16所示，例如该二进制信号可由接收器408测量。

基于发射波424和接收波425之间的延迟，飞行时间传感器系统404被配置为能够确定距离d。图16示出了图15的发射器406和接收器408的飞行时间时序图430。延迟是距离d的函数，并且距离d由下式给出：

其中c＝光的速度；t＝脉冲的长度；q₁＝发射光时累积的电荷；并且q₂＝不发射光时累积的电荷。

波形424、425的飞行时间对应于图15中的距离d。在各种情况下，附加的发射器/接收器和/或来自发射器406的脉冲信号可被配置为能够发射非穿透信号。非穿透信号可被配置为能够确定从发射器406到遮蔽组织403的表面405的距离。在各种情况下，关键结构401的深度可由下式确定：

d_A＝d_w-d_t

其中d_A＝关键结构401的深度；d_w＝从发射器406到关键结构401的距离(图15中的d)；以及d_t＝从发射器406(在外科装置402的远侧端部上)到遮蔽组织403的表面405的距离。

图17例示了利用波524a、524b、524c、525a、525b、525c的飞行时间传感器系统504的另一实施方案。飞行时间传感器系统504可被结合到外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统504包括波形发射器506和波形接收器508(例如，图1的发射器106和接收器108)。波形发射器506定位在第一外科装置502a(例如，图1的外科装置102)上，并且波形接收器508定位在第二外科装置502b上。外科装置502a、502b分别穿过第一套管针510a和第二套管针510b定位，这两个套管针延伸到患者的腔507中。尽管在该例示的实施方案中使用了套管针510a、510b，但也可使用其他套管针或其他进入装置，或者可不使用进入装置。所发射的波524a、524b、524c从发射器506朝向外科部位延伸，并且所接收的波525a、525b、525c从外科部位处的各种结构和/或表面反射回接收器508。

不同的发射波524a、524b、524c被配置为能够靶向外科部位处的不同类型的材料。例如，波524a靶向遮蔽组织503，波524b靶向第一关键结构501a(例如，图1的关键结构101)，该第一关键结构在该例示的实施方案中为血管，并且波524c靶向第二关键结构501b(例如，图1的关键结构101)，该第二关键结构在该例示的实施方案中为癌肿瘤。波524a、524b、524c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织503的表面505反射，并且NIR和/或SWIR波形可穿透组织503的表面505。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器506发射。可基于关键结构501a、501b的光谱特征来选择波524b、524c以靶向组织503内的关键结构501a、501b，如本文所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请在本公开中以引用方式并入本文。

所发射的波524a、524b、524c从靶向材料(即，分别为表面505、第一关键结构501a和第二结构501b)反射。所接收的波形525a、525b、525c可由于距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c而被延迟。

在其中发射器506和接收器508可独立定位(例如，定位在单独的外科装置502a、502b上和/或由单独的机器人臂控制)的飞行时间传感器系统504中，可根据发射器506和接收器508的已知方位计算各种距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。例如，当外科装置502a、502b由机器人控制时，这些方位可以是已知的。关于发射器506和接收器508的位置以及光子流靶向某一组织的时间的知识以及由接收器508接收的该特定响应的信息可允许确定距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构501a、501b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统504可确定各种距离。

在诸如在显示器上提供给执业医师的视图中，可旋转接收器508，使得所得图像中的靶结构的质心保持恒定(例如，在垂直于选定靶结构503、501a或501b的轴线的平面中)。这种取向可快速传送相对于靶结构的一个或多个相关距离和/或视角。例如，如图17所示，从关键结构501a垂直于视平面(例如，血管在页面内/页面外取向)的视角显示外科部位。这种取向可以是默认设置；然而，该视图可由执业医生旋转或以其他方式调整。在某些情况下，执业医生可在限定由成像系统提供的外科部位的视角的不同表面和/或靶结构之间切换。

如在该例示的实施方案中一样，接收器508可安装在套管针510b(或其他进入装置)上，外科装置502b通过该套管针定位。在其他实施方案中，接收器508可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器508可安装在与控制外科装置502a的机器人外科系统分开的动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(OR)工作台或固定装置。在此类情况下，发射器506和接收器508的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统504的输出对距离进行三角测量。

飞行时间传感器系统和近红外光谱(NIRS)相结合，称为TOF-NIRS，能够以纳秒分辨率测量近红外光的时间分辨剖面，可见于“Time-Of-Flight Near-InfraredSpectroscopy For Nondestructive Measurement Of Internal Quality InGrapefruit”，《美国园艺学会杂志》(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3 225-228期，其全部内容据此以引用方式并入本文。

可视化系统及其方面和用途的实施方案在以下专利中进一步描述：2018年9月11日提交的名称为“Surgical Visualization Platform”的美国专利公布号2020/0015923；2018年9月11日提交的名称为“Controlling An Emitter Assembly Pulse Sequence”的美国专利公布号2020/0015900；2018年9月11日提交的名称为“Singular EMR SourceEmitter Assembly”的美国专利公布号2020/0015668；2018年9月11日提交的名称为“Combination Emitter And Camera Assembly”的美国专利公布号2020/0015925；2018年9月11日提交的名称为“Surgical Visualization With Proximity Tracking Features”的美国专利公布号2020/00015899；2018年9月11日提交的名称为“Surgical VisualizationOf Multiple Targets”的美国专利公布号2020/00015903；2018年9月11日提交的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034；2018年9月11日提交的名称为“Operative Communication Of Light”的美国专利公布号2020/0015897；2018年9月11日提交的名称为“Robotic Light Projection Tools”的美国专利公布号2020/0015924；2018年9月11日提交的名称为“Surgical Visualization Feedback System”的美国专利公布号2020/0015898；2018年9月11日提交的名称为“Surgical Visualization AndMonitoring”的美国专利公布号2020/0015906；2018年9月11日提交的名称为“IntegrationOf Imaging Data”的美国专利公布号2020/0015907；2018年9月11日提交的名称为“Robotically-Assisted Surgical Suturing Systems”的美国专利号10,925,598；2018年9月11日提交的名称为“Safety Logic For Surgical Suturing Systems”的美国专利公布号2020/0015901；2018年9月11日提交的名称为“Robotic Systems With SeparatePhotoacoustic Receivers”的美国专利公布号2020/0015914；2018年9月11日提交的名称为“Force Sensor Through Structured Light Deflection”的美国专利公布号2020/0015902；2018年12月4日提交的名称为“Method Of Hub Communication”的美国专利公布号2019/0201136；2019年12月30日提交的名称为“Analyzing Surgical Trends By ASurgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“DynamicSurgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Generating Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThereto”的美国专利申请号16/729,751；2019年12月30日提交的名称为“SurgicalSystems Correlating Visualization Data And Powered Surgical Instrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive SurgicalSystem Control According To Surgical Smoke Cloud Characteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System ControlAccording To Surgical Smoke Particulate Characteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A SurgicalSystem”的美国专利申请号16/729,803；2019年12月30日提交的名称为“Surgical MethodsUsing Multi-Source Imaging”的美国专利申请号16/729,807；2021年10月5日提交的名称为“Surgical Methods Using Fiducial Identification And Tracking”的美国专利申请号17/493,904；2021年10月5日提交的名称为“Surgical Methods For Control Of OneVisualization With Another”的美国专利申请号17/494,364；2021年10月5日提交的名称为“Methods And Systems For Controlling Cooperative Surgical Instruments”的美国专利申请号17/450,020；2021年10月5日提交的名称为“Methods And Systems ForControlling Cooperative Surgical Instruments With Variable Surgical SiteAccess Trajectories”的美国专利申请号17/450,025；2021年10月5日提交的名称为“Methods And Systems For Controlling Cooperative Surgical Instruments”的美国专利申请号17/450,027；以及2021年10月1日提交的名称为“Cooperative Access”的美国专利申请号17/449,765，这些专利申请据此全文以引用方式并入本文。

外科集线器

本文所述的各种可视化或成像系统可结合到包括外科集线器的系统中。一般来讲，外科集线器可以是能够跨越多个医疗设施的综合数字医疗系统的部件，并且被配置为能够向大量患者提供综合全面的改善的医疗护理。该综合数字医疗系统包括基于云的医疗分析系统，该基于云的医疗分析系统被配置为能够互连到跨许多不同医疗设施定位的多个外科集线器。外科集线器被配置为能够与一个或多个元件互连，诸如用于对患者实施医疗手术的一个或多个外科器械和/或在医疗手术的执行期间使用的一个或多个可视化系统。外科集线器提供了各种各样的功能以改善医疗手术的结果。可将由各种外科装置、可视化系统和外科集线器生成的关于患者和医疗手术的数据传输到基于云的医疗分析系统。然后，可将该数据与从位于其他医疗设施处的许多其他外科集线器、可视化系统和外科器械收集的类似数据进行汇总。可通过基于云的分析系统分析所收集的数据发现各种模式和相关性。因此，可生成用于生成数据的技术的改善，并且这些改善然后可被传播到各种外科集线器、可视化系统和外科器械。由于所有前述部件的互连，可发现医疗手术和实践中的改进，否则如果许多部件没有如此互连，则可能不会发现该改进。

被配置为能够接收、分析和输出数据的外科集线器以及使用此类外科集线器的方法的示例在以下专利中进一步描述：美国专利公布号2019/0200844，名称为“Method OfHub Communication,Processing,Storage And Display”，2018年12月4日提交；美国专利公布号2019/0200981，名称为“Method Of Compressing Tissue Within A StaplingDevice And Simultaneously Displaying The Location Of The Tissue Within TheJaws”，2018年12月4日提交；美国专利公布号2019/0201046，名称为“Method ForControlling Smart Energy Devices”，2018年12月4日提交；美国专利公布号2019/0201114，名称为“Adaptive Control Program Updates For Surgical Hubs”，2018年3月29日提交；美国专利公布号2019/0201140，名称为“Surgical Hub SituationalAwareness”，2018年3月29日提交；美国专利公布号2019/0206004，名称为“InteractiveSurgical Systems With Condition Handling Of Devices And Data Capabilities”，2018年3月29日提交；美国专利公布号2019/0206555，名称为“Cloud-based MedicalAnalytics For Customization And Recommendations To A User”，2018年3月29日提交；以及美国专利公布号2019/0207857，名称为“Surgical Network Determination OfPrioritization Of Communication,Interaction,Or Processing Based On System OrDevice Needs”，2018年11月6日提交，这些专利据此全文以引用方式并入。

图18例示了计算机实现的交互式外科系统700的一个实施方案，其包括一个或多个外科系统702和基于云的系统(例如，可包括联接到存储装置705的远程服务器713的云704)。每个外科系统702包括与云704通信的至少一个外科集线器706。在一个示例中，如图18所示，外科系统702包括可视化系统708、机器人系统710和智能(或“智慧”)外科器械712，它们被配置为能够彼此通信并且/或者与集线器706通信。智能外科器械712可包括成像装置。外科系统702可包括M个集线器706、N个可视化系统708、O个机器人系统710和P个智能外科器械712，其中M、N、O和P为大于或等于一的整数，其可等于或不等于彼此中的任一者或多者。本文描述了各种示例性智能外科器械和机器人系统。

由外科集线器从外科可视化系统收集的数据可以多种方式中的任一种使用。在示例性实施方案中，外科集线器可接收来自在外科环境中与患者一起使用(例如，在外科手术的执行期间在手术室中使用)的外科可视化系统的数据。外科集线器可以一种或多种方式中的任一种方式使用所接收的数据，如本文所讨论的。

外科集线器可被配置为能够使用外科可视化系统实时地分析所接收的数据，并且基于对所接收的数据的分析来调整对与患者一起使用的外科可视化系统和/或一个或多个智能外科器械中的一者或多者的控制。这种调整可包括例如调整智能外科器械的一个或多个操作控制参数、使一个或多个智能外科器械的一个或多个传感器进行测量以帮助获得患者的当前生理状况和/或智能外科器械的当前操作状态的理解、以及其他调整。下文将进一步讨论智能外科器械的控制和调整操作。智能外科器械的操作控制参数的示例包括马达速度、切割元件速度、时间、持续时间、能量施加水平以及光发射。外科集线器以及控制和调整智能外科器械操作的示例在先前提及的以下专利中进一步描述：美国专利申请号16/729,772，名称为“Analyzing Surgical Trends By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,747，名称为“Dynamic Surgical Visualization Systems”，2019年12月30日提交；美国专利申请号16/729,744，名称为“Visualization SystemsUsing Structured Light”，2019年12月30日提交；美国专利申请号16/729,778，名称为“System And Method For Determining,Adjusting,And Managing Resection MarginAbout A Subject Tissue”，2019年12月30日提交；美国专利申请号16/729,729，名称为“Surgical Systems For Proposing And Corroborating Organ Portion Removals”，2019年12月30日提交；美国专利申请号16/729,778，名称为“Surgical System ForOverlaying Surgical Instrument Data Onto A Virtual Three DimensionalConstruct Of An Organ”，2019年12月30日提交；美国专利申请号16/729,751，名称为“Surgical Systems For Generating Three Dimensional Constructs Of AnatomicalOrgans And Coupling Identified Anatomical Structures Thereto”，2019年12月30日提交；美国专利申请号16/729,740，名称为“Surgical Systems CorrelatingVisualization Data And Powered Surgical Instrument Data”，2019年12月30日提交；美国专利申请号16/729,737，名称为“Adaptive Surgical System Control According ToSurgical Smoke Cloud Characteristics”，2019年12月30日提交；美国专利申请号16/729,796，名称为“Adaptive Surgical System Control According To Surgical SmokeParticulate Characteristics”，2019年12月30日提交；美国专利申请号16/729,803，名称为“Adaptive Visualization By A Surgical System”，2019年12月30日提交；以及美国专利申请号16/729,807，名称为“Method Of Using Imaging Devices In Surgery”，2019年12月30日提交；以及美国专利申请号17/068,857，名称为“Adaptive Responses FromSmart Packaging Of Drug Delivery Absorbable Adjuncts”，2020年10月13日提交；美国专利申请号17/068,858，名称为“Drug Administration Devices That Communicate WithSurgical Hubs”，2020年10月13日提交；美国专利申请号17/068,859，名称为“ControllingOperation Of Drug Administration Devices Using Surgical Hubs”，2020年10月13日提交；美国专利申请号17/068,863，名称为“Patient Monitoring Using DrugAdministration Devices”，2020年10月13日提交；美国专利申请号17/068,865，名称为“Monitoring And Communicating Information Using Drug Administration Devices”，2020年10月13日提交；美国专利申请号17/068,867，名称为“Aggregating And AnalyzingDrug Administration Data”，2020年10月13日提交，这些专利据此全文以引用方式并入。

外科集线器可被配置为能够使得在外科环境中在显示器上提供所接收的数据的可视化，使得外科环境中的执业医生可查看该数据并且由此接收对在外科环境中使用的成像装置的操作的理解。经由可视化提供的此类信息可包括文本和/或图像。

图19例示了外科系统802的一个实施方案，其包括外科集线器806(例如，图18的外科集线器706或本文所述的其他外科集线器)、机器人外科系统810(例如，图1的机器人外科系统110或本文的其他机器人外科系统)和可视化系统808(例如，图1的可视化系统100或本文所述的其他可视化系统)。如本文所讨论的，外科集线器806可与云通信。图19示出了外科系统802用于对平躺在外科手术室816中的手术台814上的患者执行外科手术。机器人系统810包括外科医生的控制台818、患者侧推车820(外科机器人)和机器人系统外科集线器822。机器人系统外科集线器822通常被配置为能够类似于外科集线器822并且可与云通信。在一些实施方案中，机器人系统外科集线器822和外科集线器806可以组合。患者侧推车820可通过患者身体中的微创切口操纵智能外科工具812，同时执业医生(例如，外科医生、护士和/或其他执业医生)通过外科医生控制台818查看外科部位。外科部位的图像可由成像装置824(例如，图1的成像装置120或本文所述的其他成像装置)获得，该成像装置可由患者侧推车820操纵以对成像装置824进行取向。机器人系统外科集线器822可用于处理外科部位的图像，以随后通过外科医生的控制台818显示给外科医生。

主显示器819被定位在手术室816的无菌区中并且被配置为能够对于手术台814处的操作者可见。此外，如在该例示的实施方案中一样，可视化塔811可被定位在无菌区外部。可视化塔811包括彼此背离的第一非无菌显示器807和第二非无菌显示器809。由外科集线器806引导的可视化系统808被配置为能够利用显示器807、809、819来将信息流协调到无菌区内部和外部的执业医生。例如，外科集线器806可以使可视化系统808在非无菌显示器807或809中的一者或两者上显示如由成像装置824获得的外科部位的快照和/或视频，同时保持外科部位在主显示器819上的实时馈送。例如，非无菌显示器807或809上的快照和/或视频可允许非无菌执业医生执行与外科手术相关的诊断步骤。

外科集线器806被配置为能够将由非无菌执业医生在可视化塔811处输入的诊断输入或反馈路由至无菌场内的主显示器819，其中可由手术台814处的无菌执业医生查看该诊断输入或反馈。例如，输入可呈对显示在非无菌显示器807和/或809上的快照和/或视频的修改形式，其可通过外科集线器806路由到主显示器819。

外科集线器806被配置为能够将信息流协调至智能外科器械812的显示器，如在各种美国专利申请中所描述的那样，这些专利申请在本公开中以引用方式并入本文。由非无菌操作者在可视化塔818处输入的诊断输入或反馈可由外科集线器806路由到无菌区内的显示器819，其中外科器械812的操作者和/或无菌区中的其他执业医生可查看该诊断输入或反馈。

智能外科器械812和成像装置824(该成像装置也是智能外科工具)作为外科系统802的一部分在外科手术中与患者一起使用。可在例如外科手术中使用(可移除地联接到患者侧推车820并且与机器人外科系统810和外科集线器806通信)的其他智能外科器械812a也在图19中示出为可用的。不能与机器人外科系统810和外科集线器806通信的非智能(或“哑巴”)外科器械817(例如，剪刀、套管针、插管、手术刀等)也在图19中示出为可供使用。

操作智能外科器械

智能外科装置可具有存储在其上(例如，存储在其存储器中)的算法，该算法被配置为能够可例如通过其处理器在智能外科装置上执行，以控制智能外科装置的操作。在一些实施方案中，作为存储在智能外科装置上的替代或补充，算法可存储在被配置为能够与智能外科装置通信的外科集线器上，例如存储在其存储器中。

算法以定义和/或表示指令、通知、信号等的一组或多组多个数据点的形式存储，以控制智能外科装置的功能。在一些实施方案中，由智能外科装置收集的数据可由智能外科装置(例如，由智能外科装置的处理器)使用，以改变算法的至少一个可变参数。如上文所讨论的，外科集线器可与智能外科装置通信，因此由智能外科装置收集的数据可被传送到外科集线器和/或由与外科集线器通信的另一装置收集的信息可被传送到外科集线器，并且数据可从外科集线器被传送到智能外科装置。因此，作为智能外科装置被配置为能够改变所存储的可变参数的替代或补充，外科集线器可被配置为能够将改变的至少一个变量单独地或作为算法的一部分传送到智能外科装置和/或外科集线器可将指令传送到智能外科装置以改变如由外科集线器所确定的至少一个变量。

至少一个可变参数在算法的数据点当中，例如包括在用于操作智能外科装置的指令中，并且因此每个可变参数能够通过改变算法的所存储的多个数据点中的一个或多个数据点来改变。在至少一个可变参数已改变之后，算法的后续执行根据改变的算法进行。因此，通过考虑到患者的实际情况以及正在使用智能外科装置的外科手术的实际条件和/或结果，可为患者管理智能外科装置随时间的操作，以增加智能外科装置的有益结果使用。对至少一个可变参数的改变是自动的，以改善患者结果。因此，智能外科装置可被配置为能够基于患者和患者的周围条件提供个性化药物，以提供智慧系统。在执行外科手术期间使用智能外科装置的外科环境中，至少一个可变参数的自动改变可允许基于在执行外科手术期间收集的数据来控制智能外科装置，这可帮助确保智能外科装置被有效且正确地使用和/或可帮助减少因伤害关键解剖结构而伤害患者的机会。

至少一个可变参数可以是多种不同参数中的任一参数。可变参数的示例包括马达速度、马达扭矩、能量水平、能量施加持续时间、组织压缩速率、钳口闭合速率、切割元件速度、负荷阈值等。

图20例示了智能外科器械900的一个实施方案，其包括存储器902，该存储器具有存储在其中的算法904，该算法包括至少一个可变参数。算法904可以是单个算法或可包括多个算法，例如，用于外科器械操作的不同方面的单独算法，其中每个算法包括至少一个可变参数。智能外科器械900可以是图1的外科装置102、图1的成像装置120、图8的外科装置202、图8的成像装置220、图15的外科装置402、图17的外科装置502a、图17的外科装置502b、图18的外科装置712、图19的外科装置812、图19的成像装置824、或其他智能外科器械。外科器械900还包括处理器906，该处理器被配置为能够够执行算法904以控制外科器械900的至少一个方面的操作。为了执行算法904，处理器906被配置为能够运行存储在存储器902中的程序以访问存储器902中的算法904的多个数据点。

外科器械900还包括通信接口908(例如，无线收发器或其他有线或无线通信接口)，该通信接口被配置为能够与另一装置(诸如外科集线器910)通信。通信接口908可被配置为能够允许单向通信，诸如向远程服务器(例如，云服务器或其他服务器)和/或向本地外科集线器服务器提供数据，以及/或者从远程服务器和/或本地外科集线器服务器接收指令或命令，或双向通信，诸如提供关于外科器械900的信息、消息、数据等和/或存储在其上的数据，并且接收指令，诸如来自医生的指令；关于对软件的更新的远程服务器、关于对软件的更新的本地外科集线器服务器、等的指令。

外科器械900在图20中被简化并且可包括附加部件，例如总线系统、柄部、在其远侧端部处具有端部执行器的细长轴、电源等。处理器906还可被配置为能够执行存储在存储器902中的指令，以总体上控制装置900(包括其其他电子部件)，诸如通信接口908、音频扬声器、用户界面等。

处理器906被配置为能够改变算法904的至少一个可变参数，使得算法904的后续执行将根据所改变的至少一个可变参数进行。为了改变算法904的至少一个可变参数，处理器906被配置为能够修改或更新存储器902中的至少一个可变参数的数据点。处理器906可被配置为能够在外科手术的执行期间使用外科装置900实时地改变算法904的至少一个可变参数，这可适应实时条件。

作为处理器906改变至少一个可变参数的补充或替代，处理器906可被配置为能够响应于从外科集线器910接收的指令来改变算法904和/或算法904的至少一个可变参数。在一些实施方案中，处理器906被配置为能够仅在与外科集线器910通信并且接收到来自该外科集线器的指令之后才改变至少一个可变参数，这可帮助确保外科器械900与其中正在使用外科器械900的外科手术的其他方面的协调动作。

在示例性实施方案中，处理器906执行算法904以控制外科器械900的操作，基于实时数据改变算法904的至少一个可变参数，并且在改变至少一个可变参数之后执行算法904以控制外科器械900的操作。

图21例示了使用外科器械900的方法912的一个实施方案，该方法包括改变算法904的至少一个可变参数。处理器906通过执行存储在存储器902中的算法904来控制914外科器械900的操作。基于该随后已知的数据和/或随后收集的数据中的任一者，处理器904改变916算法904的至少一个可变参数，如上文所讨论的。在改变至少一个可变参数之后，处理器906通过执行算法904来控制918外科器械900的操作，此时至少一个可变参数已改变。处理器904可在外科手术的执行期间多次改变916至少一个可变参数，例如零次、一次、两次、三次等。在方法912的任何部分期间，外科器械900可以使用通信接口908与一个或多个计算机系统(例如，外科集线器910、远程服务器诸如云服务器等)通信，以向其提供数据和/或从其接收指令。

态势感知

智能外科器械的操作可基于患者的态势感知而改变。智能外科器械的操作可诸如通过智能外科器械的用户以不同方式操纵器械、向器械提供不同的输入、停止使用器械等来手动改变。附加地或另选地，智能外科器械的操作可通过改变该器械的算法(例如，通过改变该算法的至少一个可变参数)来自动改变。如上所述，算法可自动调整，无需用户输入请求改变。在执行外科手术期间使调整自动化可帮助节省时间，可允许执业医师专注于外科手术的其他方面，和/或可简化执业医师使用外科器械的过程，这各自可诸如通过避开关键结构、考虑器械在其上和/或附近使用的组织类型控制外科器械等来改善患者结果。

本文所述的可视化系统可用作态势感知系统的一部分，该态势感知系统可由外科集线器(例如，外科集线器706、外科集线器806或本文所述的其他外科集线器)体现或执行。具体地，对外科器械(包括其位置、取向和动作)、组织、结构、用户和/或位于外科场或手术室内的其他事物进行表征、识别和/或可视化可提供情境数据，态势感知系统可利用该情境数据来推断各种信息，诸如正在执行的外科手术或其步骤的类型、外科医生或其他执业医生正在操纵的组织和/或结构的类型、以及其他信息。然后，态势感知系统可利用情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以备使用(例如，激活电外科发生器以备在外科手术的后续步骤中使用电外科器械等)，控制智能外科器械(例如，定制算法的外科器械操作参数，如下文进一步讨论的)等。

尽管包括响应感测到的数据的算法(例如，通过改变算法的至少一个可变参数)的智能外科装置可以是对在不考虑感测到的数据的情况下操作的“哑巴”装置的改善，但当孤立地考虑时，例如在没有正在被执行的外科手术的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制外科装置。例如，用于响应于特定的感测参数来控制外科器械的算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性、易切割性)，并且因此以不同的方式响应由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个示例，响应于外科缝合器感测到用于闭合其端部执行器的意外高的力来控制外科缝合器的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺组织)，外科器械的控制算法将响应于用于闭合的意外高的力而使马达最佳地减速，从而避免撕裂组织(例如，改变控制马达速度或扭矩的可变参数，使马达更慢)。对于抗撕裂的组织(诸如胃组织)，器械的算法将响应于用于闭合的意外高的力而使马达最佳地加速，从而确保端部执行器被正确地夹持在组织上(例如，改变控制马达速度或扭矩的可变参数，使马达更快)。在不知道肺部或胃组织是否已被夹紧的情况下，算法可能被次优地改变或根本不改变。

外科集线器可被配置为能够基于从各种数据源所接收的数据来导出关于正在被执行的外科手术的信息，然后相应地控制模块化装置。换句话讲，外科集线器可被配置为能够从所接收的数据推断关于外科手术的信息，然后基于所推断的外科手术的背景来控制可操作地联接到外科集线器的模块化装置。模块化装置可包括可由态势感知系统控制的任何外科装置，诸如可视化系统装置(例如，相机、显示屏等)、智慧外科器械(例如，超声波外科器械、电外科器械、外科缝合器、排烟器、窥镜等)。模块化装置可包括传感器，该传感器被配置为能够检测与正在使用该装置的患者相关联和/或与该模块化装置本身相关联的参数。

根据所接收的数据导出或推断的背景信息可包括例如正在被执行的外科手术的类型、外科医生(或其他执业医生)正在执行的外科手术的特定步骤、正在手术的组织的类型或作为外科手术的受试者的体腔。外科集线器的态势感知系统可被配置为能够以多种不同的方式根据从数据源所接收的数据导出背景信息。在示例性实施方案中，由外科集线器的态势感知系统接收的背景信息与用于一个或多个模块化装置的特定控制调整或一组控制调整相关联。控制调整各自对应于可变参数。在一个示例中，态势感知系统包括已在训练数据上进行训练以将各种输入(例如，来自数据库、患者监测装置和/或模块化装置的数据)与关于外科手术的对应的背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科手术的背景信息。在另一个示例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科手术的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制至少一个模块化装置的对应背景信息。在另一示例中，态势感知系统包括当提供背景信息作为输入时，生成或检索针对一个或多个模块化装置的一项或多项控制调整的另外的机器学习系统、查找表或其他此类系统。

包括态势感知系统的外科集线器可以为外科系统提供任何数量的益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科手术过程期间的处理精度和/或数据的使用。另一个益处是，外科集线器的态势感知系统可通过允许针对每个外科手术的特定背景调整外科器械(和其他模块化装置)(诸如针对不同的组织类型进行调整)并且在外科手术期间验证动作来改善外科手术结果。又一个益处是，态势感知系统可通过根据手术的特定背景自动建议接下来的步骤、提供数据以及调整显示器和手术室中的其他模块化装置来改善外科医生和/或其他执业医生执行外科手术的效率。另一个益处包括根据正在被执行的外科手术的特定步骤主动地且自动地控制模块化装置，以诸如通过在确定RF电外科器械的后续步骤需要使用RF电外科器械的情况下，态势感知外科集线器主动地激活RF电外科器械所连接到的发生器来减少执业医生在外科手术的过程期间需要与外科系统交互或控制外科系统的次数。主动地激活能量源允许器械在手术的先前步骤一完成就准备好使用。

例如，态势感知外科集线器可被配置为能够确定正在手术的组织的类型。因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器可被配置为能够例如通过改变或引起外科器械的关于马达速度或扭矩的算法的至少一个可变参数的改变来针对组织类型使外科器械的马达正确地加速或减速。

又如，正在手术的组织的类型可能影响针对特定组织间隙测量值对外科缝合器的压缩率和负荷阈值进行的调整。态势感知外科集线器可被配置为能够推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许态势感知外科集线器确定被外科缝合器的端部执行器夹持的组织是肺组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器可被配置为能够例如通过改变或引起外科缝合器的关于压缩速率和负荷阈值的算法的至少一个可变参数的改变来针对组织类型适当地引起外科缝合器的压缩速率和负荷阈值的调整。

作为又一示例，在吹气手术期间被操作的体腔的类型可能影响排烟器的功能。态势感知外科集线器可被配置为能够确定外科部位是否处于压力下(通过确定外科手术正在利用吹气)并且确定手术类型。由于手术类型通常在特定体腔中执行，因此外科集线器可被配置为能够例如通过改变或引起排烟器的关于马达速率的算法的至少一个可变参数的改变来针对正在操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器可以为胸部手术和腹部手术两者提供一致的排烟量。

作为又一示例，正在被执行的手术的类型可能影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜式手术需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器可被配置为能够确定外科手术是否是关节镜式手术。外科集线器可被配置为能够通过例如改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来调整发生器的RF功率水平或超声振幅(例如，调整能量水平)以补偿流体填充环境。相关地，正在手术的组织的类型可能影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器可被配置为能够例如通过改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来确定正在执行的外科手术的类型，然后根据外科手术的预期组织曲线分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器可被配置为能够在外科手术的整个过程中而不是仅在逐个手术的基础上调整超声外科器械或RF电外科器械的能量水平。态势感知外科集线器可被配置为能够确定正在执行或随后将要执行的外科手术的步骤，然后更新发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。

作为另一示例，态势感知外科集线器可被配置为能够根据在外科部位处外科医生和/或其他执业医生预期需要查看的特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。外科集线器被配置为能够相应地主动改变所显示的视图(例如，由用于可视化系统的成像装置提供)，使得在整个外科手术中自动调整显示器。

作为又一示例，态势感知外科集线器被配置为能够确定正在被执行或随后将执行外科手术的哪个步骤以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器可被配置为能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生或其他执业医生请求该特定信息。

作为另一示例，态势感知外科集线器可被配置为能够确定外科医生和/或其他执业医生在外科手术期间是否犯了错误或者以其他方式偏离了预期的动作过程，例如，如在术前外科计划中所提供的。例如，外科集线器可被配置为能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在使用的设备与外科集线器确定的针对该正在执行的外科手术类型的预期步骤或设备进行比较。外科集线器可被配置为能够提供指示在外科手术中的特定步骤正在执行意外动作或正在利用意外装置的警示(视觉、听觉和/或触觉)。

在某些情况下，机器人外科系统(诸如本文所述的各种机器人外科系统中的任一机器人外科系统)的操作可由外科集线器基于其态势感知和/或来自其部件的反馈和/或基于来自云(例如，图18的云713)的信息来控制。

态势感知系统以及在执行外科手术期间使用态势感知系统的实施方案在以下先前提及的US专利中进一步描述：美国专利申请号16/729,772，名称为“Analyzing SurgicalTrends By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,747，名称为“Dynamic Surgical Visualization Systems”，2019年12月30日提交；美国专利申请号16/729,744，名称为“Visualization Systems Using Structured Light”，2019年12月30日提交；美国专利申请号16/729,778，名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”，2019年12月30日提交；美国专利申请号16/729,729，名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”，2019年12月30日提交；美国专利申请号16/729,778，名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”，2019年12月30日提交；美国专利申请号16/729,751，名称为“Surgical Systems For Generating Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThereto”，2019年12月30日提交；美国专利申请号16/729,740，名称为“Surgical SystemsCorrelating Visualization Data And Powered Surgical Instrument Data”，2019年12月30日提交；美国专利申请号16/729,737，名称为“Adaptive Surgical System ControlAccording To Surgical Smoke Cloud Characteristics”，2019年12月30日提交；美国专利申请号16/729,796，名称为“Adaptive Surgical System Control According ToSurgical Smoke Particulate Characteristics”，2019年12月30日提交；美国专利申请号16/729,803，名称为“Adaptive Visualization By A Surgical System”，2019年12月30日提交；以及美国专利申请号16/729,807，名称为“Method Of Using Imaging Devices InSurgery”，2019年12月30日提交。

肺的外科手术

本文所述的装置、系统和方法的各个方面可涉及对肺执行的外科手术。例如，肺切除(例如，肺叶切除术)是一种切除肺的全部或部分(例如，一个或多个肺叶)的外科手术。执行肺切除的目的是治疗因肺癌、肺气肿或支气管扩张等原因导致的损伤或病变的肺。

在肺切除期间，首先对一个或多个肺放气，然后在患者的侧面在患者的肋骨之间形成一个或多个切口，经腹腔镜到达肺。通过切口插入外科器械(诸如抓紧器和腹腔镜)。一旦识别出肺的感染或损伤区域，就从肺上切下该区域并从一个或多个切口中去除该区域。切开区域和一个或多个切口可例如用外科缝合器或缝线闭合。

由于肺在外科手术期间被放气，因此可能需要动员肺或其某些部分以允许外科器械到达外科部位。这种动员可通过用抓紧器抓紧肺的外组织层并通过抓紧器向肺施加力来进行。然而，肺的胸膜和实质非常脆弱，因此在所施加的力下可能很容易撕开或撕裂。附加地，在动员期间，抓紧器可切断对肺的一个或多个区域的血液供应。

此外，还将一根呼吸管放入患者的气道中，以允许在外科手术期间对每个肺单独充气。肺的充气可能导致肺运动并与术前成像匹配和/或允许外科医生检查切开区域处是否有渗漏。然而，通过对整个肺充气，由于胸腔的填充，肺周围失去了工作空间。附加地，如果在外科手术期间对肺的多个部分进行手术，则对整个肺进行充气可能花费时间并且不能保证轻松检测泄漏。

结肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及对结肠执行的外科手术。例如，外科手术通常是早期结肠癌的主要治疗方法。所使用的外科手术类型取决于癌症的分期(程度)、在结肠中的位置以及外科手术的目标。

一些早期结肠癌(0期和一些

早期I期肿瘤)和大多数息肉可以在结肠镜检查期间被切除。然而，如果癌已经进展，则可能需要局部切除或结肠切除术。结肠切除术是去除结肠的全部或部分的外科手术。在某些情况下，附近的淋巴结也被去除。如果仅去除结肠的一部分，则称为半结肠切除术、部分结肠切除术或分段切除，其中外科医生取出结肠的病变部分，并在两侧取出一小段未病变的结肠。通常，根据癌症的大小和位置，切除约四分之一至三分之一的结肠。结肠的主要切除如图22所示，其中A-B为右半结肠切除术，A-C为扩大右半结肠切断术，B-C为横结肠切除术，C-E为左半结肠切除术，D-E为乙状结肠切除术，D-F为前切除术，D-G为(超)低位前切除术，D-H为腹会阴切除术，A-D为结肠次全切除术，A-E为全结肠切除术，并且A-H为全结肠直肠切除术。一旦切除完成，就将结肠的剩余完整部分重新附着。

结肠切除术可通过开放性结肠切除术并通过腹腔镜式辅助结肠切除术进行，在开放性结肠切除术中使用穿过腹壁的单个切口进入结肠以分离并去除受影响的结肠组织。对于腹腔镜式辅助结肠切除术，通过许多较小的切口进行外科手术，其中外科器械和腹腔镜穿过这些小切口以去除整个结肠或其一部分。在手术开始时，用气体(例如，二氧化碳)对腹部进行充气，为外科医生提供工作空间。腹腔镜在腹腔内传输图像，在监测器或其他显示器上为外科医生提供患者的内脏器官的放大视图。插入其他几个插管，以允许外科医生在结肠内部工作并去除结肠的一部分。一旦结肠的患病部分被去除，结肠的剩余末端例如经由缝合器或缝线彼此附着。整个手术可通过插管或通过延长小插管切口中的一个切口来完成。

在腹腔镜式辅助结肠切除术手术中，通常很难获得足够的手术区。通常，在骨盆深处切开，这使得难以获得该区域的充分可视化。因此，在动员期间，必须提起下直肠并旋转，以进入直肠两侧周围的静脉和动脉。在操纵下直肠期间，可能发生组织的聚束和/或组织的过度拉伸。附加地，直肠内的肿瘤可能引起周围骨盆粘连，因此在横切和去除肿瘤之前，可能需要释放直肠残端并动员肠系膜和血液供应。

此外，需要多个抓紧器来定位肿瘤以从结肠中去除。在切开结肠期间，肿瘤应处于张力下，这需要抓住并拉伸结肠周围的健康组织。然而，由于抓紧器对组织施加了高的抓紧力，对肿瘤周围组织的操作可能导致血流量减少和创伤。附加地，在结肠切除术期间，可能需要动员横结肠和上降结肠，以在横切并去除包含肿瘤的结肠部分后，将健康、完好的剩余结肠带下来连接到直肠残端。

在结肠切除术之后，必须将结肠的剩余健康部分彼此重新附着，为废物排出体外创造一条路径。然而，当使用腹腔镜式器械来执行结肠切除术时，单一入口端口可能不具有足够大的运动范围来将结肠的一个端部运动到结肠的连接部分。因此，需要第二入口端口来经腹腔镜插入外科器械来帮助动员结肠，以便正确定位结肠。

胃的外科手术

本文所述的装置、系统和方法的各个方面可涉及对胃执行的外科手术。例如，外科手术是胃癌最常见的治疗方法。当胃癌需要外科手术时，目标是去除整个肿瘤以及肿瘤周围健康胃组织的良好边界。可使用不同的手术来去除胃癌。所使用的手术类型取决于癌症位于胃的哪个部分以及它在附近区域的生长距离。例如，内窥镜粘膜切除术(EMR)和内窥镜粘膜下剥离术(ESD)是胃部手术，可用于治疗一些早期癌症。这些手术不需要切开皮肤，而是由外科医生将内窥镜向下穿过患者的喉咙并进入胃部。然后将外科工具(例如，MEGADYNE^TM组织切开器或电外科手术笔)穿过内窥镜的工作通道，以去除肿瘤及其下方和周围正常胃壁的某些层。

对胃执行的其他外科手术包括可作为开放手术执行的胃次全(胃部分)切除术或全胃切除术。例如，通过腹部皮肤中的大切口插入外科器械，或者作为腹腔镜式手术插入外科器械，例如通过几个小切口将外科器械插入腹部。例如，腹腔镜式胃切除术手术通常涉及用二氧化碳气体将腹腔吹气至约15毫米汞柱(mm Hg)的压力。刺穿腹壁，然后将直管插管或套管针(诸如直径在约5mm至约10mm范围内的插管或套管针)插入腹腔中。连接到手术室监测器的腹腔镜用于对手术区进行可视化，并穿过套管针中的一个套管针来放置。腹腔镜式外科器械穿过两个或更多个附加的插管或套管针放置，以供执业医生(例如，外科医生和外科助理)操纵，以去除胃的期望部分。

在某些情况下，腹腔镜式和内窥镜式协作外科手术可用于去除胃肿瘤。这种协作外科手术通常涉及引入内窥镜(例如，胃镜)和腹腔镜式套管针。通过套管针引入腹腔镜以及组织操纵和切开外科器械。可经由内窥镜识别肿瘤位置，然后使用插入内窥镜工作通道的切割元件进行对肿瘤周围的粘膜下切除。然后使用腹腔镜式切开外科器械在肿瘤边界附近进行浆肌切开，以形成穿过胃壁的切口。然后将肿瘤通过该切口从管腔内空间(例如，胃内部)旋转到管腔外空间(例如，胃外部)。然后，可使用腹腔镜式外科器械(例如，直线切割器)完成肿瘤从胃壁的横切并密封切口。

肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及对肠执行的外科手术。例如，可经内窥镜进行十二指肠粘膜表面重建(DMR)手术来治疗胰岛素抵抗代谢性疾病，诸如2型糖尿病。DMR手术可以是一种有效的治疗方法，因为它会影响食物的检测。DMR手术抑制十二指肠功能，使得食物倾向于在肠中比正常情况更深地被感测到，例如在通过十二指肠(其为小肠的第一部分)后被感测到。因此，患者的身体在肠中比典型情况更深地感测到糖，并且因此比典型情况更晚地对糖反应，使得可以改善血糖控制。十二指肠的不规则功能改变了身体对食物的典型反应，并且通过神经系统和化学信号使身体适应其对葡萄糖水平的反应以增加胰岛素水平。

在DMR手术中，诸如用盐水提起十二指肠粘膜，然后例如使用穿过内窥镜的工作通道推进到十二指肠中的消融装置来消融粘膜。在消融前提起粘膜有助于保护十二指肠外层免受消融损伤。粘膜被消融后，粘膜随后再生。消融装置的示例是NeuWave^TM消融探头(可从俄亥俄州辛辛那提的Ethicon美国有限责任公(Ethicon US LLC of Cincinnati,OH)获得)。消融装置的另一示例是Hyblate导管消融探头(可从以色列米斯加夫的Hyblate医疗公司(Hyblate Medical of Misgav,Israel)获得)。消融装置的另一示例是Barxx^TMHaloFlex(可从明尼苏达州明尼阿波利斯的美敦力公司(Medtronic of Minneapolis,MN)获得)。

图22A例示了DMR手术的一个实施方案。如图22A所示，腹腔镜1400定位在十二指肠1402的外部，用于十二指肠1402的外部可视化。内窥镜1404经口推进穿过食道1406、穿过胃1408，并进入十二指肠1402以用于十二指肠1402的内部可视化。消融装置1410推进穿过内窥镜1404的工作通道以从内窥镜1404向远侧延伸到十二指肠1402中。消融装置1410的球囊1412在图22A中示出为是膨胀或充气的。膨胀或充气的球囊1412可帮助将消融装置的电极居中，因此在消融装置1410推进和/或缩回以重复消融之前可发生均匀的周向消融。在使用消融装置1410消融粘膜之前，诸如用盐水提起十二指肠粘膜。在一些实施方案中，作为包括球囊1412的补充或替代，消融装置1410可以是可使用被配置为能够膨胀和收缩的电极阵列或篮状件来膨胀/收缩的。

腹腔镜对十二指肠1402的外部可视化可允许对十二指肠1402进行热监测，这可帮助确保十二指肠1402的外层不会由于十二指肠粘膜的消融(诸如被穿孔的十二指肠)而损伤。例如，在2021年10月5日提交的名称为“Surgical Methods Using Multi-SourceImaging”的美国专利申请号17/493,904以及2021年10月5日提交的名称为“SurgicalMethods For Control Of One Visualization With Another”的美国专利申请号17/494,364中进一步讨论了热监测的各种实施方案。内窥镜1404和/或消融装置1410可在其上包括基准标记，腹腔镜1400可被配置为能够例如通过使用不可见光透过十二指肠的组织进行可视化，以帮助确定腹腔镜1400应在消融发生的位置处从外部可视化十二指肠1402的位置。例如，在下文以及2021年10月5日提交的名称为“Surgical Methods For Control Of OneVisualization With Another”的美国专利申请号17/494,364中进一步讨论了基准标记的各种实施方案。

智能基准标记

本文提供的用于多源成像的装置、系统和方法可允许基准识别和跟踪。一般来讲，智能基准标记被配置为能够附接到外科器械或成像装置并且存储关于标记所附接的外科器械或成像装置的信息。因此，标记可用作标记所附接的外科器械或成像装置的基准点或参考点，从而允许跟踪外科器械或成像装置。所存储的信息可包括标记所附接的外科器械或成像装置所特有的识别信息，诸如型号和/或序列号，从而允许外科器械或成像装置被唯一地识别。所存储的信息可包括对于包括标记所附接的外科器械或成像装置的可视化系统而言唯一的识别信息，诸如数字代码、字母数字代码、字母代码等，从而允许可视化系统被唯一地识别。关于外科器械或成像装置的数据，诸如关于外科器械或成像装置在外科手术中的使用所收集的数据，因此可以被唯一地链接到外科器械或成像装置。将数据与特定的外科器械或成像装置相关联可有利于对各种度量的分析，诸如性能跟踪、维护需求、先前执行的维护的有效性、其中已经使用外科器械或成像装置的外科手术的数量和/或外科手术由哪些外科医生执行，以及其他类型的分析。识别信息还可以包括与标记所附接的外科器械或成像装置相关联但不唯一地识别外科器械或成像装置的信息，诸如制造批号、制造商名称、制造日期、兼容的钉仓尺寸、能量模态、每个基准标记之间的距离(在外科器械或成像装置包括多个基准标记的实施方案中)、基准标记的物理尺寸，以及其他非唯一识别的信息。代替识别信息或除识别信息之外，所存储的信息可包括认证信息，诸如认证签名、指示标记所附接的外科器械或成像装置的真实性，从而允许外科器械或成像装置被识别为被证明是真实的。在外科手术中使用外科器械或成像装置之前验证外科器械或成像装置的真实性可以帮助确保外科器械或成像装置可以安全使用，并且将如由外科器械或成像装置的销售商、制造商等提供的预期那样执行。

由标记存储的信息中的至少一些信息可以是不能被改变的静态信息。识别信息和认证信息是可以由标记存储的静态信息的示例。

由标记存储的信息中的至少一些信息可以是可调整的，例如不是静态的。能够被调整的信息可以允许信息被更新以反映与标记所附接的外科器械或成像装置相关联的当前状况。因此，可以在使用外科器械或成像装置期间收集关于外科器械或成像装置的实时信息，这可以允许就外科器械或成像装置的使用和/或关于可能受外科器械或成像装置的实时状态影响的外科手术的其他方面做出明智的决定。可调整信息的示例包括标记所附接的外科器械或成像装置的当前状态(例如、通电/断电、操作模式、能量模式诸如双极或单极、缝合或不缝合、施加能量或不施加能量、收集图像或不收集图像，以及其他状态信息)以及标记所附接的外科器械或成像装置的部件的当前状态(例如，钳口打开或钳口闭合、端部执行器进行关节运动或不进行关节运动、电极阵列处于压缩构型或处于展开构型，以及其他部件状态信息)。存储在基准标记上的可调整信息可以多种方式中的任一种方式来调整，诸如经由磁参数改变(其中所存储的数据以磁方式改变)、电磁参数改变(其中所存储的数据以电磁方式改变)或电参数改变(其中所存储的数据以电方式改变)中的至少一种。

基准标记可以是无源的或有源的。无源基准标记诸如条形码或QR码被配置为能够由读取器读取。无源基准标记不能提供所存储的信息，除非被读取器读取。一些无源基准标记诸如磁性线圈或印刷磁路不能在其上存储信息。

有源基准标记被配置为能够发射指示所存储的信息的能量。该能量可以由读取器检测，从而允许每当读取器在所发射的能量的范围内时检索所存储的信息。例如，基准标记可以被配置为能够发射近红外(NIR)波长图案，该波长图案唯一地识别物质所附接的外科器械或成像装置。又如，多个基准标记中的每个基准标记可以被配置为能够以不同频率发射超声可听信标。不同类型的器械/装置可以与不同频率相关联，使得所收集的信息可以与特定类型的外科器械或成像装置相关联。再如，外科器械或成像装置可以包括基准标记，该基准标记被配置为能够以多个不同频率(例如，指示序列号的第一频率、指示型号的第二频率、指示端部执行器钳口尺寸的第三频率等)中的每个频率发射不同类型的信息。再又如，基准标记可以包括有源或无源RLC谐振电路。无源RLC谐振电路可以例如通过电磁阵列通电。

有源基准标记可以被配置为能够传送基准标记所附接的外科器械或成像装置的预期功能。例如，基准标记可以被配置为能够以第一频率通信，直到以第一频率接收信标的接收器向外科器械或成像装置传送外科器械或成像装置已到达其在患者体内的目标位置以执行功能，诸如能量递送、缝合、消融等。然后，基准标记可被配置为能够以第二不同的频率通信。

基准标记可以多种方式中的任一种方式附接到外科器械或成像装置。例如，可以使用粘合剂将基准标记粘附到外科器械或成像装置的表面。又如，可以使用利用可见光可见的油墨或使用利用不可见光可见的油墨将基准标记打印到外科器械或成像装置的表面上。再如，基准标记可被嵌入到外科器械或成像装置中。再又如，基准标记可被注塑成型到外科器械或成像装置的表面中。

基准标记可附接到外科器械或成像装置的固定部分，或者基准标记可附接到外科器械或成像装置的可移动部分。附接到外科器械或成像装置的固定部分的基准标记允许标记相对于外科器械或成像装置处于固定位置，这可有利于跟踪外科器械或成像装置，因为标记将相对于标记所附接的外科器械或成像装置处于已知位置，并且/或者可有利于从标记收集信息，因为标记可以预测性地位于外科器械或成像装置上的已知位置处。附接到外科器械或成像装置的可移动部分的基准标记允许标记与外科器械或成像装置的可移动部分一起移动，这可有利于确定外科器械或成像装置的可移动部分的状况，因为标记将根据可移动部分的当前位置和取向而处于不同的位置。可移动部分的示例包括被配置为能够相对于细长轴进行关节运动以及/或者相对于细长轴旋转的端部执行器、被配置为能够在打开位置和闭合位置之间移动端部执行器时移动的端部执行器的钳口、被配置为能够相对于彼此弯曲或以其他方式进行关节运动的一系列连杆中的每一个连杆、消融装置的可膨胀或可扩展构件，以及其他可移动部分。

图23示出了包括第一基准标记1302和第二基准标记1304的外科器械1300的一个实施方案。在该例示的实施方案中，外科器械1300包括两个基准标记1302、1304，但外科器械(或成像装置)可以具有一个或多个基准标记。该例示的实施方案中的外科器械1300是抓紧器，但其他类型的外科器械可以包括一个或多个基准标记。该例示的实施方案中的外科器械1300包括细长轴1306、端部执行器1308(该端部执行器包括被配置为能够接合其间的组织的上部钳口1310和下部钳口1312)以及在轴1306与端部执行器1308之间的关节运动接头1314(该关节运动接头被配置为能够有利于端部执行器1308相对于轴1306的关节运动)。

该例示的实施方案中的第一基准标记1302附接到外科器械1300的固定部分，即附接到细长轴1306。该例示的实施方案中的第二基准标记1304附接到外科器械1300的可移动部分，即附接到连接关节运动接头1314和端部执行器1308的细长连接部分1316。连接部分1316被配置为能够与端部执行器1308相对于细长轴1306进行关节运动。第二基准标记1304因此被配置为能够指示端部执行器1308的关节运动状态。

该例示的实施方案中的第一基准标记1302和第二基准标记1304彼此尺寸相同并且各自具有圆形形状。在外科器械或成像装置包括多个基准标记的其他实施方案中，基准标记中的一个或多个基准标记可以具有与其他基准标记中的一个或多个基准标记不同的尺寸和/或形状。某些尺寸和形状的基准标记可比其他尺寸和形状更好地配合在外科器械和成像装置的某些部分上。

基准标记可以具有除圆形以外的形状，诸如正方形、三角形、矩形、椭圆形、线圈等。基准标记的形状可以用于提供关于基准标记所附接的外科器械或成像装置的信息。例如，基准标记的某些形状可以与外科器械或成像装置的不同部分相关联，使得基准标记的形状指示基准标记在外科器械或成像装置上的位置，诸如具有第一形状的第一基准标记在端部执行器的上部钳口上，并且具有第二不同形状的第二基准标记在端部执行器的下部钳口上，具有第一形状的第一基准标记在外科器械或成像装置的细长轴的第一侧上，并且具有第二不同形状的第二基准标记在外科器械或成像装置的相对侧上，等等。又如，形状可以指示基准标记所附接的外科器械或成像装置的轴线。例如，具有细长矩形形状的基准标记可以在外科器械或成像装置的细长轴上，并且基本上平行于轴的纵向轴线延伸，从而指示轴的纵向轴线的方向和/或轨迹。本领域的技术人员将理解，轴线可能不是精确平行的，但出于多种原因中的任一种原因，诸如测量装备和制造公差的灵敏度，轴线被认为是基本上平行的。

如本文所讨论的，外科器械和成像装置可以在执行外科手术期间被可视化。外科手术期间的可视化可以收集静态图像、视频图像，或者静态图像和视频图像两者。不论所收集的图像是静态图像还是视频图像，所收集的图像都可以示出附接到外科器械或成像装置的基准标记。因此可例如通过外科集线器、机器人外科系统或其他计算机系统的控制器来分析所收集的图像，以识别在所收集的图像中的至少一个图像中示出的基准标记并且经由所识别的图像从标记检索所存储的信息。因此，可以在外科手术执行的正常过程中从基准标记检索信息，其中图像已经被收集用于显示，无论图像是使用患者体内还是体外的成像装置收集的。机器学习可用于随时间推移改善基准标记识别。

例如，图像中示出的基准标记可以是可以使用图像识别算法来识别的无源标记，诸如条形码或QR码。一旦被识别为基准标记，就可以从无源标记中以电子方式检索信息，例如可以读取条形码或QR码。

从基准标记检索到的信息可以多种方式中的任一种方式使用。例如，如上所述，该信息可用于唯一地识别标记所附接的外科器械或成像装置。又如，也如上所述，该信息可用于认证标记所附接的外科器械或成像装置。再如，也如上所述，该信息可用于促进对各种度量的分析。

再又如，该信息可用于对标记所附接的外科器械或成像装置进行人体工程学评估。基于人体工程学评估，外科器械或成像装置的当前位置或取向可能不适于一个或多个可能的动作，从而触发用户通知，该用户通知指示在采取一个特定动作(或多个特定动作)之前应当采取的动作。在一些实施方案中，用户通知可以不指示应当采取动作，而是简单地指示人体工程学评估，例如，钳口打开、钳口闭合、端部执行器进行关节运动、端部执行器不进行关节运动、电极阵列处于压缩构型、电极阵列处于展开构型，等等。例如，基于如基准标记所指示的正被翻转的外科缝合器的端部执行器的当前取向，用户通知可以指示在从端部执行器移除钉仓之前应当将端部执行器旋转180°，以例如在钉仓已经被击发出钉仓之后更换钉仓。又如，基于如基准标记所指示的钳口打开状态，用户通知可以指示外科器械的钳口当前是打开的并且应当在例如钳口中的一个或两个钳口上的电极被激活以将能量施加到组织、将器械从患者体内取出、从器械击发U形钉等之前闭合。例如，通过确定外科器械的两个基准标记之间的距离不同于在钳口闭合时两个基准标记之间的距离，可以确定钳口打开状态。当钳口闭合时两个基准标记之间的距离可以是所存储的信息的一部分，该距离然后可以用作人体工程学评估中的参考，或者当钳口闭合时两个基准标记之间的距离可以是执行评估的控制器可访问的预先存储的信息。再如，基于压缩的电极阵列状态，用户通知可以指示电极阵列应当在能量递送开始之前展开，诸如通过电极阵列所附接的外科装置的可展开构件来展开以及/或者通过将电极阵列定位在当前容纳处于压缩构型的电极阵列的容纳机构的远侧。

人体工程学评估可允许确定基准标记所附接的外科器械或成像装置是否朝向或远离从基准标记收集信息的成像装置。在这种情况下，外科器械或成像装置可包括多个基准标记。人体工程学评估可确定每个基准标记之间的距离，从而确定基准标记的三维方面，该三维方面指示外科器械或成像装置是否朝向或远离收集信息的成像装置。确定外科器械或成像装置瞄准的位置可有利于外科器械或成像装置的图像叠加在另一个所采集的图像上，在另一个所采集的图像中外科器械或成像装置以其他方式不可见。

再如，外科器械或成像装置可包括多个基准标记，多个基准标记可用于确定基准标记所附接的外科器械或成像装置或其部分的比例、角度、距离和位置。基准标记可以按基于外科器械或成像装置相对于收集基准标记的图像的读取器如何定位而在视角方面改变的图案附接到外科器械或成像装置。基于所收集的基准标记的图案、基准标记所附接的外科器械或成像装置或其一部分的比例、角度、距离和位置。

基准标记的所存储信息可以是可读的，而无需任何解密。另选地，基准标记的所存储信息中的至少一些信息在变得可读之前可能需要解密。要求解密可提高安全性并且帮助确保仅授权用户才能解密所存储信息，例如，因此仅被验证为已经购买基准标记所附接的外科器械或成像装置的用户才能访问所需解密密钥。外科集线器、机器人外科系统或其他计算机系统的存储器可被配置为能够将解密密钥预先存储在其中，使得当基准标记在外科手术期间被读取时，可以检索解密密钥并且将其用于解密所存储的信息。基准标记可包括外科集线器、机器人外科系统或其他计算机系统可以用来定位正确的解密密钥的非加密代码或其他标识符，诸如在将多个解密密钥中的每一个解密密钥与不同的非加密代码或其他标识符相关联的查找表中。

基准标记的所存储的信息可被配置为能够仅使用一种能量模式，例如可见光、超声、红外(IR)、磁性诸如霍尔效应或MRI、CT等来收集。可使用不可见光检索的基准标记的信息意味着基准标记可以但不一定位于外科器械或成像装置的外表面上。相反，存储使用不可见光可读的信息的基准标记可以位于外科器械或成像装置的内部，诸如通过嵌入其中或通过位于外科器械或成像装置的内部部件的表面上。例如，钨基准标记可以位于外科器械或成像装置的外部钢元件内，使得钨基准标记可以在CT图像上可见，但肉眼不可见。

存储使用可见光可读的信息的基准标记可具有反射特性，在这种情况下，基准标记在低光条件下可以是最佳可见的。

存储在基准标记上的特定类型的信息，例如识别信息、授权信息等，可以与特定的能量模式相关联，使得当期望特定类型的信息时，可以使用与该类型的信息相关联的能量模式来检索信息。如果外科器械或成像装置包括多个基准标记，则来自标记中的每一个标记的信息可被配置为能够使用与所有其他标记相同的能量模式或者使用与至少一个其他标记不同的能量模式来收集。具有使用相同的能量模式可检索的信息的多于一个基准标记可以加速信息检索过程，因为单个能量模式可用于从多个基准标记检索信息。可以用不同的能量模式读取的相同外科器械或成像装置上的不同基准标记可有利于目标信息的检索，因为不同的能量模式可用于根据需要检索不同的信息。

基准标记可以包括多个层。这些层中的每个层可以被配置为能够使用不同的能量模式来识别。单个基准标记因此可以被配置为能够使用不同光谱中的多个不同波长来读取。层可以由不同材料制成，以便于在特定的能量模式下对它们进行读取。例如，可以使用CT看到钨。又如，可以通过超声看到具有不同氢方面的聚合物密度。例如，聚合物可以是不透射线的，以便对无线电波和电磁波谱的X射线部分不透明。又如，聚合物可以不是不透射线的，以便对无线电波和电磁波谱的X射线部分不透明。再如，材料可以被配置为能够当暴露于某些光波长时发出荧光。

基准标记的多个层中的每一层可包括相同的所存储信息，这可以提供冗余并且/或者可以有利于从基准标记收集信息，而不管基准标记在外科手术期间暴露于什么类型的光。如果基准标记暴露于与基准标记兼容的多于一种类型的光并且基准标记的这些光层中的每一个光层存储相同的信息，则来自读取层中的每一个读取层的信息可以相互比较以验证信息的准确度。另选地，层中的一个或多个层可包括不同于其他层中的至少一层的信息，这可以有利于目标信息的收集，因为可以使用不同类型的光来收集不同的信息。

图24、图25和图26示出了包括多个层1322、1324、1326的基准标记1320的一个实施方案。包括多个层的基准标记可以使层水平地彼此相邻，以便层全部处于相同的轴向水平，如在该例示的实施方案中，或者这些层可以处于不同的轴向(竖直)水平以便是三维的。图24示出了被配置为能够使用可见光来读取的可见光层1322。图25示出了被配置为能够使用超声光来读取的超声光层1324。图26示出了被配置为能够使用IR光来读取的红外光层1326。层1322、1324、1326具有对准的中心轴线1328c和对准的时钟轴线1328k，这可以允许每种可视化技术协调径向取向。基准标记1320在该例示的实施方案中具有圆形形状，但可具有另一种形状，如本文所讨论的。

图27示出了成像装置1330的一个实施方案，该成像装置被配置为能够使用多种能量模式从基准标记收集信息。在该例示的实施方案中，成像装置1330是窥镜，但可以使用其他成像装置。成像装置1330被示出为与第一外科器械(其是图23的外科器械1300)和第二外科器械1332一起使用。第二外科器械1332是类似于外科器械1300的抓紧器。抓紧器仅用作示例，因为其他类型的外科器械可以与基准标记一起使用。

成像装置1330在图27中被示出为使用三种能量模式来从第一外科器械1300的第一基准标记1302和第二基准标记1304以及从第二外科器械1332的第三基准标记1334和第四基准标记1336收集信息。该例示的实施方案中的三种能量模式是用于可见光感测的可见光1338、用于超声感测的超声光1340和用于不透射线感测的不透射线频率光1342。第一基准标记1302、第二基准标记1304、第三基准标记1334和第四基准标记1336中的至少一者能够使用可见光1338读取，第一基准标记1302、第二基准标记1304、第三基准标记1334和第四基准标记1336中的至少一者能够使用超声光1340读取，并且第一基准标记1302、第二基准标记1304、第三基准标记1334和第四基准标记1336中的至少一者能够使用不透射线频率光1342读取。第一外科器械1300的第一基准标记1302和第二基准标记1304关于图27被描述为可使用可见光、超声光和不透射线频率能量模式中的至少一种来读取，但在其他实施方案中可以使用其他能量模式来读取。

在图27的实施方案中使用单个成像装置1330使用与第一基准标记1302、第二基准标记1304、第三基准标记1334和第四基准标记1336以不同方式相关联的三种能量模式来收集信息。在另一实施方案中，多于一个成像装置可以与使用三种能量模式中的至少一种能量模式的成像装置中的每一个成像装置一起使用。

本文所公开的装置和系统可被设计成使用一次之后丢弃，也可被设计成供多次使用。然而无论是哪种情况，该装置都可在至少使用一次之后经过修复再行使用。修复可包括拆卸装置、之后清洁或更换特定零件以及后续重新组装步骤的任何组合。具体地讲，该装置可拆卸，并且可以任意组合选择性地更换或移除装置的任意数目的特定零件或部件。在清洁和/或更换特定部件后，可对该装置进行重新组装，以便随后在修复设施处使用或就在外科手术之前由手术团队使用。本领域的技术人员将理解，对装置进行修整可利用各种技术来进行拆卸、清洁/替换和重新组装。此类技术的使用以及所得的修复装置均在本申请的范围内。

可优选的是，在使用之前对本文所公开的装置进行消毒。这以通过本领域中那些技术人员已知的任何多种方式来完成，包括β辐射或γ辐射、环氧乙烷、蒸汽以及液浴(例如冷浸)。在2012年2月14日公布的名称为“System And Method Of Sterilizing AnImplantable Medical Device”的美国专利号8,114,345中更详细地描述了对包括内部电路的装置进行消毒的示例性实施方案。优选的是，如果植入的话，将装置气密密封。这可通过本领域中那些技术人员已知的任何数量的方式而完成。

已在上文在本文提供的整体公开内容的上下文中仅以举例的方式描述了本公开。应当理解，在不脱离本公开的总体范围的情况下，可以在权利要求书的实质和范围内进行修改。本文引用的所有出版物和参考文献出于所有目的全文明确地以引用方式并入本文。

Claims

1.一种外科系统，所述外科系统包括：

外科装置，所述外科装置具有远侧部分，所述远侧部分被配置为能够在外科手术的执行期间被推进到患者的身体中；

基准标记，所述基准标记在所述外科装置的所述远侧部分的外部上，所述基准标记存储与所述外科装置相关联的信息；

成像装置，所述成像装置被配置为能够收集使所述患者的所述身体中的所述基准标记可视化的图像；和

控制器，所述控制器被配置为能够随着所述外科手术的所述执行实时地分析所述图像以检测与所述外科装置相关联的所述信息。

2.根据权利要求1所述的系统，其中，所存储的信息对于所述外科装置是唯一的，并且包括所述外科装置的型号和所述外科装置的序列号中的至少一者。

3.根据权利要求1或权利要求2所述的系统，其中，所存储的信息对于包括所述外科装置的可视化系统是唯一的。

4.根据权利要求1至3中任一项所述的系统，其中，所存储的信息包括认证签名，所述认证签名指示所述外科装置被证明是正品；并且

所述控制器被配置为能够分析所检测到的信息，从而确定所述外科装置被证明是正品。

5.根据任一前述权利要求所述的系统，其中，所存储的信息不是静态的，并且被配置为能够在所述外科手术的所述执行期间由所述外科装置的第二控制器改变。

6.根据权利要求5所述的系统，其中，所述第二控制器被配置为能够基于所述外科装置和/或所述外科装置的部件的当前状态来改变所存储的信息。

7.根据权利要求5或权利要求6所述的系统，其中，所述第二控制器被配置为能够经由磁参数变化、电磁参数变化或电参数变化中的至少一者来改变所存储的信息。

8.根据权利要求1至4中任一项所述的系统，其中，所存储的信息是静态的并且无法改变。

9.根据任一前述权利要求所述的系统，其中，所述基准标记附接到所述外科装置的固定部分。

10.根据任一前述权利要求所述的系统，其中，所述基准标记附接到所述外科装置的可移动部分；并且

所述控制器被配置为能够分析所检测到的信息，从而确定所述外科装置的所述可移动部分的状况。

11.根据任一前述权利要求所述的系统，其中，所述基准标记是无源的并且包括条形码和QR码中的至少一者。

12.根据权利要求1至10中任一项所述的系统，其中，所述基准标记是有源的并且被配置为能够发射被配置为能够由所述成像装置检测到的能量；并且

所述控制器被配置为能够随着所述外科手术的所述执行实时地分析由所述成像装置检测到的所述能量，并且由此确定所述外科装置相对于目标的位置。

13.根据任一前述权利要求所述的系统，其中，所述外科装置包括外科解剖器、外科缝合器、外科抓紧器、施夹器、排烟器、和外科能量装置中的一者。

14.根据任一前述权利要求所述的系统，其中，外科集线器包括所述控制器。

15.根据任一前述权利要求所述的系统，其中，机器人外科系统包括所述控制器，并且所述外科装置和所述成像装置各自被配置为能够以可释放的方式联接到所述机器人外科系统并且由所述机器人外科系统控制。

16.一种方法，包括：

在外科手术的执行期间将根据权利要求0所述的外科装置推进到所述患者的所述身体中，所述外科装置以可释放的方式联接到机器人外科系统；

在所述外科手术的所述执行期间将根据权利要求0所述的成像装置推进到所述患者的所述身体中，所述成像装置以可释放的方式联接到所述机器人外科系统；

在所述外科手术的所述执行期间，使用所述成像装置收集根据权利要求0所述的基准标记的图像；以及

使用根据权利要求0所述的控制器并且在所述外科手术的所述执行期间分析所述图像以检测与所述外科装置相关联的所述信息。

17.根据权利要求16所述的方法，其中，所存储的信息包括认证签名，所述认证签名指示所述外科装置被证明是正品；并且

所述分析包括基于所述认证签名来确定所述外科装置被证明是正品。

18.根据权利要求16或权利要求17所述的方法，所述方法还包括利用所述控制器基于在所述外科手术的所述执行期间由所述外科装置执行的动作来改变所存储的信息。

19.根据权利要求16至18中任一项所述的方法，其中，所述基准标记正在发射能量；并且

所述方法还包括使用所述控制器并且在所述外科手术的所述执行期间分析所发射的能量，并且由此确定所述外科装置相对于目标的位置。

20.根据权利要求16至19中任一项所述的方法，其中，所述机器人外科系统包括所述控制器。

21.根据权利要求16至20中任一项所述的方法，其中，外科集线器包括所述控制器。

22.一种包括指令的计算机程序产品，当所述程序由根据权利要求1至15中任一项所述的系统的所述控制器执行时，所述指令致使所述控制器执行根据权利要求16至21中任一项所述的方法。

23.一种计算机可读介质，所述计算机可读介质上存储有根据权利要求22所述的计算机程序产品。

24.一种数据载体信号，所述数据载体信号承载根据权利要求22所述的计算机程序产品。