CN118159217A

CN118159217A - 使用多源成像的外科装置、系统和方法

Info

Publication number: CN118159217A
Application number: CN202280070781.4A
Authority: CN
Inventors: F·E·谢尔顿四世; C·J·谢伊布; J·L·哈里斯; K·M·费比格; S·R·亚当斯
Original assignee: Cilag GmbH International
Current assignee: Cilag GmbH International
Priority date: 2021-09-29
Filing date: 2022-09-26
Publication date: 2024-06-07

Abstract

一般来讲，提供了用于多源成像的装置、系统和方法。

Description

使用多源成像的外科装置、系统和方法

相关申请的交叉引用

本申请要求2021年9月29日提交的名称为“Surgical Devices,Systems,AndMethods Using Multi-Source Imaging”的美国临时专利申请号63/249,644的优先权，该美国临时专利申请据此全文以引用方式并入。

技术领域

本公开整体涉及使用多源成像的外科装置、系统和方法。

背景技术

外科系统通常结合有成像系统，该成像系统可允许执业医生在一个或多个显示器(例如，监测器、计算机平板屏幕等)上查看外科部位和/或其一个或多个部分。显示器可位于手术室本地和/或远程。成像系统可包括具有相机的窥镜，该相机查看外科部位并将视图传输到执业医生可查看的一个或多个显示器。

成像系统可能受到它们能够识别和/或传达给执业医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。对于另一示例，某些成像系统可能无法在术中将某些信息传送和/或传达给执业医生。

因此，仍需改善的外科成像。

发明内容

一般来讲，提供了用于多源成像的装置、系统和方法。

在一个方面，提供了一种外科方法，在一个实施方案中，该外科方法包括：用第一成像装置在外科手术的执行期间收集外科部位的第一图像；用第二成像装置在外科手术的执行期间收集外科部位的第二图像；用控制器分析第一图像和第二图像以识别并限定结缔软组织平面的边界；用控制器将结缔软组织平面的所识别并限定的边界与组织的解剖结构和作用相关联；以及用控制器使显示装置显示与组织相关联的信息并且显示与结缔软组织平面的所识别并限定的边界叠加的第一图像和第二图像中的至少一者，并且由此限定结缔软组织平面的位置和取向。

该方法可具有任何数量的变型。例如，组织的解剖结构和作用可包括组织平面、组织成分、肿瘤位置、肿瘤边缘识别、粘连、血管形成、和组织脆性中的至少一者。对于另一示例，与组织相关的信息可包括组织类型、组织的胶原成分、组织的有序纤维取向与经重塑的无序纤维取向、组织的生存力、和组织的健康状况中的至少一者。对于又一示例，第一成像装置可包括：结构化光发射器，其被配置为能够将结构化光图案发射在解剖结构的表面上；光谱光发射器，其被配置为能够发射多个波长的光谱光，该多个波长的光谱光能够穿透解剖结构并且到达位于解剖结构的表面下方的嵌入结构；和图像传感器，其被配置为能够检测反射的结构化光图案、反射的光谱光、和反射的可见光，该方法还可包括用控制器根据由图像传感器检测到的反射的结构化光图案来构造解剖结构的三维(3D)数字表示，并且控制器可使用该3D数字表示来识别并限定结缔软组织平面的边界。对于又一示例，第一成像装置可包括柔性窥镜式装置，并且第二成像装置可包括刚性窥镜式装置。对于另一示例，第一成像装置可包括支气管镜，解剖结构可包括肺，该方法还可包括将支气管镜推进到肺中，组织可包括支气管组织，嵌入结构可包括肿瘤，并且结缔软组织平面的位置和取向可使得能够识别肺中的肿瘤位置和取向。

对于又一示例，第一成像装置可使用可见光光谱之外的波长来收集第一图像，以便允许从解剖结构外部对嵌入结构的可视化，可见光光谱之外的波长可包括超声波长或红外波长，并且第二成像装置可使用可见光光谱内的波长来收集第二图像，以便允许解剖结构的表面的可视化。该方法还可包括将造影剂递送到解剖结构，第一成像装置可使解剖结构内的造影剂可视化，并且第二成像装置不能够使解剖结构内的造影剂可视化。

对于又一示例，第一成像装置和第二成像装置可以以可释放的方式联接到机器人外科系统并且由机器人外科系统控制，并且外科集线器可包括控制器。对于另一示例，机器人外科系统可包括控制器和显示装置，并且第一成像装置和第二成像装置可各自以可释放的方式联接到机器人外科系统并且由机器人外科系统控制。

在另一方面，提供了一种外科系统，在一个实施方案中，该外科系统包括：第一成像装置，其被配置为能够在外科手术的执行期间收集外科部位的第一图像；第二成像装置，其被配置为能够在外科手术的执行期间收集外科部位的第二图像；和控制器，其被配置为能够执行以下操作：分析第一图像和第二图像以识别并限定结缔软组织平面的边界；将结缔软组织平面的所识别并限定的边界与组织的解剖结构和作用相关联；以及使显示装置显示与组织相关联的信息并且显示与结缔软组织平面的所识别并限定的边界叠加的第一图像和第二图像中的至少一者，并且由此限定结缔软组织平面的位置和取向。

该系统能够以多种方式变化。例如，组织的解剖结构和作用可包括组织平面、组织成分、肿瘤位置、肿瘤边缘识别、粘连、血管形成、和组织脆性中的至少一者。对于另一示例，与组织相关联的信息可包括组织类型、组织的胶原成分、组织的有序纤维取向与经重塑的无序纤维取向、组织的生存力、和组织的健康状况中的至少一者。对于又一示例，第一成像装置可包括：结构化光发射器，其被配置为能够将结构化光图案发射在解剖结构的表面上；光谱光发射器，其被配置为能够发射多个波长的光谱光，该多个波长的光谱光能够穿透解剖结构并且到达位于解剖结构的表面下方的嵌入结构；和图像传感器，其被配置为能够检测反射的结构化光图案、反射的光谱光、和反射的可见光，控制器可被配置为能够根据由图像传感器检测到的反射的结构化光图案来构造解剖结构的三维(3D)数字表示，并且控制器可被配置为能够使用该3D数字表示来识别并限定结缔软组织平面的边界。对于又一示例，第一成像装置可包括柔性窥镜式装置，并且第二成像装置可包括刚性窥镜式装置。对于又一示例，解剖结构可包括肺，第一成像装置可包括被配置为能够被推进到肺中的支气管镜，组织可包括支气管组织，嵌入结构可包括肿瘤，并且结缔软组织平面的位置和取向可使得能够识别肺中的肿瘤位置和取向。

对于另一示例，第一成像装置可被配置为能够使用可见光光谱之外的波长来收集第一图像，以便允许从解剖结构外部对嵌入结构的可视化，可见光光谱之外的波长可包括超声波长或红外波长，并且第二成像装置可被配置为能够使用可见光光谱内的波长来收集第二图像，以便允许解剖结构的表面的可视化。该系统还可包括被配置为能够被递送到解剖结构的造影剂，第一成像装置可被配置为能够使解剖结构内的造影剂可视化，并且第二成像装置不能够使解剖结构内的造影剂可视化。

对于又一示例，第一成像装置和第二成像装置可各自被配置为能够以可释放的方式联接到机器人外科系统并且由机器人外科系统控制，并且外科集线器可包括控制器。对于另一示例，该系统还可包括显示装置，机器人外科系统可包括控制器和显示装置，并且第一成像装置和第二成像装置可各自被配置为能够以可释放的方式联接到机器人外科系统并且由机器人外科系统控制。

附图说明

参考如下附图描述本发明：

图1为外科可视化系统的一个实施方案的示意图；

图2为图1的外科装置、成像装置和关键结构之间的三角测量的示意图；

图3为外科可视化系统的另一实施方案的示意图；

图4为外科可视化系统的控制系统的一个实施方案的示意图；

图5为外科可视化系统的控制系统的控制电路的一个实施方案的示意图；

图6为外科可视化系统的组合逻辑电路的一个实施方案的示意图；

图7为外科可视化系统的顺序逻辑电路的一个实施方案的示意图；

图8为外科可视化系统的又一实施方案的示意图；

图9为外科可视化系统的控制系统的另一实施方案的示意图；

图10为示出各种生物材料的波长对吸收系数的曲线图；

图11为使外科部位可视化的光谱发射器的一个实施方案的示意图；

图12为描绘用于区分输尿管与遮蔽物的说明性高光谱识别特征的曲线图；

图13为描绘用于区分动脉与遮蔽物的说明性高光谱识别特征的曲线图；

图14为描绘用于区分神经与遮蔽物的说明性高光谱识别特征的曲线图；

图15为在术中利用的近红外(NIR)飞行时间测量系统的一个实施方案的示意图；

图16示出了图15的系统的飞行时间时序图；

图17为在术中利用的近红外(NIR)飞行时间测量系统的另一实施方案的示意图；

图18为计算机实现的交互式外科系统的一个实施方案的示意图；

图19为用于在手术室中执行外科手术的外科系统的一个实施方案的示意图；

图20为包括智慧外科器械和外科集线器的外科系统的一个实施方案的示意图；

图21为示出控制图20的智慧外科器械的方法的流程图；

图22为例示结肠的主要切除的结肠的示意图；

图22A为十二指肠粘膜表面再造手术的一个实施方案的透视局部剖视图；

图23为示出三个组织节段之间的段间平面的CT图像；

图24为示出图23的两个组织节段之间的段间平面的CT图像；

图25为显示器的示意图；

图26为肺的增强CT图像；

图27为肺气道的示意性前视图；

图28为窥镜在肺中的推进路径的一个实施方案的示意性右侧视图；

图29为图28的窥镜的推进路径的示意性前视图；

图30为图28的窥镜在肺中的示意性局部剖视图；

图31为示出使用主成像系统和辅助成像系统的方法的一个实施方案的流程图；并且

图32是示出具有实时局部扫描的血管CT的即时适应的显示器的一个实施方案的示意图。

具体实施方式

现在将描述某些示例性实施方案以从整体上理解本文所公开的装置、系统和方法的结构、功能、制造和使用的原理。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员将会理解，在本文中具体描述的和在附图中示出的装置、系统和方法是非限制性的示例性实施方案，并且本发明的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征部可与其他实施方案的特征部进行组合。此类修改和变型旨在包括在本发明的范围之内。

此外，在本公开中，各实施方案中名称相似的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每个名称相似的部件的每个特征部。另外，在所公开的系统、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类系统、装置和方法使用的形状的类型。本领域中技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。本领域的技术人员将会理解，尺寸或其他测量结果可能不是精确的值，但是由于诸如制造公差和测量设备的灵敏度的任何数量的因素而被认为是大约处于该值。系统和装置及其部件的尺寸和形状可以至少取决于将与系统和装置一起使用的部件的尺寸和形状。

外科可视化

一般来讲，外科可视化系统被配置为能够利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化系统还被配置为能够以有帮助的方式将数据传达给一个或多个执业医生。本公开的各个方面提供了对患者的解剖结构和/或外科手术的改善的可视化，和/或使用可视化来提供对外科工具(在本文也称为“外科装置”或“外科器械”)的改善的控制。

“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化系统可与机器人外科系统结合使用，但外科可视化系统不限于与机器人外科系统一起使用。在某些情况下，使用外科可视化系统实现的外科可视化可在没有机器人以及/或者具有有限的机器人辅助和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。

在某些情况下，结合有外科可视化系统的外科系统可实现智慧切开以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带、板和其他外来结构。关键结构可基于不同患者和/或不同手术来确定。例如，智慧切开技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现更智能的决策。

结合有外科可视化系统的外科系统可实现智慧吻合技术，该智慧吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。可利用外科可视化平台来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可在外科手术期间补偿外科器械、患者和/或患者的解剖结构的移动，以便为执业医生提供回到感兴趣点的指导。

外科可视化系统可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。相对于淋巴结诊断和标测，外科可视化平台可例如在术前定位、标测和理想地诊断涉及癌性诊断和分期的淋巴系统和/或淋巴结。

在外科手术期间，执业医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中移动。在此类情况下，执业医生可能无法在术中准确地确定关键结构的位置。

当关键结构的位置不确定时和/或当关键结构与外科工具之间的接近度未知时，执业医生的决策过程可能受到阻碍。例如，执业医生可避开某些区域，以便避免意外切开关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，执业医生可能无法进入某些期望的区域。例如，过度谨慎可能导致执业医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。

外科可视化系统可允许术中识别和避开关键结构。因此，外科可视化系统可实现增强的术中决策制定和改善的外科结果。外科可视化系统可提供高级可视化能力，超出执业医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给执业医生的内容。外科可视化系统可增强和加强执业医生在组织治疗(例如，切开等)之前能够知道的内容，并且因此可在各种情况下改善结果。因此，执业医生知道外科可视化系统正在跟踪例如可在切开期间接近的关键结构，可在整个外科手术中确信地保持动力。外科可视化系统可在足够长的时间内向执业医生提供指示，以使执业医生暂停和/或减慢外科手术并评估与关键结构的接近度，以防止对其造成意外损伤。外科可视化系统可向执业医生提供理想的、优化的和/或可定制的信息量，以允许执业医生确信地和/或快速地移动穿过组织，同时避免对健康组织和/或关键结构造成意外损伤，并因此最小化由外科手术引起的伤害风险。

下文详细描述外科可视化系统。一般来讲，外科可视化系统可包括被配置为能够发射多个光谱波的第一光发射器、被配置为能够发射光图案的第二光发射器以及被配置为能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的接收器或传感器。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(例如，三维表面形貌)以及相对于外科部位的距离(诸如到至少部分隐藏结构的距离)。成像系统可将几何表面标测图和距离传达给执业医生。在此类情况下，提供给执业医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。附加地或另选地，成像系统可传达外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。

贯穿本公开，除非特别提到可见光，否则任何提到的“光”可包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(例如，可被其检测)的那部分，并且可被称为“可见光”或简称为“光”。典型的人眼将对空气中约380nm至约750nm的波长作出响应。不可见光谱(例如，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。

图1例示了外科可视化系统100的实施方案。外科可视化系统100被配置为能够在解剖场内创建关键结构101的视觉表示。关键结构101可包括单个关键结构或多个关键结构。如本文所讨论的，关键结构101可以是多种结构中的任一种，诸如解剖结构(例如，输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经、血管、肿瘤、或其他解剖结构)或外来结构(例如，外科装置、外科紧固件、外科夹具、外科大头钉、探条、外科带、外科板、或其他外来结构)。如本文所讨论的，可基于不同患者和/或不同手术来识别关键结构101。关键结构以及使用可视化系统识别关键结构的实施方案在2020年10月6日发布的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034中进一步描述，该专利据此全文以引用方式并入。

在一些情况下，关键结构101可嵌入组织103中。组织103可以是多种组织中的任一种，诸如脂肪、结缔组织、粘连和/或器官。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被执业医生的“肉眼”看见。组织103还遮蔽关键结构101使其不被外科可视化系统100的成像装置120看见。关键结构101可被部分地遮蔽使其不被执业医生和/或成像装置120看见，而不是被完全遮蔽。

外科可视化系统100可用于临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向执业医生提供实时信息，诸如关于接近度数据、尺寸和/或距离的实时信息。本领域技术人员将理解，信息可能不是精确实时的，但出于多种原因中的任一种原因，诸如由数据传输引起的时间延迟、由数据处理引起的时间延误和/或测量设备的灵敏度，信息可能被认为是实时的。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，执业医生可避免在外科手术期间在关键结构101和/或关键结构101的预定义接近度中的区域周围操纵外科装置。对于另一示例，通过识别关键结构101，执业医生可避免对关键结构101的切开和/或在该关键结构附近的切开，从而有助于防止对关键结构101造成损伤和/或帮助防止执业医生使用的外科装置被关键结构101损坏。

外科可视化系统100被配置为能够结合外科可视化系统的距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征部可确定关键结构101在解剖场内的位置以及/或者外科装置102与可见组织103的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括被配置为能够提供外科部位的实时视图的成像装置120。例如，成像装置120可包括光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置为能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可诸如在显示器(例如，监测器、计算机平板屏幕等)上实时地提供给执业医生。所显示的视图可利用基于组织识别、横向标测和距离传感器系统104的附加信息来增强。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可协作以在术中向执业医生提供高级数据合成和集成信息。

成像装置120可被配置为能够检测可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)。成像装置120的示例包括内窥镜、关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞镜、十二指肠镜、肠镜、食管胃十二指肠镜(胃镜)、喉镜、鼻咽肾镜、乙状结肠镜、胸腔镜、输尿管镜或外窥镜。窥镜在微创外科手术中可能特别有用。在开放式外科手术应用中，成像装置120可能不包括窥镜。

组织识别子系统可利用光谱成像系统来实现。光谱成像系统可依赖于诸如高光谱成像、多光谱成像或选择性光谱成像的成像。组织的高光谱成像的实施方案在2016年3月1日发布的名称为“System And Method For Gross Anatomic Pathology UsingHyperspectral Imaging”的美国专利号9,274,047中进一步描述，该专利据此全文以引用方式并入。

表面标测子系统可利用光图案系统来实现。使用光图案(或结构化光)进行表面标测的各种表面标测技术可用于本文所述的外科可视化系统中。结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。表面标测和包括用于投射光图案的光源和投影仪的外科系统的实施方案在以下专利中进一步描述：美国专利公布号2017/0055819，名称为“Set Comprising A SurgicalInstrument”，2017年3月2日公布；美国专利公布号2017/0251900，名称为“DepictionSystem”，2017年9月7日公布；以及美国专利公布号2021/0196385，名称为“SurgicalSystems For Generating Three Dimensional Constructs Of Anatomical Organs AndCoupling Identified Anatomical Structures Thereto”，2021年7月1日公布，这些专利据此全文以引用方式并入。

距离确定系统可结合到表面标测系统中。例如，可利用结构化光来生成可见表面105的三维(3D)虚拟模型并确定相对于可见表面105的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。

外科可视化系统100还包括外科装置102。外科装置102可以是任何合适的外科装置。外科装置102的示例包括外科切开器、外科缝合器、外科抓紧器、施夹器、排烟器、外科能量装置(例如，单极探头、双极探头、消融探头、超声装置、超声端部执行器等)等。在一些实施方案中，外科装置102包括具有相对钳口的端部执行器，这些钳口从外科装置102的轴的远侧端部延伸并被配置为能够在其间接合组织。

外科可视化系统100可被配置为能够识别关键结构101以及外科装置102与关键结构101的接近度。外科可视化系统100的成像装置120被配置为能够检测各种波长的光，诸如可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文所述。成像装置120可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的3D图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置为能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织103的表面105上的光(结构化光)的图案重叠，如图1所示。

如在该例示的实施方案中一样，外科可视化系统100可结合到机器人外科系统110中。机器人外科系统110可具有多种构型，如本文所讨论的。在该例示的实施方案中，机器人外科系统110包括第一机器人臂112和第二机器人臂114。机器人臂112、114各自包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置为能够操纵外科装置102，并且第二机器人臂114被配置为能够操纵成像装置120。机器人外科系统110的机器人控制单元被配置为能够向第一机器人臂112和第二机器人臂114发出控制运动，这些控制运动可能分别影响外科装置102和成像装置120。

在一些实施方案中，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统110分开。例如，机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特定坐标系配准。例如，用于机器人臂112、114的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的位置。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。

机器人外科系统的示例包括Ottava^TM机器人辅助外科系统(新泽西州新不伦瑞克市(New Brunswick,NJ)的强生公司(Johnson&Johnson))、da 外科系统(加利福尼亚州森尼韦尔市(Sunnyvale,CA)的直觉外科公司(Intuitive Surgical,Inc.))、Hugo^TM机器人辅助外科系统(明尼苏达州明尼阿波利斯市(Minneapolis,MN)的美敦力公司(Medtronic PLC))、/>外科机器人系统(英国剑桥市(Cambridge,UK)的CMR外科有限公司(CMR Surgical Ltd))和/>平台(加利福尼亚州雷德伍德城(RedwoodCity,CA)的Auris Health,Inc.公司(Auris Health,Inc.))。各种机器人外科系统以及使用机器人外科系统的实施方案在以下专利中进一步描述：美国专利公布号2018/0177556，名称为“Flexible Instrument Insertion Using An Adaptive Force Threshold”，2016年12月28日提交；美国专利公布号2020/0000530，名称为“Systems And Techniques ForProviding Multiple Perspectives During Medical Procedures”，2019年4月16日提交；美国专利公布号2020/0170720，名称为“Image-Based Branch Detection And MappingFor Navigation”，2020年2月7日提交；美国专利公布号2020/0188043，名称为“SurgicalRobotics System”，2019年12月9日提交；美国专利公布号2020/0085516，名称为“SystemsAnd Methods For Concomitant Medical Procedures”，2019年9月3日提交；美国专利公布号8,831,782，名称为“Patient-Side Surgeon Interface For ATeleoperated SurgicalInstrument”，2013年7月15日提交；以及国际专利公布号WO 2014151621，名称为“Hyperdexterous Surgical System”，2014年3月13日提交，这些专利据此全文以引用方式并入。

外科可视化系统100还包括发射器106。发射器106被配置为能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，外科可视化系统100使用投射光阵列130来确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置为能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。

如在该例示的实施方案中一样，成像装置120可包括光学波形发射器123，诸如通过将该光学波形发射器安装在成像装置120上或以其他方式附着在该成像装置上。光学波形发射器123被配置为能够发射可穿透组织103的表面105并到达关键结构101的电磁辐射124(近红外(NIR)光子)。成像装置120和光学波形发射器123可能够由机器人臂114定位。光学波形发射器123安装在成像装置120上或以其他方式位于该成像装置上，但在其他实施方案中可定位在与成像装置120分开的外科装置上。成像装置120的对应波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置为能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长被配置为能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。

外科可视化系统100的距离传感器系统104被配置为能够确定外科部位处的一个或多个距离。距离传感器系统104可以是飞行时间距离传感器系统，该飞行时间距离传感器系统包括发射器(诸如本例示的实施方案中的发射器106)并且包括接收器108。在其他情况下，飞行时间发射器可与结构化光发射器分开。发射器106可包括非常小的激光源，并且接收器108可包括匹配的传感器。距离传感器系统104被配置为能够检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。

在该例示的实施方案中，距离传感器系统104的接收器108定位在外科装置102上，但在其他实施方案中，接收器108可安装在单独的外科装置上，而不是安装在外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他实施方案中，用于距离传感器系统104的接收器108可安装在机器人系统110的与外科装置102所联接到的第一机器人臂112分开的机器人控制臂上(例如，安装在第二机器人臂114上)，可安装在由另一机器人操作的动臂上，或者安装到手术室(OR)台或固定装置。在一些实施方案中，成像装置120包括接收器108，以允许使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知位置来对距离d_e进行三角测量。接收器108的3D位置可以是已知的和/或在术中与机器人坐标平面配准。

如在例示的实施方案中一样，距离传感器系统104的发射器106的位置可由第一机器人臂112控制，并且距离传感器系统104的接收器108的位置可由第二机器人臂114控制。在其他实施方案中，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。

在图1中，距离d_e是从发射器106到组织103的表面105的发射器-组织距离，并且距离d_t是从外科装置102的远侧端部到组织103的表面105的装置-组织距离。距离传感器系统104被配置为能够确定发射器到组织的距离d_e。装置到组织距离d_t可从发射器106在外科装置102上的已知方位获得，例如，相对于外科装置102的远侧端部，在其靠近外科装置远侧端部的轴上。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离d_t可根据发射器-组织距离d_e确定。在一些实施方案中，外科装置102的轴可包括一个或多个关节运动接头，并且可相对于外科装置102的远侧端部处的发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在一些实施方案中，3D相机可用于对到表面105的一个或多个距离进行三角测量。

在图1中，距离d_w是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且距离d_A是关键结构101在组织103的表面105下方的深度(例如，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间被配置为能够确定相机-关键结构距离d_w。

如图2所示，关键结构101相对于组织103的表面105的深度d_A可通过以下方法来确定：根据相机-关键结构距离d_w以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知位置(以及因此它们之间的已知距离d_x)进行三角测量，以确定距离d_y(其为距离d_e和d_A之和)。另外或另选地，来自光学波形发射器123的飞行时间可被配置为能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离d_w，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。

另外或另选地，距离d_A可由超声、配准磁共振成像(MRI)或计算机断层摄影(CT)扫描来确定。在其他情况下，可以利用光谱成像来确定距离d_A，因为成像装置120接收到的检测信号可以基于材料的类型(例如，组织103的类型)而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。

在图3所示的外科可视化系统160的另一实施方案中，外科装置162(而不是成像装置120)包括光学波形发射器123和被配置为能够检测反射的波形的波形传感器122。光学波形发射器123被配置为能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离d_t和d_w，如本文所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离d_A可如下确定：

d_A＝d_w-d_t

外科可视化系统100包括控制系统，该控制系统被配置为能够控制外科可视化系统100的各个方面。图4例示了可用作外科可视化系统100(或本文所述的其他外科可视化系统)的控制系统的控制系统133的一个实施方案。控制系统133包括被配置为能够与存储器134信号通信的控制电路132。存储器134被配置为能够存储可由控制电路132执行的指令，诸如用于确定和/或识别关键结构(例如，图1的关键结构101)的指令、用于确定和/或计算一个或多个距离和/或三维数字表示的指令，以及用于将某些信息传送给执业医生的指令。因此，存储在存储器134内的指令构成计算机程序产品，该计算机程序产品包括当由处理器执行时使处理器如上所述执行的指令。此类指令还可存储在任何计算机可读介质(诸如光盘、SD卡、USB驱动器等、或单独装置的存储器)上，指令可从该计算机可读介质复制到存储器134中或直接执行。复制或直接执行的过程涉及携带计算机程序产品的数据载体信号的创建。如在该例示的实施方案中一样，存储器134可存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141，但存储器134可存储逻辑部件136、138、140、141的任何组合和/或可将各种逻辑部件组合在一起。控制系统133还包括成像系统142，该成像系统包括相机144(例如，成像系统包括图1的成像装置120)、显示器146(例如，监测器、计算机平板屏幕等)，以及相机144和显示器146的控制器148。相机144包括图像传感器135(例如，波形传感器122)，该图像传感器被配置为能够接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146被配置为能够向执业医生描绘真实的、虚拟的和/或虚拟增强的图像和/或信息。

在示例性实施方案中，图像传感器135是包含高达数百万个离散光电探测器部位(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦接器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器对约350nm至约1050nm范围内，诸如约400nm至约1000nm范围内的波长敏感。本领域的技术人员将理解，值可能不精确地为某个值，但出于多种原因中的任一种原因，诸如测量装备和制造公差的灵敏度，值被认为是约为该值。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。

控制系统133还包括发射器(例如，发射器106)，该发射器包括光谱光源150和结构化光源152，该光谱光源和该结构化光源各自可操作地联接到控制电路133。单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如，红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。组织识别逻辑部件140被配置为能够经由由相机144的图像传感器135接收的来自光谱光源150的数据来识别关键结构(例如，图1的关键结构101)。表面标测逻辑部件136被配置为能够基于反射的结构化光来确定可见组织(例如，组织103)的表面轮廓。利用飞行时间测量，距离确定逻辑部件141被配置为能够确定到可见组织和/或关键结构的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141中的每一者的输出被配置为能够被提供给成像逻辑部件138，并且可由成像逻辑部件138组合、共混和/或重叠以经由成像系统142的显示器146传达给执业医生。

控制电路132可具有多种配置。图5例示了控制电路170的一个实施方案，该控制电路可用作被配置为能够控制外科可视化系统100的各方面的控制电路132。控制电路170被配置为能够实现本文所述的各种过程。控制电路170包括微控制器，该微控制器包括处理器172(例如，微处理器或微控制器)，该处理器可操作地联接到存储器174。存储器174被配置为能够存储机器可执行指令，这些机器可执行指令在由处理器172执行时使处理器172执行机器指令以实现本文所述的各种过程。处理器172可以是本领域中已知的数种单核处理器或多核处理器中的任一种处理器。存储器174可包括易失性存储介质和非易失性存储介质。处理器172包括指令处理单元176和运算单元178。指令处理单元176被配置为能够从存储器174接收指令。

表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141可具有多种构型。图6例示了组合逻辑电路180的一个实施方案，该组合逻辑电路被配置为能够使用诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者的逻辑部件来控制外科可视化系统100的各方面。组合逻辑电路180包括有限状态机，该有限状态机包括组合逻辑部件182，该组合逻辑部件被配置为能够在输入184处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据，由组合逻辑部件182处理该数据，并向控制电路(例如，控制电路132)提供输出184。

图7例示了顺序逻辑电路190的一个实施方案，该顺序逻辑电路被配置为能够使用诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者的逻辑部件来控制外科可视化系统100的各方面。顺序逻辑电路190包括有限状态机，该有限状态机包括组合逻辑部件192、存储器194和时钟196。存储器194被配置为能够存储有限状态机的当前状态。顺序逻辑电路190可为同步的或异步的。组合逻辑部件192被配置为能够在输入426处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据，由组合逻辑部件192处理该数据，并向控制电路(例如，控制电路132)提供输出499。在一些实施方案中，顺序逻辑电路190可包括处理器(例如，图5的处理器172)和有限状态机的组合以实现本文的各种过程。在一些实施方案中，有限状态机可包括组合逻辑电路(例如，图7的组合逻辑电路192)和顺序逻辑电路190的组合。

图8例示了外科可视化系统200的另一实施方案。外科可视化系统200通常类似于图1的外科可视化系统100来构造和使用，例如包括外科装置202和成像装置220。成像装置220包括光谱光发射器223，该光谱光发射器被配置为能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。成像装置220还可包括三维相机和相关联的电子处理电路。外科可视化系统200被示出为在术中用于识别和有利于避开在器官203的表面205上不可见的某些关键结构，诸如器官203(在该实施方案中为子宫)中的输尿管201a和血管201b。

外科可视化系统200被配置为能够经由结构化光确定从外科装置202上的发射器206到子宫203的表面205的发射器-组织距离d_e。外科可视化系统200被配置为能够基于发射器-组织距离d_e来外推从外科装置202到子宫203的表面205的装置-组织距离d_t。外科可视化系统200还被配置为能够确定从输尿管201a到表面205的组织-输尿管距离d_A以及从成像装置220到输尿管201a的相机-输尿管距离d_w。如本文所述，例如，相对于图1的外科可视化系统100，外科可视化系统200被配置为能够利用例如光谱成像和飞行时间传感器来确定距离d_w。在各种实施方案中，外科可视化系统200可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离d_A(或深度)。

如上所述，外科可视化系统包括控制系统，该控制系统被配置为能够控制外科可视化系统的各个方面。控制系统可具有多种构型。图9例示了用于外科可视化系统(诸如图1的外科可视化系统100、图8的外科可视化系统200或本文所述的其他外科可视化系统)的控制系统600的一个实施方案。控制系统600是转换系统，其整合光谱特征组织识别和结构化光组织定位以识别关键结构(尤其是当这些结构被组织(例如，脂肪、结缔组织、血液组织和/或器官和/或血液)遮蔽时)，和/或检测组织可变性，诸如区分器官内的肿瘤和/或非健康组织与健康组织。

控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648，该转换逻辑电路被配置为能够将组织数据转换为外科医生和/或其他执业医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600被配置为能够将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种实施方案中，控制系统600被配置为能够在接近一个或多个关键结构时向执业医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。

由控制系统600采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。

控制系统600被配置为能够检测关键结构(如上所述，该关键结构可包括一个或多个关键结构)并提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。

控制系统600包括光谱控制电路602。光谱控制电路602可为现场可编程门阵列(FPGA)或另一合适的电路构型，诸如相对于图6、图7和图8所描述的构型。光谱控制电路602包括处理器604，该处理器被配置为能够从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。例如，视频输入处理器606被配置为能够接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置为能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608被配置为能够将视频输出信号提供给图像叠加控制器610。

视频输入处理器606经由患者隔离电路614操作地联接到患者侧处的相机612。相机612包括固态图像传感器634。患者隔离电路614可包括多个变压器，使得患者与系统中的其他电路隔离。相机612被配置为能够通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括另一图像传感器技术，诸如本文结合图4所讨论的图像传感器技术。相机612被配置为能够以14位/像素信号输出613个图像。本领域技术人员将理解，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，在该例示的实施方案中，该融合电路采用硬件寄存器618和Nios2协处理器620，该硬件寄存器和该Nios2协处理器被配置为能够处理相机输出信号613。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。

激光脉冲控制电路622被配置为能够控制激光引擎624。激光引擎624被配置为能够输出包括近红外(NIR)在内的多个波长(λ1，λ2，λ3……λn)的光。激光引擎624可在多种模式下操作。例如，激光引擎624可在两种模式下操作。在第一模式(例如，正常操作模式)下，激光引擎624被配置为能够输出照明信号。在第二模式(例如，识别模式)下，激光引擎624被配置为能够输出RGBG和NIR光。在各种实施方案中，激光引擎624可在偏振模式下操作。

来自激光引擎624的光输出626被配置为能够照亮术中外科部位627中的靶向解剖结构。激光脉冲控制电路622还被配置为能够控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪被配置为能够将预先确定的波长(λ2)的激光图案631(诸如线和/或点的网格或图案)投射在外科部位627处的手术组织或器官上。相机612被配置为能够接收图案化光以及通过相机光学器件632输出的反射光。图像传感器634被配置为能够将所接收的光转换成数字信号。

彩色RGB融合电路616还被配置为能够将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的靶向解剖结构上的激光图案631。处理模块638被配置为能够处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还被配置为能够输出表示外科部位处的靶向解剖结构的组织或器官的三维渲染形状的第二视频信号642。

第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，积分模块643被配置为能够确定到掩埋关键结构的距离(例如，图1的距离d_A)(例如，经由三角化算法644)，并且到掩埋关键结构的距离可以经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监测器652以及定位在外科部位627处的相机624/激光图案投射仪630。

在各种情况下，可采用诸如来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监测器652。术前数据的配准的实施方案在2018年9月11日提交的名称为“Integration Of Imaging Data”的美国专利公布号2020/0015907中进一步描述，该专利据此全文以引用方式并入本文。

视频监测器652被配置为能够从图像叠加控制器610输出整合/增强视图。执业医生可在一个或多个显示器上在不同视图之间选择和/或切换。在第一显示器652a上(在该例示的实施方案中，该第一显示器为监测器)，执业医生可在(A)其中描绘可见组织的三维渲染的视图与(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二显示器652b上(在该例示的实施方案中，该第二显示器为监测器)，执业医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。

本文所述的各种外科可视化系统可用于对各种不同类型的组织和/或解剖结构进行可视化，包括可被光谱的可见部分中的EMR遮蔽而无法可视化的组织和/或解剖结构。外科可视化系统可利用如上所述的光谱成像系统，该光谱成像系统可被配置为能够基于不同类型的组织的组成材料的变化组合来可视化不同类型的组织。特别地，光谱成像系统可被配置为能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可被配置为能够基于组成材料的特定组合来表征被可视化的组织的组织类型。

图10示出了描绘各种生物材料的吸收系数如何在EMR波长光谱上变化的曲线图300。在曲线图300中，竖直轴线302表示生物材料的吸收系数(以cm^-1为单位)，水平轴线304表示EMR波长(以μm为单位)。曲线图300中的第一条线306表示水在各种EMR波长下的吸收系数，第二条线308表示蛋白质在各种EMR波长下的吸收系数，第三条线310表示黑色素在各种EMR波长下的吸收系数，第四条线312表示脱氧血红蛋白在各种EMR波长下的吸收系数，第五条线314表示氧合血红蛋白在各种EMR波长下的吸收系数，以及第六条线316表示胶原蛋白在各种EMR波长下的吸收系数。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，外科可视化系统的光谱成像系统可被配置为能够发射多个不同波长的EMR，基于在不同波长处检测到的吸收EMR吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。

图11示出了利用光谱成像技术来对不同组织类型和/或解剖结构进行可视化的实施方案。在图11中，光谱发射器320(例如，图4的光谱光源150)被成像系统用来对外科部位322进行可视化。由光谱发射器320发射并从外科部位322处的组织和/或结构反射的EMR由图像传感器(例如，图4的图像传感器135)接收，以对组织和/或结构进行可视化，该组织和/或结构可以是可见的(例如，位于外科部位322的表面处)或被遮蔽的(例如，位于外科部位322处的其他组织和/或结构的下面)。在该实施方案中，成像系统(例如，图4的成像系统142)基于光谱特征来对肿瘤324、动脉326和各种异常328(例如，与已知或预期的光谱特征不相符的组织)进行可视化，这些光谱特征由不同组织/结构类型中的每一者的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可显示在与成像系统相关联或联接到该成像系统的显示屏上(例如，图4的成像系统142的显示器146)、主显示器上(例如，图19的主显示器819)、非无菌显示器上(例如，图19的非无菌显示器807、809)、外科集线器的显示器上(例如，图19的外科集线器806的显示器)、装置/器械显示器上和/或另一显示器上。

成像系统可被配置为能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，如图11所示，成像系统可在与成像系统相关联或联接到该成像系统的显示屏上、在主显示器上、在非无菌显示器上、在外科集线器的显示器上、在装置/器械显示器上和/或在另一显示器上显示与被可视化的肿瘤324相关联的边界330。边界330可指示应切除以确保肿瘤324完全切除的组织的面积或数量。边界330的大小可例如在约5mm至约10mm的范围内。外科可视化系统的控制系统(例如，图4的控制系统133)可被配置为能够基于由成像系统识别的组织和/或结构来控制或更新边界330的尺寸。在该例示的实施方案中，成像系统已识别视场(FOV)内的多个异常328。因此，控制系统可将所显示的边界330调整到第一更新的边界332，该第一更新的边界具有足够的尺寸来涵盖异常328。此外，成像系统还识别出与最初显示的边界330部分重叠的动脉326(如动脉326的高亮区域334所指示)。因此，控制系统可将所显示的边界调整到第二更新的边界336，该第二更新的边界具有足够的尺寸来涵盖动脉326的相关部分。

作为上文关于图10和图11所描述的组织和/或结构的吸收特性的补充或代替，还可根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图12、图13和图14例示了不同类型的组织或结构在不同EMR波长上的反射率的各种曲线图。图12为说明性输尿管特征对遮蔽物的图形表示340。图13为说明性动脉特征对遮蔽物的图形表示342。图14为说明性神经特征对遮蔽物的图形表示344。图12、图13和图14中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。

可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(例如，“选择性光谱”成像)。通过利用选择性光谱成像，可使获得光谱图像所需的时间量最小化，使得可实时获得信息，并在手术中加以利用。这些波长可由执业医生或由控制电路基于用户(例如，执业医生)的输入来选择。在某些情况下，波长可基于机器学习和/或控制电路可经由例如云或外科集线器访问的大数据来选择。

图15例示了对组织进行光谱成像的一个实施方案，该组织在术中用于测量波形发射器和被组织遮蔽的关键结构之间的距离。图15示出了利用波形424、425的飞行时间传感器系统404的实施方案。飞行时间传感器系统404可被结合到外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统404包括位于同一外科装置402上的波形发射器406和波形接收器408(例如，位于图1的同一外科装置102上的发射器106和接收器108)。所发射的波400从发射器406延伸到关键结构401(例如，图1的关键结构101)，并且所接收的波425被接收器408从关键结构401反射回去。在该例示的实施方案中，外科装置402穿过延伸到患者的腔407中的套管针410定位。尽管在该例示的实施方案中使用了套管针410，但也可使用其他套管针或其他进入装置，或者可不使用进入装置。

波形424、425被配置为能够诸如通过具有NIR或SWIR光谱波长中的波长来穿透遮蔽组织403。光谱信号(例如，高光谱、多光谱或选择性光谱)或光声信号从发射器406发射(如指向远侧的第一箭头407所示)，并且可穿透其中关键结构401隐蔽的组织403。所发射的波形424被关键结构401反射，如指向近侧的第二箭头409所示。所接收的波形425可由于外科装置402的远侧端部与关键结构401之间的距离d而被延迟。可基于关键结构401的光谱特征来选择波形424、425以靶向组织403内的关键结构401，如本文所述。发射器406被配置为能够提供二进制信号开和关，如图16所示，例如该二进制信号可由接收器408测量。

基于所发射的波424与所接收的波425之间的延迟，飞行时间传感器系统404被配置为能够确定距离d。图16中示出图15的发射器406和接收器408的飞行时间时序图430。延迟是距离d的函数，并且距离d由下式给出：

其中c＝光的速度；t＝脉冲的长度；q₁＝发射光时累积的电荷；并且q₂＝不发射光时累积的电荷。

波形424、425的飞行时间对应于图15中的距离d。在各种情况下，附加发射器/接收器和/或来自发射器406的脉冲信号可被配置为能够发射非穿透信号。非穿透信号可被配置为能够确定从发射器406到遮蔽组织403的表面405的距离。在各种情况下，关键结构401的深度可由下式确定：

d_A＝d_w-d_t

其中d_A＝关键结构401的深度；d_w＝从发射器406到关键结构401的距离(图15中的d)；以及d_t＝从发射器406(在外科装置402的远侧端部上)到遮蔽组织403的表面405的距离。

图17例示了利用波524a、524b、524c、525a、525b、525c的飞行时间传感器系统504的另一实施方案。飞行时间传感器系统504可被结合到外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统504包括波形发射器506和波形接收器508(例如，图1的发射器106和接收器108)。波形发射器506定位在第一外科装置502a(例如，图1的外科装置102)上，并且波形接收器508定位在第二外科装置502b上。外科装置502a、502b分别穿过第一套管针510a和第二套管针510b定位，这两个套管针延伸到患者的腔507中。尽管在该例示的实施方案中使用了套管针510a、510b，但也可使用其他套管针或其他进入装置，或者可不使用进入装置。所发射的波524a、524b、524c从发射器506朝向外科部位延伸，并且所接收的波525a、525b、525c从外科部位处的各种结构和/或表面反射回接收器508。

不同的发射波524a、524b、524c被配置为能够靶向外科部位处的不同类型的材料。例如，波524a靶向遮蔽组织503，波524b靶向第一关键结构501a(例如，图1的关键结构101)，该第一关键结构在该例示的实施方案中为血管，并且波524c靶向第二关键结构501b(例如，图1的关键结构101)，该第二关键结构在该例示的实施方案中为癌肿瘤。波524a、524b、524c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织503的表面505反射，并且NIR和/或SWIR波形可穿透组织503的表面505。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器506发射。可基于关键结构501a、501b的光谱特征来选择波524b、524c以靶向组织503内的关键结构501a、501b，如本文所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请在本公开中以引用方式并入本文。

所发射的波524a、524b、524c从靶向材料(即，分别为表面505、第一关键结构501a和第二结构501b)反射。所接收的波形525a、525b、525c可由于距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c而被延迟。

在其中发射器506和接收器508可独立定位(例如，定位在单独的外科装置502a、502b上和/或由单独的机器人臂控制)的飞行时间传感器系统504中，可根据发射器506和接收器508的已知方位计算各种距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。例如，当外科装置502a、502b由机器人控制时，这些方位可以是已知的。关于发射器506和接收器508的位置以及光子流靶向某一组织的时间的知识以及由接收器508接收的该特定响应的信息可允许确定距离d1a、d2a、d3a、d1b、d2b、d2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构501a、501b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统504可确定各种距离。

在诸如在显示器上提供给执业医生的视图中，可旋转接收器508，使得所得图像中的靶结构的质心保持恒定(例如，在垂直于选定靶结构503、501a或501b的轴线的平面中)。这种取向可快速传送相对于靶结构的一个或多个相关距离和/或视角。例如，如图17所示，从关键结构501a垂直于视平面(例如，血管在页面内/页面外取向)的视角显示外科部位。这种取向可以是默认设置；然而，该视图可由执业医生旋转或以其他方式调整。在某些情况下，执业医生可在限定由成像系统提供的外科部位的视角的不同表面和/或靶结构之间切换。

如在该例示的实施方案中一样，接收器508可安装在套管针510b(或其他进入装置)上，外科装置502b通过该套管针定位。在其他实施方案中，接收器508可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器508可安装在与控制外科装置502a的机器人外科系统分开的动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(OR)工作台或固定装置。在此类情况下，发射器506和接收器508的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统504的输出对距离进行三角测量。

飞行时间传感器系统和近红外光谱(NIRS)相结合，称为TOF-NIRS，能够以纳秒分辨率测量近红外光的时间分辨剖面，可见于“Time-Of-Flight Near-InfraredSpectroscopy For Nondestructive Measurement Of Internal Quality InGrapefruit”，《美国园艺学会杂志》(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3 225-228期，其全部内容据此以引用方式并入本文。

可视化系统及其方面和用途的实施方案在以下专利中进一步描述：美国专利公布号2020/0015923，名称为“Surgical Visualization Platform”，2018年9月11日提交；美国专利公布号2020/0015900，名称为“Controlling An Emitter Assembly PulseSequence”，2018年9月11日提交；美国专利公布号2020/0015668，名称为“Singular EMRSource Emitter Assembly”，2018年9月11日提交；美国专利公布号2020/0015925，名称为“Combination Emitter And Camera Assembly”，2018年9月11日提交；美国专利公布号2020/0015899，名称为“Surgical Visualization With Proximity Tracking Features”，2018年9月11日提交；美国专利公布号2020/0015903，名称为“Surgical Visualization OfMultiple Targets”，2018年9月11日提交；美国专利号10,792,034，名称为“VisualizationOf Surgical Devices”，2018年9月11日提交；美国专利公布号2020/0015897，名称为“Operative Communication Of Light”，2018年9月11日提交；美国专利公布号2020/0015924，名称为“Robotic Light Projection Tools”，2018年9月11日提交；美国专利公布号2020/0015898，名称为“Surgical Visualization Feedback System”，2018年9月11日提交；美国专利公布号2020/0015906，名称为“Surgical Visualization And Monitoring”，2018年9月11日提交；美国专利公布号2020/0015907，名称为“Integration Of ImagingData”，2018年9月11日提交；美国专利号10,925,598，名称为“Robotically-AssistedSurgical Suturing Systems”，2018年9月11日提交；美国专利公布号2020/0015901，名称为“Safety Logic For Surgical Suturing Systems”，2018年9月11日提交；美国专利公布号2020/0015914，名称为“Robotic Systems With Separate Photoacoustic Receivers”，2018年9月11日提交；美国专利公布号2020/0015902，名称为“Force Sensor ThroughStructured Light Deflection”，2018年9月11日提交；美国专利公布号2019/0201136，名称为“Method Of Hub Communication”，2018年12月4日提交；美国专利申请号16/729,772，名称为“Analyzing Surgical Trends By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,747，名称为“Dynamic Surgical Visualization Systems”，2019年12月30日提交；美国专利申请号16/729,744，名称为“Visualization Systems UsingStructured Light”，2019年12月30日提交；美国专利申请号16/729,778，名称为“SystemAnd Method For Determining,Adjusting,And Managing Resection Margin About ASubject Tissue”，2019年12月30日提交；美国专利申请号16/729,729，名称为“SurgicalSystems For Proposing And Corroborating Organ Portion Removals”，2019年12月30日提交；美国专利申请号16/729,778，名称为“Surgical System For OverlayingSurgical Instrument Data Onto A Virtual Three Dimensional Construct Of AnOrgan”，2019年12月30日提交；美国专利申请号16/729,751，名称为“Surgical SystemsFor Generating Three Dimensional Constructs Of Anatomical Organs And CouplingIdentified Anatomical Structures Thereto”，2019年12月30日提交；美国专利申请号16/729,740，名称为“Surgical Systems Correlating Visualization Data And PoweredSurgical Instrument Data”，2019年12月30日提交；美国专利申请号16/729,737，名称为“Adaptive Surgical System Control According To Surgical Smoke CloudCharacteristics”，2019年12月30日提交；美国专利申请号16/729,796，名称为“AdaptiveSurgical System Control According To Surgical Smoke ParticulateCharacteristics”，2019年12月30日提交；美国专利申请号16/729,803，名称为“AdaptiveVisualization By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,807，名称为“Method OfUsing Imaging Devices In Surgery”，2019年12月30日提交；美国专利申请号17/493,913，名称为“Surgical Methods Using Fiducial IdentificationAnd Tracking”，2021年10月5日提交；美国专利申请号17/494,364，名称为“SurgicalMethods For Control Of One Visualization With Another”，2021年10月5日提交；美国专利申请号17/450,020，名称为“Methods And Systems For Controlling CooperativeSurgical Instruments”，2021年10月5日提交；美国专利申请号17/450,025，名称为“Methods And Systems For Controlling Cooperative Surgical Instruments WithVariable Surgical Site Access Trajectories”，2021年10月5日提交；美国专利申请号17/450,027，名称为“Methods And Systems For Controlling Cooperative SurgicalInstruments”，2021年10月5日提交；以及美国专利申请号17/449,765，名称为“Cooperative Access Hybrid Procedures”，2021年10月1日提交，这些专利申请据此全文以引用方式并入本文。

外科集线器

本文所述的各种可视化或成像系统可结合到包括外科集线器的系统中。一般来讲，外科集线器可以是能够跨越多个医疗设施的综合数字医疗系统的部件，并且被配置为能够向大量患者提供综合全面的改善的医疗护理。该综合数字医疗系统包括被配置为能够互连到跨许多不同医疗设施定位的多个外科集线器的基于云的医疗分析系统。外科集线器被配置为能够与一个或多个元件互连，诸如用于对患者实施医疗手术的一个或多个外科器械和/或在执行医疗手术期间使用的一个或多个可视化系统。外科集线器提供了各种各样的功能以改善医疗手术的结果。可将由各种外科装置、可视化系统和外科集线器生成的关于患者和医疗手术的数据传输到基于云的医疗分析系统。然后，可将该数据与从位于其他医疗设施处的许多其他外科集线器、可视化系统和外科器械收集的类似数据进行汇总。可通过基于云的分析系统分析所收集的数据发现各种模式和相关性。结果，可生成用于生成数据的技术的改善，并且这些改善然后可被传播到各种外科集线器、可视化系统和外科器械。由于所有前述部件的互连，可发现医疗手术和实践中的改进，否则如果许多部件没有如此互连，则可能不会发现该改进。

被配置为能够接收、分析和输出数据的外科集线器以及使用此类外科集线器的方法的示例在以下专利中进一步描述：美国专利公布号2019/0200844，名称为“Method OfHub Communication,Processing,Storage And Display”，2018年12月4日提交；美国专利公布号2019/0200981，名称为“Method Of Compressing Tissue Within A StaplingDevice And Simultaneously Displaying The Location Of The Tissue Within TheJaws”，2018年12月4日提交；美国专利公布号2019/0201046，名称为“Method ForControlling Smart Energy Devices”，2018年12月4日提交；美国专利公布号2019/0201114，名称为“Adaptive Control Program Updates For Surgical Hubs”，2018年3月29日提交；美国专利公布号2019/0201140，名称为“Surgical Hub SituationalAwareness”，2018年3月29日提交；美国专利公布号2019/0206004，名称为“InteractiveSurgical Systems With Condition Handling Of Devices And Data Capabilities”，2018年3月29日提交；美国专利公布号2019/0206555，名称为“Cloud-based MedicalAnalytics For Customization And Recommendations To A User”，2018年3月29日提交；以及美国专利公布号2019/0207857，名称为“Surgical Network Determination OfPrioritization Of Communication,Interaction,Or Processing Based On System OrDevice Needs”，2018年11月6日提交，这些专利据此全文以引用方式并入。

图18例示了计算机实现的交互式外科系统700的一个实施方案，其包括一个或多个外科系统702和基于云的系统(例如，可包括联接到存储装置705的远程服务器713的云704)。每个外科系统702包括与云704通信的至少一个外科集线器706。在一个示例中，如图18所示，外科系统702包括可视化系统708、机器人系统710和智能(或“智慧”)外科器械712，它们被配置为能够彼此通信并且/或者与集线器706通信。智能外科器械712可包括成像装置。外科系统702可包括M个集线器706、N个可视化系统708、O个机器人系统710和P个智能外科器械712，其中M、N、O和P为大于或等于一的整数，其可等于或不等于彼此中的任一者或多者。本文描述了各种示例性智能外科器械和机器人系统。

由外科集线器从外科可视化系统收集的数据可以多种方式中的任一种使用。在示例性实施方案中，外科集线器可接收来自在外科环境中与患者一起使用(例如，在外科手术的执行期间在手术室中使用)的外科可视化系统的数据。外科集线器可以一种或多种方式中的任一种方式使用所接收的数据，如本文所讨论的。

外科集线器可被配置为能够使用外科可视化系统实时地分析所接收的数据，并且基于对所接收的数据的分析来调整对与患者一起使用的外科可视化系统和/或一个或多个智能外科器械中的一者或多者的控制。这种调整可包括例如调整智能外科器械的一个或多个操作控制参数、使一个或多个智能外科器械的一个或多个传感器进行测量以帮助获得患者的当前生理状况和/或智能外科器械的当前操作状态的理解、以及其他调整。下文将进一步讨论智能外科器械的控制和调整操作。智能外科器械的操作控制参数的示例包括马达速度、切割元件速度、时间、持续时间、能量施加水平以及光发射。外科集线器以及控制和调整智能外科器械操作的示例在先前提及的以下专利中进一步描述：美国专利申请号16/729,772，名称为“Analyzing Surgical Trends By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,747，名称为“Dynamic Surgical Visualization Systems”，2019年12月30日提交；美国专利申请号16/729,744，名称为“Visualization SystemsUsing Structured Light”，2019年12月30日提交；美国专利申请号16/729,778，名称为“System And Method For Determining,Adjusting,And Managing Resection MarginAbout A Subject Tissue”，2019年12月30日提交；美国专利申请号16/729,729，名称为“Surgical Systems For Proposing And Corroborating Organ Portion Removals”，2019年12月30日提交；美国专利申请号16/729,778，名称为“Surgical System ForOverlaying Surgical Instrument Data Onto A Virtual Three DimensionalConstruct Of An Organ”，2019年12月30日提交；美国专利申请号16/729,751，名称为“Surgical Systems For Generating Three Dimensional Constructs Of AnatomicalOrgans And Coupling Identified Anatomical Structures Thereto”，2019年12月30日提交；美国专利申请号16/729,740，名称为“Surgical Systems CorrelatingVisualization Data And Powered Surgical Instrument Data”，2019年12月30日提交；美国专利申请号16/729,737，名称为“Adaptive Surgical System Control According ToSurgical Smoke Cloud Characteristics”，2019年12月30日提交；美国专利申请号16/729,796，名称为“Adaptive Surgical System Control According To Surgical SmokeParticulate Characteristics”，2019年12月30日提交；美国专利申请号16/729,803，名称为“Adaptive Visualization By A Surgical System”，2019年12月30日提交；以及美国专利申请号16/729,807，名称为“Method Of Using Imaging Devices In Surgery”，2019年12月30日提交；以及美国专利申请号17/068,857，名称为“Adaptive Responses FromSmart Packaging Of Drug Delivery Absorbable Adjuncts”，2020年10月13日提交；美国专利申请号17/068,858，名称为“Drug Administration Devices That Communicate WithSurgical Hubs”，2020年10月13日提交；美国专利申请号17/068,859，名称为“ControllingOperation Of Drug Administration Devices Using Surgical Hubs”，2020年10月13日提交；美国专利申请号17/068,863，名称为“Patient Monitoring Using DrugAdministration Devices”，2020年10月13日提交；美国专利申请号17/068,865，名称为“Monitoring And Communicating Information Using Drug Administration Devices”，2020年10月13日提交；美国专利申请号17/068,867，名称为“Aggregating And AnalyzingDrug Administration Data”，2020年10月13日提交，这些专利据此全文以引用方式并入。

外科集线器可被配置为能够使在外科环境中在显示器上提供所接收的数据的可视化，使得外科环境中的执业医生可查看该数据并由此接收对在外科环境中使用的成像装置的操作的理解。经由可视化提供的此类信息可包括文本和/或图像。

图19例示了外科系统802的一个实施方案，其包括外科集线器806(例如，图18的外科集线器706或本文所述的其他外科集线器)、机器人外科系统810(例如，图1的机器人外科系统110或本文的其他机器人外科系统)和可视化系统808(例如，图1的可视化系统100或本文所述的其他可视化系统)。如本文所讨论的，外科集线器806可与云通信。图19示出了外科系统802用于对平躺在外科手术室816中的手术台814上的患者执行外科手术。机器人系统810包括外科医生的控制台818、患者侧推车820(外科机器人)和机器人系统外科集线器822。机器人系统外科集线器822通常被配置为能够类似于外科集线器822并且可与云通信。在一些实施方案中，机器人系统外科集线器822和外科集线器806可以组合。患者侧推车820可通过患者身体中的微创切口操纵智能外科工具812，同时执业医生(例如，外科医生、护士和/或其他执业医生)通过外科医生控制台818查看外科部位。外科部位的图像可由成像装置824(例如，图1的成像装置120或本文所述的其他成像装置)获得，该成像装置可由患者侧推车820操纵以对成像装置824进行取向。机器人系统外科集线器822可用于处理外科部位的图像，以随后通过外科医生的控制台818显示给外科医生。

主显示器819被定位在手术室816的无菌区中并且被配置为能够对于手术台814处的操作者可见。此外，如在该例示的实施方案中一样，可视化塔811可被定位在无菌区外部。可视化塔811包括彼此背离的第一非无菌显示器807和第二非无菌显示器809。由外科集线器806引导的可视化系统808被配置为能够利用显示器807、809、819来将信息流协调到无菌区内部和外部的执业医生。例如，外科集线器806可使可视化系统808在非无菌显示器807或809中的一者或两者上显示如由成像装置824获得的外科部位的快照和/或视频，同时保持外科部位在主显示器819上的实时馈送。例如，非无菌显示器807或809上的快照和/或视频可允许非无菌执业医生执行与外科手术相关的诊断步骤。

外科集线器806被配置为能够将由非无菌执业医生在可视化塔811处输入的诊断输入或反馈路由至无菌场内的主显示器819，其中可由手术台814处的无菌执业医生查看该诊断输入或反馈。例如，输入可呈对显示在非无菌显示器807和/或809上的快照和/或视频的修改形式，其可通过外科集线器806路由到主显示器819。

外科集线器806被配置为能够将信息流协调至智能外科器械812的显示器，如在各种美国专利申请中所描述的那样，这些专利申请在本公开中以引用方式并入本文。由非无菌操作者在可视化塔818处输入的诊断输入或反馈可由外科集线器806路由到无菌区内的显示器819，其中外科器械812的操作者和/或无菌区中的其他执业医生可查看该诊断输入或反馈。

智能外科器械812和成像装置824(该成像装置也是智能外科工具)作为外科系统802的一部分在外科手术中与患者一起使用。可在例如外科手术中使用(可移除地联接到患者侧推车820并与机器人外科系统810和外科集线器806通信)的其他智能外科器械812a也在图19中示出为可用的。不能与机器人外科系统810和外科集线器806通信的非智能(或“哑巴”)外科器械817(例如，剪刀、套管针、插管、手术刀等)也在图19中示出为可供使用。

操作智能外科器械

智能外科装置可具有存储在其上(例如，存储在其存储器中)的算法，该算法被配置为能够可例如通过其处理器在智能外科装置上执行，以控制智能外科装置的操作。在一些实施方案中，作为存储在智能外科装置上的替代或补充，算法可存储在被配置为能够与智能外科装置通信的外科集线器上，例如存储在其存储器中。

算法以定义和/或表示指令、通知、信号等的一组或多组多个数据点的形式存储，以控制智能外科装置的功能。在一些实施方案中，由智能外科装置收集的数据可由智能外科装置(例如，由智能外科装置的处理器)使用，以改变算法的至少一个可变参数。如上文所讨论的，外科集线器可与智能外科装置通信，因此由智能外科装置收集的数据可被传送到外科集线器和/或由与外科集线器通信的另一装置收集的信息可被传送到外科集线器，并且数据可从外科集线器被传送到智能外科装置。因此，作为智能外科装置被配置为能够改变所存储的可变参数的替代或补充，外科集线器可被配置为能够将改变的至少一个变量单独地或作为算法的一部分传送到智能外科装置和/或外科集线器可将指令传送到智能外科装置以改变如由外科集线器所确定的至少一个变量。

至少一个可变参数在算法的数据点当中，例如包括在用于操作智能外科装置的指令中，并且因此每个可变参数能够通过改变算法的所存储的多个数据点中的一个或多个数据点来改变。在至少一个可变参数已改变之后，算法的后续执行根据改变的算法进行。因此，通过考虑到患者的实际情况以及正在使用智能外科装置的外科手术的实际条件和/或结果，可为患者管理智能外科装置随时间的操作，以增加智能外科装置的有益结果使用。对至少一个可变参数的改变是自动的，以改善患者结果。因此，智能外科装置可被配置为能够基于患者和患者的周围条件提供个性化药物，以提供智慧系统。在执行外科手术期间使用智能外科装置的外科环境中，至少一个可变参数的自动改变可允许基于在执行外科手术期间收集的数据来控制智能外科装置，这可帮助确保智能外科装置被有效且正确地使用和/或可帮助减少因伤害关键解剖结构而伤害患者的机会。

至少一个可变参数可以是多种不同参数中的任一参数。可变参数的示例包括马达速度、马达扭矩、能量水平、能量施加持续时间、组织压缩速率、钳口闭合速率、切割元件速度、负荷阈值等。

图20例示了智能外科器械900的一个实施方案，其包括存储器902，该存储器具有存储在其中的算法904，该算法包括至少一个可变参数。算法904可以是单个算法或可包括多个算法，例如，用于外科器械操作的不同方面的单独算法，其中每个算法包括至少一个可变参数。智能外科器械900可以是图1的外科装置102、图1的成像装置120、图8的外科装置202、图8的成像装置220、图15的外科装置402、图17的外科装置502a、图17的外科装置502b、图18的外科装置712、图19的外科装置812、图19的成像装置824、或其他智能外科器械。外科器械900还包括处理器906，该处理器被配置为能够执行算法904以控制外科器械900的至少一个方面的操作。为了执行算法904，处理器906被配置为能够运行存储在存储器902中的程序以访问存储器902中的算法904的多个数据点。

外科器械900还包括通信接口908(例如，无线收发器或其他有线或无线通信接口)，该通信接口被配置为能够与另一装置(诸如外科集线器910)通信。通信接口908可被配置为能够允许单向通信，诸如向远程服务器(例如，云服务器或其他服务器)和/或向本地外科集线器服务器提供数据，以及/或者从远程服务器和/或本地外科集线器服务器接收指令或命令，或双向通信，诸如提供关于外科器械900的信息、消息、数据等和/或存储在其上的数据，并且接收指令，诸如来自医生的指令；关于对软件的更新的远程服务器、关于对软件的更新的本地外科集线器服务器等的指令。

外科器械900在图20中被简化并且可包括附加部件，例如总线系统、柄部、在其远侧端部处具有端部执行器的细长轴、电源等。处理器906还可被配置为能够执行存储在存储器902中的指令，以总体上控制装置900，包括它的其他电子部件，诸如通信接口908、音频扬声器、用户接口等。

处理器906被配置为能够改变算法904的至少一个可变参数，使得算法904的后续执行将根据所改变的至少一个可变参数进行。为了改变算法904的至少一个可变参数，处理器906被配置为能够修改或更新存储器902中的至少一个可变参数的数据点。处理器906可被配置为能够在执行外科手术期间使用外科装置900实时地改变算法904的至少一个可变参数，这可适应实时条件。

作为处理器906改变至少一个可变参数的补充或替代，处理器906可被配置为能够响应于从外科集线器910接收的指令来改变算法904和/或算法904的至少一个可变参数。在一些实施方案中，处理器906被配置为能够仅在与外科集线器910通信并接收到来自该外科集线器的指令之后才改变至少一个可变参数，这可帮助确保外科器械900与其中正在使用外科器械900的外科手术的其他方面的协调动作。

在示例性实施方案中，处理器906执行算法904以控制外科器械900的操作，基于实时数据改变算法904的至少一个可变参数，并且在改变至少一个可变参数之后执行算法904以控制外科器械900的操作。

图21例示了使用外科器械900的方法912的一个实施方案，该方法包括改变算法904的至少一个可变参数。处理器906通过执行存储在存储器902中的算法904来控制914外科器械900的操作。基于该随后已知的数据和/或随后收集的数据中的任一者，处理器904改变916算法904的至少一个可变参数，如上文所讨论的。在改变至少一个可变参数之后，处理器906通过执行算法904来控制918外科器械900的操作，此时至少一个可变参数已改变。处理器904可在执行外科手术期间多次改变916至少一个可变参数，例如零次、一次、两次、三次等。在方法912的任何部分期间，外科器械900可使用通信接口908与一个或多个计算机系统(例如，外科集线器910、远程服务器诸如云服务器等)通信，以向其提供数据和/或从其接收指令。

态势感知

智能外科器械的操作可基于患者的态势感知而改变。智能外科器械的操作可诸如通过智能外科器械的用户以不同方式操纵器械、向器械提供不同的输入、停止使用器械等来手动改变。附加地或另选地，智能外科器械的操作可通过改变该器械的算法(例如，通过改变该算法的至少一个可变参数)来自动改变。如上所述，算法可自动调整，无需用户输入请求改变。在执行外科手术期间使调整自动化可帮助节省时间，可允许执业医生专注于外科手术的其他方面，和/或可简化执业医生使用外科器械的过程，这各自可诸如通过避开关键结构、考虑器械在其上和/或附近使用的组织类型控制外科器械等来改善患者结果。

本文所述的可视化系统可用作态势感知系统的一部分，该态势感知系统可由外科集线器(例如，外科集线器706、外科集线器806或本文所述的其他外科集线器)体现或执行。具体地，对外科器械(包括其位置、取向和动作)、组织、结构、用户和/或位于外科场或手术室内的其他事物进行表征、识别和/或可视化可提供情境数据，态势感知系统可利用该情境数据来推断各种信息，诸如正在执行的外科手术或其步骤的类型、外科医生或其他执业医生正在操纵的组织和/或结构的类型、以及其他信息。然后，态势感知系统可利用情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以备使用(例如，激活电外科发生器以备在外科手术的后续步骤中使用电外科器械等)，控制智能外科器械(例如，定制算法的外科器械操作参数，如下文进一步讨论的)等。

尽管包括响应于所感测的数据的算法(例如，通过改变算法的至少一个可变参数)的智能外科装置可以是对在不考虑所感测的数据的情况下操作的“哑巴”装置的改善，但当孤立地考虑时，例如在没有正在被执行的外科手术的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制外科装置。例如，用于响应于特定的感测参数来控制外科器械的算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性、易切割性)，并且因此以不同的方式响应由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个示例，响应于外科缝合器感测到用于闭合其端部执行器的意外高的力来控制外科缝合器的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺组织)，外科器械的控制算法将响应于用于闭合的意外高的力而使马达最佳地减速，从而避免撕裂组织(例如，改变控制马达速度或扭矩的可变参数，使马达更慢)。对于抗撕裂的组织(诸如胃组织)，器械的算法将响应于用于闭合的意外高的力而使马达最佳地加速，从而确保端部执行器被正确地夹持在组织上(例如，改变控制马达速度或扭矩的可变参数，使马达更快)。在不知道肺部或胃组织是否已被夹紧的情况下，算法可能被次优地改变或根本不改变。

外科集线器可被配置为能够基于从各种数据源所接收的数据来导出关于正在被执行的外科手术的信息，并且然后相应地控制模块化装置。换句话讲，外科集线器可被配置为能够从所接收的数据推断关于外科手术的信息，并且然后基于所推断的外科手术的背景来控制可操作地联接到外科集线器的模块化装置。模块化装置可包括可由态势感知系统控制的任何外科装置，诸如可视化系统装置(例如，相机、显示屏等)、智慧外科器械(例如，超声波外科器械、电外科器械、外科缝合器、排烟器、窥镜等)。模块化装置可包括传感器，该传感器被配置为能够检测与正在使用该装置的患者相关联和/或与该模块化装置本身相关联的参数。

根据所接收的数据导出或推断的背景信息可包括例如正在被执行的外科手术的类型、外科医生(或其他执业医生)正在执行的外科手术的特定步骤、正在手术的组织的类型或作为外科手术的受试者的体腔。外科集线器的态势感知系统可被配置为能够以多种不同的方式根据从数据源所接收的数据导出背景信息。在示例性实施方案中，由外科集线器的态势感知系统接收的背景信息与用于一个或多个模块化装置的特定控制调整或一组控制调整相关联。控制调整各自对应于可变参数。在一个示例中，态势感知系统包括已在训练数据上进行训练以将各种输入(例如，来自数据库、患者监测装置和/或模块化装置的数据)与关于外科手术的对应的背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科手术的背景信息。在另一个示例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科手术的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制至少一个模块化装置的对应背景信息。在另一示例中，态势感知系统包括当提供背景信息作为输入时，生成或检索针对一个或多个模块化装置的一项或多项控制调整的另外的机器学习系统、查找表或其他此类系统。

包括态势感知系统的外科集线器可为外科系统提供任何数量的益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科手术过程期间的处理精度和/或数据的使用。另一个益处是，外科集线器的态势感知系统可通过允许针对每个外科手术的特定背景调整外科器械(和其他模块化装置)(诸如针对不同的组织类型进行调整)并在外科手术期间验证动作来改善外科手术结果。又一个益处是，态势感知系统可通过根据手术的特定背景自动建议接下来的步骤、提供数据以及调整显示器和手术室中的其他模块化装置来改善外科医生和/或其他执业医生执行外科手术的效率。另一个益处包括根据正在被执行的外科手术的特定步骤主动地且自动地控制模块化装置，以诸如通过在确定RF电外科器械的后续步骤需要使用RF电外科器械的情况下，态势感知外科集线器主动地激活RF电外科器械所连接到的发生器来减少执业医生在外科手术的过程期间需要与外科系统交互或控制外科系统的次数。主动地激活能量源允许器械在手术的先前步骤一完成就准备好使用。

例如，态势感知外科集线器可被配置为能够确定正在手术的组织的类型。因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器可被配置为能够例如通过改变或引起外科器械的关于马达速度或扭矩的算法的至少一个可变参数的改变来针对组织类型使外科器械的马达正确地加速或减速。

对于另一示例，正在手术的组织的类型可能影响针对特定组织间隙测量值对外科缝合器的压缩率和负荷阈值进行的调整。态势感知外科集线器可被配置为能够推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许态势感知外科集线器确定被外科缝合器的端部执行器夹持的组织是肺组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器可被配置为能够例如通过改变或引起外科缝合器的关于压缩速率和负荷阈值的算法的至少一个可变参数的改变来针对组织类型适当地引起外科缝合器的压缩速率和负荷阈值的调整。

作为又一示例，在吹气手术期间被操作的体腔的类型可能影响排烟器的功能。态势感知外科集线器可被配置为能够确定外科部位是否处于压力下(通过确定外科手术正在利用吹气)并确定手术类型。由于手术类型通常在特定体腔中执行，因此外科集线器可被配置为能够例如通过改变或引起排烟器的关于马达速率的算法的至少一个可变参数的改变来针对正在操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器可为胸部手术和腹部手术两者提供一致的排烟量。

作为又一示例，正在被执行的手术的类型可能影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜式手术需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器可被配置为能够确定外科手术是否是关节镜式手术。外科集线器可被配置为能够通过例如改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来调整发生器的RF功率水平或超声振幅(例如，调整能量水平)以补偿流体填充环境。相关地，正在手术的组织的类型可能影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器可被配置为能够例如通过改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来确定正在执行的外科手术的类型，并且然后根据外科手术的预期组织曲线分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器可被配置为能够在外科手术的整个过程中而不是仅在逐个手术的基础上调整超声外科器械或RF电外科器械的能量水平。态势感知外科集线器可被配置为能够确定正在执行或随后将要执行的外科手术的步骤，并且然后更新发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。

作为另一示例，态势感知外科集线器可被配置为能够根据在外科部位处外科医生和/或其他执业医生预期需要查看的特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。外科集线器被配置为能够相应地主动改变所显示的视图(例如，由用于可视化系统的成像装置提供)，使得在整个外科手术中自动调整显示器。

作为又一示例，态势感知外科集线器被配置为能够确定正在被执行或随后将执行外科手术的哪个步骤以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器可被配置为能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生或其他执业医生请求该特定信息。

作为另一示例，态势感知外科集线器可被配置为能够确定外科医生和/或其他执业医生在外科手术期间是否犯了错误或者以其他方式偏离了预期的动作过程，例如，如在术前外科计划中所提供的。例如，外科集线器可被配置为能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在使用的设备与外科集线器确定的针对该正在执行的外科手术类型的预期步骤或设备进行比较。外科集线器可被配置为能够提供指示在外科手术中的特定步骤正在执行意外动作或正在利用意外装置的警示(视觉、听觉和/或触觉)。

在某些情况下，机器人外科系统(诸如本文所述的各种机器人外科系统中的任一机器人外科系统)的操作可由外科集线器基于其态势感知和/或来自其部件的反馈和/或基于来自云(例如，图18的云713)的信息来控制。

态势感知系统以及在执行外科手术期间使用态势感知系统的实施方案在以下先前提及的US专利中进一步描述：美国专利申请号16/729,772，名称为“Analyzing SurgicalTrends By A Surgical System”，2019年12月30日提交；美国专利申请号16/729,747，名称为“Dynamic Surgical Visualization Systems”，2019年12月30日提交；美国专利申请号16/729,744，名称为“Visualization Systems Using Structured Light”，2019年12月30日提交；美国专利申请号16/729,778，名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”，2019年12月30日提交；美国专利申请号16/729,729，名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”，2019年12月30日提交；美国专利申请号16/729,778，名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”，2019年12月30日提交；美国专利申请号16/729,751，名称为“Surgical Systems For Generating Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThereto”，2019年12月30日提交；美国专利申请号16/729,740，名称为“Surgical SystemsCorrelating Visualization Data And Powered Surgical Instrument Data”，2019年12月30日提交；美国专利申请号16/729,737，名称为“Adaptive Surgical System ControlAccording To Surgical Smoke Cloud Characteristics”，2019年12月30日提交；美国专利申请号16/729,796，名称为“Adaptive Surgical System Control According ToSurgical Smoke Particulate Characteristics”，2019年12月30日提交；美国专利申请号16/729,803，名称为“Adaptive Visualization By A Surgical System”，2019年12月30日提交；以及美国专利申请号16/729,807，名称为“Method Of Using Imaging Devices InSurgery”，2019年12月30日提交。

肺的外科手术

本文所述的装置、系统和方法的各个方面可涉及对肺执行的外科手术。例如，肺切除(例如，肺叶切除术)是一种切除肺的全部或部分(例如，一个或多个肺叶)的外科手术。执行肺切除的目的是治疗因肺癌、肺气肿或支气管扩张等原因导致的损伤或病变的肺。

在肺切除期间，首先对一个或多个肺放气，然后在患者的侧面在患者的肋骨之间形成一个或多个切口，经腹腔镜到达肺。通过切口插入外科器械(诸如抓紧器和腹腔镜)。一旦识别出肺的感染或损伤区域，就从肺上切下该区域并从一个或多个切口中去除该区域。切开区域和一个或多个切口可例如用外科缝合器或缝线闭合。

由于肺在外科手术期间被放气，因此可能需要动员肺或其某些部分以允许外科器械到达外科部位。这种动员可通过用抓紧器抓紧肺的外组织层并通过抓紧器向肺施加力来进行。然而，肺的胸膜和实质非常脆弱，因此在所施加的力下可能很容易撕开或撕裂。附加地，在动员期间，抓紧器可切断对肺的一个或多个区域的血液供应。

此外，还将一根呼吸管放入患者的气道中，以允许在外科手术期间对每个肺单独充气。肺的充气可能导致肺移动并与术前成像匹配和/或允许外科医生检查切开区域处是否有渗漏。然而，通过对整个肺充气，由于胸腔的填充，肺周围失去了工作空间。附加地，如果在外科手术期间对肺的多个部分进行手术，则对整个肺进行充气可能花费时间并且不能保证轻松检测泄漏。

结肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及对结肠执行的外科手术。例如，外科手术通常是早期结肠癌的主要治疗方法。所使用的外科手术类型取决于癌症的分期(程度)、在结肠中的位置以及外科手术的目标。一些早期结肠癌(0期和一些早期I期肿瘤)和大多数息肉可在结肠镜检查期间去除。然而，如果癌已经进展，则可能需要局部切除或结肠切除术。结肠切除术是去除结肠的全部或部分的外科手术。在某些情况下，附近的淋巴结也被去除。如果仅去除结肠的一部分，则称为半结肠切除术、部分结肠切除术或分段切除，其中外科医生取出结肠的病变部分，并在两侧取出一小段未病变的结肠。通常，根据癌症的大小和位置，切除约四分之一至三分之一的结肠。结肠的主要切除如图22所示，其中A-B为右半结肠切除术，A-C为扩大右半结肠切断术，B-C为横结肠切除术，C-E为左半结肠切除术，D-E为乙状结肠切除术，D-F为前切除术，D-G为(超)低位前切除术，D-H为腹会阴切除术，A-D为结肠次全切除术，A-E为全结肠切除术，并且A-H为全结肠直肠切除术。一旦切除完成，就将结肠的剩余完整部分重新附着。

结肠切除术可通过开放性结肠切除术并通过腹腔镜式辅助结肠切除术进行，在开放性结肠切除术中使用穿过腹壁的单个切口进入结肠以分离并去除受影响的结肠组织。对于腹腔镜式辅助结肠切除术，通过许多较小的切口进行外科手术，其中外科器械和腹腔镜穿过这些小切口以去除整个结肠或其一部分。在手术开始时，用气体(例如，二氧化碳)对腹部进行充气，为外科医生提供工作空间。腹腔镜在腹腔内传输图像，在监测器或其他显示器上为外科医生提供患者的内脏器官的放大视图。插入其他几个插管，以允许外科医生在结肠内部工作并去除结肠的一部分。一旦结肠的患病部分被去除，结肠的剩余末端例如经由缝合器或缝线彼此附着。整个手术可通过插管或通过延长小插管切口中的一个切口来完成。

在腹腔镜式辅助结肠切除术手术中，通常很难获得足够的手术区。通常，在骨盆深处切开，这使得难以获得该区域的充分可视化。因此，在动员期间，必须提起下直肠并旋转，以进入直肠两侧周围的静脉和动脉。在操纵下直肠期间，可能发生组织的聚束和/或组织的过度拉伸。附加地，直肠内的肿瘤可能引起周围骨盆粘连，因此在横切和去除肿瘤之前，可能需要释放直肠残端并动员肠系膜和血液供应。

此外，需要多个抓紧器来定位肿瘤以从结肠中去除。在切开结肠期间，肿瘤应处于张力下，这需要抓住并拉伸结肠周围的健康组织。然而，由于抓紧器对组织施加了高的抓紧力，对肿瘤周围组织的操作可能导致血流量减少和创伤。附加地，在结肠切除术期间，可能需要动员横结肠和上降结肠，以在横切并去除包含肿瘤的结肠部分后，将健康、完好的剩余结肠带下来连接到直肠残端。

在结肠切除术之后，必须将结肠的剩余健康部分彼此重新附着，为废物排出体外创造一条路径。然而，当使用腹腔镜式器械来执行结肠切除术时，单一入口端口可能不具有足够大的运动范围来将结肠的一个端部移动到结肠的连接部分。因此，需要第二入口端口来经腹腔镜插入外科器械来帮助动员结肠，以便正确定位结肠。

胃的外科手术

本文所述的装置、系统和方法的各个方面可涉及对胃执行的外科手术。例如，外科手术是胃癌最常见的治疗方法。当胃癌需要外科手术时，目标是去除整个肿瘤以及肿瘤周围健康胃组织的良好边界。可使用不同的手术来去除胃癌。所使用的手术类型取决于癌症位于胃的哪个部分以及它在附近区域的生长距离。例如，内窥镜粘膜切除术(EMR)和内窥镜粘膜下剥离术(ESD)是胃部手术，可用于治疗一些早期癌症。这些手术不需要切开皮肤，而是由外科医生将内窥镜向下穿过患者的喉咙并进入胃部。然后，外科工具(例如，MEGADYNE^TM组织解剖器或电外科手术笔)穿过内窥镜的工作通道，切除肿瘤及其下方和周围正常胃壁的一些层。

对胃执行的其他外科手术包括可作为开放手术执行的胃次全(胃部分)切除术或全胃切除术。例如，通过腹部皮肤中的大切口插入外科器械，或者作为腹腔镜式手术插入外科器械，例如通过几个小切口将外科器械插入腹部。例如，腹腔镜式胃切除术手术通常涉及用二氧化碳气体将腹腔吹气至约15毫米汞柱(mm Hg)的压力。刺穿腹壁，然后将直管插管或套管针(诸如直径在约5mm至约10mm范围内的插管或套管针)插入腹腔中。连接到手术室监测器的腹腔镜用于对手术区进行可视化，并穿过套管针中的一个套管针来放置。腹腔镜式外科器械穿过两个或更多个附加的插管或套管针放置，以供执业医生(例如，外科医生和外科助理)操纵，以去除胃的期望部分。

在某些情况下，腹腔镜式和内窥镜式协作外科手术可用于去除胃肿瘤。这种协作外科手术通常涉及引入内窥镜(例如，胃镜)和腹腔镜式套管针。通过套管针引入腹腔镜以及组织操纵和切开外科器械。可经由内窥镜识别肿瘤位置，然后使用插入内窥镜工作通道的切割元件进行对肿瘤周围的粘膜下切除。然后使用腹腔镜式切开外科器械在肿瘤边界附近进行浆肌切开，以形成穿过胃壁的切口。然后将肿瘤通过该切口从管腔内空间(例如，胃内部)旋转到管腔外空间(例如，胃外部)。然后，可使用腹腔镜式外科器械(例如，直线切割器)完成肿瘤从胃壁的横切并密封切口。

肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及对肠执行的外科手术。例如，可经内窥镜进行十二指肠粘膜表面重建(DMR)手术来治疗胰岛素抵抗代谢性疾病，诸如2型糖尿病。DMR手术可以是一种有效的治疗方法，因为它会影响食物的检测。DMR手术抑制十二指肠功能，使得食物倾向于在肠中比正常情况更深地被感测到，例如在通过十二指肠(其为小肠的第一部分)后被感测到。因此，患者的身体在肠中比典型情况更深地感测到糖，并且因此比典型情况更晚地对糖反应，使得可以改善血糖控制。十二指肠的不规则功能改变了身体对食物的典型反应，并且通过神经系统和化学信号使身体适应其对葡萄糖水平的反应以增加胰岛素水平。

在DMR手术中，诸如用盐水提起十二指肠粘膜，然后例如使用穿过内窥镜的工作通道推进到十二指肠中的消融装置来消融粘膜。在消融前提起粘膜有助于保护十二指肠外层免受消融损伤。粘膜被消融后，粘膜随后再生。消融装置的示例是NeuWave^TM消融探头(可从俄亥俄州辛辛那提(Cincinnati,OH)的Ethicon US LLC公司(Ethicon US LLC)获得)。消融装置的另一示例是Hyblate导管消融探头(可从以色列米斯加夫的Hyblate医疗公司(Hyblate Medical of Misgav,Israel)获得)。消融装置的另一个示例是Barxx^TMHaloFlex(可从明尼苏达州明尼阿波利斯市(Minneapolis,MN)的美敦力公司(Medtronic)获得)。

图22A例示了DMR手术的一个实施方案。如图22A所示，腹腔镜1400定位在十二指肠1402的外部，用于十二指肠1402的外部可视化。内窥镜1404经口推进穿过食道1406、穿过胃1408，并进入十二指肠1402以用于十二指肠1402的内部可视化。消融装置1410推进穿过内窥镜1404的工作通道以从内窥镜1404向远侧延伸到十二指肠1402中。消融装置1410的球囊1412在图22A中示出为是膨胀或充气的。膨胀或充气的球囊1412可帮助将消融装置的电极居中，因此在消融装置1410推进和/或缩回以重复消融之前可发生均匀的周向消融。在使用消融装置1410消融粘膜之前，诸如用盐水提起十二指肠粘膜。在一些实施方案中，作为包括球囊1412的补充或替代，消融装置1410可以是可使用被配置为能够膨胀和收缩的电极阵列或篮状件来膨胀/收缩的。

腹腔镜对十二指肠1402的外部可视化可允许对十二指肠1402进行热监测，这可帮助确保十二指肠1402的外层不会由于十二指肠粘膜的消融(诸如被穿孔的十二指肠)而损伤。例如，在下文以及2021年10月5日提交的名称为“Surgical Methods For Control OfOne Visualization With Another”的美国专利申请号17/494,364中进一步讨论了热监视的各种实施方案。内窥镜1404和/或消融装置1410可在其上包括基准标记，腹腔镜1400可被配置为能够例如通过使用不可见光透过十二指肠的组织进行可视化，以帮助确定腹腔镜1400应在消融发生的位置处从外部可视化十二指肠1402的位置。例如，在2021年10月5日提交的名称为“Surgical Methods Using Fiducial Identification And Tracking”的美国专利申请号17/493,913以及2021年10月5日提交的名称为“Surgical Methods ForControl Of One Visualization With Another”的美国专利申请号17/494,364中进一步讨论了基准标记的各种实施方案。

3D外科可视化

组织上的表面不规则(例如，变形和/或不连续)可能难以在可视化系统中进行捕捉和描绘。此外，在外科手术期间，组织经常移动和/或变化。换句话讲，组织是动态的。例如，组织可以通过外科紧固操作而变形、受压或以其他方式变形。可以对组织进行横切和/或将组织的某些部分和/或层去除。在外科手术期间，下层组织和/或结构可能会被暴露出来。当组织移动时，解剖结构内可见组织和/或隐藏组织边缘下面的嵌入结构也可以移动。例如，在组织变形之前，切除边缘可以同心地定位在肿瘤周围；然而，由于解剖结构在外科手术期间变形，切除边缘也可能变形。在某些情况下，组织的相邻部分可以移位，包括具有先前识别的物理特征或性质的那些部分。当组织在外科手术期间变形、横切、移动或以其他方式改变时，生成组织的3D数字表示或模型带来了各种挑战；然而，在某些情况下，这种动态可视化成像对临床医生有所帮助。

在各种情况下，自适应可视化系统可以提供外科部位处运动的可视化。结构化光可以与立体成像传感器和多源相干光一起使用，以将光图案变形从一个时间帧标测到另一个时间帧。跨帧的光图案变形的标测可以用于对解剖变形进行可视化和分析。此外，当3D数字表示或模型变形时，任何叠加的3D成像(诸如嵌入结构、组织不规则和/或隐藏的边界和/或组织边缘)可以根据3D模型成比例地变形。在这种情况下，随着组织被操作(例如，被切开和/或缩回)，可视化系统可以将叠加的3D成像的运动传输给执业医生。

自适应可视化系统可以基于态势感知(例如，来自态势感知系统的输入)获得基线可视化数据。例如，解剖结构和/或外科部位的基线可视化可以在外科手术开始之前获得，诸如在外科部位的组织的操作和切开之前。解剖几何结构的基线可视化图像可以包括解剖结构的表面及其边界的可视化。即使在外科手术期间解剖结构内的局部区域被逐渐破坏、改变或以其他方式操作，这种基线可视化图像可用于保持外科部位和解剖结构的整体取向。保持基线可视化图像可以允许在标测其他成像不规则时忽略被破坏的区域。例如，当标测或叠加由其他成像源获得的结构和/或特征时，可以使用基线可视化图像并且忽略变形区域，以在更新后的可视化图像中适当地定位附加结构和/或特征。

生成组织的3D数字表示或模型并将3D模型传送给执业医生的各种系统和方法在例如先前提到的2019年12月30日提交的名称为“Dynamic Surgical VisualizationSystems”的美国专利申请号16/729,747中有进一步描述。

本文提供的用于多源成像的装置、系统和方法可允许增强3D外科可视化。一般来讲，该装置、系统和方法可允许通过区分组织平面、局部异常和组织构造或成分来识别并强调解剖通道，以增强用于可视化的3D模型。在示例性实施方案中，可使用多个可视化视图来识别、定位和限定结缔软组织平面的边界。所限定的平面可与组织的结构和作用相关。结构和作用的示例包括组织成分、肿瘤位置、肿瘤边缘识别、粘连、血管形成、和组织脆性。可将不规则部分定位并叠加到显示器上的所限定的组织平面上。所显示的组织平面的性质可以是在显示器上可见的，诸如通过执业医生突出显示或以其他方式选择组织平面。性质的示例包括组织类型、胶原成分、有序纤维取向与经重塑的无序纤维取向、组织存活力和组织健康。

在一些实施方案中，增强3D外科可视化包括增强由多个可视化源(例如，来自多个成像装置)所得的协作成像，以形成复合标测图。复合标测图可识别局部方面、标记或界标。这些增强部件可联接到外科手术计划或全局解剖结构，以识别并突出显示组织的对应于外科手术计划中的步骤的方面和在步骤的执行期间改善可视化的指示。

患者的CT图像可显示组织节段之间的组织平面。CT图像可用于定位或识别组织平面并相对于由成像装置收集的患者的另一图像显示组织平面，诸如通过将组织平面的表示叠加在由成像装置收集并在显示器上示出的图像上。以举例的方式，图23示出了肺的CT图像，其中两个箭头指向节段S₁、S₂和S₃之间的段间平面。CT图像中的其他白色线条和区域是血管和气道。图24示出了肺的另一CT图像，其中一个箭头指向节段S₁和S₂之间的段间平面。CT图像中的其他白色线条和区域是血管和气道。

可叠加多个可视化源以在显示器上形成单个可视化。显示器还可显示第二全局视图以协调成像视图并减少混淆或取向损失。在示例性实施方案中，叠加信息可包括叠加在由刚性窥镜提供的主可视化上的所识别组织平面。因此，单个可视化可相对于主视图限定组织平面位置和取向，以引导由用户执行的组织平面切开和分离，诸如通过用户手动地控制一个或多个外科器械或使用机器人外科系统。

图25例示了显示器的一个实施方案，示出了由刚性窥镜提供的胸腔镜视图1100并且示出了组织平面1102。提供柔性窥镜视图1108的柔性窥镜1106可由刚性窥镜看到并且因此显示在胸腔镜视图1100中。刚性窥镜视图1100还示出了外科部位处的第一外科器械1110和第二外科器械1112。外科器械1110、1112各自是被配置为能够切开组织例如以在组织平面1102处分离组织的切开器，用于移除也在刚性窥镜视图1100中可见的样本1104，诸如肿瘤。显示器还示出了伪影胸腔镜视图1114和3D模型1116，该3D模型示出了胸腔镜可视平面1118和柔性窥镜可视平面1120。

显示器还示出了柔性窥镜视图1108，这是由柔性窥镜1106看到的视图。因此，执业医生可在单个显示器上看到刚性窥镜和柔性窥镜中的每一者正在可视化。刚性窥镜提供的视图1100是显示器上的主要视图，如由其尺寸大于柔性窥镜视图1108所指示。执业医生可在哪个视图是主视图以及因此哪个视图是显示器上的较大视图之间切换。

图26例示了另一实施方案，其中利用描绘所识别的关键结构(在该示例中是肿瘤)的叠层1124来增强CT图像1122。如本文所讨论，随时间拍摄的图像可用于显影叠层1124。叠层1124允许气道与关键结构区分开。CT图像1122示出了肺，但可类似地叠加其他解剖结构的CT图像。另外，除CT图像之外的图像(诸如超声图像或MRI图像)也可类似地具有叠层。

在一些实施方案中，增强3D外科可视化包括经由第二成像系统对第一成像系统的自适应区分和标测会聚。换句话讲，可使用来自不同成像源的外科部位的可视化来提供增强的标测和引导。可利用来自第二成像系统的图像来增强由第一成像系统收集的图像，使得第一成像系统是主系统，而第二成像系统是辅助系统。由第一成像系统收集的图像可通过添加被第一成像系统遮蔽但对第二成像系统可见的信息和/或通过区分主成像的针对辅助使用的各方面来增强。

例如，在关于肺的外科手术中，自适应区分和标测会聚可包括肺气道的渐进式柔性窥镜成像。肺气道的前视图示于图27中。图28和图29示出了柔性窥镜1130在肺中的推进路径的一个示例。随着柔性窥镜1130被引入肺中，与窥镜的跟踪位置和取向相关联的肺的内部架构的渐进式成像可例如由外科集线器或其他计算机系统使用，以增强以及确认或调整从移动或索引起点到预期目的地(诸如肺中的肿瘤)的气道路线的CT标测。以此方式，随着柔性窥镜1130在肺中推进，显示器可示出窥镜沿着推进路径的渐进式推进并且随着柔性窥镜1130推进而标测(其可包括改变)CT扫描几何结构中的任何变化。随着柔性窥镜1130被推进到适当位置而标测局部相邻解剖结构可改善沿着推进路径的细节，可提供另一数据点来确认主全局CT标测以便允许更多基准比较点，以及/或者可允许控制柔性窥镜1130的执业医生(和/或其他执业医生)在肿瘤边缘周围或在确认区域内限定期望的局部结节切开(如果有的话)，该确认区域将允许在肿瘤摘除手术期间停止以切出期望的结节，因为它们的位置已被识别并记录。渐进式推进可通过激光雷达阵列来增强。激光雷达阵列能够对到超声表面并因此到下层结构进行更精确的距离测量。

图30示出了可根据需要限定并切开的结节1132的显示的一个实施方案。示出了六个结节，但可存在不同数量。图30还示出了作为径向支气管内超声(R-EBUS)探头的柔性窥镜1130位于到其肿瘤1136的预期目的地的途中的气道1134中。使用R-EBUS探头1130实现的渐进式径向超声可用于促进结节1132识别和记录。R-EBUS探头的阵列可定位在允许对位于其中定位了窥镜1130的气道1134的局部呈现支气管表面下方的解剖结构进行周向扫描的径向旋转连接中，从而使得窥镜1130能够随着窥镜1130在肺中推进而检测解剖结构中的结节、肿瘤和不规则部分。

可类似地标测在其他解剖位置中的手术，并且类似地检测解剖结构中的结节、肿瘤和不规则部分。

又如，使用可见光范围之外的波长的辅助成像系统可用于识别和/或改善被使用可见光的主成像系统遮蔽的可视化特征和/或增加主成像系统关于那些特征的信息。在示例性实施方案中，辅助成像系统在外科手术期间使用采用非可见光(诸如红外(IR)和紫外(UV)光谱中的光)的多光谱成像来识别对于使用可见光进行可视化的主成像系统而言模糊的特征。紫外光谱中的光穿透组织较差，但可帮助识别表面裂缝、形状和其他特征。紫外成像可例如使用具有耦合到主光源的UV源的CMOS阵列上的滤波器进行，或者又如，使用多激光器480Hz UV、R、G、B、IR成像系统进行，其中每个光谱被单独地脉冲以形成供显示的合成60Hz图像。红外光谱中的光很好地穿透组织并且因此可帮助识别被表面结缔组织、脂肪或阻止可见光成像看到下层结构的其他薄组织覆盖的结构。多光谱成像的示例(诸如可用于计算组织的表面折射率以确定组织的成分和不规则部分的那些)在例如2019年7月4日公布的名称为“Characterization of tissue irregularities through the use of mono-Chromatic Light Refractivity”的美国专利公布号2019/0200905中进一步描述，该美国专利公布据此全文以引用方式并入。使用结构光的3D成像的示例(诸如将3D生成的构造耦合到关键解剖结构以使得能够实现组织参数、手术布局计划、叠加图像的预测畸变以及仪器表征的可视化)在例如2021年7月1日公开的名称为“Surgical Systems For GeneratingThree Dimensional Constructs Of Anatomical Organs And Coupling IdentifiedAnatomical Structures Thereto”的前述美国专利公开号2021/0196385中进一步描述。

由于被流体覆盖、被组织覆盖、具有被冲淡的对比度、具有与相邻结构类似的颜色和/或具有与相邻结构类似的反射率，特征对于可见光成像可能是(完全或部分)模糊的。辅助成像可允许遮蔽流体和/或组织下方的可视化，而这是可见光可视化不能提供的。辅助成像改善了特征的对比度并且因此可帮助识别具有被冲淡的对比度、具有与相邻结构类似的颜色和/或具有与相邻结构类似的反射率的特征。因为可见光成像系统通常使用尽可能高或可容忍的亮度水平(亮度强度)来改善外科部位的可视化，所以可能存在被冲淡的对比度。然而，高亮度水平趋于冲淡器械和组织(特别是恰好位于聚焦部位之外的任何组织)的对比度。

由辅助成像系统收集的辅助信息可经由显示由主成像系统收集的主信息(或显示使用主图像生成的3D模型)的显示器上的叠层来提供，这可允许执业医生查看一个显示器即获得完整的可视化信息和/或可帮助执业医生比在仅主成像可用而没有由辅助成像提供的增强时将可能出现的情况做出关于导航、切开和/或其他手术步骤的更好的即时决定。非可见光可以与可见光不同的强度投射和/或可随其曝光而变化以改善所识别对比度的分辨率，这可允许外科集线器、机器人外科系统或其他计算机系统(例如，其控制器)与可见光成像分开地寻找对比度并且随后叠加可见光成像和非可见光成像。如果外科集线器、机器人外科系统或其他计算机系统检测到不规则或不一致的对比度，则外科集线器、机器人外科系统或其他计算机系统可自动调整对比度的现场可编程门阵列(FPGA)隔离以增强对比度，或者可自动调整强度，同时使用不规则或不一致区域作为聚焦引导来调整与最难以对比的图像部分的对比。

图31例示了使用利用可见光的主成像系统和利用可见光范围之外的波长的辅助成像系统来识别和/或改善被主成像系统遮蔽的可视化特征的方法1140的一个实施方案。在方法1140中，外科集线器、机器人外科系统或其他计算机系统(例如，其控制器)确定1142由主成像系统的成像装置(在该示例中为窥镜)收集的结构的图像是模糊或失真的。外科集线器、机器人外科系统或其他计算机系统计算1144窥镜与结构之间的距离。基于计算出的距离，外科集线器、机器人外科系统或其他计算机系统确定1146窥镜是否在用于可视化的最佳工作范围内。如果计算出的距离高于预定最大阈值距离，则由于距实现最佳非模糊非失真成像的结构太远，可认为窥镜在最佳工作范围之外。如果计算出的距离低于预定最小阈值距离，则由于太接近于实现最佳非模糊非失真成像的结构，可认为窥镜在最佳工作范围之外。

如果确定1146窥镜不在最佳工作范围内，则外科集线器、机器人外科系统或其他计算机系统使得1148窥镜的Z轴移入或移出，直到距离在最佳工作范围内。外科集线器、机器人外科系统或其他计算机系统随后确定1150由成像装置收集到结构的图像在使得操作1148之后是否清晰。如果确定1150图像清晰，则窥镜的自动调整停止1152并且外科手术继续(对用户不可见)。如果确定1150图像不清晰，则外科集线器、机器人外科系统或其他计算机系统调整1154主成像系统的光源并且扫射窥镜的Z轴进出最佳工作范围内，例如进出预定最大阈值距离和预定最小阈值距离。然后，外科集线器、机器人外科系统或其他计算机系统确定1156由成像装置收集到结构的图像在调整操作1154之后是否清晰。如果确定1156图像清晰，则窥镜的自动调整停止1152并且外科手术继续(对用户不可见)。如果确定1156图像不清晰，则外科集线器、机器人外科系统或其他计算机系统调整1158辅助成像系统的光源并且扫射窥镜的Z轴进出最佳工作范围内。然后，外科集线器、机器人外科系统或其他计算机系统确定1160由成像装置收集到结构的图像在调整操作1158之后是否清晰。如果确定1160图像清晰，则窥镜的自动调整停止1152并且外科手术继续(对用户不可见)。如果确定1160图像不清晰，则外科集线器、机器人外科系统或其他计算机系统从第一调整1154和第二调整1158计算1162最佳图像设置。然后，外科集线器、机器人外科系统或其他计算机系统确定1164由成像装置收集到结构的图像在计算出1162设置集时是否清晰。如果确定1164图像清晰，则窥镜的自动调整停止1152并且外科手术继续(对用户不可见)。如果确定1164图像不清晰，则模糊或失真的图像可能是由于流体或其他物质阻挡了窥镜的透镜所致。因此，外科集线器、机器人外科系统或其他计算机系统确定1166窥镜上是否安装了窥镜清洁技术。如果确定1166未安装窥镜清洁技术，则外科集线器、机器人外科系统或其他计算机系统使得1168提供用户通知(例如，显示器上的视觉警报、可听通告等)，指示窥镜必须被移除并清洁或用不同的窥镜进行更换。在这种情况下，模糊或失真的图像可能是由于流体或其他物质阻挡了窥镜的透镜所致，并且在窥镜上没有窥镜清洁技术可用于在窥镜在患者体内的当前位置处自动清洁窥镜。如果确定1166要安装窥镜清洁技术，则外科集线器、机器人外科系统或其他计算机系统激活1170窥镜清洁技术以清洁窥镜，诸如通过使得用清洁流体喷射窥镜的透镜。在激活1170窥镜清洁技术之后，再次发生第一调整1154并且方法1140如上所述继续。如果外科集线器、机器人外科系统或其他计算机系统第二次确定1164图像不清晰，则方法1140可如上文所述继续，或可由于先前清洁不成功而改为直接进行到引起1168用户通知。

如果确定1146窥镜在最佳工作范围内，则外科集线器、机器人外科系统或其他计算机系统调整1154主成像系统的光源并且方法1140如以上所述继续。如果外科集线器、机器人外科系统或其他计算机系统第二次确定1164图像不清晰，则方法1140可如上文所述继续，或可由于先前清洁不成功而改为直接进行到引起1168用户通知。

又如，可使用诸如多光谱光或超声的局部成像基于从术前外科计划或术前扫描识别出的偏差来将3D构造、标测或CT成像调整为得自局部成像系统的更新的、更高精度的和/或改进的成像。可使用局部成像基于使用局部成像局部识别的变化、偏差和/或不规则性来调整全局成像(例如，术前全身CT计划扫描)或聚焦锥形束CT术中成像。使用包括可见光和可见光范围之外的光的照明源的独立颜色级联以在不同时间和不同深度对外科部位内的一个或多个组织进行成像以及使用来自不同源的顺序激光进行IR-R-B-G-UV着色并确定背散射光和多普勒效应的特性以跟踪移动颗粒的示例在例如2019年7月4日公布的名称为“Use Of Laser Light And Red-Green-Blue Coloration To Determines Properties ofBackscattered Light”的美国专利公布号2019/0206050中进一步描述，该美国专利公布据此全文以引用方式并入。

在示例性实施方案中，可将造影剂引入患者的生理系统中以在术中突出显示、荧光显影或对比解剖结构。可使用具有微泡的造影增强超声，诸如用于器官中的血液灌注、血栓形成(诸如在心肌梗塞中)、心脏、肝脏肿块、肾脏肿块中的异常、炎性肠病中的炎性活性以及化疗治疗响应。微泡造影材料是保持在支撑壳中的可注射气体的微小气泡。微泡壳通常在约10分钟至约15分钟的范围内在患者体内溶解，并通过呼气从体内去除气体。作为另一示例，可使用吲哚菁绿(ICG)IT荧光显影，诸如用于荧光显影血管。作为又一示例，可使用硫化钡和碘，诸如含碘造影剂(ICCM)，诸如用于CT血管成像。作为又一示例，可使用钆，诸如用于MRI成像。

图32例示了具有实时局部扫描的血管CT的即时适应的显示器的一个实施方案。该显示器包括显示预期血管位置的术前CT扫描1180。该显示器还包括自适应实时视图1182，该视图包括实时局部扫描。自适应实时视图1182包括指示实时血管位置的ICG实时血管成像1184，该实时血管位置与术前CT扫描1180的相关区域1186(经由第一彩色虚线示出)叠加并与基于局部成像1184和术前CT扫描1180的实时重新对准的血管成像1188(经由第二彩色虚线示出)叠加。在该例示的实施方案中，叠加以不同颜色的虚线示出，但可以其他方式来指示，诸如通过相同颜色的不同样式的线(点线与虚线等)、不同颜色的不同样式的线、不同亮度的线等。

本文所公开的装置和系统可被设计成使用一次之后丢弃，也可被设计成供多次使用。然而无论是哪种情况，该装置都可在至少使用一次之后经过修复再行使用。修复可包括拆卸装置、之后清洁或更换特定零件以及后续重新组装步骤的任何组合。具体地讲，该装置可拆卸，并且可以任意组合选择性地更换或移除装置的任意数目的特定零件或部件。在清洁和/或更换特定部件后，可对该装置进行重新组装，以便随后在修复设施处使用或就在外科手术之前由手术团队使用。本领域的技术人员将理解，对装置进行修整可利用各种技术来进行拆卸、清洁/替换和重新组装。此类技术的使用以及所得的修复装置均在本申请的范围内。

可优选的是，在使用之前对本文所公开的装置进行消毒。这可通过本领域中那些技术人员已知的任何多种方式来完成，包括β辐射或γ辐射、环氧乙烷、蒸汽以及液浴(例如，冷浸)。在2012年2月14日公布的名称为“System And Method Of Sterilizing AnImplantable Medical Device”的美国专利号8,114,345中更详细地描述了对包括内部电路的装置进行消毒的示例性实施方案。优选的是，如果植入的话，将装置气密密封。这可通过本领域中那些技术人员已知的任何数量的方式而完成。

已在上文在本文提供的整体公开内容的上下文中仅以举例的方式描述了本公开。应当理解，在不脱离本公开的总体范围的情况下，可以在权利要求书的实质和范围内进行修改。本文引用的所有出版物和参考文献出于所有目的全文明确地以引用方式并入本文。

Claims

1.一种外科系统，所述外科系统包括：

第一成像装置，所述第一成像装置被配置为能够在外科手术的执行期间收集外科部位的第一图像；

第二成像装置，所述第二成像装置被配置为能够在所述外科手术的所述执行期间收集所述外科部位的第二图像；和

控制器，所述控制器被配置为能够：

分析所述第一图像和所述第二图像以识别并限定结缔软组织平面的边界，

使所述结缔软组织平面的所识别并限定的边界与所述组织的解剖结构和作用相关联，以及

使显示装置显示与所述组织相关联的信息并且显示与所述结缔软组织平面的所识别并限定的边界叠加的所述第一图像和所述第二图像中的至少一者，并且由此限定所述结缔软组织平面的位置和取向。

2.根据权利要求1所述的系统，其中，所述组织的所述解剖结构和所述作用包括组织平面、组织成分、肿瘤位置、肿瘤边缘识别、粘连、血管形成、和组织脆性中的至少一者。

3.根据权利要求1或权利要求2所述的系统，其中，与所述组织相关联的所述信息包括所述组织的类型、所述组织的胶原成分、所述组织的有序纤维取向与经重塑的无序纤维取向、所述组织的存活力、和所述组织的健康状况中的至少一者。

4.根据权利要求1至3中任一项所述的系统，其中，所述第一成像装置包括

结构化光发射器，所述结构化光发射器被配置为能够将结构化光图案发射在所述解剖结构的表面上，

光谱光发射器，所述光谱光发射器被配置为能够发射多个波长的光谱光，所述多个波长的光谱光能够穿透所述解剖结构并且到达位于所述解剖结构的所述表面下方的嵌入结构，和

图像传感器，所述图像传感器被配置为能够检测反射的结构化光图案、反射的光谱光、和反射的可见光；

所述控制器被配置为能够根据由所述图像传感器检测到的所述反射的结构化光图案来构造所述解剖结构的三维(3D)数字表示；并且

所述控制器被配置为能够使用所述3D数字表示来识别并限定所述结缔软组织平面的所述边界。

5.根据任一前述权利要求所述的系统，其中，所述第一成像装置包括柔性窥镜式装置；并且

所述第二成像装置包括刚性窥镜式装置。

6.根据任一前述权利要求所述的系统，其中，所述解剖结构包括肺；

所述第一成像装置包括被配置为能够推进到所述肺中的支气管镜；

所述组织包括支气管组织；

所述嵌入结构包括肿瘤；并且

所述结缔软组织平面的所述位置和取向使得能够识别所述肺中的肿瘤位置和取向。

7.根据任一前述权利要求所述的系统，其中，所述第一成像装置被配置为能够使用可见光光谱之外的波长来收集所述第一图像，以便允许从所述解剖结构外部对所述嵌入结构的可视化；

所述可见光光谱之外的所述波长包括超声波长或红外波长；并且

所述第二成像装置被配置为能够使用所述可见光光谱内的波长来收集所述第二图像，以便允许所述解剖结构的所述表面的可视化。

8.根据权利要求10所述的系统，所述系统还包括被配置为能够被递送到所述解剖结构的造影剂；

其中，所述第一成像装置被配置为能够使所述解剖结构内的所述造影剂可视化，并且所述第二成像装置不能够使所述解剖结构内的所述造影剂可视化。

9.根据任一前述权利要求所述的系统，其中，所述第一成像装置和所述第二成像装置各自被配置为能够以可释放的方式联接到机器人外科系统并且由所述机器人外科系统控制；并且

外科集线器包括所述控制器。

10.根据任一前述权利要求所述的系统，所述系统还包括所述显示装置；

其中，机器人外科系统包括所述控制器和所述显示装置，并且所述第一成像装置和所述第二成像装置各自被配置为能够以可释放的方式联接到所述机器人外科系统并且由所述机器人外科系统控制。

11.一种方法，所述方法包括：

用第一成像装置在外科手术的执行期间收集外科部位的第一图像；

用第二成像装置在所述外科手术的所述执行期间收集所述外科部位的第二图像；

用控制器分析所述第一图像和所述第二图像以识别并限定结缔软组织平面的边界；

用所述控制器将所述结缔软组织平面的所识别并限定的边界与所述组织的解剖结构和作用相关联；以及

用所述控制器使显示装置显示与所述组织相关联的信息并且显示与所述结缔软组织平面的所识别并限定的边界叠加的所述第一图像和所述第二图像中的至少一者，并且由此限定所述结缔软组织平面的位置和取向。

12.根据权利要求11所述的方法，其中，所述组织的所述解剖结构和所述作用包括组织平面、组织成分、肿瘤位置、肿瘤边缘识别、粘连、血管形成、和组织脆性中的至少一者。

13.根据权利要求11或权利要求12所述的方法，其中，与所述组织相关联的所述信息包括所述组织的类型、所述组织的胶原成分、所述组织的有序纤维取向与经重塑的无序纤维取向、所述组织的存活力、和所述组织的健康状况中的至少一者。

14.根据权利要求11至13中任一项所述的方法，其中，所述第一成像装置包括：

所述方法还包括用所述控制器根据由所述图像传感器检测到的所述反射的结构化光图案来构造所述解剖结构的三维(3D)数字表示；并且

所述控制器使用所述3D数字表示来识别并限定所述结缔软组织平面的所述边界。

15.根据权利要求11至14中任一项所述的方法，其中，所述第一成像装置包括柔性窥镜式装置；并且

所述第二成像装置包括刚性窥镜式装置。

16.根据权利要求11至15中任一项所述的方法，其中，所述第一成像装置包括支气管镜；

所述解剖结构包括肺；

所述方法还包括将所述支气管镜推进到所述肺中；

所述组织包括支气管组织；

所述嵌入结构包括肿瘤；并且

17.根据权利要求11至16中任一项所述的方法，其中，所述第一成像装置使用可见光光谱之外的波长来收集所述第一图像，以便允许从所述解剖结构外部对所述嵌入结构的可视化；

所述第二成像装置使用所述可见光光谱内的波长来收集所述第二图像，以便允许所述解剖结构的所述表面的可视化。

18.根据权利要求17所述的方法，所述方法还包括将造影剂递送到所述解剖结构；

其中，所述第一成像装置使所述解剖结构内的所述造影剂可视化，并且所述第二成像装置不能够使所述解剖结构内的所述造影剂可视化。

19.根据权利要求11至18中任一项所述的方法，其中，所述第一成像装置和所述第二成像装置以可释放的方式联接到机器人外科系统并且由所述机器人外科系统控制；并且

外科集线器包括所述控制器。

20.根据权利要求11至19中任一项所述的方法，其中，机器人外科系统包括所述控制器和所述显示装置，并且所述第一成像装置和所述第二成像装置各自以可释放的方式联接到所述机器人外科系统并且由所述机器人外科系统控制。

21.一种包括指令的计算机程序产品，当所述程序由根据权利要求1所述的系统的控制器执行时，所述指令使得所述控制器：

22.一种包括指令的计算机程序产品，当所述程序由根据权利要求1所述的系统的所述控制器执行时，所述指令使得所述系统执行根据权利要求11至20中任一项所述的方法。

23.一种计算机可读介质，所述计算机可读介质上存储有根据权利要求21或权利要求22所述的计算机程序产品。

24.一种数据载体信号，所述数据载体信号承载根据权利要求21或权利要求22所述的计算机程序产品。