CN118119353A - 用于控制具有可变外科部位进入轨迹的协同外科器械的系统 - Google Patents

Abstract

提供了用于控制具有可变外科部位进入轨迹的协同外科器械的系统、装置和方法。本公开的各个方面提供了用于从不同途径和/或单独的体腔进入共同的外科部位的外科器械的协调的操作，以实现共同的外科目的。例如，本文所公开的各种方法、装置和系统可使得能够通过不同的微创外科系统对组织进行协调治疗，这些微创外科系统从不同的解剖空间接近该组织，并且必须以不同的方式但彼此协调地操作，以实现期望的外科治疗。

Description

用于控制具有可变外科部位进入轨迹的协同外科器械的系统

相关申请的交叉引用

本申请要求2021年9月29日提交的名称为“Methods and Systems forControlling Cooperative Surgical Instruments with Variable Surgical SiteAccess Trajectories”的美国临时专利申请号63/249,881的优先权，该美国临时专利申请的公开内容全文以引用方式并入本文。

背景技术

一些外科手术需要使用多个外科器械同时在组织的区域或部分上操作以成功地执行手术。在一些情况下，由于解剖限制和/或手术的性质，多个外科器械不可能位于相同的解剖空间中。例如，在封闭的组织结构的区域(例如，食管的壁)上进行操作的手术期间，为了成功地执行该手术，可能需要多个外科器械中的一个外科器械位于封闭的组织结构内，并且可能需要多个外科器械中的另一个外科器械位于封闭的组织结构之外。

然而，在一些实施方式中，用于在从第一解剖空间接近组织的区域的组织的区域上进行操作的第一外科器械可以独立于用于在从第二不相关的解剖空间接近组织的区域的组织的区域上进行操作的第二外科器械进行操作。在这样的场景下，在需要第一外科器械和第二外科器械的协调操作来成功地执行手术的情况下，可能很难或不可能一起操纵第一外科器械和第二外科器械来实现成功的外科结果。

此外，外科系统通常结合有成像系统，该成像系统可允许医疗从业者在一个或多个显示器(例如，监测器、平板电脑屏幕等)上查看外科部位和/或其一个或多个部分。成像系统可包括具有相机的观察镜，该观察镜观察外科部位并且将视图传输到可由医疗从业者查看的一个或多个显示器。

成像系统可受到它们能够识别和/或传达给医疗从业者的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。又如，某些成像系统可能无法在术中将某些信息传送和/或传达给医疗从业者。

因此，仍然需要用于控制具有可变外科部位进入轨迹的协同外科器械以及用于改进的外科成像的改进的方法和系统。还需要用于控制具有可变外科部位进入轨迹的协同外科器械的改进的方法和系统。

发明内容

在一个方面，提供了一种系统，并且该系统可包括：第一外科器械，该第一外科器械被构造成能够插入到患者的第一体腔中，该第一体腔位于患者的管腔结构之外；第二外科器械，该第二外科器械被构造成能够插入到管腔结构中；第一内窥镜，该第一内窥镜具有第一图像传感器，该第一图像传感器被配置为能够获取第一外科器械在第一体腔内的第一图像，并且被定位成使得第二外科器械不在第一图像传感器的视场内；第二内窥镜，该第二内窥镜具有第二图像传感器，该第二图像传感器被配置为能够获取第二外科器械在管腔结构内的第二图像，并且被定位成使得第一外科器械不在第二图像传感器的视场内；和控制器，该控制器被配置为能够接收第一图像和第二图像，基于所接收的第一图像和第二图像来确定第一外科器械和第二外科器械相对于彼此的第一位置和第二位置，并且基于所确定的第一位置和第二位置来协调第一外科器械和第二外科器械的协同运动。第一外科器械可被构造成能够将附属物递送到位于管腔结构处的目标区域，并且第二外科器械可被构造成能够将协同固定植入物从管腔结构内递送到外科部位，使得协同固定植入物帮助将附属物在目标区域处保持就位。

在一些实施方案中，附属物可被配置为需要来自第一外科器械和第二外科器械中的每一者的相互作用，以便能够植入附属物。在一些实施方案中，附属物可被配置为需要来自位于患者的管腔结构外部的第一体腔内的相互作用以及来自管腔结构内的相互作用，以能够植入附属物。

在另一方面，提供了一种系统，并且该系统可包括数据处理器和存储被配置为能够使得数据处理器执行操作的指令的存储器。操作可包括：从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，第一外科器械设置在患者的第一体腔内并且位于患者的管腔结构外部，第一外科器械被构造成能够将附属物递送到位于管腔结构处的目标区域；从第二内窥镜的第二图像传感器实时地接收表征设置在管腔结构内的第二外科器械的第二图像的第二图像数据，第二外科器械被配置为能够将协同固定植入物从管腔结构内递送到目标区域，使得协同固定植入物帮助将第二外科器械在第一内窥镜的视场之外以及将第一外科器械在第二内窥镜的视场之外在目标区域处保持就位；基于所接收的第一图像数据来确定第一外科器械的第一位置；基于所接收的第二图像数据来确定第二外科器械的第二位置；以及基于所确定的第一位置和第二位置来协调第一外科器械和第二外科器械之间的协同运动。

在一些实施方案中，附属物可被配置为需要来自第一外科器械和第二外科器械中的每一者的相互作用，以能够植入附属物。在一些实施方案中，附属物可被配置为需要来自位于患者的管腔结构外部的第一体腔内的相互作用以及来自管腔结构内的相互作用，以能够植入附属物。

在另一方面，提供了一种方法，该方法可包括：由控制器从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，第一外科器械设置在患者的第一体腔内并且位于患者的管腔结构外部，第一外科器械被构造成能够将附属物递送到位于管腔结构处的目标区域；由控制器从第二内窥镜的第二图像传感器实时地接收表征设置在管腔结构内的第二外科器械的第二图像的第二图像数据，第二外科器械被构造成能够将协同固定植入物从管腔结构内递送到目标区域，使得附属物由协同固定植入物在目标区域处保持就位，第二外科器械位于第一内窥镜的视场之外，并且第一外科器械位于第二内窥镜的视场之外；由控制器基于所接收的第一图像数据来确定第一外科器械的第一位置；由控制器基于所接收的第二图像数据来确定第二外科器械相对于第一外科器械的第一位置的第二位置；以及由控制器基于所确定的第一位置和第二位置来协调第一外科器械和第二外科器械之间的协同运动。

在一些实施方案中，附属物可能需要来自第一外科器械和第二外科器械中的每一者的相互作用，以将附属物植入到目标区域处。在一些实施方案中，附属物可能需要来自位于患者的管腔结构之外的第一体腔内的相互作用以及来自管腔结构内的相互作用，以便将附属物植入到目标区域处。

在另一方面，提供了一种系统，并且该系统可包括：第一外科器械，该第一外科器械被构造成能够插入到患者的胸部体腔中并且能够在位于患者体内的组织的第一表面上操作；第二外科器械，该第二外科器械被构造成能够插入到患者的腹部体腔中并且能够在组织的第二表面上操作，第二表面与第一表面不同地定向；第一内窥镜，该第一内窥镜具有第一图像传感器，该第一图像传感器被配置为能够获取第一外科器械在胸部体腔内的第一图像，并且被定位成使得第二外科器械不在第一图像传感器的视场内；第二内窥镜，该第二内窥镜具有第二图像传感器，该第二图像传感器被配置为能够获取第二外科器械在腹部体腔内的第二图像，并且被定位成使得第一外科器械不在第二图像传感器的视场内；和控制器，该控制器被配置为能够接收第一图像和第二图像，以确定第一外科器械和第二外科器械相对于彼此的第一位置和第二位置，以及通过基于所确定的第一位置和第二位置在彼此不同的方向上对第一外科器械和第二外科器械的致动器施加相互关联的限制来协调第一外科器械和第二外科器械之间的协同治疗。

在一些实施方案中，控制器可被配置为能够控制针对第一外科器械和第二外科器械之间的协同力和运动的运动。在一些实施方案中，组织可以至少部分地锚定到相邻的解剖结构，使得成比例量的协同力被传递到与相邻的解剖结构连接的组织中。在一些实施方案中，组织可以被锚定到周围的解剖结构。在一些实施方案中，组织可以是将第一胸部体腔和第二腹部体腔分开的共同的组织壁。在一些实施方案中，控制器可被配置为能够基于来自第二外科器械在共同组织上施加的力和运动来限制来自第一外科器械在共同组织上施加的力和运动。

在另一方面，提供了一种系统，并且该系统可包括数据处理器和存储被配置为能够使得数据处理器执行操作的指令的存储器。操作可包括：从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，第一外科器械设置在患者的胸部体腔内并且被构造成能够在位于患者体内的组织的第一表面上操作；从第二内窥镜的第二图像传感器实时地接收表征第二外科器械的第二图像的第二图像数据，该第二外科器械设置在患者的腹部体腔内并且在组织的第二表面上操作，第二表面与第一表面不同地定向，第二外科器械位于第一内窥镜的视场之外，并且第一外科器械位于第二内窥镜的视场之外；基于所接收的第一图像数据来确定第一外科器械的第一位置；基于所接收的第二图像数据来确定第二外科器械相对于第一外科器械的第一位置的第二位置；以及协调第一外科器械和第二外科器械之间的协同治疗以在组织上实现共同的外科目的，其中组织的协同治疗包括基于所确定的第一位置和第二位置在彼此不同的方向上对第一外科器械和第二外科器械的致动器施加相互关联的限制。

在一些实施方案中，操作还可以包括控制针对第一外科器械和第二外科器械之间的协同力和运动的运动。在一些实施方案中，组织可以至少部分地锚定到相邻的解剖结构，使得成比例量的协同力被传递到与相邻的解剖结构连接的组织中。在一些实施方案中，组织可以被锚定到周围的解剖结构。在一些实施方案中，组织可以是将第一胸部体腔和第二腹部体腔分开的共同的组织壁。在一些实施方案中，至少一个数据处理器可被配置为能够基于来自第二外科器械在共同组织上施加的力和运动来限制来自第一外科器械在共同组织上施加的力和运动。

在另一方面，提供了一种方法，该方法可包括：由控制器从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，第一外科器械设置在患者的第一胸部体腔内并且被构造成能够在位于患者体内的组织的第一表面上操作；由控制器从第二内窥镜的第二图像传感器实时地接收表征第二外科器械的第二图像的第二图像数据，第二外科器械设置在患者的第二腹部体腔内并且能够在组织的第二表面上操作，第二表面与第一表面不同地定向，第二外科器械位于第一内窥镜的视场之外，并且第一外科器械位于第二内窥镜的视场之外，第二腹部体腔不同于第一胸部体腔；由控制器基于所接收的第一图像数据来确定第一外科器械的第一位置；由控制器基于所接收的第二图像数据来确定第二外科器械相对于第一外科器械的第一位置的第二位置；以及由控制器协调第一外科器械和第二外科器械之间的协同治疗以在组织上实现共同的外科目的，其中组织的协同治疗包括基于所确定的第一位置和第二位置在彼此不同的方向上对第一外科器械和第二外科器械的致动器施加相互关联的限制。

在一些实施方案中，可以控制针对第一外科器械和第二外科器械之间的协同力和运动的运动。在一些实施方案中，组织可以至少部分地锚定到相邻的解剖结构，使得成比例量的协同力被传递到与相邻的解剖结构连接的组织中。在一些实施方案中，组织可以被锚定到周围的解剖结构。在一些实施方案中，组织可以是将胸部体腔和腹部体腔分开的共同的组织壁。在一些实施方案中，可基于来自第二外科器械在共同组织上施加的力和运动来限制来自第一外科器械在共同组织上施加的力和运动。

在另一方面，提供了一种系统，并且该系统可包括：第一外科器械，第一外科器械被构造成能够插入到患者的第一体腔中并且在位于患者体内的组织的第一表面上进行操作；第二外科器械，第二外科器械被构造成能够插入到患者的第二体腔中并且在组织的第二表面上进行操作，第二表面与第一表面不同地定向；第一内窥镜，第一内窥镜具有第一图像传感器，第一图像传感器被配置为能够获取第一外科器械在第一体腔内的第一图像并且被定位成使得第二外科器械不在第一图像传感器的视场内；第二内窥镜，第二内窥镜具有第二图像传感器，第二图像传感器被配置为能够获取第二外科器械在第二体腔内的第二图像并且被定位成使得第一外科器械不在第二图像传感器的视场内，第二体腔不同于第一体腔；和控制器，控制器被配置为能够接收第一图像和第二图像，以基于接收到的第一图像确定第一外科器械的第一位置，根据第二图像确定第二外科器械的第二位置，以及通过由第一外科器械或第二外科器械中的任一者在第一方向上操纵共同组织，基于所确定的第一位置和第二位置协调第一外科器械和第二外科器械之间的协同治疗，使得当在第一方向上操纵组织时，第一外科器械或第二外科器械中的另一者治疗组织。

在一些实施方案中，第一外科器械和第二外科器械之间的力可被控制以在两者之间产生预定义的运动或力中的至少一者。在一些实施方案中，第一体腔可在患者体内的第一中空器官内，第一外科器械可被构造成能够在中空器官内在第一方向上操纵共同组织，并且第二体腔可在中空器官之外。在一些实施方案中，第一外科器械可被构造成能够提供共同组织的组织偏转、回缩或移动中的至少一者，使得第二外科器械能够进入以解剖共同组织的一部分。在一些实施方案中，由第一内窥镜的第一图像传感器对共同组织进行可视化可被设计为能够允许由第二外科器械对共同组织的至少一部分进行解剖。

在另一方面，提供了一种系统，并且该系统可包括数据处理器和存储被配置为能够使得数据处理器执行操作的指令的存储器。操作可包括：从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，第一外科器械设置在患者的第一体腔内并且被构造成能够在位于患者体内的组织的第一表面上操作；从第二内窥镜的第二图像传感器实时地接收表征第二外科器械的第二图像的第二图像数据，第二外科器械设置在患者的第二体腔内并且能够在组织的第二表面上操作，第二表面与第一表面不同地定向，第二外科器械位于第一内窥镜的视场之外，并且第一外科器械位于第二内窥镜的视场之外，第二体腔不同于第一体腔；基于所接收的第一图像数据来确定第一外科器械的第一位置；基于所接收的第二图像数据来确定第二外科器械的第二位置；以及基于所确定的第一位置和第二位置，协调第一外科器械和第二外科器械之间的协同治疗以在组织上实现共同的外科目的，其中组织的协同治疗包括由第一外科器械或第二外科器械中的任一者在第一方向上操纵共同组织，使得当在第一方向上操纵共同组织时，第一外科器械或第二外科器械中的另一者治疗共同组织。

在一些实施方案中，第一外科器械和第二外科器械之间的力可被控制，以在两者之间产生预定义的运动或力中的至少一者。在一些实施方案中，第一体腔可在患者体内的第一中空器官内，第一外科器械可被构造成能够在中空器官内在第一方向上操纵共同组织，并且第二体腔可在中空器官之外。在一些实施方案中，第一外科器械可被构造成能够提供共同组织的组织偏转、回缩或移动中的至少一者，使得第二外科器械能够进入以解剖共同组织的一部分。在一些实施方案中，由第一内窥镜的第一图像传感器对共同组织进行可视化可被设计为能够允许由第二外科器械对共同组织的至少一部分进行解剖。

在另一方面，提供了一种方法，该方法可包括：由控制器从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，第一外科器械设置在患者的第一体腔内并且被构造成能够在位于患者体内的组织的第一表面上操作；由控制器从第二内窥镜的第二图像传感器实时地接收表征第二外科器械的第二图像的第二图像数据，第二外科器械设置在患者的第二体腔内并且能够在组织的第二表面上操作，第二表面与第一表面不同地定向，第二外科器械位于第一内窥镜的视场之外，并且第一外科器械位于第二内窥镜的视场之外，第二体腔不同于第一体腔；由控制器基于所接收的第一图像数据来确定第一外科器械的第一位置；由控制器基于所接收的第二图像数据来确定第二外科器械的第二位置；以及由控制器基于所确定的第一位置和第二位置来协调第一外科器械和第二外科器械之间的协同治疗，以在组织上实现共同的外科目的，包括由第一外科器械或第二外科器械中的任一者在第一方向上操纵共同组织，使得当在第一方向上操纵共同组织时，第一外科器械或第二外科器械中的另一者治疗共同组织。

在一些实施方案中，第一外科器械和第二外科器械之间的力可被控制，以在两者之间产生预定义的运动或力中的至少一者。在一些实施方案中，第一体腔可位于患者体内的第一中空器官内，第一外科器械可在中空器官内在第一方向上操纵共同组织，并且第二体腔可位于中空器官之外。在一些实施方案中，第一外科器械可提供共同组织的组织偏转、回缩或移动中的至少一者，使得第二外科器械能够进入以解剖共同组织的一部分。在一些实施方案中，由第一内窥镜的第一图像传感器对共同组织进行可视化可被设计为能够允许由第二外科器械对共同组织的至少一部分进行解剖。

附图说明

参考如下附图描述本发明：

图1是外科可视化系统的一个实施方案的示意图；

图2是图1的外科装置、成像装置和关键结构之间的三角形测量的示意图；

图3是外科可视化系统的另一个实施方案的示意图；

图4是用于外科可视化系统的控制系统的一个实施方案的示意图；

图5是外科可视化系统的控制系统的控制电路的一个实施方案的示意图；

图6是外科可视化系统的组合逻辑电路的一个实施方案的示意图；

图7是外科可视化系统的顺序逻辑电路的一个实施方案的示意图；

图8是外科可视化系统的又一实施方案的示意图；

图9是用于外科可视化系统的控制系统的另一个实施方案的示意图；

图10是显示各种生物材料的波长与吸收系数的图；

图11是使外科部位可视化的光谱发射器的一个实施方案的示意图；

图12是描绘用于区分输尿管与遮蔽物的例示性高光谱识别特征的图；

图13是描绘用于区分动脉与遮蔽物的例示性高光谱识别特征的图；

图14是描绘用于区分神经与遮蔽物的例示性高光谱识别特征的图；

图15是术中使用的近红外(NIR)飞行时间测量系统的一个实施方案的示意图；

图16示出了图15的系统的飞行时间时序图；

图17是术中使用的近红外(NIR)飞行时间测量系统的另一个实施方案的示意图；

图18是计算机实现的交互式外科系统的一个实施方案的示意图；

图19是用于在手术室中执行外科手术的外科系统的一个实施方案的示意图；

图20是包括智能外科器械和外科集线器的外科系统的一个实施方案的示意图；

图21是示出控制图20的智能外科器械的方法的流程图；

图21A是示出结肠的主要切除部分的结肠的示意图；

图21B是十二指肠粘膜表面再造手术的一个实施方案的透视局部透视剖视图；

图22是可以提供对具有可变外科部位进入轨迹的外科器械的协同控制的示例性外科系统的示意图；

图23是用于使用从管腔结构的内部和外部接近外科部位的多个外科器械将植入物协同放置在管腔结构的外科部位处的系统的示例性实施方案的例示性视图；

图24示出了在植入物已经被施加到外科部位之后的图23的系统，并且示例性器械处于将图23的植入物在外科部位处固定就位的过程中；

图24A示出了在植入物已经被施加到外科部位之后的图23的系统，并且修复植入物的若干不同实施方案被设置在外科部位处；

图25是示例性外科系统的示意图，该示例性外科系统可通过跟踪放置在外科视场中的内窥镜上的传感器来增加多个位置而提供共同视场；

图26是系统的示例性实施方案的例示性视图，该系统用于通过使用/跟踪放置在外科视场中的多个内窥镜上放置的传感器来将多个视点扩大到公共视场中，从而提供公共视场；

图27A是图25和图26的第二内窥镜的视场的例示性视图；

图27B是图25和图26的第三内窥镜的视场的例示性视图；

图27C是图25和图26的第一内窥镜的视场的例示性视图；

图27D是基于图25和图26的第一内窥镜、第二内窥镜和第三内窥镜的视场创建的增强的合成图像；

图28是用于执行肿瘤解剖的系统的示例性实施方案的例示性视图；

图29是图28的用于执行肿瘤解剖的系统的例示性视图；

图30是图28的用于执行肿瘤解剖的系统的例示性视图；并且

图31是图28的用于执行肿瘤解剖的系统的例示性视图。

具体实施方式

现在将描述某些示例性实施方案以从整体上理解本文所公开的装置、系统和方法的结构、功能、制造和使用的原理。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员将会理解，在本文中具体描述的和在附图中示出的装置、系统和方法是非限制性的示例性实施方案，并且本发明的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征部可与其他实施方案的特征部进行组合。此类修改和变型旨在包括在本发明的范围之内。

此外，在本公开中，各实施方案中名称相似的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每个名称相似的部件的每个特征部。另外，在所公开的系统、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类系统、装置和方法使用的形状的类型。本领域中技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。本领域的技术人员将会理解，尺寸可能不是精确的值，但是由于诸如制造公差和测量设备的灵敏度之类的任何数量的因素而被认为是大约处于该值。系统和装置及其部件的尺寸和形状可以至少取决于将与系统和装置一起使用的部件的尺寸和形状。

外科可视化

一般来讲，外科可视化系统被配置为能够利用“数字外科手术”来获得有关患者解剖结构和/或外科手术的附加信息。外科可视化系统被进一步配置为以有用的方式将数据传送给一个或多个医疗从业者。本公开的各个方面提供了患者解剖结构和/或外科手术的改进的可视化，和/或使用可视化来提供对外科工具(在本文中也称为“外科装置”或“外科器械”)的改进的控制。

“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化系统可与机器人外科系统结合使用，但外科可视化系统不限于与机器人外科系统一起使用。在某些情况下，使用外科可视化系统的外科可视化可以在没有机器人技术的情况下和/或在有限的和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。

在某些情况下，结合有外科可视化系统的外科系统可实现智能解剖以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带、板和其他外来结构。关键结构可基于不同患者和/或不同手术来确定。智能解剖技术可以提供例如改进的解剖术中指导和/或可以通过关键解剖检测和避免技术实现更明智的决策。

结合有外科可视化系统的外科系统可实现智能吻合技术，该智能吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。可以利用外科可视化平台来改进癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可以补偿外科手术期间外科器械、患者和/或患者解剖结构的移动，以便为外科从业者提供回到感兴趣点的指导。

外科可视化系统可以提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。关于淋巴结诊断和标测，外科可视化平台可以例如在术前定位、标测和理想地诊断涉及癌性诊断和分期的淋巴系统和/或淋巴结。

在外科手术期间，医疗从业者通过“肉眼”和/或成像系统可获得的信息可能提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，医疗从业者可能无法在术中准确地确定关键结构的位置。

当关键结构的方位不确定时和/或当关键结构与外科工具之间的接近度未知时，医疗从业者的决策过程可能受到阻碍。例如，医疗从业者可避开某些区域，以避免意外解剖关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，医疗从业者可能无法进入某些期望的区域。例如，过度谨慎可能导致医疗从业者留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的医疗从业者的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。

外科可视化系统可以允许术中识别和避免关键结构。因此，外科可视化系统可以实现增强的术中决策制定和改善的外科结果。外科可视化系统可以提供高级可视化能力，超出医疗从业者用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给医疗从业者的内容。外科可视化系统可以增强和加强医疗从业者在组织治疗(例如，解剖等)之前能够知道的信息，并且因此可在各种情况下改善结果。因此，医疗从业者知道外科可视化系统正在跟踪例如可在解剖期间接近的关键结构，可在整个外科手术期间确信地保持动力。外科可视化系统可在足够长的时间内向医疗从业者提供指示，以使医疗从业者暂停和/或减慢外科手术并且评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向医疗从业者提供理想的、优化的和/或可定制的信息量，以允许医疗从业者确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结构造成意外损坏，并且因此最小化由外科手术引起的伤害风险。

下面详细描述了外科可视化系统。一般来讲，外科可视化系统可包括被配置为能够发射多个光谱波的第一光发射器、被配置为能够发射光图案的第二光发射器，以及被配置为能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的接收器或传感器。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可以确定外科部位处的可见表面的几何表面标测图(例如，三维表面形貌)以及相对于外科部位的距离，诸如到至少部分隐藏的结构的距离。成像系统可以将几何表面标测图和距离传送给医疗从业者。在此类情况下，提供给医疗从业者的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。

在整个公开内容中，除非特别提到可见光，否则任何提到的“光”可包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(例如，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。不可见光谱(例如，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。

图1示出了外科可视化系统100的一个实施方案。外科可视化系统100被配置为能够创建解剖场内的关键结构101的视觉表示。关键结构101可包括单个关键结构或多个关键结构。如本文所讨论的，关键结构101可以是多种结构中的任一种结构，诸如解剖结构(例如，输尿管)、动脉(例如，肠系膜上动脉)、静脉(例如，门静脉)、神经(诸如，膈神经)、血管、肿瘤或其他解剖结构、或外来结构，例如，外科装置、外科紧固件、外科夹具、外科大头钉、探条、外科带、外科板或其他外来结构。如本文所讨论的，可基于不同患者和/或不同手术来识别关键结构101。关键结构和使用可视化系统识别关键结构的实施方案在2020年10月6日发布的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034中进一步描述，该专利的全文据此以引用方式并入本文。

在一些情况下，关键结构101可以嵌入组织103中。组织103可以是多种组织中的任何一种组织，例如脂肪、结缔组织、粘连和/或器官。换句话讲，关键结构101可定位在组织103的表面105下方。在这种情况下，组织103从医疗从业者的“肉眼”视图中隐藏了关键结构101。组织103还使关键结构101从外科可视化系统100的成像装置120的视野中模糊。关键结构101可以从医疗从业者和/或成像装置120的视角部分地被遮蔽，而不是被完全遮蔽。

外科可视化系统100可用于临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向医疗从业者提供实时信息，诸如关于接近度数据、尺寸和/或距离的实时信息。本领域的技术人员将理解，信息可能不是精确实时的，但由于多种原因中的任何一种原因而被认为是实时的，诸如由数据传输引起的时间延迟、由数据处理引起的时间延迟和/或测量设备的灵敏度。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，医疗从业者可避免在外科手术期间在关键结构101和/或关键结构101的预定义接近度中的区域操纵外科装置。又如，通过识别关键结构101，医疗从业者可避免解剖关键结构101和/或避免靠近该关键结构，从而有助于防止对关键结构101的损坏和/或有助于防止医疗从业者使用的外科装置被关键结构101损坏。

外科可视化系统100被配置为能够将组织识别和几何表面标测与外科可视化系统的距离传感器系统104相结合。结合起来，外科可视化系统100的这些特征可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织103的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括被配置为能够提供外科部位的实时视图的成像装置120。成像装置120可包括例如光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置为能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可以诸如在显示器(例如，监测器、计算机平板屏幕等)上实时地提供给医疗从业者。可以利用基于组织识别、景观测绘和距离传感器系统104的附加信息来增强所显示的视图。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可以协同，在术中向医疗从业者提供先进的数据合成和集成信息。

成像装置120可被配置为能够检测可见光、光谱光波(可见或不可见)，以及结构光图案(可见或不可见)。成像装置120的示例包括内窥镜、关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞镜、十二指肠镜、肠镜、食管胃十二指肠镜(胃镜)、喉镜、鼻咽肾镜、乙状结肠镜、胸腔镜、输尿管镜或外窥镜。内窥镜在微创外科手术中特别有用。在开放式外科手术应用中，成像装置120可以不包括观察镜。

组织识别子系统可以利用光谱成像系统来实现。光谱成像系统可以依赖于成像，诸如高光谱成像、多光谱成像或选择性光谱成像。组织的高光谱成像的实施方案在2016年3月1日发布的名称为“System And Method For Gross Anatomic Pathology UsingHyperspectral Imaging”的美国专利号9,274,047中进一步描述，该专利全文据此以引用方式并入本文。

表面标测子系统可以利用光图案系统来实现。使用用于表面标测的光图案(或结构光)的各种表面标测技术可用于本文所述的外科可视化系统中。结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。表面标测和包括光源和用于投射光图案的投射仪的外科系统的实施方案在以下专利中进一步描述：2017年3月2日公开的名称为“Set Comprising A SurgicalInstrument”的美国专利公布号2017/0055819；2017年9月7日公开的名称为“DepictionSystem”的美国专利公布号2017/0251900；以及2019年12月30日提交的名称为“SurgicalSystems For Generate Three Dimensional Constructs Of Anatomical Organs AndCoupling Identified Anatomical Structures There”的美国专利申请号16/729,751，这些专利的全文据此以引用方式并入本文。

距离确定系统可以并入到表面标测系统中。例如，可利用结构化光来生成可见表面105的三维(3D)虚拟模型并且确定相对于可见表面105的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。

外科可视化系统100还包括外科装置102。外科装置102可以是任何合适的外科装置。外科装置102的示例包括外科解剖器、外科缝合器、外科抓紧器、施夹器、排烟器、外科能量装置(例如，单极探头、双极探头、消融探头、超声装置、超声端部执行器等)等。在一些实施方案中，外科装置102包括具有相对的钳口的端部执行器，该相对的钳口从外科装置102的轴的远侧端部延伸并且被构造成能够接合其间的组织。

外科可视化系统100可被配置为能够识别关键结构101以及外科装置102与关键结构101的接近度。外科可视化系统100的成像装置120被配置为能够检测各种波长的光，诸如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文所述。成像装置120可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维(3D)图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置为能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织103的表面105上的光(结构化光)的图案重叠，如图1所示。

如在该例示的实施方案中，外科可视化系统100可以并入机器人外科系统110中。机器人外科系统110可具有多种配置，如本文所讨论的。在该例示的实施方案中，机器人外科系统110包括第一机器人臂112和第二机器人臂114。机器人臂112、114各自包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置为能够操纵外科装置102，并且第二机器人臂114被配置为能够操纵成像装置120。机器人外科系统110的机器人控制单元被配置为能够向第一机器人臂112和第二机器人臂114发出控制运动，这可以分别影响外科装置102和成像装置120。

在一些实施方案中，机器人臂112、114中的一者或多者可以与外科手术中使用的主机器人系统110分开。例如，机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并且与特定坐标系配准。例如，用于机器人臂112、114的闭环控制系统和/或多个传感器可以控制和/或配准机器人臂112、114相对于特定坐标系的方位。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。

机器人外科系统的示例包括Ottava^TM机器人辅助外科系统(新泽西州新不伦瑞克市(New Brunswick,NJ)的强生公司(Johnson&Johnson))、da外科系统(加利福尼亚州森尼韦尔市(Sunnyvale,CA)的直觉外科公司(Intuitive Surgical,Inc.))、Hugo^TM机器人辅助外科系统(明尼苏达州明尼阿波利斯市(Minneapolis,MN)的美敦力公司(MedtronicPLC))、/>外科机器人系统(英国剑桥市(Cambridge,UK)的CMR外科有限公司(CMRSurgical Ltd))和/>平台(加利福尼亚州雷德伍德城(Redwood City,CA)的Auris Health,Inc.公司(Auris Health,Inc.))。各种机器人外科系统和使用机器人外科系统的实施方案在以下专利中进一步描述：2016年12月28日提交的名称为“FlexibleInstrument Insertion Using An Adaptive Force Threshold”的美国专利公布号2018/0177556；2019年4月16日提交的名称为“Systems And Techniques For ProvidingMultiple Perspectives During Medical Procedures”的美国专利公布号2020/0000530；2020年2月7日提交的名称为“Image-Based Branch Detection And Mapping ForNavigation”的美国专利公布号2020/0170720；2019年12月9日提交的名称为“SurgicalRobotics System”的美国专利公布号2020/0188043；2019年9月3日提交的名称为“SystemsAnd Methods For Concomitant Medical Procedures”的美国专利公布号2020/0085516；2013年7月15日提交的名称为“Patient-Side Surgeon Interface For A TeleoperatedSurgical Instrument”的美国专利号8,831,782；以及2014年3月13日提交的名称为“Hyperdexterous Surgical System”的国际专利公布号WO 2014151621，这些专利的全文据此以引用方式并入本文。

外科可视化系统100还包括发射器106。发射器106被配置为能够发射光图案，诸如条纹、网格线和/或点，以使得能够确定表面105的地形或景观。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，外科可视化系统100使用投影光阵列130来确定手术中由组织103的表面105和/或表面105的运动限定的形状。成像装置120被配置为能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。

如在该例示的实施方案中，成像装置120可包括光学波形发射器123，诸如通过安装在成像装置120上或以其他方式附接在该成像装置上。光学波形发射器123被配置为能够发射电磁辐射124(近红外(NIR)光子)，该电磁辐射可以穿透组织103的表面105并且到达关键结构101。成像装置120和光学波形发射器123可以由机器人臂114定位。光学波形发射器123安装在成像装置122上或以其他方式安装在该成像装置上，但在其他实施方案中可定位在与成像装置120分开的外科装置上。成像装置120的对应的波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置为能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长被配置为能够使得能够识别解剖结构和/或物理结构诸如关键结构101的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。

外科可视化系统100的距离传感器系统104被配置为能够确定外科部位处的一个或多个距离。距离传感器系统104可以是飞行时间距离传感器系统，该飞行时间距离传感器系统包括发射器(诸如本例示的实施方案中的发射器106)并且包括接收器108。在其他情况下，飞行时间发射器可与结构化光发射器分开。发射器106可包括非常小的激光源，并且接收器108可包括匹配传感器。距离传感器系统104被配置为能够检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。

在该示出的实施方案中，距离传感器系统104的接收器108定位在外科装置102上，但在其他实施方案中，接收器108可以安装在单独的外科装置上，而不是安装在外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他实施方案中，用于距离传感器系统104的接收器108可以安装在机器人系统110的独立的机器人控制臂上(例如，安装在第二机器人臂114上)，而不是安装在外科装置102所耦接到的第一机器人臂112上，可以安装在由另一个机器人操作的可移动臂上，或者安装在手术室(OR)台或固定装置上。在一些实施方案中，成像装置120包括接收器108以允许使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离d_e进行三角测量。接收器108的三维方位可以是已知的和/或在术中与机器人坐标平面配准。

如在该例示的实施方案中，距离传感器系统104的发射器106的方位可由第一机器人臂112控制，并且距离传感器系统104的接收器108的方位可由第二机器人臂114控制。在其他实施方案中，外科可视化系统100可以与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。

在图1中，d_e是从发射器106到组织103的表面105的发射器-组织距离，并且d_t是从外科装置102的远侧端部到组织103的表面105的装置-组织距离。距离传感器系统104被配置为能够确定发射器到组织的距离d_e。装置到组织距离d_t可从发射器106在外科装置102上的已知方位获得，例如，相对于外科装置102的远侧端部，在其靠近外科装置远侧端部的轴上。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离d_t可根据发射器-组织距离d_e确定。在一些实施方案中，外科装置102的轴可包括一个或多个关节运动接头，并且可相对于外科装置102的远侧端部处的发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在一些实施方案中，三维相机可用于对到表面105的一个或多个距离进行三角测量。

在图1中，d_w是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且d_A是关键结构101在组织103的表面105下方的深度(例如，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间被配置为能够确定相机-关键结构距离d_w。

如图2所示，关键结构101相对于组织103的表面105的深度d_A可通过以下方法来确定：根据距离d_w以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知位置(以及因此它们之间的已知距离d_x)进行三角测量，以确定距离d_y(其为距离d_e和d_A之和)。另外或另选地，来自光学波形发射器123的飞行时间可被配置为能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离d_w，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。

另外或另选地，距离d_A可由超声、配准磁共振成像(MRI)或计算机断层摄影(CT)扫描来确定。在其他情况下，可以利用光谱成像来确定距离d_A，因为成像装置120接收到的检测信号可以基于材料的类型(例如，组织103的类型)而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。

在图3所示的外科可视化系统160的另一个实施方案中，外科装置162而不是成像装置120包括光学波形发射器123和被配置为能够检测反射波形的波形传感器122。光学波形发射器123被配置为能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离d_t和d_w，如本文所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离d_A可如下确定：

d_A＝d_w-d_t。

外科可视化系统100包括控制系统，该控制系统被配置为能够控制外科可视化系统100的各个方面。图4示出了可用作外科可视化系统100(或本文所述的其他外科可视化系统)的控制系统的控制系统133的一个实施方案。控制系统133包括被配置为能够与存储器134进行信号通信的控制电路132。存储器134被配置为能够存储可由控制电路132执行的指令，诸如用于确定和/或识别关键结构(例如，图1的关键结构101)的指令、确定和/或计算一个或多个距离和/或三维数字表示的指令，以及向医疗从业者传达信息的指令。因此，存储在存储器134内的指令构成计算机程序产品，该计算机程序产品包括当由处理器执行时使得处理器如上所述执行的指令。此类指令还可以存储在任何计算机可读介质上(诸如光盘、SD卡、USB驱动器等，或单独装置的存储器)，它们可以从计算机可读介质复制到存储器134中或者直接执行。复制或直接执行的过程涉及携带计算机程序产品的数据载体信号的创建。如在该例示的实施方案中，存储器134可以存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141，但存储器134可以存储逻辑部件136、138、140、141的任何组合和/或可以将各种逻辑部件组合在一起。控制系统133还包括成像系统142，该成像系统包括相机144(例如，成像系统包括图1的成像装置120)、显示器146(例如，监测器、计算机平板屏幕等)，以及相机144和显示器146的控制器148。相机144包括图像传感器135(例如，波形传感器122)，该图像传感器被配置为能够从发射各种可见和不可见光谱的光的各种光源(例如，可见光、光谱成像器、三维透镜等)接收信号。显示器146被配置为能够向临床医生描绘真实的、虚拟的和/或虚拟增强的图像和/或信息。

在一个示例性实施方案中，图像传感器135是包含多达数百万个被称为像素的离散光电检测器位置的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦接器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器135对约350nm至约1050nm范围内的波长，诸如约400nm至约1000nm范围内的波长敏感。本领域的技术人员将会知道，值可能不为精确的某个值，但是由于各种原因中的任一原因诸如测量设备和制造公差的灵敏度而被认为是约为该值。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。

控制系统133还包括发射器(例如，发射器106)，该发射器包括光谱光源150和结构化光源152，每个光源可操作地耦接到控制电路133。单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如，红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。组织识别逻辑部件140被配置为经由由相机144的图像传感器135接收的来自光谱光源150的数据来识别关键结构(例如，图1的关键结构101)。表面标测逻辑部件136被配置为基于反射的结构光来确定可见组织(例如，组织103)的表面轮廓。利用飞行时间测量，距离确定逻辑部件141被配置为确定到可见组织和/或关键结构的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141中的每一者的输出被配置为提供给成像逻辑138，并且由成像逻辑部件138组合、混合和/或覆盖以经由成像系统142的显示器146传送给医疗从业者。

控制电路132可具有多种配置。图5示出了控制电路170的一个实施方案，该控制电路可以用作被配置为控制外科可视化系统100的各方面的控制电路132。控制电路170被配置为实现本文所述的各种过程。控制电路170包括微控制器，该微控制器包括可操作地耦接到存储器174的处理器172(例如，微处理器或微控制器)。存储器174被配置为存储机器可执行指令，机器可执行指令在由处理器172执行时，致使处理器172执行机器指令以实现本文所述的各种过程。处理器172可以是本领域中已知的数种单核处理器或多核处理器中的任一种处理器。存储器174可包括易失性存储介质和非易失性存储介质。处理器172包括指令处理单元176和运算单元178。指令处理单元176被配置为从存储器174接收指令。

表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141可具有多种配置。图6示出了组合逻辑电路180的一个实施方案，该组合逻辑电路被配置为能够使用逻辑部件，诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者来控制外科可视化系统100的各方面。组合逻辑电路180包括有限状态机，该有限状态机包括组合逻辑部件182，该组合逻辑部件被配置为能够在输入端184处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据、由组合逻辑部件182处理数据，以及向控制电路(例如，控制电路132)提供输出184。

图7示出了顺序逻辑电路190的一个实施方案，该顺序逻辑电路被配置为能够使用逻辑部件，诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者来控制外科可视化系统100的各方面。顺序逻辑电路190包括有限状态机，该有限状态机包括组合逻辑部件192、存储器194和时钟196。存储器194被配置为能够存储有限状态机的当前状态。时序逻辑电路190可以是同步的或异步的。组合逻辑部件192被配置为能够在输入端426处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据，由组合逻辑部件192处理该数据，并且向控制电路(例如，控制电路132)提供输出499。在一些实施方案中，时序逻辑电路190可包括处理器(例如，图5的处理器172)和有限状态机的组合以实现本文中的各种过程。在一些实施方案中，有限状态机可包括组合逻辑电路(例如，图7的组合逻辑电路192)和时序逻辑电路190的组合。

图8示出了外科可视化系统200的另一个实施方案。外科可视化系统200通常类似于图1的外科可视化系统100来配置和使用，例如包括外科装置202和成像装置220。成像装置220包括光谱光发射器223，该光谱光发射器被配置为能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。成像装置220还可包括三维相机和相关联的电子处理电路。外科可视化系统200被示出为在术中用于识别和有利于避开在器官203的表面205上不可见的某些关键结构，诸如器官203(在该实施方案中为子宫)中的输尿管201a和血管201b。

外科可视化系统200被配置为能够经由结构化光确定从外科装置202上的发射器206到子宫203的表面205的发射器-组织距离d_e。外科可视化系统200被配置为能够基于发射器-组织距离d_e来外推从外科装置202到子宫203的表面205的装置-组织距离d_t。外科可视化系统200还被配置为能够确定从输尿管201a到表面205的组织-输尿管距离d_A以及从成像装置220到输尿管201a的相机-输尿管距离d_w。如本文所述，例如，相对于图1的外科可视化系统100，外科可视化系统200被配置为能够利用例如光谱成像和飞行时间传感器来确定距离d_w。在各种实施方案中，外科可视化系统200可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离d_A(或深度)。

如上所述，外科可视化系统包括控制系统，该控制系统被配置为能够控制外科可视化系统的各个方面。控制系统可具有多种配置。图9示出了用于外科可视化系统(诸如图1的外科可视化系统100、图8的外科可视化系统200或本文描述的其他外科可视化系统)的控制系统600的一个实施方案。控制系统600为转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当那些结构被组织，例如、脂肪、结缔组织、血液组织和/或器官和/或血液遮掩时，以及/或者检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。

控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648，该转换逻辑电路被配置为能够将组织数据转换为外科医生和/或其他医疗从业者可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600被配置为能够将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种实施方案中，控制系统600被配置为能够在接近一个或多个关键结构时向临床医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。

控制系统600采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。

控制系统600被配置为能够检测关键结构，如上所述，该关键结构可包括一个或多个关键结构，并且提供关键结构的图像叠加，并且测量到可见组织表面的距离以及到嵌入/掩埋的关键结构的距离。控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。

控制系统600包括光谱控制电路602。光谱控制电路602可以是现场可编程门阵列(FPGA)或另一种合适的电路配置，诸如关于图6、图7和图8描述的配置。频谱控制电路602包括被配置为能够从视频输入处理器606接收视频输入信号的处理器604。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。视频输入处理器606被配置为能够接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置为能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608被配置为能够向图像叠加控制器610提供视频输出信号。

视频输入处理器606经由患者隔离电路614可操作地耦接到患者侧的相机612。相机612包括固态图像传感器634。患者隔离电路614可包括多个变压器，使得患者与系统中的其他电路隔离。相机612被配置为能够通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括另一种图像传感器技术，诸如本文结合图4所讨论的那些。相机612被配置为能够以14位/像素信号输出613个图像。本领域的技术人员将理解，可以采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，在该例示的实施方案中，该彩色RGB融合电路采用硬件寄存器618和被配置为能够处理相机输出信号613的Nios2协处理器620。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。

激光脉冲控制电路622被配置为能够控制激光引擎624。激光引擎624被配置为能够输出包括近红外(NIR)的多个波长(λ1、λ2、λ3...λn)的光。激光引擎624可在多种模式下操作。例如，激光引擎624可以两种模式操作。在第一模式，例如正常操作模式中，激光引擎624被配置为能够输出照明信号。在第二模式，例如识别模式中，激光引擎624被配置为能够输出RGBG和NIR光。在各种实施方案中，激光引擎624可以在偏振模式中操作。

来自激光引擎624的光输出626被配置为能够照明术中外科部位627中的目标解剖结构。激光脉冲控制电路622还被配置为能够控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪被配置为能够以预先确定的波长(λ2)将激光图案631(诸如网格或线和/或点的图案)投射到外科部位627处的外科组织或器官上。相机612被配置为能够接收图案光以及通过相机光学器件632输出的反射光。图像传感器634被配置为能够将所接收的光转换成数字信号。

彩色RGB融合电路616还被配置为能够将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的目标解剖结构上的激光图案631。处理模块638被配置为能够处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还被配置为能够输出表示外科部位处的目标解剖结构的组织或器官的三维渲染形状的第二视频信号642。

第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，积分模块643被配置为能够确定到掩埋关键结构的距离(例如，图1的距离d_A)(例如，经由三角化算法644)，并且到掩埋关键结构的距离可以经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监测器652以及定位在外科部位627处的相机624/激光图案投射仪630。

在各种情况下，可采用诸如来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监测器652。术前数据的登记的实施方案在2018年9月11日提交的名称为“Integration Of Imaging Data”的美国专利公布号2020/0015907中进一步描述，该专利全文据此以引用方式并入本文。

视频监测器652被配置为能够从图像叠加控制器610输出集成/增强视图。医疗从业者可以在一个或多个显示器上的不同视图之间进行选择和/或切换。在第一显示器652a(在该例示的实施方案中为监测器)上，医疗从业者可以(A)在描绘可见组织的三维渲染的视图和(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二显示器652b(在该例示的实施方案中为监测器)上，医疗从业者可以切换到例如一个或多个隐藏的关键结构和/或可见组织的表面的距离测量。

本文描述的各种外科可视化系统可以用于将各种不同类型的组织和/或解剖结构可视化，包括可被光谱的可见部分中的EMR遮挡而无法可视化的组织和/或解剖结构。外科可视化系统可以利用如上所述的光谱成像系统，该光谱成像系统可被配置为能够基于不同类型的组织的组成材料的不同组合来可视化不同类型的组织。特别地，光谱成像系统可以被配置为能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可被配置为能够基于组成材料的特定组合来表征被可视化的组织的组织类型。

图10示出了描绘各种生物材料的吸收系数如何在EMR波长谱上变化的图300。在图300中，纵轴302表示生物材料的吸收系数(例如，以cm-1为单位)，并且横轴304表示EMR波长(例如，以μm为单位)。图300中的第一线306表示水在各种EMR波长下的吸收系数，第二线308表示蛋白质在各种EMR波长下的吸收系数，第三线310表示黑色素在各种EMR波长下的吸收系数，第四线312表示脱氧血红蛋白在各种EMR波长下的吸收系数，第五线314表示氧合血红蛋白在各种EMR波长下的吸收系数，并且第六线316表示胶原蛋白在各种EMR波长下的吸收系数。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，外科可视化系统的光谱成像系统可被配置为能够发射多个不同波长的EMR，基于在不同波长处检测到的吸收EMR吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。

图11示出了利用光谱成像技术来可视化不同组织类型和/或解剖结构的实施方案。在图11中，成像系统利用光谱发射器320(例如，图4的光谱光源150)来使外科部位322可视化。由光谱发射器320发射并且从外科部位322处的组织和/或结构反射的EMR由图像传感器(例如，图4的图像传感器135)接收以使组织和/或结构可视化，该组织和/或结构可以是可见的(例如，位于外科部位322的表面处)或模糊的(例如，位于外科部位322处的其他组织和/或结构下面)。在该实施方案中，成像系统(例如，图4的成像系统142)基于光谱特征来对肿瘤324、动脉326和各种异常328(即，与已知或预期的光谱特征不相符的组织)进行可视化，这些光谱特征由不同组织/结构类型中的每一者的组成材料的不同的吸收特性(例如，吸收系数)来表征。可视化的组织和结构可以显示在与成像系统相关联或耦接到成像系统的显示屏上(例如，图4的成像系统142的显示器146)、主显示器上(例如，图19的主显示器819)、非无菌显示器上(例如，图19的非无菌显示器807、809)、外科集线器的显示器上(例如，图19的外科集线器806的显示器)、装置/器械显示器上和/或另一显示器上。

成像系统可被配置为能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，如图11中所示，成像系统可以在与成像系统相关联或耦接到成像系统的显示屏上、在主显示器上、在非无菌显示器上、在外科集线器的显示器上、在装置/器械显示器上和/或在另一显示器上显示与被可视化的肿瘤324相关联的边缘330。边缘330可以指示应该切除以确保肿瘤324完全切除的组织的面积或数量。外科可视化系统的控制系统(例如，图4的控制系统133)可被配置为能够基于由成像系统识别的组织和/或结构来控制或更新边缘330的尺寸。在该例示的实施方案中，成像系统已经识别了视场(FOV)内的多个异常328。因此，控制系统可以将显示的边缘330调整到第一更新边缘332，第一更新边缘具有足够的尺寸来涵盖异常328。此外，成像系统还识别出了与最初显示的边缘330部分重叠的动脉326(如动脉326的突出显示区域334所示)。因此，控制系统可以将所显示的边界调整为具有足够尺寸以包围动脉326的相关部分的第二更新的边界336。

除了以上关于图10和图11所描述的吸收特性之外或代替所述吸收特性，还可以根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图12、图13和图14示出了不同类型的组织或结构在不同EMR波长上的反射率的各种图。图12是例示性输尿管特征相对于遮蔽物的图形表示340。图13是例示性动脉特征相对于遮蔽物的图形表示342。图14是示例性神经特征相对于遮蔽物的图形表示344。图12、图13和图14中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺部组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。

可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(例如，“选择性光谱”成像)。通过利用选择性光谱成像，可最小化获得光谱图像所需的时间量，使得可实时地获得信息，并且在手术中加以利用。波长可以由医疗从业者或由控制电路基于用户(例如，医疗从业者)的输入来选择。在某些情况下，波长可基于控制电路可经由例如云或外科集线器访问的机器学习和/或大数据来选择。

图15示出了对组织进行光谱成像的一个实施方案，该组织在术中被用来测量波形发射器和被组织遮挡的关键结构之间的距离。图15示出了利用波形424、425的飞行时间传感器系统404的实施方案。飞行时间传感器系统404可以并入外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统404包括相同的外科装置402上的波形发射器406和波形接收器408(例如，图1的相同的外科装置102上的发射器106和接收器108)。发射波400从发射器406延伸到关键结构401(例如，图1的关键结构101)，并且接收波425被接收器408从关键结构401反射回去。在该例示的实施方案中，外科装置402通过延伸到患者体内的腔体407中的套管针410来定位。尽管在该例示的实施方案中使用了套管针410，但可以使用其他套管针或其他进入装置，或者可以不使用进入装置。

波形424、425被配置为能够穿透遮蔽组织403，诸如通过具有NIR或SWIR光谱波长中的波长。光谱信号(例如，高光谱、多光谱或选择性光谱)或光声信号从发射器406发射，如指向远侧的第一箭头407所示，并且可以穿透其中隐藏关键结构401的组织403。所发射的波形424被关键结构401反射，如指向近侧的第二箭头409所示。所接收的波形425可由于外科装置402的远侧端部与关键结构401之间的距离d而被延迟。可基于关键结构401的光谱特征来选择波形424、425以靶向组织403内的关键结构401，如本文所述。发射器406被配置为能够提供二进制信号开和关，如图16所示，例如该二进制信号可由接收器408测量。

基于发射波424和接收波425之间的延迟，飞行时间传感器系统404被配置为能够确定距离d。图16示出了图15的发射器406和接收器408的飞行时间时序图430。延迟是距离d的函数，并且距离d由下式给出：

其中c＝光的速度；t＝脉冲的长度；q1＝发射光时累积的电荷；q2＝不发射光时累积的电荷。

波形424、425的飞行时间对应于图15中的距离d。在各种情况下，附加的发射器/接收器和/或来自发射器406的脉冲信号可被配置为发射非穿透信号。非穿透信号可被配置为确定从发射器406到遮蔽组织403的表面405的距离。在各种情况下，关键结构401的深度可由下式确定：

d_A＝d_w-d_t，

其中d_A＝关键结构401的深度；d_w＝从发射器406到关键结构401的距离(图15中的d)；以及d_t＝从发射器406(在外科装置402的远侧端部上)到遮蔽组织403的表面405的距离。

图17示出了利用波524a、524b、524c、525a、525b、525c的飞行时间传感器系统504的另一个实施方案。飞行时间传感器系统504可以并入外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统504包括波形发射器506和波形接收器508(例如，图1的发射器106和接收器108)。波形发射器506定位在第一外科装置502a(例如，图1的外科装置102)上，并且波形接收器508定位在第二外科装置502b上。外科装置502a、502b分别穿过第一套管针510a和第二套管针510b定位，并且第一套管针和第二套管针延伸到患者体内的腔体507中。尽管在该例示的实施方案中使用了套管针510a、510b，但可以使用其他套管针或其他进入装置，或者可以不使用进入装置。发射波524a、524b、524c从发射器506朝向外科部位延伸，并且接收波525a、525b、525c从外科部位处的各种结构和/或表面反射回接收器508。

不同的发射波524a、524b、524c被配置为能够靶向外科部位处的不同类型的材料。例如，波524a以遮蔽组织503为目标，波524b以第一关键结构501a(例如，图1的关键结构101)为目标，在该例示的实施方案中第一关键结构为血管，并且波524c以第二关键结构501b(例如，图1的关键结构101)为目标，第二关键结构在该例示的实施方案中为癌性肿瘤。波524a、524b、524c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织503的表面505反射，并且NIR和/或SWIR波形可穿透组织503的表面505。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器506发射。可基于关键结构501a、501b的光谱特征来选择波524b、524c以靶向组织503内的关键结构501a、501b，如本文所述。光声学成像在各种美国专利申请中被进一步描述，这些专利申请以引用方式并入本公开中。

所发射的波524a、524b、524c分别从目标材料(即，表面505、第一关键结构501a和第二结构501b)反射。所接收的波形525a、525b、525c可由于距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c而被延迟。

在其中发射器506和接收器508可独立定位(例如，定位在单独的外科装置502a、502b上和/或由单独的机器人臂控制)的飞行时间传感器系统504中，可根据发射器506和接收器508的已知方位计算各种距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。例如，当外科装置502a、502b由机器人控制时，这些方位可以是已知的。关于发射器506和接收器508的方位以及光子流靶向某一组织的时间的知识以及由接收器508接收的该特定响应的信息可允许确定距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构501a、501b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统504可确定各种距离。

在提供给医疗从业者的视图中，例如在显示器上，接收器508可以旋转，使得所得图像中的目标结构的质心保持恒定，例如在垂直于选择的目标结构503、501a或501b的轴的平面中。此类取向可快速传送关于目标结构的一个或多个相关距离和/或视角。例如，如图17所示，从关键结构501a垂直于视平面(例如，血管在页面内/页面外取向)的视角显示外科部位。这样的取向可以是默认设置；然而，医疗从业者可以旋转或以其他方式调整视图。在某些情况下，医疗从业者可以在限定由成像系统提供的外科部位的视点的不同表面和/或目标结构之间切换。

如在该例示的实施方案中，接收器508可安装在套管针510b(或其他进入装置)上，外科装置502b通过该套管针定位。在其他实施方案中，接收器508可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器508可以安装在与控制外科装置502a的机器人外科系统分开的可移动臂上或者可以安装到手术室(OR)手术台或固定装置上，在术中可将其注册到机器人坐标平面。在此类情况下，发射器506和接收器508的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统504的输出对距离进行三角测量。

飞行时间传感器系统和近红外光谱(NIRS)相结合，称为TOF-NIRS，能够以纳秒分辨率测量近红外光的时间分辨剖面，可见于“Time-Of-Flight Near-InfraredSpectroscopy For Nondestructive Measurement Of Internal Quality InGrapefruit”，《美国园艺学会杂志》(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3 225-228期，其全部内容据此以引用方式并入本文。

可视化系统及其方面和用途的实施方案在以下专利中进一步描述：2018年9月11日提交的名称为“Surgical Visualization Platform”的美国专利公布号2020/0015923；2018年9月11日提交的名称为“Controlling An Emitter Assembly Pulse Sequence”的美国专利公布号2020/0015900；2018年9月11日提交的名称为“Singular EMR SourceEmitter Assembly”的美国专利公布号2020/0015668；2018年9月11日提交的名称为“Combination Emitter And Camera Assembly”的美国专利公布号2020/0015925；2018年9月11日提交的名称为“Surgical Visualization With Proximity Tracking Features”的美国专利公布号2020/00015899；2018年9月11日提交的名称为“Surgical VisualizationOf Multiple Targets”的美国专利公布号2020/00015903；2018年9月11日提交的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034；2018年9月11日提交的名称为“Operative Communication Of Light”的美国专利公布号2020/0015897；2018年9月11日提交的名称为“Robotic Light Projection Tools”的美国专利公布号2020/0015924；2018年9月11日提交的名称为“Surgical Visualization Feedback System”的美国专利公布号2020/0015898；2018年9月11日提交的名称为“Surgical Visualization AndMonitoring”的美国专利公布号2020/0015906；2018年9月11日提交的名称为“IntegrationOf Imaging Data”的美国专利公布号2020/0015907；2018年9月11日提交的名称为“Robotically-Assisted Surgical Suturing Systems”的美国专利号10,925,598；2018年9月11日提交的名称为“Safety Logic For Surgical Suturing Systems”的美国专利公布号2020/0015901；2018年9月11日提交的名称为“Robotic Systems With SeparatePhotoacoustic Receivers”的美国专利公布号2020/0015914；2018年9月11日提交的名称为“Force Sensor Through Structured Light Deflection”的美国专利公布号2020/0015902；2018年12月4日提交的名称为“Method Of Hub Communication”的美国专利公布号2019/0201136；2019年12月30日提交的名称为“Analyzing Surgical Trends By ASurgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“DynamicSurgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Generate Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThere”的美国专利申请号16/729,751；2019年12月30日提交的名称为“Surgical SystemsCorrelating Visualization Data And Powered Surgical Instrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive Surgical SystemControl According To Surgical Smoke Cloud Characteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System Control AccordingTo Surgical Smoke Particulate Characteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A Surgical System”的美国专利申请号16/729,803；2019年12月30日提交的名称为“Method Of Using Imaging DevicesIn Surgery”的美国专利申请号16/729,807；2021年9月29日提交的名称为“SurgicalDevices,Systems,And Methods Using Multi-Source Imaging”的美国专利申请号63/249,644；2021年9月29日提交的名称为“Surgical Devices,Systems,Methods UsingFiducial Identification And Tracking”的美国专利申请号63/249,652；2021年9月29日提交的名称为“Surgical 30Devices,Systems,And Methods For Control Of OneVisualization With Another”的美国专利申请号63/249,658；2021年9月29日提交的名称为“Methods And Systems For Controlling Cooperative Surgical Instruments”的美国专利申请号63/249,870；2021年9月29日提交的名称为“Methods And Systems ForControlling Cooperative Surgical Instruments”的美国专利申请号63/249,877，以及2021年9月29日提交的名称为“Cooperative Access”的美国专利申请号63/249,980，这些专利申请的全文据此以引用方式并入本文。

外科中枢

本文所述的各种可视化或成像系统可并入包括外科集线器的系统中。一般来讲，外科中枢可以是能够跨越多个医疗设施的综合数字医疗系统的部件，并且被配置为能够向大量患者提供综合全面的改善的医疗护理。该综合数字医疗系统包括基于云的医疗分析系统，其被配置为能够互连到跨许多不同医疗设施定位的多个外科中枢。外科集线器被配置为能够与一个或多个元件互连，诸如用于对患者实施医疗手术的一个或多个外科器械和/或在执行医疗手术期间使用的一个或多个可视化系统。外科中枢提供了各种各样的功能以改善医疗手术的结果。由各种外科装置、可视化系统和外科集线器生成的关于患者和医疗手术的数据可被传输到基于云的医疗分析系统。然后，可将该数据与从位于其他医疗设施处的许多其他外科集线器、可视化系统和外科器械收集的类似数据进行汇总。可通过基于云的分析系统分析所收集的数据发现各种模式和相关性。因此，可生成用于生成数据的技术的改进，并且这些改进然后可被传播到各种外科集线器、可视化系统和外科器械。由于所有前述部件的互连，可发现医疗手术和实践中的改进，否则如果许多部件没有如此互连，则可能不会发现该改进。

被配置为能够接收、分析和输出数据的外科集线器的示例以及使用此类外科集线器的方法在以下专利中进一步描述：2018年12月4日提交的名称为“Method Of HubCommunication、Processing、Storage And Display”的美国专利公布号2019/0200844；2018年12月4日提交的名称为“Method Of compressing Tissue Within A StaplingDevice And Simultaneously Displaying The Location Of The Tissue Within TheJaws”的美国专利公布号2019/0200981；2018年12月4日提交的名称为“Method ForControlling Smart Energy Devices”的美国专利公布号2019/0201046；2018年3月29日提交的名称为“Adaptive Control Program Updates For Surgical Hubs”的美国专利公布号2019/0201114；2018年3月29日提交的名称为“Surgical Hub Situational Awareness”的美国专利公布号2019/0201140；2018年3月29日提交的名称为“Interactive SurgicalSystems With Condition Handling Of Devices And Data Capabilities”的美国专利公布号2019/0206004；2018年3月29日提交的名称为“Cloud-based Medical Analytics ForCustomization And Recommendations To A User”的美国专利公布号2019/0206555；以及2018年11月6日提交的名称为“Surgical Network Determination Of Prioritization OfCommunication,Interaction,Or Processing Based On System Or Device Needs”的美国专利公布号2019/0207857，这些专利的全文据此以引用方式并入本文。

图18示出了计算机实现的交互式外科系统700的一个实施方案，其包括一个或多个外科系统702和基于云的系统(例如，可包括耦接到存储装置705的远程服务器713的云704)。每个外科系统702包括与云704通信的至少一个外科集线器706。在一个示例中，如图18中所示，外科系统702包括可视化系统708、机器人系统710和智能(或智慧)外科器械712，它们被配置为能够彼此通信并且/或者与集线器706通信。智能外科器械712可包括成像装置。外科系统702可包括M个集线器706、N个可视化系统708、O个机器人系统710和P个智能外科器械712，其中M、N、O和P为大于或等于一的整数，其可等于或不等于彼此中的任一者或多者。本文描述了各种示例性智能外科器械和机器人系统。

由外科集线器从外科可视化系统接收的数据可以多种方式中的任何一种方式使用。在一个示例性实施方案中，外科集线器可接收来自在外科环境中与患者一起使用(例如，在外科手术的执行期间在手术室中使用)的药物施用装置的数据。外科集线器可以一种或多种方式中的任一种方式使用所接收的数据，如本文所讨论的。

外科集线器可被配置为能够使用外科可视化系统实时分析所接收的数据并且基于对所接收的数据的分析，调整控制与患者一起使用的外科可视化系统和/或一个或多个智能外科器械中的一者或多者。这种调整可包括例如调整智能外科器械的一个或操作控制参数，使得一个或多个智能外科器械的一个或多个传感器进行测量以帮助了解患者当前的生理状况和/或智能外科器械当前的操作状态以及其他调整。下面进一步讨论智能外科器械的控制和调整操作。智能外科器械的操作控制参数的示例包括马达速度、切割元件速度、时间、持续时间、能量施加水平，以及光发射。外科集线器以及控制和调整智能外科器械操作的示例在先前提及的以下专利中进一步描述：2019年12月30日提交的名称为“AnalyzingSurgical Trends By A Surgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“Dynamic Surgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method ForDetermining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems ForProposing And Corroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying SurgicalInstrument Data Onto A Virtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For GenerateThree Dimensional Constructs Of Anatomical Organs And Coupling IdentifiedAnatomical Structures There”的美国专利申请号16/729,751；2019年12月30日提交的名称为“Surgical Systems Correlating Visualization Data And Powered SurgicalInstrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive Surgical System Control According To Surgical Smoke CloudCharacteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System Control According To Surgical Smoke ParticulateCharacteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A Surgical System”的美国专利申请号16/729,803；2019年12月30日提交的名称为“Method Of Using Imaging Devices In Surgery”的美国专利申请号16/729,807；2020年10月13日提交的名称为“Adaptive Responses From SmartPackaging Of Drug Delivery Absorbable Adjuncts”的美国专利申请号17/068,857；2020年10月13日提交的名称为“Drug Administration Devices That Communicate WithSurgical Hubs”的美国专利申请号17/068,858；2020年10月13日提交的名称为“Controlling Operation Of Drug Administration Devices Using Surgical Hubs”的美国专利申请号17/068,859；2020年10月13日提交的名称为“Patient Monitoring UsingDrug Administration Devices”的美国专利申请号17/068,863；2020年10月13日提交的名称为“Monitoring And Communicating Information Using Drug AdministrationDevices”的美国专利申请号17/068,865；以及2020年10月13日提交的名称为“AggregatingAnd Analyzing Drug Administration Data”的美国专利申请号17/068,867，这些专利的全文据此以引用方式并入本文。

外科集线器可被配置为能够使得在外科环境中在显示器上提供所接收的数据的可视化，使得外科环境中的医疗从业者可查看该数据并且由此接收对在外科环境中使用的成像装置的操作的理解。经由可视化提供的此类信息可包括文本和/或图像。

图19示出了包括外科集线器806(例如，图18的外科集线器706或本文描述的其他外科集线器)、机器人外科系统810(例如，图1的机器人外科系统110或本文的其他机器人外科系统)和可视化系统808(例如，图1的可视化系统100或本文描述的其他可视化系统)的外科系统802的一个实施方案。外科集线器806可以与云通信，如本文所讨论的。图19示出了用于对躺在外科手术室816中的手术台814上的患者执行外科手术的外科系统802。机器人系统810包括外科医生控制台818、患者侧推车820(外科机器人)和机器人系统外科集线器822。机器人系统外科集线器822通常被配置为能够类似于外科集线器822并且可以与云通信。在一些实施方案中，机器人系统外科集线器822和外科集线器806可以组合。患者侧推车820可以通过患者体内的微创切口操纵智能外科工具812，同时医疗从业者，例如外科医生、护士和/或其他医疗从业者，通过外科医生的控制台818查看外科部位。外科部位的图像可由成像装置824(例如，图1的成像装置120或本文所述的其他成像装置)获得，该成像装置可由患者侧推车820操纵以定向成像装置824。机器人系统外科集线器822可用于处理外科部位的图像，以随后通过外科医生的控制台818显示给外科医生。

主显示器819被定位在手术室816的无菌区域中并且被配置为能够对于手术台814处的操作者可见。此外，如在该例示的实施方案中，可视化塔818可以定位在无菌区外部。可视化塔818包括彼此背离的第一非无菌显示器807和第二非无菌显示器809。由外科集线器806引导的可视化系统808被配置为能够利用显示器807、809、819来将信息流协调到无菌区内部和外部的医疗从业者。例如，外科集线器806可以使可视化系统808在非无菌显示器807、809中的一者或两者上显示由成像装置824获得的外科部位的快照和/或视频，同时在主显示器819上保持外科部位的实时馈送。例如，非无菌显示器807和/或809上的快照和/或视频可以允许非无菌医疗从业者执行与外科手术相关的诊断步骤。

外科集线器806被配置为能够将由非无菌医疗从业者在可视化塔818处输入的诊断输入或反馈路由至无菌场内的主显示器819，其中可由手术台814处的无菌医疗从业者观察到该诊断输入或反馈。例如，输入可以是对显示在非无菌显示器807和/或809上的快照和/或视频的修改形式，其可以由外科集线器806路由到主显示器819。

外科集线器806被配置为能够将信息流协调至智能外科器械812的显示器，如在各种美国专利申请中所描述的那样，这些专利申请以引用方式并入本公开中。由非无菌操作者在可视化塔818处输入的诊断输入或反馈可由集线器806路由到无菌区内的外科器械显示器819，其中外科器械812的操作者可查看该诊断输入或反馈。

智能外科器械812和成像装置824(也是智能外科工具)作为外科系统802的一部分在外科手术中与患者一起使用。在图19中还示出了可以在外科手术中使用的其他智能外科器械812a，例如所述其他智能外科器械可以可移除地耦接到患者侧推车820并且与机器人外科系统810和外科集线器806通信。无法与机器人外科系统810和外科集线器806通信的非智能(或“哑”)外科器械817，例如剪刀、套管针、插管、手术刀等也在图19中示出为可供使用。

操作智能外科器械

智能外科装置可具有存储在其上(例如，存储在其存储器中)的算法，该算法被配置为能够可在智能外科装置上执行(例如，通过其处理器)，以控制智能外科装置的操作。在一些实施方案中，代替存储在智能外科装置上或者除了存储在智能外科装置上之外，算法可存储在被配置为能够与智能外科装置通信的外科集线器上，例如存储在其存储器中。

算法以定义和/或表示指令、通知、信号等的一组或多组多个数据点的形式存储，以控制智能外科装置的功能。在一些实施方案中，由智能外科装置收集的数据可以被智能外科装置使用，例如被智能外科装置的处理器使用，以改变算法的至少一个可变参数。如上所述，外科集线器可以与智能外科装置通信，因此，由智能外科装置收集的数据可以被传送到外科集线器，并且/或者由与外科集线器通信的另一装置收集的数据可以被传送到外科集线器，并且数据可以从外科集线器传送到智能外科装置。因此，作为智能外科装置被配置为能够改变所存储的可变参数的替代或补充，外科集线器可被配置为能够将所改变的至少一个变量单独地或作为算法的一部分传送到智能外科装置并且/或者外科集线器可以将指令传送到智能外科装置以改变由外科集线器确定的至少一个变量。

至少一个可变参数在算法的数据点之中，例如，被包括在用于操作智能外科装置的指令中，并且因此能够通过改变算法的所存储的多个数据点中的一个或多个数据点来改变每个可变参数。在已经改变至少一个可变参数之后，算法的后续执行根据改变的算法执行。这样，通过考虑患者的实际情况和使用智能外科装置的外科手术的实际条件和/或结果，可以为患者管理智能外科装置随时间推移的操作，以增加智能外科装置的使用的有益效果。自动改变至少一个可变参数以改善患者结果。因此，智能外科装置可被配置为能够基于患者和患者周围条件提供个性化医疗，以提供智能系统。在执行外科手术期间使用智能外科装置的外科环境中，至少一个可变参数的自动改变可以允许基于在执行外科手术期间收集的数据来控制智能外科装置，这可以帮助确保智能外科装置被有效且正确地使用和/或可以帮助减少因损害关键解剖结构而造成患者伤害的可能性。

至少一个可变参数可以是多种不同操作参数中的任何一种操作参数。可变参数的示例包括马达速度、马达扭矩、能量水平、能量施加持续时间、组织压缩速率、钳口闭合速率、切割元件速度、负载阈值等。

图20示出了智能外科器械900的一个实施方案，该智能外科器械包括存储器902，其中存储有算法904，该算法包括至少一个可变参数。算法904可以是单个算法或者可包括多个算法，例如用于外科器械操作的不同方面的单独算法，其中每个算法包括至少一个可变参数。智能外科器械900可以是图1的外科装置102、图1的成像装置120、图8的外科装置202、图8的成像装置220、图15的外科装置402、图17的外科装置502a、图17的外科装置502b、图18的外科装置712、图19的外科装置812、图19的成像装置824，或其他智能外科器械。外科器械900还包括处理器906，该处理器被配置为能够执行算法904以控制外科器械900的至少一个方面的操作。为了执行算法904，处理器906被配置为能够运行存储在存储器902中的程序以访问存储器902中的算法904的多个数据点。

外科器械900还包括通信接口908，例如无线收发器或其他有线或无线通信接口，被配置为能够与另一装置诸如外科集线器910通信。通信接口908可被配置为能够允许单向通信，诸如向远程服务器(例如，云服务器或其他服务器)和/或向本地外科集线器服务器提供数据，以及/或者从远程服务器和/或本地外科集线器服务器接收指令或命令，或双向通信，诸如提供关于外科器械900的信息、消息、数据等和/或存储在其上的数据，并且接收指令，诸如来自医生的指令；关于对软件的更新的远程服务器；关于对软件的更新的本地外科集线器服务器；等等。

外科器械900在图20中被简化，并且可包括附加的部件，例如总线系统、柄部、在其远侧端部处具有端部执行器的细长轴、电源等。处理器906还可以被配置为能够执行存储在存储器902中的指令以总体上控制装置900，包括其其他电子部件，诸如通信接口908、音频扬声器、用户接口等。

处理器906被配置为能够改变算法904的至少一个可变参数，使得算法904的后续执行将根据所改变的至少一个可变参数。为了改变算法904的至少一个可变参数，处理器906被配置为能够修改或更新存储器902中的至少一个可变参数的数据点。处理器906可被配置为能够在执行外科手术期间使用外科手术装置900实时地改变算法904的至少一个可变参数，这可以适应实时条件。

作为处理器906改变至少一个可变参数的补充或替代，处理器906可被配置为能够响应于从外科集线器910接收的指令来改变算法904和/或算法904的至少一个可变参数。在一些实施方案中，处理器906被配置为能够仅在与外科集线器910通信并且从其接收指令之后改变至少一个可变参数，这可以帮助确保外科器械900与使用外科器械900的外科手术的其他方面的协调动作。

在一个示例性实施方案中，处理器906执行算法904以控制外科器械900的操作，基于实时数据改变算法904的至少一个可变参数，并且在改变至少一个可变参数之后执行算法904以控制外科器械900的操作。

图21示出了使用外科器械900的方法912的一个实施方案，该方法包括改变算法904的至少一个可变参数。处理器906通过执行存储在存储器902中的算法904来控制914外科器械900的操作。基于该随后已知的数据和/或随后收集的数据中的任何一者，处理器904改变916如上文所讨论的算法904的至少一个可变参数。在改变至少一个可变参数之后，处理器906通过执行算法904来控制918外科器械900的操作，此时使用改变的至少一个可变参数。处理器904可在外科手术的执行期间多次改变916至少一个可变参数，例如零次、一次、两次、三次等。在方法912的任何部分期间，外科器械900可以使用通信接口908与一个或多个计算机系统(例如，外科集线器910、远程服务器诸如云服务器等)通信，以向其提供数据和/或从其接收指令。

态势感知

智能外科器械的操作可基于患者的态势感知而改变。智能外科器械的操作可以手动改变，诸如通过智能外科器械的用户不同地操纵器械、向器械提供不同的输入、停止器械的使用，等等。另外或另选地，智能外科器械的操作可以通过器械的算法被改变，例如，通过改变算法的至少一个可变参数来自动改变。如上所述，可以在没有请求改变的用户输入的情况下自动调整算法。在外科手术的执行期间使调整自动化可有助于节省时间，可允许医疗从业者专注于外科手术的其他方面，并且/或者可以使医疗从业者使用外科器械的过程变得容易，这都可以改善患者的治疗效果，诸如通过避免关键结构、考虑器械正被使用在上面和/或附近的组织类型来控制外科器械等。

本文所述的可视化系统可用作态势感知系统的一部分，该态势感知系统可由外科集线器(例如，外科集线器706、外科集线器806或本文所述的其他外科集线器)体现或执行。特别地，表征、识别和/或可视化外科器械(包括它们的位置、取向和动作)、组织、结构、用户和/或位于外科区域或手术室内的其他物体可以提供态势感知系统可以利用的背景数据来推断各种信息，诸如，正在执行的外科手术的类型或其步骤、由外科医生或其他医疗从业者操作的组织和/或结构的类型，以及其他信息。然后，态势感知系统可以利用背景数据向用户提供警报、建议用户采取的后续步骤或动作、准备外科装置以预期其使用(例如，预期在外科手术的后续步骤中使用电外科器械等时激活电外科发生器)、控制智能外科器械的操作(例如，定制算法的外科器械操作参数，如下文进一步讨论的)等。

尽管包括响应于感测数据的算法(例如，通过改变算法的至少一个可变参数)的智能外科装置可以是对在不考虑感测数据的情况下操作的“哑”装置的改进，但当单独考虑时，例如在没有正在执行的外科手术类型或正在手术的组织的类型的背景下，一些感测到的数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制外科装置。例如，用于响应于特定的感测参数来控制外科器械的算法的最佳方式可根据正在手术的特定组织类型而变化。这是因为不同的组织类型具有不同的特性(例如，抗撕裂性、易于切割等)，因此对外科器械所采取的动作的反应不同。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个示例，响应于外科缝合器感测出意外的高力以关闭其端部执行器来控制外科缝合器的最佳方式将根据组织类型是否容易撕裂或抵抗撕裂而变化。对于易于撕裂的组织(诸如肺部组织)，外科器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐下降，从而避免撕裂组织，例如改变控制马达速度或扭矩的可变参数，使得马达速度变慢。对于抗撕裂的组织(诸如胃组织)，器械的算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐上升，从而确保端部执行器被正确地夹持在组织上，例如，改变控制马达速度或扭矩的可变参数，使马达更快。在不知道肺部或胃组织是否已被夹紧的情况下，算法可能被次优地改变或根本不改变。

外科集线器可被配置为能够基于从各种数据源接收的数据导出关于正在执行的外科手术的信息，然后相应地控制模块化装置。换句话讲，外科集线器可被配置为能够从所接收的数据推断关于外科手术的信息，然后基于所推断的外科手术的背景来控制与外科集线器可操作地耦接的模块化装置。模块化装置可包括可由态势感知系统控制的任何外科装置，例如可视化系统装置(例如，相机、显示屏等)、智能外科器械(例如，超声外科器械、电外科器械、外科缝合器、排烟器、内窥镜等)。模块化装置可包括被配置为能够检测与正在使用该装置的患者相关联的参数和/或与模块化装置本身相关联的参数的传感器。

从所接收的数据导出或推断的背景信息可包括例如正在执行的外科手术的类型、外科医生(或其他医疗从业者)正在执行的外科手术的特定步骤、正在上面进行操作的组织的类型或作为外科手术对象的体腔。外科集线器的态势感知系统可被配置为能够以多种不同的方式从接收自数据源的数据导出背景信息。在一个示例性实施方案中，由外科集线器的态势感知系统接收的背景信息与用于一个或多个模块化装置的特定控制调整或一组控制调节相关联。每个控制调整对应于可变参数。在一个示例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库、患者监测装置和/或模块化装置的数据)与关于外科手术的对应的背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科手术的背景信息。在另一个示例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科手术的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制至少一个模块化装置的对应的上下文信息。在另一个示例中，态势感知系统包括：当提供背景信息作为输入时，生成或检索针对一个或多个模块化装置的一项或多项控制调节的另外的机器学习系统、查找表或其他此类系统。

包括态势感知系统的外科集线器可以为外科系统提供许多益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科手术过程期间的处理精度和/或数据的使用。另一个益处是，外科集线器的态势感知系统可以通过允许针对每个外科手术的特定情况调整外科器械(和其他模块化装置)(诸如针对不同的组织类型进行调整)并且在外科手术期间验证动作来改善外科手术的结果。还有一个益处是，态势感知系统可以根据手术的具体情况自动建议后续步骤、提供数据以及调整手术室中的显示器和其他模块化装置，从而提高外科医生和/或其他医疗从业者执行外科手术的效率。另一个益处包括根据正在执行的外科手术的特定步骤主动地、自动地控制模块化装置，减少外科手术中医疗从业者需要与外科系统交互或控制外科系统的次数，诸如，在态势感知外科集线器确定手术的后续步骤需要使用器械的情况下，主动激活与RF电外科器械连接的发生器。主动地激活能量源允许器械在手术的先前步骤一完成就准备好使用。

例如，态势感知外科集线器可被配置为能够确定正在什么类型的组织上进行操作。因此，当检测到闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器可被配置为能够例如通过改变或引起外科器械的算法的关于马达速度或扭矩的至少一个可变参数的改变来针对组织类型使外科器械的马达正确地加速或减速。

又如，正在手术的组织类型可以影响针对特定组织间隙测量对外科缝合器的压缩率和负载阈值进行的调整。态势感知外科集线器可被配置为能够推断正在执行的外科手术是胸部手术还是腹部手术，从而允许外科集线器确定由外科吻合器的端部执行器夹紧的组织是肺部组织(对于胸部手术)还是胃组织(对于腹部手术)。然后，外科集线器可被配置为能够例如通过改变或引起外科缝合器的关于压缩率和负载阈值的算法的至少一个可变参数的改变，根据组织类型适当地调整外科缝合器的压缩率和负载阈值。

作为又一个示例，在吹入手术期间被操作的体腔的类型可影响排烟器的功能。态势感知外科集线器可被配置为能够确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并且确定手术类型。由于手术类型通常在特定体腔中执行，所以外科集线器可被配置为能够例如通过改变或引起与马达速率相关的排烟器的算法的至少一个可变参数的改变来适当地控制排烟器的马达速率以适应正在操作的体腔。因此，态势感知外科集线器可以为胸部和腹部手术提供一致的排烟量。

作为又一个示例，正在被执行的手术的类型可影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜手术需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器可被配置为能够确定外科手术是否是关节镜手术。外科集线器可被配置为能够通过改变或引起用于器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来调整发生器的RF功率水平或超声振幅(例如，调整能量水平)以补偿流体填充环境。相关地，正在手术的组织的类型可影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器可被配置为能够确定正在执行什么类型的外科手术，然后根据针对外科手术的预期组织轮廓，例如通过改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器可被配置为能够在整个外科手术过程中而不是仅基于不同手术来调整超声外科器械或RF电外科器械的能量水平。态势感知外科集线器可被配置为能够确定正在执行或随后将要执行的外科手术的步骤，并且然后更新发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。

作为另一个示例，态势感知外科集线器可被配置为能够根据在外科部位处外科医生和/或其他医疗从业者预期需要查看的特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。外科集线器可被配置为能够相应地主动改变所显示的视图(例如，由用于可视化系统的成像装置提供)，使得在整个外科手术中自动调整显示器。

作为又一个示例，态势感知外科集线器可被配置为能够确定正在执行或将随后执行的外科手术的哪个步骤以及外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器可被配置为能够基于正在执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生或其他医疗从业者请求特定信息。

作为另一个示例，态势感知外科集线器可被配置为能够确定外科医生和/或其他医疗从业者在外科手术期间是否犯了错误或者以其他方式偏离了预期的动作过程，例如，如在术前外科计划中所提供的。例如，外科集线器可被配置为能够确定正在执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在执行的步骤或正在使用的设备与外科集线器确定的针对该正在执行的外科手术类型的预期步骤或设备进行比较。外科集线器可被配置为能够提供警报(视觉、听觉和/或触觉)，指示在外科手术中的特定步骤正在执行意外动作或正在使用意外装置。

在某些情况下，机器人外科系统的操作，诸如本文所述的各种机器人外科系统中的任一种机器人外科系统可由外科集线器基于其态势感知和/或来自其部件的反馈以及/或者基于来自云(例如，图18的云713)的信息来控制。

态势感知系统的实施方案以及在执行外科手术期间使用态势感知系统在先前提及的以下专利中进一步描述：2019年12月30日提交的名称为“Analyzing Surgical TrendsBy A Surgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“Dynamic Surgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Generate Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThere”的美国专利申请号16/729,751；2019年12月30日提交的名称为“Surgical SystemsCorrelating Visualization Data And Powered Surgical Instrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive Surgical SystemControl According To Surgical Smoke Cloud Characteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System Control AccordingTo Surgical Smoke Particulate Characteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A Surgical System”的美国专利申请号16/729,803；以及2019年12月30日提交的名称为“Method Of Use Imaging DevicesIn Surgery”的美国专利申请号16/729,807。

肺部的外科手术

本文所述的装置、系统和方法的各个方面可涉及在肺部上执行的外科手术。例如，肺部切除术，例如，肺叶切除术，是一种切除肺叶的全部或部分，例如一个或多个肺叶的外科手术。进行肺部切除术的目的是治疗因肺癌、肺气肿或支气管扩张等原因导致的受损或患病的肺部。

在肺部切除术期间，最先将一个或多个肺部放气，然后在患者肋骨之间在患者的侧面上形成一个或多个切口，以通过腹腔镜到达肺部。外科器械，诸如抓紧器和腹腔镜，通过切口插入。一旦确定了肺部的感染或受损区域，就将该区域从肺部解剖并且从一个或多个切口中切除。解剖区域和一个或多个切口可以例如用外科缝合器或缝合线来闭合。

由于肺部在外科手术期间被放气，所以肺部或其某些部分可能需要被移动以允许外科器械到达外科部位。这种移动可通过用抓紧器抓紧肺部的外组织层并且通过抓紧器向肺部施加力来进行。然而，肺部的胸膜和实质非常脆弱，因此在外力作用下很容易撕裂或被撕开。另外，在移动期间，抓紧器可切断对肺部的一个或多个区域的血液供应。

此外，呼吸管被放置到患者的气道中以允许每个肺部在外科手术期间被单独地充胀。肺部充胀可导致肺部移动并且与术前成像相匹配和/或允许外科医生检查解剖区域是否有泄漏。然而，通过使整个肺部充胀，由于胸腔的填充而损失了肺部周围的工作空间。另外，如果在外科手术期间在肺部的多个部分上操作，则使整个肺部充胀可能需要时间并且不能保证轻松检测泄漏。

结肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及在结肠上执行的外科手术。例如，外科手术通常是早期结肠癌的主要治疗方法。所使用的外科手术类型取决于癌症的阶段(范围)、在结肠中的位置，以及外科手术的目标。一些早期结肠癌(0期和一些早期I期肿瘤)和大多数息肉可在结肠镜检查期间切除。然而，如果癌症已经进展，可能需要局部切除或结肠切除术。结肠切除术是切除全部或部分结肠的外科手术。在某些情况下，附近的淋巴结也被切除。如果仅切除部分结肠，则称为半结肠切除术、部分结肠切除术或节段切除术，其中外科医生切除结肠的患病部分，并且在两侧切除一小段未患病的结肠。通常，根据癌症的大小和位置，切除约四分之一至三分之一的结肠。结肠的主要切除如图21A所示，其中A-B为右半结肠切除术、A-C为扩大右半结肠切除术、B-C为横结肠切除术、C-E为左半结肠切除术、D-E为乙状结肠切除术、D-F为前切除术、D-G为(超)低位前切除术、D-H为腹-会阴切除术、A-D为结肠次全切除术、A-E为结肠全切除术、A-H为直肠-结肠切除术。一旦切除完成，则将结肠的剩余完整切片重新附接。

结肠切除术可以通过开放性结肠切除术进行，其中使用穿过腹壁的单个切口进入结肠以分离和切除受影响的结肠组织，并且通过腹腔镜辅助的结肠切除术进行。在腹腔镜辅助的结肠切除术中，外科手术通过许多较小的切口进行，外科器械和腹腔镜穿过这些小切口来切除整个结肠或部分结肠。在手术开始时，腹部充满气体，例如二氧化碳，为外科医生提供工作空间。腹腔镜传输腹腔内的图像，使外科医生在监测器或其他显示器上可以放大观察患者的内脏器官。插入到若干其他插管以允许外科医生在结肠内部工作并且切除结肠的一部分。一旦结肠的患病部分被切除，结肠的剩余端部例如通过缝合器或缝线彼此附接。整个手术可通过插管或通过延长小插管切口中的一个小插管切口来完成。

在腹腔镜辅助结肠切除术期间，通常难以获得足够的手术区域。通常，在骨盆深处进行解剖，这使得难以获得该区域的充分可视化。因此，在活动期间，必须抬起并且旋转下直肠，以进入直肠两侧周围的静脉和动脉。在操纵下直肠期间，可能发生组织的聚束和/或组织的过度拉伸。另外，直肠内的肿瘤可引起周围骨盆中的粘连，因此，这可能需要在横切和切除肿瘤之前游离直肠残端并且调动肠系膜和血液供应。

此外，需要多个抓紧器来定位肿瘤以从结肠切除。在结肠的解剖过程中，肿瘤应处于张力下，这需要抓住并且拉伸结肠周围的健康组织。然而，由于抓紧器对组织施加高的抓紧力，对肿瘤周围组织的手术可能受到血流减少和创伤的影响。另外，在结肠切除术期间，横结肠和上降结肠可能需要被移动以允许健康的、良好的剩余结肠在包含肿瘤的结肠部分被横切和切除之后被向下连接到直肠残端。

结肠切除术后，结肠的剩余健康部分必须彼此重新附接在一起，以形成废物排出体外的路径。然而，当使用腹腔镜器械来执行结肠切除术时，一个单一入口可能没有足够大的运动范围来将结肠的一个端部移动到结肠的连接部分。因此，需要第二进入端口来通过腹腔镜插入外科器械来帮助活动结肠，从而正确定位结肠。

胃的外科手术

本文所述的装置、系统和方法的各个方面可涉及在胃上执行的外科手术。例如，外科手术是胃癌最常见的治疗方法。当胃癌需要外科手术时，目的是切除整个肿瘤以及肿瘤周围的健康胃组织的良好边缘。可以使用不同的手术来切除胃癌。所使用的手术类型取决于癌症位于胃的哪个部分以及癌症已经生长到附近区域的程度。例如，内窥镜粘膜切除术(EMR)和内窥镜粘膜下剥离术(ESD)是胃部手术，可用于治疗一些早期癌症。这些手术不需要切开皮肤，而是外科医生将内窥镜穿过患者的喉咙并且进入胃部。然后，外科工具(例如，MEGADYNE^TM组织解剖器或电外科手术笔)穿过内窥镜的工作通道，切除肿瘤及其下方和周围正常胃壁的一些层。

在胃上执行的其他外科手术包括可以作为开放手术进行的次全(部分)或全胃切除术，例如，外科器械通过腹部皮肤中的大切口插入，或者作为腹腔镜手术，例如外科器械通过若干小切口插入腹部。例如，腹腔镜胃切除术通常涉及向腹腔充入二氧化碳气体至约15毫米汞柱(mm Hg)的压力。将腹壁刺穿，然后将直管状套管或套管针，例如直径在约5mm至约10mm范围内的套管或套管针插入到腹腔中。连接到手术室监测器的腹腔镜用于使术野可视化，并且通过一个或多个套管针放置。腹腔镜外科器械通过两个或更多个附加的插管或套管针放置，以供医疗从业者(例如，外科医生和手术助理)操纵，以切除胃的期望的部分。

在某些情况下，腹腔镜和内窥镜协同外科手术可用于切除胃肿瘤。这种协同外科手术通常涉及引入内窥镜，例如胃镜和腹腔镜套管针。通过套管针引入腹腔镜和组织操纵以及解剖外科器械。可通过内窥镜识别肿瘤位置，然后使用插入到内窥镜工作通道的切割元件对肿瘤周围的粘膜下切除。然后将腹腔镜解剖外科器械用于相邻于肿瘤边缘的浆膜肌解剖，以形成穿过胃壁的切口。然后肿瘤通过该切口从腔内空间(例如，胃内部)旋转到腔外空间(例如，胃外部)。然后可以使用腹腔镜外科器械，例如内切刀，完成肿瘤从胃壁的横切并且密封切口。

肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及在肠上执行的外科手术。例如，可以通过内窥镜进行十二指肠粘膜表面再造(DMR)手术来治疗胰岛素抵抗代谢性疾病，诸如2型糖尿病。DMR手术可以是一种有效的治疗方法，因为它会影响对食物的检测。DMR手术抑制十二指肠功能，使得食物在肠中的感知比正常情况更深，例如，在通过十二指肠(小肠的第一部分)后被感知。因此，患者的身体在肠中比通常情况下更深入地感知糖，并且因此对糖的反应比通常情况更晚，使得可以改善血糖控制。十二指肠的不规则功能改变了身体对食物的典型反应，并且通过神经系统和化学信号使身体适应其对葡萄糖水平的反应以增加胰岛素水平。

在DMR手术中，例如用盐水提起十二指肠粘膜，然后例如使用通过内窥镜的工作通道推进到十二指肠中的消融装置来消融粘膜。在消融前提起粘膜有助于保护十二指肠外层免受消融损伤。在粘膜被消融后，粘膜随后再生。消融装置的示例是NeuWave^TM消融探头(可从俄亥俄州辛辛那提(Cincinnati,OH)的Ethicon US LLC公司(Ethicon US LLC)获得)。消融装置的另一个示例是Hyblate导管消融探头(可以从以色列Misgav(Misgav,Israel)的Hyblate Medical公司(Hyblate Medical)获得)。消融装置的另一个示例是Barxx^TMHaloFlex(可从明尼苏达州明尼阿波利斯市(Minneapolis,MN)的美敦力公司(Medtronic)获得)。

图21B示出了DMR手术的一个实施方案。如图21B所示，腹腔镜1400定位在十二指肠1402的外部，用于十二指肠1402的外部可视化。内窥镜1404经口推进穿过食道1406、穿过胃1408并且进入十二指肠1402以用于十二指肠1402的内部可视化。消融装置1410被推进穿过内窥镜1404的工作通道以从内窥镜1404朝远侧延伸到十二指肠1402中。消融装置1410的气囊1412在图21B中示出为是膨胀或充胀的。膨胀或充胀的气囊1412可帮助将消融装置的电极居中，因此在消融装置1410推进和/或回缩以重复消融之前可发生均匀的周向消融。在使用消融装置1410消融粘膜之前，诸如用盐水提起十二指肠粘膜。在一些实施方案中，除了包括气囊1412之外或代替包括该气囊，消融装置1410可以使用被配置为能够膨胀和收缩的电极阵列或篮来膨胀/收缩。

腹腔镜对十二指肠1402的外部可视化可以允许对十二指肠1402进行热监测，这可以帮助确保十二指肠1402的外层不会由于十二指肠粘膜的消融(例如，由于十二指肠被穿孔)而被损坏。例如，在下文以及2021年9月29日提交的名称为“Surgical Devices,Systems,And Methods For Control Of One Visualization With Another”的美国专利申请号63/249,658中进一步讨论了热监测的各种实施方案。内窥镜1404和/或消融装置1410可在其上包括基准标记，腹腔镜1400可被配置为能够例如通过使用不可见光透过十二指肠的组织进行可视化，以帮助确定腹腔镜1400应当在发生消融的位置处从外部可视化十二指肠1402的位置。基准标记的各种实施方案在例如2021年9月29日提交的名称为“Surgical Devices,Systems,Methods Using Fiducial Identification And Tracking”的美国专利申请号63/249,652以及2021年9月29日提交的名称为“Surgical Devices,Systems,And Methods For Control Of One Visualization With Another”的美国专利申请号63/249,658中进一步讨论。

对协同外科器械的控制

在各个方面，本公开提供了用于控制具有可变外科部位进入轨迹的协同外科器械的方法、装置和系统。在一个方面，这样的系统可包括第一外科器械，第一外科器械被构造成能够插入到患者的第一体腔中并且在来自第一体腔的组织的区域上进行操作，并且该系统可包括第二外科器械，第二外科器械被构造成能够插入到与第一体腔不同的第二体腔中并且在来自第二体腔的组织的区域上进行操作。该系统还可以包括具有第一图像传感器的第一内窥镜，第一图像传感器被配置为能够获取第一外科器械在第一体腔内的第一图像并且被定位成使得第二外科器械不在第一图像传感器的视场内，并且该系统还可以包括具有第二图像传感器的第二内窥镜，第二图像传感器被配置为能够获取第二外科器械在第二体腔内的第二图像并且被定位成使得第一外科器械不在第二图像传感器的视场内。该系统还可以包括控制器，该控制器被配置为能够接收所获取的第一图像和第二图像，确定第一外科器械的第一位置和第二外科器械的第二位置，并且基于所确定的第一位置和第二位置来协调第一外科器械和第二外科器械相对于彼此的协同操作。

图22提供了一个示例性外科系统1000的示意图，该外科系统可以提供对具有可变外科部位进入轨迹的外科器械的协同控制。如图所示，系统1000包括：第一外科器械1010，第一外科器械被构造成能够插入到第一体腔中；第一内窥镜1020，第一内窥镜被构造成能够插入到第一体腔中并且在插入到第一体腔中时使第一外科器械1010可视化；第二外科器械1030和第三外科器械1035，第二外科器械和第三外科器械被构造成能够插入到第二体腔中；以及第二内窥镜1040，第二内窥镜被构造成能够插入到第二主体中并且使第二外科器械1030和第三外科器械1035可视化。第一外科器械1010、第一内窥镜1020、第二外科器械1040、第二内窥镜1040和第三外科器械1035可以与系统1000的控制器1050可操作地通信，该控制器被配置为能够基于从第一内窥镜1020和第二内窥镜1040接收的图像来控制/协调第一外科器械、第二外科器械和第三外科器械的操作，如下文进一步详细解释的。

第一外科器械1010、第二外科器械1030和第三外科器械1035可各自为被配置为能够操纵和/或治疗组织的任何合适的外科装置。第一外科器械1010、第二外科器械1030和第三外科器械1035可各自类似于图1的外科装置102、图8的外科装置202或本文所述的其他外科装置。如上所述，外科装置的示例包括外科解剖器、外科缝合器、外科抓紧器、施夹器、排烟器、外科能量装置(例如、单极探头、双极探头、消融探头、超声装置、超声端部执行器等)等。例如，在一些实施方案中，第一外科器械1010、第二外科器械1030和/或第三外科器械1035可包括具有相对的钳口的端部执行器，该相对的钳口从外科装置的轴的远侧端部延伸并且被构造成能够接合两者之间的组织。

第一内窥镜1020和第二内窥镜1040可各自包括被配置为能够在微创外科手术中获取外科部位的图像的成像装置。第一内窥镜1020和第二内窥镜1040均可类似于图1的成像装置120、图8的成像装置220或本文描述的其他成像装置。尽管当前主题的一些实施方式在本文中被描述为使用一个或多个内窥镜来获取外科部位的图像，但适合在微创外科手术中使用的任何类型的观察器械都可以与本文描述的系统、方法和装置结合使用。如上所述，窥镜的示例包括关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞镜、十二指肠镜、肠镜、食管胃十二指肠镜(胃镜)、喉镜、鼻咽肾镜、乙状结肠镜、胸腔镜、输尿管镜、外窥镜。这些示例性类型的窥镜中的一种或多种可以任何可行的组合在微创外科手术中一起使用。在一些实施方案中，第一内窥镜1020和第二内窥镜1040中的至少一者包括远侧稳定气囊。远侧稳定气囊的各种实施方案在例如先前提及的2021年9月29日提交的名称为“CooperativeAccess”的美国专利申请号63/249980中进一步描述。

控制器1050包括处理器1051和存储器1052，该处理器被配置为能够执行包括本文所述的操作在内的一项或多项操作，并且该存储器被配置为能够存储用于使处理器1051执行操作的指令。控制器1050还包括第一外科器械接口1053、第一内窥镜接口1054、第二外科器械接口1055、第二内窥镜接口1056和第三外科器械接口1057。如图22所示，第一外科器械1010经由第一外科器械接口1053耦接到控制器1050，并且因此可以从处理器1051接收操作/致动指令。第一内窥镜1020经由第一内窥镜接口1054耦接到控制器1050，并且因此可以将表征由第一内窥镜1020获取的图像的数据提供给处理器1051和/或存储器1052，以供处理器1051稍后在执行本文所述的操作时使用。类似于第一外科器械1010，第二外科器械1030经由第二外科器械接口1055耦接到控制器1050并且因此可以从处理器1051接收操作/致动指令，并且第三外科器械1035经由第三外科器械接口1057耦接到控制器1050并且因此可以从处理器1051接收操作/致动指令。类似于第一内窥镜1020，第二内窥镜1040经由第二内窥镜接口1056耦接到控制器1050，并且因此可以将表征由第二内窥镜1040获取的图像的数据提供给处理器1051和/或存储器1052以供处理器1051稍后在执行本文所述的操作时使用。在一些实施方案中，第一外科器械接口1053、第一内窥镜接口1054、第二外科器械接口1055、第二内窥镜接口1056和第三外科器械接口1057中的每一者可以彼此不同，以便适应第一外科器械1010、第一内窥镜1020、第二外科器械1030、第二内窥镜1040和第三外科器械1035中的各个装置的控制器接口之间的差异。

如图所示，系统1000还可以包括显示器1060，该显示器可操作地耦接到控制器1050并且被配置为能够以图形方式描绘由第一内窥镜1020和第二内窥镜1040中的一者或多者获取的图像。在一些实施方案中，控制器1050可以从第一内窥镜1020和第二内窥镜1040中的每一者接收图像数据流，根据所接收的图像数据实时地确定图像和/或视频馈送，并且将图像和/或视频馈送提供给显示器1060以在该显示器上描绘并且由用户观看。系统1000、控制器1050和/或显示器1060可以并入各种机器人外科系统并且/或者可以是外科集线器的一部分，如上文所讨论的。

图23示出了外科系统的一个实施方案，该外科系统用于使用从管腔结构的内部和外部接近管腔结构的多个外科器械并且当不可能用一个内窥镜可视化所有外科器械时，将植入物诸如助剂协同放置在管腔结构(例如，中空器官或体腔，诸如食道、血管、肠等)处。图23相对于图22的外科系统1000进行描述，但可以类似地使用如本文所述的另一个外科系统。

如图23所示，第一外科器械1010被插入到患者的第一体腔中，在管腔结构(在该例示的实施方案中为食道1080)的外部，并且在食道1080的目标区域1080a上进行操作。所例示的实施方案中的目标区域1080a为形成在食管1080的侧壁1080b中的孔，但其他外科手术可具有另一个目标区域。如图所示，第一外科器械1010是被构造成能够将附属物1085递送到目标区域1080a的抓紧器。在该例示的实施方案中，附属物1085包括多孔塞区段1085a，该多孔塞区段被构造成能够通过腹腔镜插入到目标区域1080a中。附属物1085的多孔塞区段1085a的孔隙率可被配置为能够促进组织向内生长，并且多孔塞区段1085a可以是生物可吸收的。在该例示的实施方案中，附属物1085还包括粘合剂包裹区段1085b，诸如粘合剂包裹物，其耦接到多孔塞区段1085a并且被构造成能够支撑该多孔塞区段。粘合剂包裹区段1085b可以是生物可吸收的。粘合剂包裹区段1085b被构造成能够被定位在食道1080外部，而多孔塞区段1085a被插入到目标区域1080a中，如图24所示。在一些实施方案中，多孔塞区段1085a和粘合剂包裹区段1085b可以一体地形成，而不是固定在一起的两个单独的部件。

如上所述，附属物1085可以是生物可吸收的。对于生物可吸收的附属物，形成附属物的材料可包括生物可吸收的和生物相容的聚合物，包括均聚物和共聚物。均聚物和共聚物的示例包括对二氧杂环己酮(PDO或PDS)、聚乙醇酸(PGA)、乳酸-羟基乙酸共聚物(PLGA)、聚己酸内酯(PCL)、三亚甲基碳酸酯(TMC)和聚乳酸(PLA)、聚(羟基乙酸-共-乳酸)(PLA/PGA)(例如，用于Vicryl Rapide^TM、PolySorb和Biofix的PLA/PGA材料)、聚氨酯(诸如Elastane、Biospan、Tecoflex、Bionate和Pellethane纤维)、聚原酸酯、聚酐(例如，Gliadel和Biodel聚合物)、聚含氧酸酯、聚酯酰胺和基于酪氨酸的聚酯酰胺。共聚物还可以包括聚(乳酸-共-聚己酸内酯)(PLA/PCL)、聚(L-乳酸-共-聚己酸内酯)(PLLA/PCL)、聚(羟基乙酸-共-亚丙基碳酸酯)(PGA/TMC)(例如，Maxon)、聚(羟基乙酸-共-己内酯)(PCL/PGA)(例如，Monocryl和Capgly)、PDS/PGA/TMC(例如，Biosyn)、PDS/PLA、PGA/PCL/TMC/PLA(例如，Caprosyn)和LPLA/DLPLA(例如，Optima)。

附属物和植入附属物的各种实施方案在以下专利申请中进一步讨论：2017年6月13日提交的名称为“Surgical Stapler with Controlled Healing”的美国专利公布号2018/0353174；2020年2月25日提交的名称为“Medicant Eluting Adjuncts And MethodsOf Using Medicant Eluting Adjuncts”的美国专利号10,569,071；2020年7月21日提交的名称为“Stapling Adjunct Attachment”的美国专利号10,716,564；2013年2月8日提交的名称为“Layer Comprising Deployable Attachment Members”的美国专利公布号2013/0256377；2010年9月30日提交的名称为“Selectively Orientable Implantable FastenerCartridge”的美国专利号8,393,514；2007年2月28日提交的名称为“Surgical StaplingDevices That Produce Formed Staples Have Different Lengths”的美国专利号8,317,070；2005年6月21日提交的名称为“Surgical Instrument Incorporating EAP BlockingLockout Mechanism”的美国专利号7,143,925；2013年11月8日提交的名称为“SealingMaterials For Use In Surgical Stapling”的美国专利公布号2015/0134077；2013年11月8日提交的名称为“Hybrid Adjunct Materials for Use in Surgical Stapling”美国专利公布号2015/0134076；2013年11月8日提交的名称为“Positively ChargedImplantable Materials and Method of Forming the Same”的美国专利公布号2015/0133996；2013年11月8日提交的名称为“Tissue Ingrowth Materials and Method of Usethe Same”的美国专利公布号2015/0129634；2013年11月8日提交的名称为“HybridAdjunct Materials for Use in Surgical Stapling”的美国专利公布号2015/0133995；2014年3月26日提交的名称为“Surgical Instrument Comprising a Sensor System”的美国专利公布号2015/0272575；2014年6月10日提交的名称为“Adjunct Materials andMethods of Use Same in Surgical Methods for Tissue Sealing”的美国专利公布号2015/0351758；2013年2月8日提交的名称为“Adhesive Film Laminate”的美国专利公布号2013/0146643；2007年9月12日提交的名称为“Minimally Invasive Medical Implant AndInsertion Device And Method For Using The Same”的美国专利号7,601,118；以及2013年2月8日提交的名称为“Fastener Cartridge Comprising A Releasably AttachedTissue Thickness Compensator”的美国专利公布号2013/0221065，这些专利申请中的每一篇专利申请的全文据此以引用方式并入本文。

如图23所示，将第二外科器械1030插入到食道1080的内部管腔1080d中，以便于将附属物1085的多孔塞部分1085a从食道1080内定位到目标区域1080a中。因此，附属物1085可以从管腔结构1080内(使用第二外科器械1030)和从管腔结构1080外(使用第一外科器械1010)协同植入到管腔结构1080中。如图23所示，第二外科器械1030包括抓紧器部分1030a，该抓紧器部分设置在第二外科器械1030的轴1030b的远侧端部处，并且当由第一外科器械1010从食道1080外部将附属物1085操纵到目标区域1080a附近时，该抓紧器部分穿过目标区域1080a抓紧附属物1085的多孔塞部分1085a。

如图23所示，第二内窥镜1040被插入到食道1080的内部管腔1080d中，以在被插入到目标区域1080a中时，内部管腔1080d、位于内部管腔1080d中(不必同时位于内部管腔1080d中)的第二外科器械1030和第三外科器械1035和附属物1085的多孔塞区段1085a被可视化。第二内窥镜1040包括第二图像传感器1040a和轴1040b。如图所示，第二图像传感器1040a位于轴1040b的远侧端部。第二图像传感器1040a可以是如本文所述的相机或另一种类型的图像传感器，并且被配置为能够获取内部管腔1080d、第二外科器械1030和第三外科器械1035(不一定同时在内部管腔1080d中)以及附属物1085的多孔塞区段1085a的图像，并且将表征所获取的图像的数据提供给控制器1050用于可视化和分析，如下文所述。

第一外科器械1010由第一内窥镜1020(图23或图24中未示出)可视化，第一内窥镜可以被插入到与第一外科器械1010相同的体腔中并且位于食管1080外部，使得第一外科器械1010、侧壁1080b的外表面1080c、目标区域1080a，以及由第一外科器械1010保持并且随后植入在食管1080处的附属物1085在第一内窥镜1020的图像传感器的视场内。如上所述，第一外科器械1010和第一内窥镜1020中的每一者与控制器1050可操作地通信。

定位在食道1080内的第二内窥镜1040无法可视化(至少使用可见光)定位在食道1080外部的第一外科器械1010和第一内窥镜1020，因为食管1080的侧壁1080b阻挡了第二内窥镜1040对第一外科器械1010和第一内窥镜1020的观察。第二内窥镜1040可根据其在食道1080内的位置通过孔1080a使第一外科器械1010和/或第一内窥镜1020可见，但由于孔的尺寸通常较小并且第二内窥镜在内部管腔1080d中的操纵能力有限，因此这样的可视化(如果存在的话)将受到限制，并且这样的可视化将被插入到目标区域1080a的附属物1085的多孔塞区段1085a完全阻挡。类似地，第一内窥镜1020将无法使第二外科器械1030或第三外科器械1035和第二内窥镜1040可视化(至少使用可见光)，因为第一内窥镜1020对第二外科器械1030和第三外科器械1035和第二内窥镜1040的观察类似地被食管1080的侧壁1080b阻挡。第一内窥镜1020可根据其在食道1080外部的位置通过孔1080a使第二外科器械1030、第三外科器械1035和/或第二内窥镜1040可见，但由于孔的尺寸通常较小，这样的可视化(如果存在的话)将受到限制，并且这样的可视化将被插入到目标区域1080a中的附属物1085的多孔塞区段1085a完全阻挡。

在所例示的实施方案中，第三外科器械1035用于将协同固定植入物(诸如粘合剂材料)从管腔结构1080内递送到目标区域1080a，以通过协同固定植入物帮助将附属物1085在目标区域1080a处保持就位。如图24所示，第三外科器械1035包括粘合剂注射器1035a，该粘合剂注射器被构造成能够在插入到目标区域1080a中时将粘合剂材料1031递送到在附属物1085的多孔塞部分1085a上方和附近的食道1080的内表面1080e。粘合剂材料1031被构造成能够将附属物的多孔塞部分1085a在孔1080a中固定就位。在其他实施方案中，协同固定植入物可以为缝合线，并且第三外科器械1035可以为内窥镜缝合装置(未示出)，该内窥镜缝合装置被构造成能够将缝合线施加到附属物1085的多孔塞部分1085a，以将多孔塞部分1085a在孔1080a中系住就位。另外，虽然所例示的实施方案使用第三外科器械1035来递送协同固定植入物，但在其他实施方案中，第二外科器械1030可以递送协同固定植入物，使得单个外科器械(第二外科器械1030)可以抓紧附属物1085并且将协同固定植入物从管腔结构1080内递送到目标区域1080a，这样可以简化手术。

如上所述，控制器1050可用于控制第一外科器械1010、第二外科器械1030和第三外科器械1035中的每一者的移动和致动，从而实现第一外科器械1010、第二外科器械1030和第三外科器械1035的协调操作，使得可以高效且有效地实现共同的外科目的(例如，将附属物1085固定在外科部位1080a中)。在外科系统1000的示例性用途中，参照图22至图24，第一内窥镜1020被插入到患者的管腔结构1080外部的患者的第一体腔中，并且第二内窥镜1040被插入到患者的管腔结构1080中。然后将具有耦接到端部执行器1010a的附属物1085的第一外科器械1010插入到患者的第一体腔中，并且将第二外科器械1030插入到患者的管腔结构中。在通过内窥镜1020、1040可视化的情况下，第一外科器械1110和第二外科器械1030被操纵靠近要放置附属物1085a的外科部位1080a，使得第一外科器械1010在第一内窥镜1020(而不是第二内窥镜1040)的视场内，并且第二外科器械1030在第二内窥镜1040(而不是第一内窥镜1020)的视场内。在一些实施方案中，在第二器械1030和第二内窥镜1040相对于管腔结构1080定位之前，第一器械1010和第一内窥镜1020相对于管腔结构1080定位，或反之亦然，其中在第一器械1010和第一内窥镜1020相对于管腔结构1080定位之前，第二器械1030和第二内窥镜1040相对于管腔结构1080定位。

控制器1050被配置为能够从第一内窥镜1020接收第一外科器械1010的一个或多个图像，并且从第二内窥镜1040接收第二外科器械1030的一个或多个图像。另外，每个内窥镜1020、1040的位置和取向由系统1000的控制器1050通过磁场检测使用每个内窥镜1020、1040的电磁(EM)跟踪尖端来跟踪，以确定每个内窥镜1020、1040在系统1000的全局坐标系中的位置和取向，该位置和取向由与内窥镜1020、1040中的每一者和外科器械1010、1030中的每一者通信的控制器1050所知。虽然在所例示的实施方案中提供了EM跟踪尖端，但可以使用另选的和/或附加的跟踪装置，诸如光纤布拉格光栅、虚拟标签、基准标记、探头的使用、已知解剖结构的识别、各种3D扫描技术(诸如使用结构光)、上面所讨论的各种传感器和/或成像系统等。关于跟踪外科器械的各种实施方案的附加细节在例如之前提及的2021年9月29日提交的名称为“Cooperative Access”的美国申请号63/249,980中提供。

因此，基于从第一外科器械1010和第二外科器械1030的第一内窥镜1020和第二内窥镜1040接收到的图像以及第一内窥镜1020和第二内窥镜1040的跟踪位置和取向，控制器1050被配置为能够确定第一器械1010和第二器械1030的位置和取向。当控制器1050监测第一外科器械1010和第二外科器械1030的移动时，第一外科器械1010将附属物1085操纵到外科部位1080a，并且第二外科器械1030根据需要从食道1080内抓住附属物1085并且帮助放置该附属物。一旦控制器1050基于通过内窥镜1020、1040的可视化确认附属物1085的放置，则第二外科器械1030从食管1080撤回，并且第三外科器械1035被操纵到食管1080内的位置处的外科部位1080a，并且将协同固定植入物(诸如粘合剂材料1031)施加到附属物1085和食管1080的内表面1080e的周围区域，以将附属物1085在外科部位1080a处固定就位。因此，在附属物1085的部署期间一次仅使用两个器械，第一外科器械1010和第二外科器械1030或第一外科器械1010和第三外科器械1035。此外，在一些实施方案中，第一外科器械1010、第二外科器械1030和第三外科器械1035中的两者或更多者的协调操作至少部分地同时发生，诸如当定位附属物1085和/或部署协同固定植入物以确保附属物1085的适当放置时。

虽然图22至图24中所示的实施方案提供了对患者食道1080中的外科部位1080a的修复，但在不同的实施方案中多种不同的手术是可能的，类似地涉及来自目标治疗部位的管腔内侧和管腔外侧的至少器械1010、1030的协同的相互作用，用于成功地部署在管腔内或管腔外引入的各种不同的管腔内或管腔外的植入物，诸如当围绕患者的食道括约肌部署各种植入物来治疗胃食管反流疾病时。

此外，在一些实施方案中，除了或代替附属物1085，可以使用其他修复机制来帮助修复目标区域1080a。例如，图24A示出了食管支架1086的一个实施方案，该食管支架通过第二外科器械1030通过内窥镜放置在食管1080中以最小化在愈合期间施加在外科部位1080a上的力负载，并且腹腔镜包裹物1087的一个实施方案诸如通过第一器械1010通过腹腔镜应用在外科部位1080a处以在愈合期间提供增强的支撑。腹腔镜包裹物1087不是如上所述的附属物1085的粘合剂包裹物区段1085b，但腹腔镜包裹物1087可以由类似的材料制成并且可以是生物可吸收的。

在一些实施方案中，两个隔离的体腔中的外科器械可以由控制器(例如，外科集线器的控制器、机器人外科系统或其他计算机系统)控制，使得外科器械可以与两个体腔之间的共同组织或器官的相对表面协同相互作用。此外，控制器可以对并入每个外科器械的各种致动施加相互关联的限制，诸如相互关联的力或运动范围阈值限制，使得外科器械可以协同操作以实现共同的外科目的，而无需以可能无意损伤组织的方式进行操纵。

图25示出了一个示例性外科系统1100，该示例性外科系统可用于通过从放置在外科视场中的内窥镜上的传感器的跟踪来增加多个位置来提供公共视场。系统1100的下述部件中的每一个部件通常类似于上述系统1000中的类似命名的元件来配置和使用。

系统1100包括：第一外科器械1110，第一外科器械被构造成能够插入到第一体腔中；第一内窥镜1120，第一内窥镜被构造成能够插入到第一体腔中并且在插入到第一体腔中时使第一外科器械1110可视化；第二外科器械1130，第二外科器械被构造成能够插入到第二体腔中；第二内窥镜1140，第二内窥镜被构造成能够插入到第二体腔中并且使第二外科器械1130可视化；以及第三外科器械1175，第三外科器械被构造成能够插入到第一体腔和第二体腔中的一者中并且操纵组织。系统1110还包括第一外科器械接口1153、第二外科器械接口1155和第三外科器械接口1158，以及第一内窥镜接口1154和第二内窥镜接口1156。第一外科器械1110、第一内窥镜1120、第二外科器械1130、第二内窥镜1140和第三外科器械1175与系统1100的控制器1150可操作地通信，该控制器被配置为能够控制第一外科器械、第二外科器械和第三外科器械的操作，如下文进一步详细解释的。如图25所示，系统1100还包括第三内窥镜1170，第三内窥镜被构造成能够插入到与第一体腔和第二体腔中的每一者不同的第三体腔中并且使第三体腔可视化。如图所示，第三内窥镜1170经由通常类似于第一内窥镜接口1154和第二内窥镜接口1156构造和使用的第三内窥镜接口1157耦接到控制器1150。该

类似于上述系统1000，系统1100还包括显示器1160，该显示器可操作地耦接到控制器1150并且被配置为能够以图形方式描绘由第一内窥镜1120、第二内窥镜1140和第三内窥镜1170中的一者或多者获取并且由控制器1150经由相应的接口1154、1156、1157接收的图像。

图26示出了通过使用位于外科视场中的多个内窥镜上的传感器将多个视点增强到共同视场中来提供共同视场的一个实施方案。如图26所示，第一外科器械1110为抓紧器，该抓紧器被构造成能够通过肋入口C1插入到患者的管腔结构外部的第一体腔(在该例示的实施方案中为食道口B)，并且在经由胸腔C可进入的组织上进行操作。类似于第一外科器械1110，第二外科器械1130和第三外科器械1175各自为腹腔镜抓紧器，腹腔镜抓紧器被插入到腹腔A中并且被构造成能够操纵在第二体腔(在该例示的实施方案中为腹腔A)内可进入的组织。然而，可以适当地利用本文其他部分描述的其他类型的外科器械来适应外科视场和手术的情况。

如图26所示，类似于系统1000的第一内窥镜1020和第二内窥镜1040，第一内窥镜1120、第二内窥镜1140和第三内窥镜1170各自包括轴1120a、1140a、1170a，各自分别包括位于它们相应的轴的远侧端部处的图像传感器1120b、1140b、1170b，并且各自被配置为能够获取图像。由于第一内窥镜1120在胸腔C中的位置，第一图像传感器1120b被配置为能够获取第一外科器械1110和经由胸腔C可进入的组织结构的图像，并且将表征所获取的图像的数据提供给控制器1150用于如下所述的进一步分析。第二内窥镜1140被构造成能够插入到腹腔A中，使得第二图像传感器1140b可以获取经由腹腔A可进入的组织的图像以及也插入到腹腔A中的第二外科器械1130和/或第三外科器械1175的图像，腹腔A通过患者的膈膜1190与胸腔C分开。第三内窥镜1170被配置为能够插入到食管口B中，以获取食管口B的内部部分和其他附近组织(例如，胃1195)的图像。

第一内窥镜1120、第二内窥镜1140和第三内窥镜1170各自包括设置在每个内窥镜1120、1140、1170的轴1120a、1140a、1170a上的定位器装置，该定位器装置被配置为能够便于增强由每个图像传感器1120b、1140b、1170b提供的视图。例如，第一内窥镜1120包括耦接到第一轴1140a的第一内窥镜磁体1120c，第三内窥镜1170包括耦接到第三轴1120a的第三内窥镜磁体1170c，并且第二内窥镜1140包括耦接到第二轴1170a并且被构造成能够磁性地感测第一内窥镜磁体1120c和第三内窥镜磁体1170c相对于第二内窥镜1140的位置的磁性传感器1140c。控制器1150使用由磁传感器1140c感测到的第一内窥镜磁体1120c和第三内窥镜磁体1170c的位置来对由每个内窥镜1120、1140、1170获取的图像中的特征的坐标进行三角测量，并且由此编译增强的合成图像，如下文进一步详细解释的。

控制器1150确定第一内窥镜1120、第二内窥镜1140和第三内窥镜1170中的每一者的相对位置，并且控制器1150基于由内窥镜1120、1140、1170中的每一者的图像传感器1120b、1140b、1170c获取的图像数据以及基于表征来自第二内窥镜1140的磁传感器1140c的第一内窥镜1120、第二内窥镜1140和第三内窥镜1170中的每一者的相对位置的磁传感器数据来生成增强的合成图像。例如，使用所确定的相对位置，控制器1150被配置为能够将图像数据的一个或多个元素组合到增强的合成图像中，并且将增强的合成图像提供给显示器1160以供用户查看。图27A示出了由第二内窥镜1140获取的表征腹腔A中的组织的图像的一个示例性视图。如图27A所示，第二内窥镜1140的视场包括第二外科器械1130、第三外科器械1175和胃1195。图27B示出了由位于食管口B内部的第三内窥镜1170获取的图像的一个示例性视图。因为第三内窥镜1170位于食管口B内部，所以无法看到其他内窥镜1120、1140或外科器械1110、1130、1175。图27C示出了由第一内窥镜1120获取的表征胸腔C中的组织的图像的图像信息的一个示例性视图。如图27C所示，内窥镜的视场包括第一外科器械1110和食管口B的外表面。

控制器1150将由第一内窥镜1120、第二内窥镜1140和第三内窥镜1170获取的图像数据的一个或多个分量进行组合，如图27A至图27C所示，以形成图27D中所示的增强的合成图像。所获取的不同的图像将导致不同的增强的合成图像。如图所示，增强的合成图像包括位于第一内窥镜1120、第二内窥镜1140和第三内窥镜1170中的每一者的视场内的结构和/或器械的三维表示。因此，增强的合成图像为从分开的、非连续的体腔接近外科部位的多个外科器械提供共同的视场。以此方式，用户可在其中多个外科器械(诸如第一外科器械1110、第二外科器械1130和第三外科器械1175)必须从不同的分开的且不连续的体腔接近外科部位并且必须协同工作以实现共同的外科目的的手术中增强外科部位的可视性。关于增强的合成图像的各种实施方案的附加细节在例如之前提及的2021年9月29日提交的名称为“Cooperative Access”的美国申请号63/249,980中提供。

在一些实施方案中，当外科器械(诸如被构造成能够操纵组织的上述外科器械中的任何一个外科器械)被放置在两个隔离的体腔中，并且外科器械在组织(例如，目标组织或共同的组织壁，诸如将胸部体腔和腹部体腔分开的隔膜)的共同区域的相对表面上进行操作以实现共同的外科目的时，可以基于外科器械的所确定的位置来确定对外科器械的一个或多个致动器的移动的相互关联的限制，以帮助避免损伤在组织的共同区域处的组织。例如，参照图26的实施方案，已经被插入到胸部体腔C中的第一外科器械1110被构造成能够在共同的组织区域的第一表面上进行操作，并且已经被插入到腹部体腔A中并且通过隔膜1195与第一外科器械分开的第二外科器械1130被构造成能够在共同的组织区域的相对的第二表面上进行操作。使用分别由第一内窥镜1120和第二内窥镜1140捕获的第一外科器械1110和第二外科器械1140的图像，控制器1150确定第一外科器械1110和第二外科器械1130的位置。控制器1150被配置为能够针对作用于组织的共同区域上的外科器械1110、1130中的每一者建立一组相互关联的力或运动范围阈值限制。所建立的阈值限制表征可相对于组织的共同区域沿任何给定方向施加的最大量的力或运动范围。在一些实施方案中，组织的共同区域至少部分地锚定到相邻的解剖结构，使得成比例量的协同力被传递到与相邻的解剖结构连接的组织中。因此，外科器械1110、1130中的每一者的相互关联的力或运动范围阈值限制提供了由外科器械1110、1130中的每一者一起施加在组织的共同区域和相邻的解剖结构上的最大水平的力，从而减轻了由于外科器械1110、1130对组织的共同区域和相邻的解剖结构施加的力过载而对这些结构造成无意损伤的风险，并且帮助保护靠近组织的共同区域的组织的区域和其他解剖结构(例如，器官、血管等)。虽然上面讨论的阈值限制是可施加到组织的共同区域的最大量或总量，但在其他实施方案中，可针对外科器械1110、1130中的一者相对于外科器械1110、1130中的另一者建立相互关联的力或运动范围阈值限制，这可允许在建立相互关联的力或运动范围阈值限制作为施加到组织的共同区域的总量或作为由外科器械1110、1130中的一者施加的力或运动范围的量(此量是相对的或者是基于由另一个外科器械1110、1130施加的量)时的更大的灵活性。

在利用相互关联的力或运动范围阈值限制的外科手术期间，控制器1150被配置为能够基于相互关联的力或运动范围来协调第一外科器械和第二外科器械1110、1130对组织的共同区域的治疗。例如，控制器1150基于分别由第一内窥镜1120和第二内窥镜1140获取的第一外科器械1110和第二外科器械1130的图像来确定第一外科器械1110和第二外科器械1130的位置，并且基于第一外科器械1110和/或外科器械1130相对于彼此和/或组织的共同区域的确定的位置来确定是否超过相互关联的力或运动范围阈值限制。如果超过阈值限制，控制器1150可采取一个或多个动作，诸如对第一外科器械1110和/或第二外科器械1130的移动或致动指令设置限制，使得第一外科器械1110和第二外科器械1130一起的运动不超过作为一对的第一外科器械1110和第二外科器械1130的阈值限制，可以(例如，在显示器1160上)提供指示已经超过阈值限制的(视觉的、听觉的和/或触觉的)警报等。

沿着两个不同的轨迹进入共同的感兴趣的组织区域的器械可以在一些实施方案中协同工作，从而在共同的感兴趣的组织区域(例如，目标组织或将外科器械分开的共同的组织壁，诸如彼此隔离的两个体腔之间的组织)上相对于彼此实现协同对抗或互补的力或运动，以在共同的感兴趣的组织区域上实现共同的外科目的。例如，在涉及通过腹腔镜和内窥镜协同来解剖肿瘤的一个外科手术中，在系统1100中使用的第一器械1110和第二器械1130可以是图28中所示的外科器械1110a、1130a，诸如抓紧器和/或解剖器。第一内窥镜1120通过内窥镜插入到患者体内的中空器官1127(例如，食道)中，并且第一外科器械1110a随后被插入到中空器官1127中并且被构造成能够在这样的位置处以在包含肿瘤1125的共同的组织区域的第一表面上进行操作。第二内窥镜1140通过腹腔镜部署在中空器官1127外部，第二外科器械1130a然后通过腹腔镜部署并且被配置在这样的位置以在共同的组织区域的相对的第二表面上进行操作。在使用期间，第二外科器械1130a提供共同组织区域的组织偏转、回缩或移动中的至少一者，使得第一外科器械1110a已经增加了进入共同的组织区域以解剖肿瘤1125的可能性。

在一些实施方案中，如果即使在第二外科器械1130a使组织偏转、回缩或移动之后第一外科器械1110a也无法充分地进入肿瘤1125，则第二外科器械1130a通过腹腔镜注射流体，并且第一内窥镜1120提供来自中空器官1127内的视觉反馈。例如，第二外科器械1120a可以将盐水溶液通过腹腔镜注射到肿瘤1125下方的粘膜下空间中，以将肿瘤1125抬离浆膜组织层，从而为第一外科器械1110a提供进入肿瘤1125的更多的通路来进行解剖。在其他实施方案中，当最初无法通过腹腔镜确定肿瘤1125的位置时，第一外科器械1110a通过内窥镜注射流体，并且在一些实施方案中，所注射的流体可包含一种或多种添加剂，诸如亚甲蓝、荧光染料、铁基添加剂、离子银、钡、钙溶液、碘同位素等，以帮助通过腹腔镜识别肿瘤1125的位置。在又一些实施方案中，为了进一步增加进入肿瘤1125的通路，在通过腹腔镜或内窥镜注射流体之后，由带有气囊的柔性内窥镜或导管进入由注射产生的粘膜下空间，气囊被充气以增加肿瘤1125的扩张，而不需要进一步引入流体以避免因泄漏流体而造成任何破坏。此外，代替第一外科器械1110a或第二外科器械1130a注射流体，其他实施方案可以使用腹腔镜抽吸器械来定位肿瘤1125的腹腔镜侧，以在第一器械1110a解剖肿瘤1125时根据需要提供增加的稳固性和重新定位。在一些抽吸实施方案中，腹腔镜抽吸器械产生凹形形状以将外膜拉离肿瘤1125，从而在第一外科器械1110a抓握并且解剖肿瘤1125时提供反牵引力。使用抽吸而不是流体注射允许肿瘤1125的重新定位，并且避免因渗漏流体而引起的任何并发症。

在一些实施方案中，如图29、图30和图31中围绕肿瘤1125的虚线圆所示，通过内窥镜消融肿瘤1125周围的组织的周边1129以建立用于移除的期望的组织边缘以进一步隔离肿瘤1125来进行解剖是有益的。在该例示的实施方案中，第一外科器械1110a最先消融肿瘤1125周围的组织以产生周边1129，如图29所示，并且在消融期间根据需要将流体引入到周边1129以将组织温度保持在预先确定的阈值以下以避免烧焦。然后可以使用上文所讨论的相同的方法进一步分离肿瘤1125以进行解剖。例如，流体可以由第二器械1130a通过腹腔镜注射或者由第一器械1110a通过内窥镜注射，如图30所示，以及/或者可以由第二器械1130a通过腹腔镜施加抽吸，如图31所示。在例如之前提及的2021年9月29日提交的名称为“Surgical Devices,Systems,And Methods For Control Of One Visualization WithAnother”的美国专利申请号63/249,658中进一步描述了消融装置和消融组织的方法的各种实施方案。

此外，虽然在一些实施方案中，第一内窥镜1120提供来自中空器官1127内的视觉反馈，但在一些实施方案中，第二内窥镜1140提供来自腹腔镜侧的对组织相互作用的可视化来帮助引导在内窥镜侧上通过第一外科器械1110a的解剖并且识别腹腔镜侧的组织壁上的任何肿瘤浸润可能是有益的。如果肿瘤1125通过腹腔镜可见，则肿瘤1125将很可能扩散穿过组织壁的整个厚度进入浆膜层。为了帮助确认肿瘤1125已经扩散，用户可以使用本领域中已知的多种不同的方法，诸如单色蓝色激光技术、共聚焦激光内窥镜检查和/或荧光技术，以帮助确保用户能够识别和可视化所有肿瘤1125并且降低将肿瘤1125的一些部分错误地留在组织中的风险。通过腹腔镜可见的肿瘤1125的任何部分提供了用于移除的组织的外部边缘，以帮助用户移除所有肿瘤1125。在一些实施方案中，为了在肿瘤1125的一部分从腹腔镜侧可见时帮助移除该肿瘤，诸如通过使用激光指向、触摸和计算机视觉标记等，从内窥镜侧标记或跟踪肿瘤1125，其中预期的边缘被记录在系统1000的全局坐标系中。然后例如通过使用结构光3D表面映射将所识别的边缘映射到腹腔镜侧，以及/或者通过上述增强的合成图像方法将所识别的边缘增强到外科部位的视图上，以帮助用户完全移除肿瘤1125。当肿瘤1125通过腹腔镜可见时，用户可能需要使用腹腔镜解剖来移除一些或全部的肿瘤1125。虽然在一些情况下腹腔镜解剖可以更容易地进入肿瘤，但也可以在中空器官中产生孔，这可能需要密封来促进愈合，在这种情况下可以执行密封，诸如图23和图24中所示的密封，其中附属物1085密封孔1080a。

根据上述实施方案，本领域的技术人员将会认识到本发明的另外的特征和优点。因此，本发明不应受到已具体示出和描述内容的限制，除非所附权利要求有所指示。本文引用的所有出版物和参考文献出于所有目的全文明确地以引用方式并入本文。

Claims (19)

1.一种系统，所述系统包括：

第一外科器械，所述第一外科器械被构造成能够插入到患者的第一体腔中并且能够在位于所述患者体内的组织的第一表面上操作；

第二外科器械，所述第二外科器械被构造成能够插入到所述患者的第二体腔中并且能够在所述组织的第二表面上操作，所述第二表面与所述第一表面不同地定向；

第一内窥镜，所述第一内窥镜具有第一图像传感器，所述第一图像传感器被配置为能够获取所述第一外科器械在所述第一体腔内的第一图像，并且被定位成使得所述第二外科器械不在所述第一图像传感器的视场内；

第二内窥镜，所述第二内窥镜具有第二图像传感器，所述第二图像传感器被配置为能够获取所述第二外科器械在所述第二体腔内的第二图像，并且被定位成使得所述第一外科器械不在所述第二图像传感器的视场内，所述第二体腔不同于所述第一体腔；和

控制器，所述控制器被配置为能够接收所述第一图像和所述第二图像、能够基于所接收的第一图像确定所述第一外科器械的第一位置、能够从所述第一图像和所述第二图像中的所述第二图像确定所述第二外科器械的第二位置、并且能够通过由所述第一外科器械或所述第二外科器械中的任一者在第一方向上操纵所述组织，基于所确定的第一位置和第二位置来协调所述第一外科器械和所述第二外科器械之间的协同治疗，使得当在所述第一方向上操纵所述组织时，所述第一外科器械和所述第二外科器械中的另一者治疗所述组织。

2.根据权利要求1所述的系统，其中，所述第一外科器械和所述第二外科器械之间的力被控制，以在所述第一外科器械和所述第二外科器械之间产生预定义的运动或力中的至少一者。

3.根据权利要求1或权利要求2所述的系统，其中，所述第一体腔位于所述患者体内的第一中空器官内，所述第一外科器械被构造成能够在所述中空器官内在所述第一方向上操纵所述组织，并且所述第二体腔位于所述中空器官之外。

4.根据权利要求1至3中任一项所述的系统，其中，所述第一外科器械被构造成能够提供所述组织的组织偏转、回缩或移动中的至少一者，使得所述第二外科器械能够进入以解剖所述组织的一部分。

5.根据任一项前述权利要求所述的系统，其中，由所述第一内窥镜的所述第一图像传感器对所述组织进行可视化被设计为能够允许由所述第二外科器械对所述组织的至少一部分进行解剖。

6.一种系统，所述系统包括：

数据处理器；和

存储器，所述存储器存储被配置为能够致使所述数据处理器执行操作的指令，所述操作包括：

从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，所述第一外科器械设置在患者的第一体腔内并且被构造成能够在位于所述患者体内的组织的第一表面上操作；

从第二内窥镜的第二图像传感器实时地接收表征第二外科器械的第二图像的第二图像数据，所述第二外科器械设置在所述患者的第二体腔内并且能够在所述组织的第二表面上操作，所述第二表面与所述第一表面不同地定向，所述第二外科器械位于所述第一内窥镜的视场之外，并且所述第一外科器械位于所述第二内窥镜的视场之外，所述第二体腔不同于所述第一体腔；

基于所接收的第一图像数据来确定所述第一外科器械的第一位置；

基于所接收的第二图像数据来确定所述第二外科器械的第二位置；以及

基于所确定的第一位置和第二位置来协调所述第一外科器械和所述第二外科器械之间的协同治疗，以在所述组织上实现共同的外科目的，其中，所述组织的协同治疗包括由所述第一外科器械或所述第二外科器械中的任一者在第一方向上操纵所述组织，使得当在所述第一方向上操纵所述组织时，

所述第一外科器械和所述第二外科器械中的另一者治疗所述组织。

7.根据权利要求6所述的系统，其中，所述第一外科器械和所述第二外科器械之间的力被控制，以在所述第一外科器械和所述第二外科器械之间产生预定义的运动或力中的至少一者。

8.根据权利要求6或权利要求7所述的系统，其中，所述第一体腔位于所述患者体内的第一中空器官内，所述第一外科器械被构造成能够在所述中空器官内在所述第一方向上操纵所述组织，并且所述第二体腔位于所述中空器官之外。

9.根据权利要求6至8中任一项所述的系统，其中，所述第一外科器械被构造成能够提供所述组织的组织偏转、回缩或移动中的至少一者，使得所述第二外科器械能够进入以解剖所述组织的一部分。

10.根据权利要求6至9中任一项所述的系统，其中，由所述第一内窥镜的所述第一图像传感器对所述组织进行可视化被设计为能够允许由所述第二外科器械对所述组织的至少一部分进行解剖。

11.一种方法，所述方法包括：

由控制器从第一内窥镜的第一图像传感器实时地接收表征第一外科器械的第一图像的第一图像数据，所述第一外科器械设置在患者的第一体腔内并且被构造成能够在位于所述患者体内的组织的第一表面上操作；

由所述控制器从第二内窥镜的第二图像传感器实时地接收表征第二外科器械的第二图像的第二图像数据，所述第二外科器械设置在所述患者的第二体腔内并且能够在所述组织的第二表面上操作，所述第二表面与所述第一表面不同地定向，所述第二外科器械位于所述第一内窥镜的视场之外，并且所述第一外科器械位于所述第二内窥镜的视场之外，所述第二体腔不同于所述第一体腔；

由所述控制器基于所接收的第一图像数据来确定所述第一外科器械的第一位置；

由所述控制器基于所接收的第二图像数据来确定所述第二外科器械的第二位置；以及

由所述控制器基于所确定的第一位置和第二位置来协调所述第一外科器械和所述第二外科器械之间的协同治疗，以在所述组织上实现共同的外科目的，包括由所述第一外科器械或所述第二外科器械中的任一者在第一方向上操纵所述组织，使得当在所述第一方向上操纵所述组织时，所述第一外科器械和所述第二外科器械中的另一者治疗共同的组织。

12.根据权利要求11所述的方法，其中，所述第一外科器械和所述第二外科器械之间的力被控制，以在所述第一外科器械和所述第二外科器械之间之间产生预定义的运动或力中的至少一者。

13.根据权利要求11或权利要求12所述的方法，其中，所述第一体腔位于所述患者体内的第一中空器官内，所述第一外科器械在所述中空器官内在所述第一方向上操纵所述组织，并且所述第二体腔位于所述中空器官之外。

14.根据权利要求11至13中任一项所述的方法，其中，所述第一外科器械提供所述组织的组织偏转、回缩或移动中的至少一者，使得所述第二外科器械能够进入以解剖所述组织的一部分。

15.根据权利要求11至14中任一项所述的方法，其中，由所述第一内窥镜的所述第一图像传感器对所述组织进行可视化被设计为能够允许由所述第二外科器械对所述组织的至少一部分进行解剖。

16.一种包括指令的计算机程序产品，当所述程序由根据权利要求1所述的系统的控制器执行时，所述指令使得所述控制器：

接收所述第一图像和所述第二图像；

基于所接收的第一图像来确定所述第一外科器械的第一位置；

基于所接收的第二图像来确定所述第二外科器械的第二位置；以及

通过由所述第一外科器械或所述第二外科器械中的任一者在第一方向上操纵所述组织，基于所确定的第一位置和第二位置来协调所述第一外科器械和所述第二外科器械之间的协同治疗，使得当在所述第一方向上操纵所述组织时，所述第一外科器械和所述第二外科器械中的另一者治疗所述组织。

17.一种包括指令的计算机程序产品，当所述程序由控制器执行时，所述指令使得所述控制器执行根据权利要求11至15中任一项所述的方法。

18.一种计算机可读介质，所述计算机可读介质上存储有根据权利要求16或权利要求17所述的计算机程序产品。

19.一种数据载体信号，所述数据载体信号承载根据权利要求16或权利要求17所述的计算机程序产品。