CN118042993A - 用于控制协作式外科器械的方法和系统 - Google Patents

Abstract

提供了用于控制协作式外科器械的系统、装置和方法。本公开的各个方面提供了用于从不同途径进入患者的共同体腔的外科器械的协调操作，以达到共同的外科目的。例如，本文所公开的各种方法、装置和系统可使得能够通过不同的微创外科系统对外科组织进行协调治疗，这些微创外科系统从不同的解剖空间接近组织并且彼此协调地操作以实现期望的外科治疗。

Description

用于控制协作式外科器械的方法和系统

相关申请的交叉引用

本申请要求2021年9月29日提交的名称为“Methods and Systems forControlling Cooperative Surgical Instruments”的美国临时专利申请号63/249,870的优先权，该美国临时专利申请的公开内容全文以引用方式并入本文。

背景技术

一些外科手术需要使用多个外科器械同时在组织的区域或部分上操作以成功地执行手术。在一些情况下，由于解剖限制和/或手术的性质，多个外科器械不可能彼此直接视觉接触，即使它们可能位于相同的解剖空间中。例如，在共享组织结构(例如，患者小肠的一部分)上操纵的手术期间，为了成功地执行该手术，多个外科器械可能需要位于该共享组织结构的视觉上分开的部分中。

然而，在一些实施方式中，用于在组织的区域上操作的第一外科器械和用于在组织的区域上操作的第二外科器械可以通过独立的系统进行操作，即使这些外科器械共享共同的外科目的。在这样的场景下，在两个器械都无法直接观察另一个器械的移动但需要第一外科器械和第二外科器械的协调操作来成功执行手术的情况下，第一外科器械和第二外科器械协同操作来实现成功的共享外科结果可能是困难的或不可能的。

因此，仍然需要用于在协作式外科器械之间的直接可视化受到例如周围组织的限制时控制协作式外科器械的改进的方法和系统。

发明内容

在一个方面中，提供了一种系统，该系统包括第一外科器械，第一外科器械被构造成能够插入到体腔的第一部分中并且在位于患者体腔内的第一外科治疗部位上操作。还提供了第二外科器械，第二外科器械被构造成能够插入到第一体腔的第二部分中并且在位于体腔内的第二外科治疗部位上操作。体腔的第二部分不同于体腔的第一部分，并且第二外科治疗部位不同于第一治疗组织部位。此外，该系统包括具有第一图像传感器的第一柔性内窥镜，第一图像传感器被配置为能够定位在体腔的第一部分中，使得第二外科器械不在第一图像传感器的视场内。还提供了第二柔性内窥镜，第二柔性内窥镜被构造成能够定位在体腔的第二部分中，使得第一外科器械不在第二图像传感器的视场内。另外，该系统包括控制器，该控制器被配置为能够接收由第一图像传感器和第二图像传感器中的每一者收集的图像，确定第一外科器械的第一位置和第二外科器械的第二位置、确定第一外科器械相对于第二外科器械的距离和取向、以及基于所确定的距离和取向使第一外科器械和第二外科器械中的至少一者在体腔中移动。

该系统可具有多种变型。例如，第一外科治疗部位可以与第一近侧解剖标志相邻，第二外科治疗部位可以与第二远侧解剖标志相邻，并且第一外科治疗部位和第二外科治疗部位可在体腔内彼此间隔开。在其他示例中，第一近侧解剖标志可以是十二指肠空肠曲，并且第二远侧解剖标志可以是回盲瓣。

在一些实施方案中，第一外科器械可被构造成能够通过患者的第一自然开口插入到体腔中，并且第二外科器械可被构造成能够通过患者的不同的第二自然开口插入到体腔中。在其他示例中，控制器可以至少基于所确定的位置和距离来控制第一外科器械和第二外科器械中的至少一者在体腔内的运动速度。在其他示例中，该系统可包括外科植入物的第一部分，该外科植入物的第一部分被构造成能够以可释放的方式附接到第一外科器械并且在以可释放的方式附接到第一外科器械时被递送到体腔中，并且可包括外科植入物的第二部分，该外科植入物的第二部分被构造成能够以可释放的方式附接到第二外科器械并且在以可释放的方式附接到第二外科器械时被递送到体腔中。在一些示例中，控制器可被配置为能够在将外科植入物的第一部分和第二部分输送到体腔中之前引起第一外科器械和第二外科器械中的至少一者的移动。在其他示例中，在将植入物的第一部分和第二部分递送到体腔中之后，控制器可被配置为能够进行以下操作中的至少一者：在体腔内移动第一外科器械以便相对于外科植入物的第二部分移动定位外科植入物的第一部分，以及在体腔内移动第二外科器械以便相对于外科植入物的第一部分移动定位外科植入物的第二部分。在一些示例中，外科植入物的第一部分可包括第一电磁跟踪器，第一电磁跟踪器被配置为能够向控制器提供关于植入物的第一部分的数据，并且外科植入物的第二部分可包括第二电磁跟踪器，第二电磁跟踪器被配置为能够向控制器提供关于植入物的第二部分的数据。在一些示例中，第一外科器械和第二外科器械的移动中的至少一者可基于所接收的关于植入物的第一部分和第二部分的数据。在一些示例中，体腔可包括空肠，并且外科植入物可包括吻合装置。

在另一方面，提供了一种系统，该系统包括至少一个数据处理器和存储指令的存储器，这些指令被配置为能够致使至少一个数据处理器执行操作。这些操作包括从第一柔性内窥镜系统的第一图像传感器实时接收表征患者体腔的第一部分的第一图像数据。这些操作还包括从第二柔性内窥镜系统的第二图像传感器实时接收表征体腔的第二部分的第二图像数据，并且体腔的第二部分不同于体腔的第一部分。这些操作还包括基于第一图像数据来确定第一外科器械的第一位置，以及基于第二图像数据来确定第二外科器械相对于第一外科器械的第二位置。这些操作还包括控制第一外科器械和第二外科器械的推进速率和推进力，并且推进速率和推进力受到检测到的第一外科器械和第二外科器械中的每一者的远侧端部相对于彼此的接近度和取向的限制。

该系统可具有多种不同的变型。例如，第一外科治疗部位可以与第一近侧解剖标志相邻，第二外科治疗部位可以与第二远侧解剖标志相邻，并且第一外科治疗部位和第二外科治疗部位可在体腔内彼此间隔开。在又一个示例中，第一近侧解剖标志可以是十二指肠空肠曲，并且第二远侧解剖标志可以是回盲瓣。

在一些实施方案中，第一外科器械可被构造成能够通过患者的第一自然开口插入到体腔中，并且第二外科器械可被构造成能够通过患者的不同的第二自然开口插入到体腔中。在一个示例中，至少一个数据处理器的操作还包括部署外科植入物的第一部分以及部署外科植入物的第二部分，外科植入物的第一部分被构造成能够以可释放的方式附接到第一外科器械并且在以可释放的方式附接到第一外科器械时被递送到体腔中，并且外科植入物的第二部分被构造成能够以可释放的方式附接到第二外科器械并且在以可释放的方式附接到第二外科器械时被递送到体腔中。在另一个示例中，体腔包括空肠，并且外科植入物包括吻合装置。

在另一方面，提供了一种方法，该方法包括从第一内窥镜系统的第一图像传感器实时接收表征患者体腔的第一部分的第一图像数据。该方法还包括从第二内窥镜系统的第二图像传感器实时接收表征体腔的第二部分的第二图像数据。该方法还包括基于第一图像数据来确定设置在患者体腔的第一部分内并且被构造成能够在体腔内的第一外科治疗部位上操作的第一外科器械的第一位置，并且第一外科器械位于第二内窥镜系统的视场之外。该方法还包括基于第二图像数据来确定第二外科器械相对于第一外科器械的第二位置。第二外科器械设置在体腔的第二部分内并且被构造成能够在体腔内的第二外科治疗部位上操作，并且第二外科器械也位于第一内窥镜系统的视场之外。另外，该方法包括确定第一外科器械相对于第二外科器械的距离和取向，并且基于所确定的距离和取向使第一外科器械和第二外科器械中的至少一者在体腔中移动。

该方法可具有多种变型。在一个示例中，该方法还包括将第一外科器械通过患者的第一自然孔口推进到体腔中，以及将第二外科器械通过患者的不同的第二自然孔口推进到体腔中。在另一个实施方案中，该方法包括确定分别与第一外科器械和第二外科器械以可释放的方式接合的外科植入物的第一部分和第二部分的取向。在又一个示例中，该方法包括至少基于所确定的位置和距离来控制第一外科器械和第二外科器械中的至少一者在体腔内的移动速度。

在另一方面，提供了一种系统，该系统包括第一外科器械和第二外科器械以及第一柔性内窥镜和第二柔性内窥镜。第一外科器械被构造成能够插入到体腔的第一部分中并且在位于患者体腔内的第一外科治疗部位上操作，并且第二外科器械被构造成能够插入到体腔的第二部分中并且在位于体腔内的第二外科治疗部位上操作。另外，体腔的第二部分不同于体腔的第一部分，并且第二外科治疗部位不同于第一治疗组织部位。此外，第一柔性内窥镜具有第一图像传感器并且被构造成能够定位成使得第二外科器械不在第一图像传感器的视场内，并且第二柔性内窥镜具有第二图像传感器并且被构造成能够定位成使得第一外科器械不在第二图像传感器的视场内。该系统还具有控制器，该控制器被配置为能够接收由第一图像传感器和第二图像传感器中的每一者收集的图像，确定第一外科器械和第二外科器械相对于彼此的第一位置和第二位置，并且在分别在第一治疗组织部位和第二治疗组织部位处的第一外科器械和第二外科器械之间引起同步外科动作。

该系统可具有许多不同的变型。例如，系统还可包括外科植入物的第一部分，该第一部分被构造成能够以可释放的方式附接到第一外科器械并且在以可释放的方式附接到第一外科器械时被递送到体腔中；外科植入物的第二部分，该第二部分被构造成能够以可释放的方式附接到第二外科器械并且在以可释放的方式附接到第二外科器械时递送到体腔中。在一些示例中，控制器还能够同时致动外科植入物的第一部分和第二部分的部署。在另一个示例中，体腔可包括空肠，并且外科植入物可包括吻合装置。在又一个示例中，外科植入物的第一部分可包括第一电磁跟踪器，第一电磁跟踪器被配置为能够向控制器提供关于植入物的第一部分的数据，并且外科植入物的第二部分可包括第二电磁跟踪器，第二电磁跟踪器被配置为能够向控制器提供关于植入物的第二部分的数据。在一些示例中，控制器对第一部分和第二部分的同时部署可以基于所接收的关于植入物的第一部分和第二部分的数据。

在另一个示例中，该系统可包括第三外科器械，第三外科器械被构造成能够被引入到体腔的第三部分中，并且还被构造成能够协助控制器引起第一外科器械和第二外科器械的同步手术动作。在另一个示例中，第一外科器械可被构造成能够通过患者的第一自然孔口引入患者体内，第二外科器械可被构造成能够通过患者的第二不同的自然孔口引入患者体内，并且第三外科器械可被构造成能够通过腹腔镜方法引入患者体内。在又一个示例中，第一外科器械和第二外科器械之间的同步手术动作可包括在第一治疗组织部位和第二治疗组织部位处的同时同步手术动作。

在一些示例中，控制器可被配置为能够当组织阻碍第二外科器械进入第一内窥镜的视场时以及当组织阻碍第一外科器械进入第二内窥镜的视场时，引起第一外科器械和第二外科器械之间的同步动作。

在另一方面，提供了一种系统，该系统包括至少一个数据处理器和存储指令的存储器，这些指令被配置为能够致使至少一个数据处理器执行操作。这些操作包括从第一内窥镜的第一图像传感器实时接收表征患者体腔的第一部分的第一图像数据。这些操作还包括从第二内窥镜的第二图像传感器实时接收表征体腔的第二部分的第二图像数据。这些操作还包括基于第一图像数据来确定第一外科器械的第一位置，第一外科器械被构造成能够在体腔的第一部分中的第一外科治疗部位处的组织上操作。此外，第一外科器械位于第二内窥镜的视场之外。这些操作还包括基于第二图像数据来确定第二外科器械相对于第一外科器械的第一位置的第二位置。第二外科器械被构造成能够在第二外科治疗部位处的组织上操作，并且第二外科器械位于第一内窥镜的视场之外。这些操作还包括在分别在第一治疗组织部位和第二治疗组织部位处的第一外科器械和第二外科器械之间引起同步手术动作。

该系统可具有许多不同的变型。在一个示例中，同步外科动作可包括同时从第一外科器械部署外科植入物的第一部分以及从第二外科器械部署外科植入物的第二部分。在又一个示例中，体腔包括空肠，并且外科植入物包括两件式磁性吻合装置。在其他示例中，该系统包括从第三内窥镜的第三图像传感器实时接收表征患者体腔的第三部分的第三图像数据。在一些示例中，同步外科动作可包括避免第一外科器械和第二外科器械穿透任何组织。

在又一方面，提供了一种方法，该方法包括从第一内窥镜系统的第一图像传感器实时接收表征患者体腔的第一部分的第一图像数据。该方法还包括从第二内窥镜系统的第二图像传感器实时接收表征体腔的第二部分的第二图像数据。该方法还包括由控制器基于第一图像数据来确定操纵组织的第一外科器械在设置在患者体腔的第一部分内的第一外科治疗部位处的第一位置，第一外科器械位于第二内窥镜系统的视场之外。该方法还包括由控制器基于第二图像数据来确定第二外科器械相对于第一外科器械的第二位置。第二外科器械操纵设置在体腔的第二部分内的第二外科治疗部位处的组织，并且第二外科器械位于第一内窥镜系统的视场之外。该方法还包括由控制器在分别在第一治疗组织部位和第二治疗组织部位处的第一外科器械和第二外科器械之间引起同步外科动作。

该方法可具有多种不同的变型。例如，该方法还可包括部署外科植入物的第一部分以及部署外科植入物的第二部分，外科植入物的第一部分被构造成能够以可释放的方式附接到第一外科器械并且在以可释放的方式附接到第一外科器械时被递送到体腔中，并且外科植入物的第二部分被构造成能够以可释放的方式附接到第二外科器械并且在以可释放的方式附接到第二外科器械时被递送到体腔中。在另一个示例中，体腔包括空肠，并且外科植入物包括两件式磁性吻合装置。在又一个示例中，该方法还包括从第三内窥镜的第三图像传感器实时接收表征患者体腔的第三部分的第三图像数据。

在另一方面，提供了一种系统，该系统包括第一外科器械，第一外科器械被构造成能够插入到体腔的第一部分中并且在患者的体腔内部署外科植入物的第一部分。该系统还包括第二外科器械，第二外科器械被构造成能够插入到体腔的第二部分中并且在体腔内部署外科植入物的第二部分，并且体腔的第二部分不同于第一部分。该系统还包括具有第一图像传感器的第一柔性内窥镜，并且第一柔性内窥镜被定位成使得第二外科器械不在第一图像传感器的视场内。该系统还具有带有第二图像传感器的第二柔性内窥镜，并且第二柔性内窥镜被定位成使得第一外科器械不在第二图像传感器的视场内。该系统还包括控制器，该控制器被配置为能够接收由第一图像传感器和第二图像传感器中的每一者收集的图像，以确定第一外科器械和第二外科器械相对于彼此的第一位置和第二位置、以确定第一体腔的第一部分和第二部分内的组织壁的特性、以及基于组织壁的特性来确定外科植入物的第一部分和第二部分的放置位置。

该系统可具有多种变型。例如，外科植入物的第一部分可包括第一电磁跟踪器，第一电磁跟踪器被配置为能够向控制器提供关于植入物的第一部分的数据，并且外科植入物的第二部分可包括第二电磁跟踪器，第二电磁跟踪器被配置为能够向控制器提供关于植入物的第二部分的数据。在一些示例中，外科植入物的第一部分和第二部分的所确定的放置位置可以至少基于所接收的关于植入物的第一部分和第二部分的数据。在另一个示例中，组织壁的特性可包括厚度、硬度、或组织组成中的至少一者。在另一个示例中，控制器可被配置为能够基于第一器械和第二器械的至少第一位置和第二位置来确定组织壁的厚度。在又一个示例中，控制器可被配置为能够基于组织阻抗和非可见光谱成像中的至少一者来确定组织壁的性质。

在一些实施方案中，控制器可被配置为能够当组织阻碍第二外科器械进入第一内窥镜的视场时以及当组织阻碍第一外科器械进入第二内窥镜的视场时，确定第一外科器械和第二外科器械的位置。在一些示例中，第一外科器械可被构造成能够通过患者的第一自然开口插入到体腔中，并且第二外科器械可被构造成能够通过患者的不同的第二自然开口插入到体腔中。在其他示例中，控制器被配置为能够旋转和铰接第一外科器械，以相对于外科植入物的第二部分定位外科植入物的第一部分。在其他示例中，体腔可包括空肠，并且外科植入物可包括两件式磁性吻合装置。

在另一方面，提供了一种系统，该系统具有至少一个数据处理器和存储指令的存储器，这些指令被配置为能够致使至少一个数据处理器执行操作。这些操作包括从第一内窥镜的第一图像传感器实时接收表征患者体腔的第一部分的第一图像数据。这些操作还包括从第二内窥镜的第二图像传感器实时接收表征第一体腔的第二部分的第二图像数据。此外，这些操作包括基于第一图像数据来确定第一外科器械的第一位置，第一外科器械被构造成能够在体腔的第一部分中部署外科植入物的第一部分。这些操作还包括基于第二图像数据来确定相对于第一外科器械的第一位置的第二外科器械的第二位置，并且第二外科器械被构造成能够在体腔的第二部分中部署外科植入物的第二部分。这些操作还包括确定第一体腔的第一部分和第二部分内的组织壁的性质，并且包括基于组织壁的特性来确定外科植入物的第一部分和第二部分的放置位置。

该系统可具有多种不同的变型。例如，至少一个数据处理器的操作可包括接收从外科植入物的第一部分中的第一电磁跟踪器到控制器的关于植入物的第一部分的数据，以及接收从外科植入物的第二部分中的第二电磁跟踪器到控制器的关于植入物的第二部分的数据。在一些示例中，这些操作还可以包括至少基于从第一电磁跟踪器和第二电磁跟踪器接收的数据来确定外科植入物的第一部分和第二部分的放置位置。在另一个示例中，组织壁的特性可包括厚度、硬度、或组织组成中的至少一者。在另一个示例中，该系统可包括基于第一器械和第二器械的第一位置和第二位置、组织阻抗，以及非可视光谱成像中的至少一者来确定组织壁的特性。在又一个示例中，该系统可包括当组织阻碍第二外科器械进入第一内窥镜的视场时以及当组织阻碍第一外科器械进入第二内窥镜的视场时，确定第一外科器械的第一位置并且确定第二外科器械的第二位置。在另一个示例中，体腔可包括空肠，并且外科植入物可包括吻合装置。

在又一方面，提供了一种方法，该方法包括从第一内窥镜系统的第一图像传感器实时接收表征患者体腔的第一部分的第一图像数据。该方法还包括从第二内窥镜系统的第二图像传感器实时接收表征第一中空器官的第二部分的第二图像数据。该方法还包括由控制器基于第一图像数据来确定第一外科器械在第一身体部分内的第一位置，并且使外科植入物的第一部分以可释放的方式接合在其上。第一外科器械位于第二内窥镜系统的视场之外。此外，体腔的第二部分不同于第一部分，并且体腔的第二外科治疗部位不同于第一外科治疗部位。该方法还包括由控制器基于第二图像数据来确定第二外科器械在体腔的第二部分内相对于第一外科器械的第二位置。另外，第二外科器械具有以可释放的方式接合在其上的外科植入物的第二部分，并且第二外科器械位于第一内窥镜系统的视场之外。该方法还包括由控制器确定第一体腔的第一部分和第二部分内的组织壁的特性，并且包括由控制器基于组织壁的特性来确定外科植入物的第一部分和第二部分的放置位置。

该方法还可以具有多种不同的变型。例如，组织壁的特性可包括厚度、硬度、或组织组成中的至少一者。在另一个示例中，该方法可包括基于第一器械和第二器械的第一位置和第二位置、组织阻抗、以及非可视光谱成像中的至少一者来确定组织壁的特性。在又一个示例中，该方法还可以包括当组织阻碍第二外科器械进入第一内窥镜的视场时以及当组织阻碍第一外科器械进入第二内窥镜的视场时，确定第一外科器械的第一位置并且确定第二外科器械的第二位置。在又一个示例中，体腔可包括空肠，并且外科植入物可包括吻合装置。

附图说明

参考如下附图描述本发明：

图1是外科可视化系统的一个实施方案的示意图；

图2是图1的外科装置、成像装置和关键结构之间的三角形测量的示意图；

图3是外科可视化系统的另一个实施方案的示意图；

图4是用于外科可视化系统的控制系统的一个实施方案的示意图；

图5是外科可视化系统的控制系统的控制电路的一个实施方案的示意图；

图6是外科可视化系统的组合逻辑电路的一个实施方案的示意图；

图7是外科可视化系统的顺序逻辑电路的一个实施方案的示意图；

图8是外科可视化系统的又一实施方案的示意图；

图9是用于外科可视化系统的控制系统的另一个实施方案的示意图；

图10是显示各种生物材料的波长与吸收系数的图；

图11是使外科部位可视化的光谱发射器的一个实施方案的示意图；

图12是描绘用于区分输尿管与遮蔽物的例示性高光谱识别特征的图；

图13是描绘用于区分动脉与遮蔽物的例示性高光谱识别特征的图；

图14是描绘用于区分神经与遮蔽物的例示性高光谱识别特征的图；

图15是术中使用的近红外(NIR)飞行时间测量系统的一个实施方案的示意图；

图16示出了图15的系统的飞行时间时序图；

图17是术中使用的近红外(NIR)飞行时间测量系统的另一个实施方案的示意图；

图18是计算机实现的交互式外科系统的一个实施方案的示意图；

图19是用于在手术室中执行外科手术的外科系统的一个实施方案的示意图；

图20是包括智能外科器械和外科集线器的外科系统的一个实施方案的示意图；

图21是示出控制图20的智能外科器械的方法的流程图；

图21A是示出结肠的主要切除部分的结肠的示意图；

图21B是十二指肠粘膜表面再造手术的一个实施方案的透视局部透视剖视图；

图22是可提供外科器械的协作控制的示例性外科系统的示意图；

图23是系统的示例性实施方案的例示性视图，该系统用于通过使用/跟踪放置在外科区域中的多个内窥镜上放置的传感器来将多个视点扩大到公共视场中，从而提供公共视场；

图24是显示图23的外科器械在患者肠内操作的速度与距离的关系的图；

图25是患者肠的例示性视图，识别了图23的外科器械行进的各种距离以及在可能的外科部位处的示例性集合点；

图26是用于通过将多个视点增强到公共视场中并且通过将各种示例性导航和取向指示符覆盖到公共视场中来提供公共视场的另一示例性实施方案的例示性视图；

图27是患者肠内定向不正确的示例性外科部位的例示性视图；

图28是由图23的外科器械旋转的图27的示例性外科部位的例示性视图；

图29是图27的示例性外科部位在取向已被校正之后的例示性视图；并且

图30是利用腹腔镜方法的图23的外科器械的例示性视图。

具体实施方式

现在将描述某些示例性实施方案以从整体上理解本文所公开的装置、系统和方法的结构、功能、制造和使用的原理。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员将会理解，在本文中具体描述的和在附图中示出的装置、系统和方法是非限制性的示例性实施方案，并且本发明的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征部可与其他实施方案的特征部进行组合。此类修改和变型旨在包括在本发明的范围之内。

此外，在本公开中，各实施方案中名称相似的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每个名称相似的部件的每个特征部。另外，在所公开的系统、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类系统、装置和方法使用的形状的类型。本领域中技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。本领域的技术人员将会理解，尺寸可能不是精确的值，但是由于诸如制造公差和测量设备的灵敏度之类的任何数量的因素而被认为是大约处于该值。系统和装置及其部件的尺寸和形状可以至少取决于将与系统和装置一起使用的部件的尺寸和形状。

外科可视化

一般来讲，外科可视化系统被配置为能够利用“数字外科手术”来获得有关患者解剖结构和/或外科手术的附加信息。外科可视化系统被进一步配置为以有用的方式将数据传送给一个或多个医疗从业者。本公开的各个方面提供了患者解剖结构和/或外科手术的改进的可视化，和/或使用可视化来提供对外科工具(在本文中也称为“外科装置”或“外科器械”)的改进的控制。

“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化系统可与机器人外科系统结合使用，但外科可视化系统不限于与机器人外科系统一起使用。在某些情况下，使用外科可视化系统的外科可视化可以在没有机器人技术的情况下和/或在有限的和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。

在某些情况下，结合有外科可视化系统的外科系统可实现智能解剖以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带、板和其他外来结构。关键结构可基于不同患者和/或不同手术来确定。智能解剖技术可以提供例如改进的解剖术中指导和/或可以通过关键解剖检测和避免技术实现更明智的决策。

结合有外科可视化系统的外科系统可实现智能吻合技术，该智能吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。可以利用外科可视化平台来改进癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可以补偿外科手术期间外科器械、患者和/或患者解剖结构的移动，以便为外科从业者提供回到感兴趣点的指导。

外科可视化系统可以提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。关于淋巴结诊断和标测，外科可视化平台可以例如在术前定位、标测和理想地诊断涉及癌性诊断和分期的淋巴系统和/或淋巴结。

在外科手术期间，医疗从业者通过“肉眼”和/或成像系统可获得的信息可能提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，医疗从业者可能无法在术中准确地确定关键结构的位置。

当关键结构的方位不确定时和/或当关键结构与外科工具之间的接近度未知时，医疗从业者的决策过程可能受到阻碍。例如，医疗从业者可避开某些区域，以避免意外解剖关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，医疗从业者可能无法进入某些期望的区域。例如，过度谨慎可能导致医疗从业者留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的医疗从业者的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。

外科可视化系统可以允许术中识别和避免关键结构。因此，外科可视化系统可以实现增强的术中决策制定和改善的外科结果。外科可视化系统可以提供高级可视化能力，超出医疗从业者用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给医疗从业者的内容。外科可视化系统可以增强和加强医疗从业者在组织治疗(例如，解剖等)之前能够知道的信息，并且因此可在各种情况下改善结果。因此，医疗从业者知道外科可视化系统正在跟踪例如可在解剖期间接近的关键结构，可在整个外科手术期间确信地保持动力。外科可视化系统可在足够长的时间内向医疗从业者提供指示，以使医疗从业者暂停和/或减慢外科手术并且评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向医疗从业者提供理想的、优化的和/或可定制的信息量，以允许医疗从业者确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结构造成意外损坏，并且因此最小化由外科手术引起的伤害风险。

下面详细描述了外科可视化系统。一般来讲，外科可视化系统可包括被配置为能够发射多个光谱波的第一光发射器、被配置为能够发射光图案的第二光发射器，以及被配置为能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的接收器或传感器。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可以确定外科部位处的可见表面的几何表面标测图(例如，三维表面形貌)以及相对于外科部位的距离，诸如到至少部分隐藏的结构的距离。成像系统可以将几何表面标测图和距离传送给医疗从业者。在此类情况下，提供给医疗从业者的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。

在整个公开内容中，除非特别提到可见光，否则任何提到的“光”可包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(例如，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。不可见光谱(例如，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。

图1示出了外科可视化系统100的一个实施方案。外科可视化系统100被配置为能够创建解剖场内的关键结构101的视觉表示。关键结构101可包括单个关键结构或多个关键结构。如本文所讨论的，关键结构101可以是多种结构中的任一种结构，诸如解剖结构(例如，输尿管)、动脉(例如，肠系膜上动脉)、静脉(例如，门静脉)、神经(诸如，膈神经)、血管、肿瘤或其他解剖结构、或外来结构，例如，外科装置、外科紧固件、外科夹具、外科大头钉、探条、外科带、外科板或其他外来结构。如本文所讨论的，可基于不同患者和/或不同手术来识别关键结构101。关键结构和使用可视化系统识别关键结构的实施方案在2020年10月6日发布的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034中进一步描述，该专利的全文据此以引用方式并入本文。

在一些情况下，关键结构101可以嵌入组织103中。组织103可以是多种组织中的任何一种组织，例如脂肪、结缔组织、粘连和/或器官。换句话讲，关键结构101可定位在组织103的表面105下方。在这种情况下，组织103从医疗从业者的“肉眼”视图中隐藏了关键结构101。组织103还使关键结构101从外科可视化系统100的成像装置120的视野中模糊。关键结构101可以从医疗从业者和/或成像装置120的视角部分地被遮蔽，而不是被完全遮蔽。

外科可视化系统100可用于临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向医疗从业者提供实时信息，诸如关于接近度数据、尺寸和/或距离的实时信息。本领域的技术人员将理解，信息可能不是精确实时的，但由于多种原因中的任何一种原因而被认为是实时的，诸如由数据传输引起的时间延迟、由数据处理引起的时间延迟和/或测量设备的灵敏度。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，医疗从业者可避免在外科手术期间在关键结构101和/或关键结构101的预定义接近度中的区域操纵外科装置。又如，通过识别关键结构101，医疗从业者可避免解剖关键结构101和/或避免靠近该关键结构，从而有助于防止对关键结构101的损坏和/或有助于防止医疗从业者使用的外科装置被关键结构101损坏。

外科可视化系统100被配置为能够将组织识别和几何表面标测与外科可视化系统的距离传感器系统104相结合。结合起来，外科可视化系统100的这些特征可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织103的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括被配置为能够提供外科部位的实时视图的成像装置120。成像装置120可包括例如光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置为能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可以诸如在显示器(例如，监视器、计算机平板屏幕等)上实时地提供给医疗从业者。可以利用基于组织识别、景观测绘和距离传感器系统104的附加信息来增强所显示的视图。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可以协作，在术中向医疗从业者提供先进的数据合成和集成信息。

成像装置120可被配置为能够检测可见光、光谱光波(可见或不可见)，以及结构光图案(可见或不可见)。成像装置120的示例包括内窥镜、关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞镜、十二指肠镜、肠镜、食管胃十二指肠镜(胃镜)、喉镜、鼻咽肾镜、乙状结肠镜、胸腔镜、输尿管镜或外窥镜。内窥镜在微创外科手术中特别有用。在开放式外科手术应用中，成像装置120可以不包括观察镜。

组织识别子系统可以利用光谱成像系统来实现。光谱成像系统可以依赖于成像，诸如高光谱成像、多光谱成像或选择性光谱成像。组织的高光谱成像的实施方案在2016年3月1日发布的名称为“System And Method For Gross Anatomic Pathology UsingHyperspectral Imaging”的美国专利号9,274,047中进一步描述，该专利全文据此以引用方式并入本文。

表面标测子系统可以利用光图案系统来实现。使用用于表面标测的光图案(或结构光)的各种表面标测技术可用于本文所述的外科可视化系统中。结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。表面标测和包括光源和用于投射光图案的投射仪的外科系统的实施方案在以下专利中进一步描述：2017年3月2日公开的名称为“Set Comprising A SurgicalInstrument”的美国专利公布号2017/0055819；2017年9月7日公开的名称为“DepictionSystem”的美国专利公布号2017/0251900；以及2019年12月30日提交的名称为“SurgicalSystems For Generate Three Dimensional Constructs Of Anatomical Organs AndCoupling Identified Anatomical Structures There”的美国专利申请号16/729,751，这些专利的全文据此以引用方式并入本文。

距离确定系统可以并入到表面标测系统中。例如，可利用结构化光来生成可见表面105的三维(3D)虚拟模型并且确定相对于可见表面105的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。

外科可视化系统100还包括外科装置102。外科装置102可以是任何合适的外科装置。外科装置102的示例包括外科解剖器、外科缝合器、外科抓紧器、施夹器、排烟器、外科能量装置(例如，单极探头、双极探头、消融探头、超声装置、超声端部执行器等)等。在一些实施方案中，外科装置102包括具有相对的钳口的端部执行器，该相对的钳口从外科装置102的轴的远侧端部延伸并且被构造成能够接合其间的组织。

外科可视化系统100可被配置为能够识别关键结构101以及外科装置102与关键结构101的接近度。外科可视化系统100的成像装置120被配置为能够检测各种波长的光，诸如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文所述。成像装置120可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维(3D)图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置为能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织103的表面105上的光(结构化光)的图案重叠，如图1所示。

如在该例示的实施方案中，外科可视化系统100可以并入机器人外科系统110中。机器人外科系统110可具有多种配置，如本文所讨论的。在该例示的实施方案中，机器人外科系统110包括第一机器人臂112和第二机器人臂114。机器人臂112、114各自包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置为能够操纵外科装置102，并且第二机器人臂114被配置为能够操纵成像装置120。机器人外科系统110的机器人控制单元被配置为能够向第一机器人臂112和第二机器人臂114发出控制运动，这可以分别影响外科装置102和成像装置120。

在一些实施方案中，机器人臂112、114中的一者或多者可以与外科手术中使用的主机器人系统110分开。例如，机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并且与特定坐标系配准。例如，用于机器人臂112、114的闭环控制系统和/或多个传感器可以控制和/或配准机器人臂112、114相对于特定坐标系的方位。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。

机器人外科系统的示例包括Ottava^TM机器人辅助外科系统(新泽西州新不伦瑞克市(New Brunswick,NJ)的强生公司(Johnson&Johnson))、da外科系统(加利福尼亚州森尼韦尔市(Sunnyvale,CA)的直觉外科公司(Intuitive Surgical,Inc.))、Hugo^TM机器人辅助外科系统(明尼苏达州明尼阿波利斯市(Minneapolis,MN)的美敦力公司(MedtronicPLC))、/>外科机器人系统(英国剑桥市(Cambridge,UK)的CMR外科有限公司(CMRSurgical Ltd))和/>平台(加利福尼亚州雷德伍德城(Redwood City,CA)的Auris Health,Inc.公司(Auris Health,Inc.))。各种机器人外科系统和使用机器人外科系统的实施方案在以下专利中进一步描述：2016年12月28日提交的名称为“FlexibleInstrument Insertion Using An Adaptive Force Threshold”的美国专利公布号2018/0177556；2019年4月16日提交的名称为“Systems And Techniques For ProvidingMultiple Perspectives During Medical Procedures”的美国专利公布号2020/0000530；2020年2月7日提交的名称为“Image-Based Branch Detection And Mapping ForNavigation”的美国专利公布号2020/0170720；2019年12月9日提交的名称为“SurgicalRobotics System”的美国专利公布号2020/0188043；2019年9月3日提交的名称为“SystemsAnd Methods For Concomitant Medical Procedures”的美国专利公布号2020/0085516；2013年7月15日提交的名称为“Patient-Side Surgeon Interface For A TeleoperatedSurgical Instrument”的美国专利号8,831,782；以及2014年3月13日提交的名称为“Hyperdexterous Surgical System”的国际专利公布号WO 2014151621，这些专利的全文据此以引用方式并入本文。

外科可视化系统100还包括发射器106。发射器106被配置为能够发射光图案，诸如条纹、网格线和/或点，以使得能够确定表面105的地形或景观。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，外科可视化系统100使用投影光阵列130来确定手术中由组织103的表面105和/或表面105的运动限定的形状。成像装置120被配置为能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。

如在该例示的实施方案中，成像装置120可包括光学波形发射器123，诸如通过安装在成像装置120上或以其他方式附接在该成像装置上。光学波形发射器123被配置为能够发射电磁辐射124(近红外(NIR)光子)，该电磁辐射可以穿透组织103的表面105并且到达关键结构101。成像装置120和光学波形发射器123可以由机器人臂114定位。光学波形发射器123安装在成像装置122上或以其他方式安装在该成像装置上，但在其他实施方案中可定位在与成像装置120分开的外科装置上。成像装置120的对应的波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置为能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长被配置为能够使得能够识别解剖结构和/或物理结构诸如关键结构101的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。

外科可视化系统100的距离传感器系统104被配置为能够确定外科部位处的一个或多个距离。距离传感器系统104可以是飞行时间距离传感器系统，该飞行时间距离传感器系统包括发射器(诸如本例示的实施方案中的发射器106)并且包括接收器108。在其他情况下，飞行时间发射器可与结构化光发射器分开。发射器106可包括非常小的激光源，并且接收器108可包括匹配传感器。距离传感器系统104被配置为能够检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。

在该示出的实施方案中，距离传感器系统104的接收器108定位在外科装置102上，但在其他实施方案中，接收器108可以安装在单独的外科装置上，而不是安装在外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他实施方案中，用于距离传感器系统104的接收器108可以安装在机器人系统110的独立的机器人控制臂上(例如，安装在第二机器人臂114上)，而不是安装在外科装置102所耦接到的第一机器人臂112上，可以安装在由另一个机器人操作的可移动臂上，或者安装在手术室(OR)台或固定装置上。在一些实施方案中，成像装置120包括接收器108以允许使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离d_e进行三角测量。接收器108的三维方位可以是已知的和/或在术中与机器人坐标平面配准。

如在该例示的实施方案中，距离传感器系统104的发射器106的方位可由第一机器人臂112控制，并且距离传感器系统104的接收器108的方位可由第二机器人臂114控制。在其他实施方案中，外科可视化系统100可以与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。

在图1中，d_e是从发射器106到组织103的表面105的发射器-组织距离，并且d_t是从外科装置102的远侧端部到组织103的表面105的装置-组织距离。距离传感器系统104被配置为能够确定发射器到组织的距离d_e。装置到组织距离d_t可从发射器106在外科装置102上的已知方位获得，例如，相对于外科装置102的远侧端部，在其靠近外科装置远侧端部的轴上。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离d_t可根据发射器-组织距离d_e确定。在一些实施方案中，外科装置102的轴可包括一个或多个关节运动接头，并且可相对于外科装置102的远侧端部处的发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在一些实施方案中，三维相机可用于对到表面105的一个或多个距离进行三角测量。

在图1中，d_w是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且d_A是关键结构101在组织103的表面105下方的深度(例如，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间被配置为能够确定相机-关键结构距离d_w。

如图2所示，关键结构101相对于组织103的表面105的深度d_A可通过以下方法来确定：根据距离d_w以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知位置(以及因此它们之间的已知距离d_x)进行三角测量，以确定距离d_y(其为距离d_e和d_A之和)。另外或另选地，来自光学波形发射器123的飞行时间可被配置为能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离d_w，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。

另外或另选地，距离d_A可由超声、配准磁共振成像(MRI)或计算机断层摄影(CT)扫描来确定。在其他情况下，可以利用光谱成像来确定距离d_A，因为成像装置120接收到的检测信号可以基于材料的类型(例如，组织103的类型)而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。

在图3所示的外科可视化系统160的另一个实施方案中，外科装置162而不是成像装置120包括光学波形发射器123和被配置为能够检测反射波形的波形传感器122。光学波形发射器123被配置为能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离d_t和d_w，如本文所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离d_A可如下确定：

d_A＝d_w-d_t。

外科可视化系统100包括控制系统，该控制系统被配置为能够控制外科可视化系统100的各个方面。图4示出了可用作外科可视化系统100(或本文所述的其他外科可视化系统)的控制系统的控制系统133的一个实施方案。控制系统133包括被配置为能够与存储器134进行信号通信的控制电路132。存储器134被配置为能够存储可由控制电路132执行的指令，诸如用于确定和/或识别关键结构(例如，图1的关键结构101)的指令、确定和/或计算一个或多个距离和/或三维数字表示的指令，以及向医疗从业者传达信息的指令。因此，存储在存储器134内的指令构成计算机程序产品，该计算机程序产品包括当由处理器执行时使得处理器如上所述执行的指令。此类指令还可以存储在任何计算机可读介质上(诸如光盘、SD卡、USB驱动器等，或单独装置的存储器)，它们可以从计算机可读介质复制到存储器134中或者直接执行。复制或直接执行的过程涉及携带计算机程序产品的数据载体信号的创建。如在该例示的实施方案中，存储器134可以存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141，但存储器134可以存储逻辑部件136、138、140、141的任何组合和/或可以将各种逻辑部件组合在一起。控制系统133还包括成像系统142，该成像系统包括相机144(例如，成像系统包括图1的成像装置120)、显示器146(例如，监视器、计算机平板屏幕等)，以及相机144和显示器146的控制器148。相机144包括图像传感器135(例如，波形传感器122)，该图像传感器被配置为能够从发射各种可见和不可见光谱的光的各种光源(例如，可见光、光谱成像器、三维透镜等)接收信号。显示器146被配置为能够向临床医生描绘真实的、虚拟的和/或虚拟增强的图像和/或信息。

在一个示例性实施方案中，图像传感器135是包含多达数百万个被称为像素的离散光电检测器位置的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦接器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器135对约350nm至约1050nm范围内的波长，诸如约400nm至约1000nm范围内的波长敏感。本领域的技术人员将会知道，值可能不为精确的某个值，但是由于各种原因中的任一原因诸如测量设备和制造公差的灵敏度而被认为是约为该值。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。

控制系统133还包括发射器(例如，发射器106)，该发射器包括光谱光源150和结构化光源152，每个光源可操作地耦接到控制电路133。单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如，红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。组织识别逻辑部件140被配置为能够经由由相机144的图像传感器135接收的来自光谱光源150的数据来识别关键结构(例如，图1的关键结构101)。表面标测逻辑部件136被配置为能够基于反射的结构光来确定可见组织(例如，组织103)的表面轮廓。利用飞行时间测量，距离确定逻辑部件141被配置为能够确定到可见组织和/或关键结构的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141中的每一者的输出被配置为能够提供给成像逻辑138，并且由成像逻辑部件138组合、混合和/或覆盖以经由成像系统142的显示器146传送给医疗从业者。

控制电路132可具有多种配置。图5示出了控制电路170的一个实施方案，该控制电路可以用作被配置为能够控制外科可视化系统100的各方面的控制电路132。控制电路170被配置为能够实现本文所述的各种过程。控制电路170包括微控制器，该微控制器包括可操作地耦接到存储器174的处理器172(例如，微处理器或微控制器)。存储器174被配置为能够存储机器可执行指令，机器可执行指令在由处理器172执行时，致使处理器172执行机器指令以实现本文所述的各种过程。处理器172可以是本领域中已知的数种单核处理器或多核处理器中的任一种处理器。存储器174可包括易失性存储介质和非易失性存储介质。处理器172包括指令处理单元176和运算单元178。指令处理单元176被配置为能够从存储器174接收指令。

表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141可具有多种配置。图6示出了组合逻辑电路180的一个实施方案，该组合逻辑电路被配置为能够使用逻辑部件，诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者来控制外科可视化系统100的各方面。组合逻辑电路180包括有限状态机，该有限状态机包括组合逻辑部件182，该组合逻辑部件被配置为能够在输入端184处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据、由组合逻辑部件182处理数据，以及向控制电路(例如，控制电路132)提供输出184。

图7示出了顺序逻辑电路190的一个实施方案，该顺序逻辑电路被配置为能够使用逻辑部件，诸如表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140和距离确定逻辑部件141中的一者或多者来控制外科可视化系统100的各方面。顺序逻辑电路190包括有限状态机，该有限状态机包括组合逻辑部件192、存储器194和时钟196。存储器194被配置为能够存储有限状态机的当前状态。时序逻辑电路190可以是同步的或异步的。组合逻辑部件192被配置为能够在输入端426处接收与外科装置(例如，外科装置102和/或成像装置120)相关联的数据，由组合逻辑部件192处理该数据，并且向控制电路(例如，控制电路132)提供输出499。在一些实施方案中，时序逻辑电路190可包括处理器(例如，图5的处理器172)和有限状态机的组合以实现本文中的各种过程。在一些实施方案中，有限状态机可包括组合逻辑电路(例如，图7的组合逻辑电路192)和时序逻辑电路190的组合。

图8示出了外科可视化系统200的另一个实施方案。外科可视化系统200通常类似于图1的外科可视化系统100来配置和使用，例如包括外科装置202和成像装置220。成像装置220包括光谱光发射器223，该光谱光发射器被配置为能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。成像装置220还可包括三维相机和相关联的电子处理电路。外科可视化系统200被示出为在术中用于识别和有利于避开在器官203的表面205上不可见的某些关键结构，诸如器官203(在该实施方案中为子宫)中的输尿管201a和血管201b。

外科可视化系统200被配置为能够经由结构化光确定从外科装置202上的发射器206到子宫203的表面205的发射器-组织距离d_e。外科可视化系统200被配置为能够基于发射器-组织距离d_e来外推从外科装置202到子宫203的表面205的装置-组织距离d_t。外科可视化系统200还被配置为能够确定从输尿管201a到表面205的组织-输尿管距离d_A以及从成像装置220到输尿管201a的相机-输尿管距离d_w。如本文所述，例如，相对于图1的外科可视化系统100，外科可视化系统200被配置为能够利用例如光谱成像和飞行时间传感器来确定距离d_w。在各种实施方案中，外科可视化系统200可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离d_A(或深度)。

如上所述，外科可视化系统包括控制系统，该控制系统被配置为能够控制外科可视化系统的各个方面。控制系统可具有多种配置。图9示出了用于外科可视化系统(诸如图1的外科可视化系统100、图8的外科可视化系统200或本文描述的其他外科可视化系统)的控制系统600的一个实施方案。控制系统600为转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当那些结构被组织，例如、脂肪、结缔组织、血液组织和/或器官和/或血液遮掩时，以及/或者检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。

控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648，该转换逻辑电路被配置为能够将组织数据转换为外科医生和/或其他医疗从业者可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600被配置为能够将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种实施方案中，控制系统600被配置为能够在接近一个或多个关键结构时向临床医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。

控制系统600采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。

控制系统600被配置为能够检测关键结构，如上所述，该关键结构可包括一个或多个关键结构，并且提供关键结构的图像叠加，并且测量到可见组织表面的距离以及到嵌入/掩埋的关键结构的距离。控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。

控制系统600包括光谱控制电路602。光谱控制电路602可以是现场可编程门阵列(FPGA)或另一种合适的电路配置，诸如关于图6、图7和图8描述的配置。频谱控制电路602包括被配置为能够从视频输入处理器606接收视频输入信号的处理器604。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。视频输入处理器606被配置为能够接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置为能够处理来自视频输入处理器606的视频输入信号并且将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608被配置为能够向图像叠加控制器610提供视频输出信号。

视频输入处理器606经由患者隔离电路614可操作地耦接到患者侧的相机612。相机612包括固态图像传感器634。患者隔离电路614可包括多个变压器，使得患者与系统中的其他电路隔离。相机612被配置为能够通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括另一种图像传感器技术，诸如本文结合图4所讨论的那些。相机612被配置为能够以14位/像素信号输出613个图像。本领域的技术人员将理解，可以采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，在该例示的实施方案中，该彩色RGB融合电路采用硬件寄存器618和被配置为能够处理相机输出信号613的Nios2协处理器620。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。

激光脉冲控制电路622被配置为能够控制激光引擎624。激光引擎624被配置为能够输出包括近红外(NIR)的多个波长(λ1、λ2、λ3...λn)的光。激光引擎624可在多种模式下操作。例如，激光引擎624可以两种模式操作。在第一模式，例如正常操作模式中，激光引擎624被配置为能够输出照明信号。在第二模式，例如识别模式中，激光引擎624被配置为能够输出RGBG和NIR光。在各种实施方案中，激光引擎624可以在偏振模式中操作。

来自激光引擎624的光输出626被配置为能够照明术中外科部位627中的目标解剖结构。激光脉冲控制电路622还被配置为能够控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪被配置为能够以预先确定的波长(λ2)将激光图案631(诸如网格或线和/或点的图案)投射到外科部位627处的外科组织或器官上。相机612被配置为能够接收图案光以及通过相机光学器件632输出的反射光。图像传感器634被配置为能够将所接收的光转换成数字信号。

彩色RGB融合电路616还被配置为能够将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的目标解剖结构上的激光图案631。处理模块638被配置为能够处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还被配置为能够输出表示外科部位处的目标解剖结构的组织或器官的三维渲染形状的第二视频信号642。

第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，积分模块643被配置为能够确定到掩埋关键结构的距离(例如，图1的距离d_A)(例如，经由三角化算法644)，并且到掩埋关键结构的距离可以经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监视器652以及定位在外科部位627处的相机624/激光图案投射仪630。

在各种情况下，可采用诸如来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监视器652。术前数据的登记的实施方案在2018年9月11日提交的名称为“Integration Of Imaging Data”的美国专利公布号2020/0015907中进一步描述，该专利全文据此以引用方式并入本文。

视频监视器652被配置为能够从图像叠加控制器610输出集成/增强视图。医疗从业者可以在一个或多个显示器上的不同视图之间进行选择和/或切换。在第一显示器652a(在该例示的实施方案中为监视器)上，医疗从业者可以(A)在描绘可见组织的三维渲染的视图和(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二显示器652b(在该例示的实施方案中为监视器)上，医疗从业者可以切换到例如一个或多个隐藏的关键结构和/或可见组织的表面的距离测量。

本文描述的各种外科可视化系统可以用于将各种不同类型的组织和/或解剖结构可视化，包括可被光谱的可见部分中的EMR遮挡而无法可视化的组织和/或解剖结构。外科可视化系统可以利用如上所述的光谱成像系统，该光谱成像系统可被配置为能够基于不同类型的组织的组成材料的不同组合来可视化不同类型的组织。特别地，光谱成像系统可被配置为能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可被配置为能够基于组成材料的特定组合来表征被可视化的组织的组织类型。

图10示出了描绘各种生物材料的吸收系数如何在EMR波长谱上变化的图300。在图300中，纵轴302表示生物材料的吸收系数(例如，以cm-1为单位)，并且横轴304表示EMR波长(例如，以μm为单位)。图300中的第一线306表示水在各种EMR波长下的吸收系数，第二线308表示蛋白质在各种EMR波长下的吸收系数，第三线310表示黑色素在各种EMR波长下的吸收系数，第四线312表示脱氧血红蛋白在各种EMR波长下的吸收系数，第五线314表示氧合血红蛋白在各种EMR波长下的吸收系数，并且第六线316表示胶原蛋白在各种EMR波长下的吸收系数。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，外科可视化系统的光谱成像系统可被配置为能够发射多个不同波长的EMR，基于在不同波长处检测到的吸收EMR吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。

图11示出了利用光谱成像技术来可视化不同组织类型和/或解剖结构的实施方案。在图11中，成像系统利用光谱发射器320(例如，图4的光谱光源150)来使外科部位322可视化。由光谱发射器320发射并且从外科部位322处的组织和/或结构反射的EMR由图像传感器(例如，图4的图像传感器135)接收以使组织和/或结构可视化，该组织和/或结构可以是可见的(例如，位于外科部位322的表面处)或模糊的(例如，位于外科部位322处的其他组织和/或结构下面)。在该实施方案中，成像系统(例如，图4的成像系统142)基于光谱特征来对肿瘤324、动脉326和各种异常328(即，与已知或预期的光谱特征不相符的组织)进行可视化，这些光谱特征由不同组织/结构类型中的每一者的组成材料的不同的吸收特性(例如，吸收系数)来表征。可视化的组织和结构可以显示在与成像系统相关联或耦接到成像系统的显示屏上(例如，图4的成像系统142的显示器146)、主显示器上(例如，图19的主显示器819)、非无菌显示器上(例如，图19的非无菌显示器807、809)、外科集线器的显示器上(例如，图19的外科集线器806的显示器)、装置/器械显示器上和/或另一显示器上。

成像系统可被配置为能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，如图11中所示，成像系统可以在与成像系统相关联或耦接到成像系统的显示屏上、在主显示器上、在非无菌显示器上、在外科集线器的显示器上、在装置/器械显示器上和/或在另一显示器上显示与被可视化的肿瘤324相关联的边缘330。边缘330可以指示应该切除以确保肿瘤324完全切除的组织的面积或数量。外科可视化系统的控制系统(例如，图4的控制系统133)可被配置为能够基于由成像系统识别的组织和/或结构来控制或更新边缘330的尺寸。在该例示的实施方案中，成像系统已经识别了视场(FOV)内的多个异常328。因此，控制系统可以将显示的边缘330调整到第一更新边缘332，第一更新边缘具有足够的尺寸来涵盖异常328。此外，成像系统还识别出了与最初显示的边缘330部分重叠的动脉326(如动脉326的突出显示区域334所示)。因此，控制系统可以将所显示的边界调整为具有足够尺寸以包围动脉326的相关部分的第二更新的边界336。

除了以上关于图10和图11所描述的吸收特性之外或代替所述吸收特性，还可以根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图12、图13和图14示出了不同类型的组织或结构在不同EMR波长上的反射率的各种图。图12是例示性输尿管特征相对于遮蔽物的图形表示340。图13是例示性动脉特征相对于遮蔽物的图形表示342。图14是示例性神经特征相对于遮蔽物的图形表示344。图12、图13和图14中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺部组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。

可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(例如，“选择性光谱”成像)。通过利用选择性光谱成像，可最小化获得光谱图像所需的时间量，使得可实时地获得信息，并且在手术中加以利用。波长可以由医疗从业者或由控制电路基于用户(例如，医疗从业者)的输入来选择。在某些情况下，波长可基于控制电路可经由例如云或外科集线器访问的机器学习和/或大数据来选择。

图15示出了对组织进行光谱成像的一个实施方案，该组织在术中被用来测量波形发射器和被组织遮挡的关键结构之间的距离。图15示出了利用波形424、425的飞行时间传感器系统404的实施方案。飞行时间传感器系统404可以并入外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统404包括相同的外科装置402上的波形发射器406和波形接收器408(例如，图1的相同的外科装置102上的发射器106和接收器108)。发射波400从发射器406延伸到关键结构401(例如，图1的关键结构101)，并且接收波425被接收器408从关键结构401反射回去。在该例示的实施方案中，外科装置402通过延伸到患者体内的腔体407中的套管针410来定位。尽管在该例示的实施方案中使用了套管针410，但可以使用其他套管针或其他进入装置，或者可以不使用进入装置。

波形424、425被配置为能够穿透遮蔽组织403，诸如通过具有NIR或SWIR光谱波长中的波长。光谱信号(例如，高光谱、多光谱或选择性光谱)或光声信号从发射器406发射，如指向远侧的第一箭头407所示，并且可以穿透其中隐藏关键结构401的组织403。所发射的波形424被关键结构401反射，如指向近侧的第二箭头409所示。所接收的波形425可由于外科装置402的远侧端部与关键结构401之间的距离d而被延迟。可基于关键结构401的光谱特征来选择波形424、425以靶向组织403内的关键结构401，如本文所述。发射器406被配置为能够提供二进制信号开和关，如图16所示，例如该二进制信号可由接收器408测量。

基于发射波424和接收波425之间的延迟，飞行时间传感器系统404被配置为能够确定距离d。图16示出了图15的发射器406和接收器408的飞行时间时序图430。延迟是距离d的函数，并且距离d由下式给出：

其中c＝光的速度；t＝脉冲的长度；q1＝发射光时累积的电荷；q2＝不发射光时累积的电荷。

波形424、425的飞行时间对应于图15中的距离d。在各种情况下，附加的发射器/接收器和/或来自发射器406的脉冲信号可被配置为能够发射非穿透信号。非穿透信号可被配置为能够确定从发射器406到遮蔽组织403的表面405的距离。在各种情况下，关键结构401的深度可由下式确定：

d_A＝d_w-d_t，

其中d_A＝关键结构401的深度；d_w＝从发射器406到关键结构401的距离(图15中的d)；以及d_t＝从发射器406(在外科装置402的远侧端部上)到遮蔽组织403的表面405的距离。

图17示出了利用波524a、524b、524c、525a、525b、525c的飞行时间传感器系统504的另一个实施方案。飞行时间传感器系统504可以并入外科可视化系统中，例如作为图1的外科可视化系统100的传感器系统104。飞行时间传感器系统504包括波形发射器506和波形接收器508(例如，图1的发射器106和接收器108)。波形发射器506定位在第一外科装置502a(例如，图1的外科装置102)上，并且波形接收器508定位在第二外科装置502b上。外科装置502a、502b分别穿过第一套管针510a和第二套管针510b定位，并且第一套管针和第二套管针延伸到患者体内的腔体507中。尽管在该例示的实施方案中使用了套管针510a、510b，但可以使用其他套管针或其他进入装置，或者可以不使用进入装置。发射波524a、524b、524c从发射器506朝向外科部位延伸，并且接收波525a、525b、525c从外科部位处的各种结构和/或表面反射回接收器508。

不同的发射波524a、524b、524c被配置为能够靶向外科部位处的不同类型的材料。例如，波524a以遮蔽组织503为目标，波524b以第一关键结构501a(例如，图1的关键结构101)为目标，在该例示的实施方案中第一关键结构为血管，并且波524c以第二关键结构501b(例如，图1的关键结构101)为目标，第二关键结构在该例示的实施方案中为癌性肿瘤。波524a、524b、524c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织503的表面505反射，并且NIR和/或SWIR波形可穿透组织503的表面505。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器506发射。可基于关键结构501a、501b的光谱特征来选择波524b、524c以靶向组织503内的关键结构501a、501b，如本文所述。光声学成像在各种美国专利申请中被进一步描述，这些专利申请以引用方式并入本公开中。

所发射的波524a、524b、524c分别从目标材料(即，表面505、第一关键结构501a和第二结构501b)反射。所接收的波形525a、525b、525c可由于距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c而被延迟。

在其中发射器506和接收器508可独立定位(例如，定位在单独的外科装置502a、502b上和/或由单独的机器人臂控制)的飞行时间传感器系统504中，可根据发射器506和接收器508的已知方位计算各种距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。例如，当外科装置502a、502b由机器人控制时，这些方位可以是已知的。关于发射器506和接收器508的方位以及光子流靶向某一组织的时间的知识以及由接收器508接收的该特定响应的信息可允许确定距离d_1a、d_2a、d_3a、d_1b、d_2b、d_2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构501a、501b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统504可确定各种距离。

在提供给医疗从业者的视图中，例如在显示器上，接收器508可以旋转，使得所得图像中的目标结构的质心保持恒定，例如在垂直于选择的目标结构503、501a或501b的轴的平面中。此类取向可快速传送关于目标结构的一个或多个相关距离和/或视角。例如，如图17所示，从关键结构501a垂直于视平面(例如，血管在页面内/页面外取向)的视角显示外科部位。这样的取向可以是默认设置；然而，医疗从业者可以旋转或以其他方式调整视图。在某些情况下，医疗从业者可以在限定由成像系统提供的外科部位的视点的不同表面和/或目标结构之间切换。

如在该例示的实施方案中，接收器508可安装在套管针510b(或其他进入装置)上，外科装置502b通过该套管针定位。在其他实施方案中，接收器508可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器508可以安装在与控制外科装置502a的机器人外科系统分开的可移动臂上或者可以安装到手术室(OR)手术台或固定装置上，在术中可将其注册到机器人坐标平面。在此类情况下，发射器506和接收器508的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统504的输出对距离进行三角测量。

飞行时间传感器系统和近红外光谱(NIRS)相结合，称为TOF-NIRS，能够以纳秒分辨率测量近红外光的时间分辨剖面，可见于“Time-Of-Flight Near-InfraredSpectroscopy For Nondestructive Measurement Of Internal Quality InGrapefruit”，《美国园艺学会杂志》(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3 225-228期，其全部内容据此以引用方式并入本文。

可视化系统及其方面和用途的实施方案在以下专利中进一步描述：2018年9月11日提交的名称为“Surgical Visualization Platform”的美国专利公布号2020/0015923；2018年9月11日提交的名称为“Controlling An Emitter Assembly Pulse Sequence”的美国专利公布号2020/0015900；2018年9月11日提交的名称为“Singular EMR SourceEmitter Assembly”的美国专利公布号2020/0015668；2018年9月11日提交的名称为“Combination Emitter And Camera Assembly”的美国专利公布号2020/0015925；2018年9月11日提交的名称为“Surgical Visualization With Proximity Tracking Features”的美国专利公布号2020/00015899；2018年9月11日提交的名称为“Surgical VisualizationOf Multiple Targets”的美国专利公布号2020/00015903；2018年9月11日提交的名称为“Visualization Of Surgical Devices”的美国专利号10,792,034；2018年9月11日提交的名称为“Operative Communication Of Light”的美国专利公布号2020/0015897；2018年9月11日提交的名称为“Robotic Light Projection Tools”的美国专利公布号2020/0015924；2018年9月11日提交的名称为“Surgical Visualization Feedback System”的美国专利公布号2020/0015898；2018年9月11日提交的名称为“Surgical Visualization AndMonitoring”的美国专利公布号2020/0015906；2018年9月11日提交的名称为“IntegrationOf Imaging Data”的美国专利公布号2020/0015907；2018年9月11日提交的名称为“Robotically-Assisted Surgical Suturing Systems”的美国专利号10,925,598；2018年9月11日提交的名称为“Safety Logic For Surgical Suturing Systems”的美国专利公布号2020/0015901；2018年9月11日提交的名称为“Robotic Systems With SeparatePhotoacoustic Receivers”的美国专利公布号2020/0015914；2018年9月11日提交的名称为“Force Sensor Through Structured Light Deflection”的美国专利公布号2020/0015902；2018年12月4日提交的名称为“Method Of Hub Communication”的美国专利公布号2019/0201136；2019年12月30日提交的名称为“Analyzing Surgical Trends By ASurgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“DynamicSurgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Generate Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThere”的美国专利申请号16/729,751；2019年12月30日提交的名称为“Surgical SystemsCorrelating Visualization Data And Powered Surgical Instrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive Surgical SystemControl According To Surgical Smoke Cloud Characteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System Control AccordingTo Surgical Smoke Particulate Characteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A Surgical System”的美国专利申请号16/729,803；2019年12月30日提交的名称为“Method Of Using Imaging DevicesIn Surgery”的美国专利申请号16/729,807；2021年9月29日提交的名称为“SurgicalDevices,Systems,And Methods Using Multi-Source Imaging”的美国专利申请号63/249,644；2021年9月29日提交的名称为“Surgical Devices,Systems,Methods UsingFiducial Identification And Tracking”的美国专利申请号63/249,652；2021年9月29日提交的名称为“Surgical Devices,Systems,And Methods For Control Of OneVisualization With Another”的美国专利申请号63/249,658；2021年9月29日提交的名称为“Methods And Systems For Controlling Cooperative Surgical Instruments”的美国专利申请号63/249,877；以及2021年9月29日提交的名称为“Cooperative Access”的美国专利申请号63/249,980，这些专利的全文据此以引用方式并入本文。

外科集线器

本文所述的各种可视化或成像系统可并入包括外科集线器的系统中。一般来讲，外科集线器可以是能够跨越多个医疗设施的综合数字医疗系统的部件，并且被配置为能够向大量患者提供综合全面的改善的医疗护理。该综合数字医疗系统包括基于云的医疗分析系统，其被配置为能够互连到跨许多不同医疗设施定位的多个外科集线器。外科集线器被配置为能够与一个或多个元件互连，诸如用于对患者实施医疗规程的一个或多个外科器械和/或在执行医疗规程期间使用的一个或多个可视化系统。外科集线器提供了各种各样的功能以改善医疗规程的结果。由各种外科装置、可视化系统和外科集线器生成的关于患者和医疗规程的数据可被传输到基于云的医疗分析系统。然后，可将该数据与从位于其他医疗设施处的许多其他外科集线器、可视化系统和外科器械收集的类似数据进行汇总。可通过基于云的分析系统分析所收集的数据发现各种模式和相关性。因此，可生成用于生成数据的技术的改进，并且这些改进然后可被传播到各种外科集线器、可视化系统和外科器械。由于所有前述部件的互连，可发现医疗规程和实践中的改进，否则如果许多部件没有如此互连，则可能不会发现该改进。

被配置为能够接收、分析和输出数据的外科集线器的示例以及使用此类外科集线器的方法在以下专利中进一步描述：2018年12月4日提交的名称为“Method Of HubCommunication、Processing、Storage And Display”的美国专利公布号2019/0200844；2018年12月4日提交的名称为“Method Of compressing Tissue Within A StaplingDevice And Simultaneously Displaying The Location Of The Tissue Within TheJaws”的美国专利公布号2019/0200981；2018年12月4日提交的名称为“Method ForControlling Smart Energy Devices”的美国专利公布号2019/0201046；2018年3月29日提交的名称为“Adaptive Control Program Updates For Surgical Hubs”的美国专利公布号2019/0201114；2018年3月29日提交的名称为“Surgical Hub Situational Awareness”的美国专利公布号2019/0201140；2018年3月29日提交的名称为“Interactive SurgicalSystems With Condition Handling Of Devices And Data Capabilities”的美国专利公布号2019/0206004；2018年3月29日提交的名称为“Cloud-based Medical Analytics ForCustomization And Recommendations To A User”的美国专利公布号2019/0206555；以及2018年11月6日提交的名称为“Surgical Network Determination Of Prioritization OfCommunication,Interaction,Or Processing Based On System Or Device Needs”的美国专利公布号2019/0207857，这些专利的全文据此以引用方式并入本文。

图18示出了计算机实现的交互式外科系统700的一个实施方案，其包括一个或多个外科系统702和基于云的系统(例如，可包括耦接到存储装置705的远程服务器713的云704)。每个外科系统702包括与云704通信的至少一个外科集线器706。在一个示例中，如图18中所示，外科手术系统702包括可视化系统708、机器人系统710和智能(或智慧)外科器械712，它们被配置为能够彼此通信并且/或者与集线器706通信。智能外科器械712可包括成像装置。外科系统702可包括M个集线器706、N个可视化系统708、O个机器人系统710和P个智能外科器械712，其中M、N、O和P为大于或等于一的整数，其可等于或不等于彼此中的任一者或多者。本文描述了各种示例性智能外科器械和机器人系统。

由外科集线器从外科可视化系统接收的数据可以多种方式中的任何一种方式使用。在一个示例性实施方案中，外科集线器可接收来自在外科环境中与患者一起使用(例如，在外科手术的执行期间在手术室中使用)的药物施用装置的数据。外科集线器可以一种或多种方式中的任一种方式使用所接收的数据，如本文所讨论的。

外科集线器可被配置为能够使用外科可视化系统实时分析所接收的数据并且基于对所接收的数据的分析，调整控制与患者一起使用的外科可视化系统和/或一个或多个智能外科器械中的一者或多者。这种调整可包括例如调整智能外科器械的一个或操作控制参数，使得一个或多个智能外科器械的一个或多个传感器进行测量以帮助了解患者当前的生理状况和/或智能外科器械当前的操作状态以及其他调整。下面进一步讨论智能外科器械的控制和调整操作。智能外科器械的操作控制参数的示例包括马达速度、切割元件速度、时间、持续时间、能量施加水平，以及光发射。外科集线器以及控制和调整智能外科器械操作的示例在先前提及的以下专利中进一步描述：2019年12月30日提交的名称为“AnalyzingSurgical Trends By A Surgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“Dynamic Surgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method ForDetermining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems ForProposing And Corroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying SurgicalInstrument Data Onto A Virtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For GenerateThree Dimensional Constructs Of Anatomical Organs And Coupling IdentifiedAnatomical Structures There”的美国专利申请号16/729,751；2019年12月30日提交的名称为“Surgical Systems Correlating Visualization Data And Powered SurgicalInstrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive Surgical System Control According To Surgical Smoke CloudCharacteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System Control According To Surgical Smoke ParticulateCharacteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A Surgical System”的美国专利申请号16/729,803；2019年12月30日提交的名称为“Method Of Using Imaging Devices In Surgery”的美国专利申请号16/729,807；2020年10月13日提交的名称为“Adaptive Responses From SmartPackaging Of Drug Delivery Absorbable Adjuncts”的美国专利申请号17/068,857；2020年10月13日提交的名称为“Drug Administration Devices That Communicate WithSurgical Hubs”的美国专利申请号17/068,858；2020年10月13日提交的名称为“Controlling Operation Of Drug Administration Devices Using Surgical Hubs”的美国专利申请号17/068,859；2020年10月13日提交的名称为“Patient Monitoring UsingDrug Administration Devices”的美国专利申请号17/068,863；2020年10月13日提交的名称为“Monitoring And Communicating Information Using Drug AdministrationDevices”的美国专利申请号17/068,865；以及2020年10月13日提交的名称为“AggregatingAnd Analyzing Drug Administration Data”的美国专利申请号17/068,867，这些专利的全文据此以引用方式并入本文。

外科集线器可被配置为能够使得在外科环境中在显示器上提供所接收的数据的可视化，使得外科环境中的医疗从业者可查看该数据并且由此接收对在外科环境中使用的成像装置的操作的理解。经由可视化提供的此类信息可包括文本和/或图像。

图19示出了包括外科集线器806(例如，图18的外科集线器706或本文描述的其他外科集线器)、机器人外科系统810(例如，图1的机器人外科系统110或本文的其他机器人外科系统)和可视化系统808(例如，图1的可视化系统100或本文描述的其他可视化系统)的外科系统802的一个实施方案。外科集线器806可以与云通信，如本文所讨论的。图19示出了用于对躺在外科手术室816中的手术台814上的患者执行外科手术的外科系统802。机器人系统810包括外科医生控制台818、患者侧推车820(外科机器人)和机器人系统外科集线器822。机器人系统外科集线器822通常被配置为能够类似于外科集线器822并且可以与云通信。在一些实施方案中，机器人系统外科集线器822和外科集线器806可以组合。患者侧推车820可以通过患者体内的微创切口操纵智能外科工具812，同时医疗从业者，例如外科医生、护士和/或其他医疗从业者，通过外科医生的控制台818查看外科部位。外科部位的图像可由成像装置824(例如，图1的成像装置120或本文所述的其他成像装置)获得，该成像装置可由患者侧推车820操纵以定向成像装置824。机器人系统外科集线器822可用于处理外科部位的图像，以随后通过外科医生的控制台818显示给外科医生。

主显示器819被定位在手术室816的无菌区域中并且被配置为能够对于手术台814处的操作者可见。此外，如在该例示的实施方案中，可视化塔818可以定位在无菌区外部。可视化塔818包括彼此背离的第一非无菌显示器807和第二非无菌显示器809。由外科集线器806引导的可视化系统808被配置为能够利用显示器807、809、819来将信息流协调到无菌区内部和外部的医疗从业者。例如，外科集线器806可以使可视化系统808在非无菌显示器807、809中的一者或两者上显示由成像装置824获得的外科部位的快照和/或视频，同时在主显示器819上保持外科部位的实时馈送。例如，非无菌显示器807和/或809上的快照和/或视频可以允许非无菌医疗从业者执行与外科手术相关的诊断步骤。

外科集线器806被配置为能够将由非无菌医疗从业者在可视化塔818处输入的诊断输入或反馈路由至无菌场内的主显示器819，其中可由手术台814处的无菌医疗从业者观察到该诊断输入或反馈。例如，输入可以是对显示在非无菌显示器807和/或809上的快照和/或视频的修改形式，其可以由外科集线器806路由到主显示器819。

外科集线器806被配置为能够将信息流协调至智能外科器械812的显示器，如在各种美国专利申请中所描述的那样，这些专利申请以引用方式并入本公开中。由非无菌操作者在可视化塔818处输入的诊断输入或反馈可由集线器806路由到无菌区内的外科器械显示器819，其中外科器械812的操作者可查看该诊断输入或反馈。

智能外科器械812和成像装置824(也是智能外科工具)作为外科系统802的一部分在外科手术中与患者一起使用。在图19中还示出了可以在外科手术中使用的其他智能外科器械812a，例如所述其他智能外科器械可以可移除地耦接到患者侧推车820并且与机器人外科系统810和外科集线器806通信。无法与机器人外科系统810和外科集线器806通信的非智能(或“哑”)外科器械817，例如剪刀、套管针、插管、手术刀等也在图19中示出为可供使用。

操作智能外科器械

智能外科装置可具有存储在其上(例如，存储在其存储器中)的算法，该算法被配置为能够可在智能外科装置上执行(例如，通过其处理器)，以控制智能外科装置的操作。在一些实施方案中，代替存储在智能外科装置上或者除了存储在智能外科装置上之外，算法可存储在被配置为能够与智能外科装置通信的外科集线器上，例如存储在其存储器中。

算法以定义和/或表示指令、通知、信号等的一组或多组多个数据点的形式存储，以控制智能外科装置的功能。在一些实施方案中，由智能外科装置收集的数据可以被智能外科装置使用，例如被智能外科装置的处理器使用，以改变算法的至少一个可变参数。如上所述，外科集线器可以与智能外科装置通信，因此，由智能外科装置收集的数据可以被传送到外科集线器，并且/或者由与外科集线器通信的另一装置收集的数据可以被传送到外科集线器，并且数据可以从外科集线器传送到智能外科装置。因此，作为智能外科装置被配置为能够改变所存储的可变参数的替代或补充，外科集线器可被配置为能够将所改变的至少一个变量单独地或作为算法的一部分传送到智能外科装置并且/或者外科集线器可以将指令传送到智能外科装置以改变由外科集线器确定的至少一个变量。

至少一个可变参数在算法的数据点之中，例如，被包括在用于操作智能外科装置的指令中，并且因此能够通过改变算法的所存储的多个数据点中的一个或多个数据点来改变每个可变参数。在已经改变至少一个可变参数之后，算法的后续执行根据改变的算法执行。这样，通过考虑患者的实际情况和使用智能外科装置的外科手术的实际条件和/或结果，可以为患者管理智能外科装置随时间推移的操作，以增加智能外科装置的使用的有益效果。自动改变至少一个可变参数以改善患者结果。因此，智能外科装置可被配置为能够基于患者和患者周围条件提供个性化医疗，以提供智能系统。在执行外科手术期间使用智能外科装置的外科环境中，至少一个可变参数的自动改变可以允许基于在执行外科手术期间收集的数据来控制智能外科装置，这可以帮助确保智能外科装置被有效且正确地使用和/或可以帮助减少因损害关键解剖结构而造成患者伤害的可能性。

至少一个可变参数可以是多种不同操作参数中的任何一种操作参数。可变参数的示例包括马达速度、马达扭矩、能量水平、能量施加持续时间、组织压缩速率、钳口闭合速率、切割元件速度、负载阈值等。

图20示出了智能外科器械900的一个实施方案，该智能外科器械包括存储器902，其中存储有算法904，该算法包括至少一个可变参数。算法904可以是单个算法或者可包括多个算法，例如用于外科器械操作的不同方面的单独算法，其中每个算法包括至少一个可变参数。智能外科器械900可以是图1的外科装置102、图1的成像装置120、图8的外科装置202、图8的成像装置220、图15的外科装置402、图17的外科装置502a、图17的外科装置502b、图18的外科装置712、图19的外科装置812、图19的成像装置824，或其他智能外科器械。外科器械900还包括处理器906，该处理器被配置为能够执行算法904以控制外科器械900的至少一个方面的操作。为了执行算法904，处理器906被配置为能够运行存储在存储器902中的程序以访问存储器902中的算法904的多个数据点。

外科器械900还包括通信接口908，例如无线收发器或其他有线或无线通信接口，被配置为能够与另一装置诸如外科集线器910通信。通信接口908可被配置为能够允许单向通信，诸如向远程服务器(例如，云服务器或其他服务器)和/或向本地外科集线器服务器提供数据，以及/或者从远程服务器和/或本地外科集线器服务器接收指令或命令，或双向通信，诸如提供关于外科器械900的信息、消息、数据等和/或存储在其上的数据，并且接收指令，诸如来自医生的指令；关于对软件的更新的远程服务器；关于对软件的更新的本地外科集线器服务器；等等。

外科器械900在图20中被简化，并且可包括附加的部件，例如总线系统、柄部、在其远侧端部处具有端部执行器的细长轴、电源等。处理器906还可以被配置为能够执行存储在存储器902中的指令以总体上控制装置900，包括其其他电子部件，诸如通信接口908、音频扬声器、用户接口等。

处理器906被配置为能够改变算法904的至少一个可变参数，使得算法904的后续执行将根据所改变的至少一个可变参数。为了改变算法904的至少一个可变参数，处理器906被配置为能够修改或更新存储器902中的至少一个可变参数的数据点。处理器906可被配置为能够在执行外科手术期间使用外科手术装置900实时地改变算法904的至少一个可变参数，这可以适应实时条件。

作为处理器906改变至少一个可变参数的补充或替代，处理器906可被配置为能够响应于从外科集线器910接收的指令来改变算法904和/或算法904的至少一个可变参数。在一些实施方案中，处理器906被配置为能够仅在与外科集线器910通信并且从其接收指令之后改变至少一个可变参数，这可以帮助确保外科器械900与使用外科器械900的外科手术的其他方面的协调动作。

在一个示例性实施方案中，处理器906执行算法904以控制外科器械900的操作，基于实时数据改变算法904的至少一个可变参数，并且在改变至少一个可变参数之后执行算法904以控制外科器械900的操作。

图21示出了使用外科器械900的方法912的一个实施方案，该方法包括改变算法904的至少一个可变参数。处理器906通过执行存储在存储器902中的算法904来控制914外科器械900的操作。基于该随后已知的数据和/或随后收集的数据中的任何一者，处理器904改变916如上文所讨论的算法904的至少一个可变参数。在改变至少一个可变参数之后，处理器906通过执行算法904来控制918外科器械900的操作，此时使用改变的至少一个可变参数。处理器904可在外科手术的执行期间多次改变916至少一个可变参数，例如零次、一次、两次、三次等。在方法912的任何部分期间，外科器械900可以使用通信接口908与一个或多个计算机系统(例如，外科集线器910、远程服务器诸如云服务器等)通信，以向其提供数据和/或从其接收指令。

态势感知

智能外科器械的操作可基于患者的态势感知而改变。智能外科器械的操作可以手动改变，诸如通过智能外科器械的用户不同地操纵器械、向器械提供不同的输入、停止器械的使用，等等。另外或另选地，智能外科器械的操作可以通过器械的算法被改变，例如，通过改变算法的至少一个可变参数来自动改变。如上所述，可以在没有请求改变的用户输入的情况下自动调整算法。在外科手术的执行期间使调整自动化可有助于节省时间，可允许医疗从业者专注于外科手术的其他方面，并且/或者可以使医疗从业者使用外科器械的过程变得容易，这都可以改善患者的治疗效果，诸如通过避免关键结构、考虑器械正被使用在上面和/或附近的组织类型来控制外科器械等。

本文所述的可视化系统可用作态势感知系统的一部分，该态势感知系统可由外科集线器(例如，外科集线器706、外科集线器806或本文所述的其他外科集线器)体现或执行。特别地，表征、识别和/或可视化外科器械(包括它们的位置、取向和动作)、组织、结构、用户和/或位于外科区域或手术室内的其他物体可以提供态势感知系统可以利用的背景数据来推断各种信息，诸如，正在执行的外科手术的类型或其步骤、由外科医生或其他医疗从业者操作的组织和/或结构的类型，以及其他信息。然后，态势感知系统可以利用背景数据向用户提供警报、建议用户采取的后续步骤或动作、准备外科装置以预期其使用(例如，预期在外科手术的后续步骤中使用电外科器械等时激活电外科发生器)、控制智能外科器械的操作(例如，定制算法的外科器械操作参数，如下文进一步讨论的)等。

尽管包括响应于感测数据的算法(例如，通过改变算法的至少一个可变参数)的智能外科装置可以是对在不考虑感测数据的情况下操作的“哑”装置的改进，但当单独考虑时，例如在没有正在执行的外科手术类型或正在手术的组织的类型的背景下，一些感测到的数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制外科装置。例如，用于响应于特定的感测参数来控制外科器械的算法的最佳方式可根据正在手术的特定组织类型而变化。这是因为不同的组织类型具有不同的特性(例如，抗撕裂性、易于切割等)，因此对外科器械所采取的动作的反应不同。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个示例，响应于外科缝合器感测出意外的高力以关闭其端部执行器来控制外科缝合器的最佳方式将根据组织类型是否容易撕裂或抵抗撕裂而变化。对于易于撕裂的组织(诸如肺部组织)，外科器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐下降，从而避免撕裂组织，例如改变控制马达速度或扭矩的可变参数，使得马达速度变慢。对于抗撕裂的组织(诸如胃组织)，器械的算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐上升，从而确保端部执行器被正确地夹持在组织上，例如，改变控制马达速度或扭矩的可变参数，使马达更快。在不知道肺部或胃组织是否已被夹紧的情况下，算法可能被次优地改变或根本不改变。

外科集线器可被配置为能够基于从各种数据源接收的数据导出关于正在执行的外科手术的信息，然后相应地控制模块化装置。换句话讲，外科集线器可被配置为能够从所接收的数据推断关于外科手术的信息，然后基于所推断的外科手术的背景来控制与外科集线器可操作地耦接的模块化装置。模块化装置可包括可由态势感知系统控制的任何外科装置，例如可视化系统装置(例如，相机、显示屏等)、智能外科器械(例如，超声外科器械、电外科器械、外科缝合器、排烟器、内窥镜等)。模块化装置可包括被配置为能够检测与正在使用该装置的患者相关联的参数和/或与模块化装置本身相关联的参数的传感器。

从所接收的数据导出或推断的背景信息可包括例如正在执行的外科手术的类型、外科医生(或其他医疗从业者)正在执行的外科手术的特定步骤、正在上面进行操作的组织的类型或作为外科手术对象的体腔。外科集线器的态势感知系统可被配置为能够以多种不同的方式从接收自数据源的数据导出背景信息。在一个示例性实施方案中，由外科集线器的态势感知系统接收的背景信息与用于一个或多个模块化装置的特定控制调整或一组控制调节相关联。每个控制调整对应于可变参数。在一个示例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库、患者监视装置和/或模块化装置的数据)与关于外科手术的对应的背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科手术的背景信息。在另一个示例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科手术的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制至少一个模块化装置的对应的上下文信息。在另一个示例中，态势感知系统包括：当提供背景信息作为输入时，生成或检索针对一个或多个模块化装置的一项或多项控制调节的另外的机器学习系统、查找表或其他此类系统。

包括态势感知系统的外科集线器可以为外科系统提供许多益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科手术过程期间的处理精度和/或数据的使用。另一个益处是，外科集线器的态势感知系统可以通过允许针对每个外科手术的特定情况调整外科器械(和其他模块化装置)(诸如针对不同的组织类型进行调整)并且在外科手术期间验证动作来改善外科手术的结果。还有一个益处是，态势感知系统可以根据手术的具体情况自动建议后续步骤、提供数据以及调整手术室中的显示器和其他模块化装置，从而提高外科医生和/或其他医疗从业者执行外科手术的效率。另一个益处包括根据正在执行的外科手术的特定步骤主动地、自动地控制模块化装置，减少外科手术中医疗从业者需要与外科系统交互或控制外科系统的次数，诸如，在态势感知外科集线器确定手术的后续步骤需要使用器械的情况下，主动激活与RF电外科器械连接的发生器。主动地激活能量源允许器械在手术的先前步骤一完成就准备好使用。

例如，态势感知外科集线器可被配置为能够确定正在什么类型的组织上进行操作。因此，当检测到闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器可被配置为能够例如通过改变或引起外科器械的算法的关于马达速度或扭矩的至少一个可变参数的改变来针对组织类型使外科器械的马达正确地加速或减速。

又如，正在手术的组织类型可以影响针对特定组织间隙测量对外科缝合器的压缩率和负载阈值进行的调整。态势感知外科集线器可被配置为能够推断正在执行的外科手术是胸部手术还是腹部手术，从而允许外科集线器确定由外科吻合器的端部执行器夹紧的组织是肺部组织(对于胸部手术)还是胃组织(对于腹部手术)。然后，外科集线器可被配置为能够例如通过改变或引起外科缝合器的关于压缩率和负载阈值的算法的至少一个可变参数的改变，根据组织类型适当地调整外科缝合器的压缩率和负载阈值。

作为又一个示例，在吹入规程期间被操作的体腔的类型可影响排烟器的功能。态势感知外科集线器可被配置为能够确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并且确定手术类型。由于手术类型通常在特定体腔中执行，所以外科集线器可被配置为能够例如通过改变或引起与马达速率相关的排烟器的算法的至少一个可变参数的改变来适当地控制排烟器的马达速率以适应正在操作的体腔。因此，态势感知外科集线器可以为胸部和腹部手术提供一致的排烟量。

作为又一个示例，正在被执行的手术的类型可影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜手术需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器可被配置为能够确定外科手术是否是关节镜手术。外科集线器可被配置为能够通过改变或引起用于器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来调整发生器的RF功率水平或超声振幅(例如，调整能量水平)以补偿流体填充环境。相关地，正在手术的组织的类型可影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器可被配置为能够确定正在执行什么类型的外科手术，然后根据针对外科手术的预期组织轮廓，例如通过改变或引起器械和/或发生器的关于能量水平的算法的至少一个可变参数的改变来分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器可被配置为能够在整个外科手术过程中而不是仅基于不同手术来调整超声外科器械或RF电外科器械的能量水平。态势感知外科集线器可被配置为能够确定正在执行或随后将要执行的外科手术的步骤，并且然后更新发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。

作为另一个示例，态势感知外科集线器可被配置为能够根据在外科部位处外科医生和/或其他医疗从业者预期需要查看的特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。外科集线器可被配置为能够相应地主动改变所显示的视图(例如，由用于可视化系统的成像装置提供)，使得在整个外科手术中自动调整显示器。

作为又一个示例，态势感知外科集线器可被配置为能够确定正在执行或将随后执行的外科手术的哪个步骤以及外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器可被配置为能够基于正在执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生或其他医疗从业者请求特定信息。

作为另一个示例，态势感知外科集线器可被配置为能够确定外科医生和/或其他医疗从业者在外科手术期间是否犯了错误或者以其他方式偏离了预期的动作过程，例如，如在术前外科计划中所提供的。例如，外科集线器可被配置为能够确定正在执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在执行的步骤或正在使用的设备与外科集线器确定的针对该正在执行的外科手术类型的预期步骤或设备进行比较。外科集线器可被配置为能够提供警报(视觉、听觉和/或触觉)，指示在外科手术中的特定步骤正在执行意外动作或正在使用意外装置。

在某些情况下，机器人外科系统的操作，诸如本文所述的各种机器人外科系统中的任一种机器人外科系统可由外科集线器基于其态势感知和/或来自其部件的反馈以及/或者基于来自云(例如，图18的云713)的信息来控制。

态势感知系统的实施方案以及在执行外科手术期间使用态势感知系统在先前提及的以下专利中进一步描述：2019年12月30日提交的名称为“Analyzing Surgical TrendsBy A Surgical System”的美国专利申请号16/729,772；2019年12月30日提交的名称为“Dynamic Surgical Visualization Systems”的美国专利申请号16/729,747；2019年12月30日提交的名称为“Visualization Systems Using Structured Light”的美国专利申请号16/729,744；2019年12月30日提交的名称为“System And Method For Determining,Adjusting,And Managing Resection Margin About A Subject Tissue”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Proposing AndCorroborating Organ Portion Removals”的美国专利申请号16/729,729；2019年12月30日提交的名称为“Surgical System For Overlaying Surgical Instrument Data Onto AVirtual Three Dimensional Construct Of An Organ”的美国专利申请号16/729,778；2019年12月30日提交的名称为“Surgical Systems For Generate Three DimensionalConstructs Of Anatomical Organs And Coupling Identified Anatomical StructuresThere”的美国专利申请号16/729,751；2019年12月30日提交的名称为“Surgical SystemsCorrelating Visualization Data And Powered Surgical Instrument Data”的美国专利申请号16/729,740；2019年12月30日提交的名称为“Adaptive Surgical SystemControl According To Surgical Smoke Cloud Characteristics”的美国专利申请号16/729,737；2019年12月30日提交的名称为“Adaptive Surgical System Control AccordingTo Surgical Smoke Particulate Characteristics”的美国专利申请号16/729,796；2019年12月30日提交的名称为“Adaptive Visualization By A Surgical System”的美国专利申请号16/729,803；以及2019年12月30日提交的名称为“Method Of Use Imaging DevicesIn Surgery”的美国专利申请号16/729,807。

肺部的外科手术

本文所述的装置、系统和方法的各个方面可涉及在肺部上执行的外科手术。例如，肺部切除术，例如，肺叶切除术，是一种切除肺叶的全部或部分，例如一个或多个肺叶的外科手术。进行肺部切除术的目的是治疗因肺癌、肺气肿或支气管扩张等原因导致的受损或患病的肺部。

在肺部切除术期间，最先将一个或多个肺部放气，然后在患者肋骨之间在患者的侧面上形成一个或多个切口，以通过腹腔镜到达肺部。外科器械，诸如抓紧器和腹腔镜，通过切口插入。一旦确定了肺部的感染或受损区域，就将该区域从肺部解剖并且从一个或多个切口中切除。解剖区域和一个或多个切口可以例如用外科缝合器或缝合线来闭合。

由于肺部在外科手术期间被放气，所以肺部或其某些部分可能需要被移动以允许外科器械到达外科部位。这种移动可通过用抓紧器抓紧肺部的外组织层并且通过抓紧器向肺部施加力来进行。然而，肺部的胸膜和实质非常脆弱，因此在外力作用下很容易撕裂或被撕开。另外，在移动期间，抓紧器可切断对肺部的一个或多个区域的血液供应。

此外，呼吸管被放置到患者的气道中以允许每个肺部在外科手术期间被单独地充胀。肺部充胀可导致肺部移动并且与术前成像相匹配和/或允许外科医生检查解剖区域是否有泄漏。然而，通过使整个肺部充胀，由于胸腔的填充而损失了肺部周围的工作空间。另外，如果在外科手术期间在肺部的多个部分上操作，则使整个肺部充胀可能需要时间并且不能保证轻松检测泄漏。

结肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及在结肠上执行的外科手术。例如，外科手术通常是早期结肠癌的主要治疗方法。所使用的外科手术类型取决于癌症的阶段(范围)、在结肠中的位置，以及外科手术的目标。一些早期结肠癌(0期和一些早期I期肿瘤)和大多数息肉可在结肠镜检查期间切除。然而，如果癌症已经进展，可能需要局部切除或结肠切除术。结肠切除术是切除全部或部分结肠的外科手术。在某些情况下，附近的淋巴结也被切除。如果仅切除部分结肠，则称为半结肠切除术、部分结肠切除术或节段切除术，其中外科医生切除结肠的患病部分，并且在两侧切除一小段未患病的结肠。通常，根据癌症的大小和位置，切除约四分之一至三分之一的结肠。结肠的主要切除如图21A所示，其中A-B为右半结肠切除术、A-C为扩大右半结肠切除术、B-C为横结肠切除术、C-E为左半结肠切除术、D-E为乙状结肠切除术、D-F为前切除术、D-G为(超)低位前切除术、D-H为腹-会阴切除术、A-D为结肠次全切除术、A-E为结肠全切除术、A-H为直肠-结肠切除术。一旦切除完成，则将结肠的剩余完整切片重新附接。

结肠切除术可以通过开放性结肠切除术进行，其中使用穿过腹壁的单个切口进入结肠以分离和切除受影响的结肠组织，并且通过腹腔镜辅助的结肠切除术进行。在腹腔镜辅助的结肠切除术中，外科手术通过许多较小的切口进行，外科器械和腹腔镜穿过这些小切口来切除整个结肠或部分结肠。在手术开始时，腹部充满气体，例如二氧化碳，为外科医生提供工作空间。腹腔镜传输腹腔内的图像，使外科医生在监视器或其他显示器上可以放大观察患者的内脏器官。插入到若干其他插管以允许外科医生在结肠内部工作并且切除结肠的一部分。一旦结肠的患病部分被切除，结肠的剩余端部例如通过缝合器或缝线彼此附接。整个手术可通过插管或通过延长小插管切口中的一个小插管切口来完成。

在腹腔镜辅助结肠切除术期间，通常难以获得足够的手术区域。通常，在骨盆深处进行解剖，这使得难以获得该区域的充分可视化。因此，在活动期间，必须抬起并且旋转下直肠，以进入直肠两侧周围的静脉和动脉。在操纵下直肠期间，可能发生组织的聚束和/或组织的过度拉伸。另外，直肠内的肿瘤可引起周围骨盆中的粘连，因此，这可能需要在横切和切除肿瘤之前游离直肠残端并且调动肠系膜和血液供应。

此外，需要多个抓紧器来定位肿瘤以从结肠切除。在结肠的解剖过程中，肿瘤应处于张力下，这需要抓住并且拉伸结肠周围的健康组织。然而，由于抓紧器对组织施加高的抓紧力，对肿瘤周围组织的手术可能受到血流减少和创伤的影响。另外，在结肠切除术期间，横结肠和上降结肠可能需要被移动以允许健康的、良好的剩余结肠在包含肿瘤的结肠部分被横切和切除之后被向下连接到直肠残端。

结肠切除术后，结肠的剩余健康部分必须彼此重新附接在一起，以形成废物排出体外的路径。然而，当使用腹腔镜器械来执行结肠切除术时，一个单一入口可能没有足够大的运动范围来将结肠的一个端部移动到结肠的连接部分。因此，需要第二进入端口来通过腹腔镜插入外科器械来帮助活动结肠，从而正确定位结肠。

胃的外科手术

本文所述的装置、系统和方法的各个方面可涉及在胃上执行的外科手术。例如，外科手术是胃癌最常见的治疗方法。当胃癌需要外科手术时，目的是切除整个肿瘤以及肿瘤周围的健康胃组织的良好边缘。可以使用不同的手术来切除胃癌。所使用的手术类型取决于癌症位于胃的哪个部分以及癌症已经生长到附近区域的程度。例如，内窥镜粘膜切除术(EMR)和内窥镜粘膜下剥离术(ESD)是胃部手术，可用于治疗一些早期癌症。这些手术不需要切开皮肤，而是外科医生将内窥镜穿过患者的喉咙并且进入胃部。然后，外科工具(例如，MEGADYNE^TM组织解剖器或电外科手术笔)穿过内窥镜的工作通道，切除肿瘤及其下方和周围正常胃壁的一些层。

在胃上执行的其他外科手术包括可以作为开放手术进行的次全(部分)或全胃切除术，例如，外科器械通过腹部皮肤中的大切口插入，或者作为腹腔镜手术，例如外科器械通过若干小切口插入腹部。例如，腹腔镜胃切除术通常涉及向腹腔充入二氧化碳气体至约15毫米汞柱(mm Hg)的压力。将腹壁刺穿，然后将直管状套管或套管针，例如直径在约5mm至约10mm范围内的套管或套管针插入到腹腔中。连接到手术室监视器的腹腔镜用于使术野可视化，并且通过一个或多个套管针放置。腹腔镜外科器械通过两个或更多个附加的插管或套管针放置，以供医疗从业者(例如，外科医生和手术助理)操纵，以切除胃的期望的部分。

在某些情况下，腹腔镜和内窥镜协作式外科手术可用于切除胃肿瘤。这种协作式外科手术通常涉及引入内窥镜，例如胃镜和腹腔镜套管针。通过套管针引入腹腔镜和组织操纵以及解剖外科器械。可通过内窥镜识别肿瘤位置，然后使用插入到内窥镜工作通道的切割元件对肿瘤周围的粘膜下切除。然后将腹腔镜解剖外科器械用于相邻于肿瘤边缘的浆膜肌解剖，以形成穿过胃壁的切口。然后肿瘤通过该切口从腔内空间(例如，胃内部)旋转到腔外空间(例如，胃外部)。然后可以使用腹腔镜外科器械，例如内切刀，完成肿瘤从胃壁的横切并且密封切口。

肠的外科手术

本文所述的装置、系统和方法的各个方面可涉及在肠上执行的外科手术。例如，可以通过内窥镜进行十二指肠粘膜表面再造(DMR)手术来治疗胰岛素抵抗代谢性疾病，诸如2型糖尿病。DMR手术可以是一种有效的治疗方法，因为它会影响对食物的检测。DMR手术抑制十二指肠功能，使得食物在肠中的感知比正常情况更深，例如，在通过十二指肠(小肠的第一部分)后被感知。因此，患者的身体在肠中比通常情况下更深入地感知糖，并且因此对糖的反应比通常情况更晚，使得可以改善血糖控制。十二指肠的不规则功能改变了身体对食物的典型反应，并且通过神经系统和化学信号使身体适应其对葡萄糖水平的反应以增加胰岛素水平。

在DMR手术中，例如用盐水提起十二指肠粘膜，然后例如使用通过内窥镜的工作通道推进到十二指肠中的消融装置来消融粘膜。在消融前提起粘膜有助于保护十二指肠外层免受消融损伤。在粘膜被消融后，粘膜随后再生。消融装置的示例是NeuWave^TM消融探头(可从俄亥俄州辛辛那提(Cincinnati,OH)的Ethicon US LLC公司(Ethicon US LLC)获得)。消融装置的另一个示例是Hyblate导管消融探头(可以从以色列Misgav(Misgav,Israel)的Hyblate Medical公司(Hyblate Medical)获得)。消融装置的另一个示例是Barxx^TMHaloFlex(可从明尼苏达州明尼阿波利斯市(Minneapolis,MN)的美敦力公司(Medtronic)获得)。

图21B示出了DMR手术的一个实施方案。如图21B所示，腹腔镜1400定位在十二指肠1402的外部，用于十二指肠1402的外部可视化。内窥镜1404经口推进穿过食道1406、穿过胃1408并且进入十二指肠1402以用于十二指肠1402的内部可视化。消融装置1410被推进穿过内窥镜1404的工作通道以从内窥镜1404朝远侧延伸到十二指肠1402中。消融装置1410的气囊1412在图21B中示出为是膨胀或充胀的。膨胀或充胀的气囊1412可帮助将消融装置的电极居中，因此在消融装置1410推进和/或回缩以重复消融之前可发生均匀的周向消融。在使用消融装置1410消融粘膜之前，诸如用盐水提起十二指肠粘膜。在一些实施方案中，除了包括气囊1412之外或代替包括该气囊，消融装置1410可以使用被配置为能够膨胀和收缩的电极阵列或篮来膨胀/收缩。

腹腔镜对十二指肠1402的外部可视化可以允许对十二指肠1402进行热监视，这可以帮助确保十二指肠1402的外层不会由于十二指肠粘膜的消融(例如，由于十二指肠被穿孔)而被损坏。例如，在下文以及2021年9月29日提交的名称为“Surgical Devices,Systems,And Methods For Control Of One Visualization With Another”的美国专利申请号63/249,658中进一步讨论了热监视的各种实施方案。内窥镜1404和/或消融装置1410可在其上包括基准标记，腹腔镜1400可被配置为能够例如通过使用不可见光透过十二指肠的组织进行可视化，以帮助确定腹腔镜1400应当在发生消融的位置处从外部可视化十二指肠1402的位置。基准标记的各种实施方案在例如2021年9月29日提交的名称为“Surgical Devices,Systems,Methods Using Fiducial Identification And Tracking”的美国专利申请号63/249,652以及2021年9月29日提交的名称为“Surgical Devices,Systems,And Methods For Control Of One Visualization With Another”的美国专利申请号63/249,658中进一步讨论。

对协作式外科器械的控制

在各个方面，本公开提供了用于控制协作式外科器械的方法、装置和系统。例如，在一个实施方案中，系统可包括第一外科器械和第二外科器械，第一外科器械被构造成能够插入到患者体腔的第一部分中并且在体腔中的第一外科治疗部位上操作，并且第二外科器械被构造成能够插入到体腔的第二部分中并且在体腔中的第二外科治疗部位上操作。该系统还可以包括第一内窥镜和第二内窥镜。第一内窥镜可具有第一图像传感器，第一图像传感器可定位在体腔的第一部分中，使得第二外科器械不在第一图像传感器的视场内。第二内窥镜还可以具有第二图像传感器，第二图像传感器可定位在体腔的第二部分中，使得第一外科器械不在第二图像传感器的视场内。该系统中可包括控制器，该控制器被配置为能够接收所获取的第一图像和第二图像，以确定第一外科器械的第一位置和外科器械的第二位置，以确定第一外科器械相对于第二外科器械的距离和取向，并且基于所确定的距离和取向使第一外科器械和第二外科器械中的至少一者在体腔中移动。通过基于所确定的距离和取向引起移动，当用户由于两个内窥镜的视野模糊而无法直接看到或可视化两个器械相对于彼此的位置时，控制器可以帮助用户简化两个器械的移动。通过简化两个器械之间的移动，控制器可以帮助保护患者健康并且使外科手术更加高效。

例如，图22提供了一个示例性外科系统1000的示意图，该示例性外科系统可提供关于各种器械(诸如上述第一外科器械和第二外科器械)的位置和移动的外科器械的协作控制。如图所示，系统1000包括第一外科器械1010、第二外科器械1030、第一内窥镜1020、第二内窥镜1040和控制器1050。

第一外科器械1010和第二外科器械1030可各自为被构造成能够操纵和/或治疗组织的任何合适的外科装置。第一外科器械1010和第二外科器械1030可各自类似于图1的外科装置102、图8的外科装置202或本文描述的其他外科装置。如上所述，外科装置的示例包括外科解剖器、外科缝合器、外科抓紧器、施夹器、排烟器、外科能量装置(例如、单极探头、双极探头、消融探头、超声装置、超声端部执行器等)等。例如，在一些实施方案中，第一外科器械1010和/或第二外科器械1030可包括具有相对的钳口的端部执行器，该相对的钳口从外科装置的轴的远侧端部延伸并且被构造成能够接合其间的组织。

第一内窥镜1020和第二内窥镜1040可各自包括被配置为能够在微创外科手术中获取外科部位的图像的成像装置，包括具有图像传感器的各种柔性内窥镜系统，如上所述。第一内窥镜1020和第二内窥镜1040均可类似于图1的成像装置120、图8的成像装置220或本文描述的其他成像装置。尽管当前主题的一些实施方式在本文中被描述为使用一个或多个内窥镜来获取外科部位的图像，但适合在微创外科手术中使用的任何类型的观察器械都可以与本文描述的系统、方法和装置结合使用。如上所述，窥镜的示例包括关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞镜、十二指肠镜、肠镜、双气囊肠镜、食管胃十二指肠镜(胃镜)、喉镜、鼻咽肾镜、乙状结肠镜、胸腔镜、输尿管镜、外窥镜和自推进式双弯曲内窥镜。这些示例性类型的窥镜中的一种或多种可以任何可行的组合在微创外科手术中一起使用。

控制器1050包括被配置为能够执行一个或多个操作的处理器1051和被配置为能够存储用于使处理器1051执行操作的指令的存储器1052。控制器1050还包括第一外科器械接口1053、第一内窥镜接口1054、第二外科器械接口1055和第二内窥镜接口1056。如图22中所示，第一外科器械1010经由第一外科器械接口1053耦接到控制器1050，并且因此可以从处理器1051接收移动和致动指令。第一内窥镜1020经由第一内窥镜接口1054耦接到控制器1050，并且因此可以将表征由第一内窥镜1020获取的图像的数据提供给处理器1051和/或存储器1052以供处理器1051稍后使用，供处理器1051在执行各种操作时使用。类似于第一外科器械1010，第二外科器械1030经由第二外科器械接口1055耦接到控制器1050，并且因此可以从处理器1051接收运动和致动指令。类似于第一内窥镜1020，第二内窥镜1040经由第二内窥镜接口1056耦接到控制器1050，并且因此可以将表征由第二内窥镜1040获取的图像的数据提供给处理器1051和/或存储器1052以供处理器1051稍后使用，供处理器1051在执行各种操作时使用。在一些实施方案中，第一外科器械接口1053、第一内窥镜接口1054、第二外科器械接口1055和第二内窥镜接口1056中的每一者可以彼此不同，以便适应第一外科器械1010、第一内窥镜1020、第二外科器械1030和/或第二内窥镜1040中的每一者的控制器接口之间的差异。在一些实施方案中，控制器1050可分别确定第一外科器械1010和第二外科器械1030相对于彼此的第一位置和第二位置，并且可以确定第一外科器械1010相对于第二外科器械1030的距离和取向，如下文进一步讨论的。

如图所示，系统1000还包括显示器1060，该显示器可操作地耦接到控制器1050并且被配置为能够以图形方式描绘由第一内窥镜1020和第二内窥镜1040中的一者或多者获取的图像。在所例示的实施方案中，控制器1050从第一内窥镜1020和第二内窥镜1040中的每一者接收图像数据流，根据所接收的图像数据实时地确定图像和/或视频馈送，并且将图像和/或视频馈送提供给显示器1060以在其上描绘并且由用户观看。在一些实施方案中，控制器1050可以将第一图像和第二图像合并在一起以创建合并图像或根据第一图像和第二图像创建的虚拟治疗位点，外科医生在手术期间使用该合并图像或虚拟治疗位点。关于合并图像的各种实施方案的附加细节在例如先前提及的2021年9月29日提交的名称为“Cooperative Access”的美国申请号63/249,980中提供。

系统1000可用于涉及多种不同外科器械和/或外科植入物的多种不同外科手术中。例如，系统1000可用于可视化和控制植入物的取向、控制各种器械的推进速率、允许在各种手术期间各种器械之间的同步和/或协作动作，并且允许在各种手术期间确定周围组织的各种组织特性，如下文进一步讨论的。

图23示出了在部分空肠改道中使用系统1000的一个实施方案，以使用从不同方向接近外科部位的第一内窥镜1020和第二内窥镜1040以及第一外科器械和第二外科器械1010、1030将外科植入物、在该例示的实施方案中的两件式磁性吻合装置的第一植入物部分1080a和第二植入物部分1080b协同地放置在连接的或联合的外科治疗部位处，并且当不可能用单个内窥镜1020、1040可视化外科器械1010、1030和两件式磁性吻合装置中的每一者时。部分空肠改道用于创建通过患者空肠(小肠)的较短的代谢途径，例如改变胃肠道运动速率和消化食物的葡萄糖影响。然而，与普通内窥镜和外科器械的有限长度相比，患者空肠的有效长度在使用两个单独的内窥镜和两个单独的外科器械来放置两件式吻合装置时给用户带来了挑战，因为内窥镜通常或总是无法直接观察彼此或两件式吻合装置以在部署两件式吻合装置之前帮助确定两件式吻合装置的取向和方位。在所例示的实施方案允许根据需要确定和控制外科器械1010、1030、内窥镜1020、1040以及植入物部分1080a、1080b的取向和距离，以确保植入物部分1080a、1080b在部署之前正确对准。此外，系统1000可以类似地用于其他外科手术中并且与其他植入物一起使用。

如图23所示，第一内窥镜1020被插入到患者的第一自然孔口，在所例示的实施方案中为口腔，并且被引导并且推进穿过患者的食管括约肌1091、幽门括约肌1092和十二指肠空肠曲1094至患者的空肠1090(或十二指肠和回肠之间的小肠中部)中的第一外科治疗部位1070a。第二内窥镜1040被插入到患者的第二自然孔口中，在该例示的实施方案中为直肠，并且被引导和推进通过回盲瓣1093到达空肠1090中的第二外科治疗部位1070b。在一些实施方案中，第一外科治疗部位1070a和第二外科治疗部位1070b可在插入之前使用各种外部成像机构(诸如CT成像)来识别，并且在一些实施方案中，部位1070a、1070b可在插入内窥镜1020、1040之后通过使用各种外部成像(诸如CT成像)、通过直接使用来自内窥镜1020、1040的成像、通过使用各种附加器械(诸如图23所示的腹腔镜1085等)来确认。在一些外科手术中，可以不使用腹腔镜1085。

在所例示的实施方案中，当第一内窥镜1020和第二内窥镜1040分别到达第一外科治疗部位1070a和第二外科治疗部位1070b时，每个内窥镜1020、1040检测其相对于另一个内窥镜1020、1040的位置，使得两个内窥镜1020、1040可以在它们各自的外科治疗部位1070a、1070b处相对于彼此定位和定向，以帮助确保第一植入物部分1080a和第二植入物部分1080b分别在每个部位1070a、1070b处的成功递送。每个内窥镜1020、1040的位置和取向由系统1000的控制器1050通过磁场检测使用每个内窥镜1020、1040的电磁(EM)跟踪尖端来跟踪，以确定每个内窥镜1020、1040在系统1000的全局坐标系中的位置和取向，该位置和取向由与每个内窥镜1020、1040和每个外科器械1010、1030通信的控制器1050所知。虽然在所例示的实施方案中提供了EM跟踪尖端，可以使用另选的和/或附加的跟踪装置，诸如如上所述的光纤布拉格光栅、虚拟标签、基准标记、探头的使用、已知解剖结构的识别、各种3D扫描技术(诸如使用如上所述的结构光)、上面所讨论的各种传感器和/或成像系统等。关于跟踪外科器械的各种实施方案的附加细节在例如之前提及的2021年9月29日提交的名称为“Cooperative Access”的美国申请号63/249,980中提供。

两件式磁性吻合装置的第一植入物部分1080a以可释放的方式附接到第一外科器械1010的远侧端部，并且具有第一植入物部分1010a的第一外科器械1080通过第一内窥镜1020的工作通道插入，直到第一植入物部分1080a和第一器械1010的最远侧部分在第一外科治疗部位1070a处朝远侧定位成超过第一内窥镜1020。类似地，两件式磁性吻合装置的第二植入物部分1080b以可释放的方式附接到第二外科器械1030的远侧端部，并且具有第二植入物部分1080b的第二外科器械1030通过第二内窥镜1040的工作通道插入，直到第二植入物部分1080b和第二器械1030的最远侧部分在第二外科治疗部位1070b处朝远侧定位成超过第二内窥镜1040。在其他实施方案中，第一外科器械1010和/或第二外科器械1030可分别沿着第一内窥镜1020和第二内窥镜1040的外部推进，而不是通过工作通道推进。

此外，系统1000的控制器1050控制第一器械1010和第二器械1030以及第一内窥镜1020和第二内窥镜1040在患者体内相对于彼此和/或集合点的推进力和速率。当跟踪第一器械1010和第二器械1030以及第一内窥镜1020和第二内窥镜1040时，控制器1050确定推进速度、接近向量、施加的力和/或彼此之间的距离和/或与集合点之间的距离，从而限定患者体内第一植入物部分1080a和第二植入物部分1080b旨在接合在一起的位置。当器械1010、1030和/或内窥镜1020、1040中的每一者接近集合点时，控制器1050改变推进速度、施加的力和/或检测采样率以确保接近的器械1010、1030和/或内窥镜1020、1040不会撞击或超过集合点，并且允许对应的器械1010、1030和/或内窥镜1020、1040的更精细或精确的定位。在一些实施方案中，控制器1050还可致使在显示器(例如，显示器1060)上显示推进速度、接近向量、施加的力、彼此之间的距离、与集合点的距离(打算表示的任何内容)和/或检测采样率的指示。

关于所例的示系统1000的实施方案，图24示出了与距集合点的距离(与图24中的“集合点”相比，被识别为“肠中的距离”)相比的第一器械1010(在图24中识别为“远侧器械”)和第二器械1030(在图24中识别为“近侧器械”)穿过患者的推进速度(以毫米/分钟为单位)。图24中所示的所识别的集合点表示由连接第一治疗位点1070a和第二治疗位点1070b形成的连接的或联合的外科治疗位点，并且患者肠中的距离被示出为从患者肠的近侧端部到患者肠的远侧端部增加，其中所识别的集合点大约在中间。然而，在其他实施方案中以及在其他手术期间，距离和集合点可以表示不同的生物器官和目标部位。

控制器1050还利用阈值和值的区域或范围来自动限制穿过患者的推进速度和距第一器械1010和第二器械1030中的一者或两者的集合点的距离，以增加患者的安全性。如图24所示，为第一器械1010和第二器械1030选择最高的推进速度(类似于速度极限)和距治疗部位1070a、1070b的距离范围。另外，在一些实施方案中，各种阈值和范围也可相互关联。例如，在图24所示的实施方案中，提供了“‘靠近’集合点的区”和速度限制阈值。“‘靠近’集合点的区”表示距集合点的预先选择的距离，并且包括在集合点两侧的下阈值距离值1075a和上阈值距离值1075b。此外，速度限制阈值1075c表示器械1010、1030的速度的上限。然而，一旦器械1010、1030进入“‘靠近’集合点的区域”，控制器1050仅将器械1010、1030的推进速度限制为速度限制阈值1075c。在进入阈值距离值1075a、1075b之间的所提供范围之前，器械1010、1030的推进速度不受限制。图25示出了在近侧接近和远侧接近期间通过患者的肠距图24的集合点的多个距离。例如，可以识别与从与之相对的近侧位置接近集合点的第一外科器械1010和第一内窥镜1030相关联的多个近侧距离P₁、P₂、P₃、P₄、P₅、P₆，以及与从与之相对的远侧位置接近集合点的第二外科器械1020和第二内窥镜1040相关联的多个远侧距离D₁、D₂、D₃、D₄、D₅、D₆，并且可以在距离中的一个或多个距离处建立一个或多个阈值以控制器械1010、1030和内窥镜1020、1040的推进速度。

可以为每个器械1010、1030创建已知的行进路径，以协助控制器1050和用户在给定肠的长度和复杂性的情况下正确地导航穿过患者的肠以到达集合点。在这样的示例中，在肠腹腔镜动员期间沿着患者的肠创建计算机图像期间，拾取并且标记彼此相距约2cm的点，诸如图25中所示的多个近侧距离P₁、P₂、P₃、P₄、P₅、P₆和多个远侧距离D₁、D₂、D₃、D₄、D₅、D₆。控制器1050因此知道相对于系统1000的全局坐标系到每个点P_n和D_n的距离以及每个内窥镜1020、1040在全局坐标系内的方位，并且控制器1050可以通过患者肠的顺应弯曲解剖结构来跟踪每个内窥镜1020、1040到集合点的距离。因此，不需要用户单独监视多个系统，每个系统都有其自身的器械和内窥镜，控制器1050可以跟踪并且限制包括多个器械1010、1030和多个内窥镜1020、1040的系统1000的推进速度、所施加的力和/或距该系统的可选择点的距离，以提高放置期间的安全性和精确度，同时还允许用户更充分地关注当前手术，而不是监视和跟踪多个器械和内窥镜。

一旦器械1010、1030已经到达治疗部位1070a、1070b，但在部署植入物部分1080a、1080b之前，器械1010、1030便通过至少一个共享的完整组织壁彼此相互作用，并且控制器1050基于相互作用做出关于组织的确定。例如，控制器1050确定组织特性，诸如厚度、硬度、横截面组织成分等。通过确定组织特性，可以基于特定组织特性来识别各种特定部署或治疗部位。

例如，在图23的实施方案中，第一外科治疗部位1070a和第二外科治疗部位1070b最初使用各种术前成像方法(诸如CT或MRI扫描)来识别，以识别用于植入物部署的初步位置。然而，当将植入物部分1080a、1080b操纵就位时，控制器1050监视组织特性以识别具有适当组织特性的每个植入物部分1080a、1080b的精确部署位置。基于一个或多个不同的因素进行确定，例如所测量的组织阻抗、组织厚度、组织密度、周围组织壁(包括粘膜层、粘膜下层或浆膜层)的横截面组织成分、多光谱或超声非可见光谱成像、组织和解剖结构可视化、器械1010、1030与内窥镜1020、1040之间的距离、周围组织对器械1010、1030与内窥镜1020、1040的进一步推进的阻力等。在所例示的实施方案中，两个内窥镜1020、1040被放在一起，仅肠内每个管腔的壁厚将内窥镜1020、1040分开，因此两个内窥镜1020、1040之间的距离用于帮助确定外科治疗部位1070a、1070b之间的组合组织壁厚。当部署植入物部分1080a、1080b时，用户试图识别证明足够压缩以引起两个植入物部分1080a、1080b之间的组织壁侵蚀并且将导致浆膜与浆膜组织层配合以在第一外科治疗部位1070a和第二外科治疗部位1070b之间产生愈合结合的位置。在其他实施方案中，可采取不同的成像或分析方法，诸如使用非侵入性吲哚菁绿(ICG)来使血流可视化以协助用户确保仅肠壁在两个植入物部分1080a、1080b之间而没有肠系膜或结缔组织在其间。在一些实施方案中，用户还可以利用ICG来帮助确定肠促融合生存力，特别是在外科治疗部位1070a、1070b处，并且在一些实施方案中，用户还可以通过比较从肠内部(诸如通过使用光学相干断层扫描、共聚焦激光等)做出的组织特性测定和从肠外部(诸如通过使用多光谱非接触成像或阻抗接触光谱)来帮助确认组织特性或组织类型。

该两件式磁性吻合装置随后在基于局部组织特性提供最佳成功机会的位置处部署。在一些实施方案中，控制器1050和/或用户寻找上文所讨论的不同组织因素中的一种或多种组织因素，诸如所测量的组织阻抗、组织厚度、组织密度等，以帮助防止器械1010、1030在外科手术期间刺穿患者体内的组织壁，从而减少对患者的总体伤害。在其他实施方案中，一个或多个附加的器械，诸如腹腔镜1085、各种探头或激光器、气囊等，可用于协助对周围组织进行附加的确定和/或协助旋转和操纵周围组织，以确保在植入物部署或其他治疗之前仅将期望的组织定位在器械1010、1030之间。

当两件式磁性吻合装置的第一植入物部分1080a和第二植入物部分1080b到达图23中所示的示例性实施方案中的相应的治疗部位1070a、1070b时，基于所检测到的每个器械1010、1030的位置和取向，根据需要旋转或铰接第一外科器械1010和第二外科器械1030，以帮助确保第一植入物部分1080a和第二植入物部分1080b分别成功递送到每个部位1070a、1070b。与上述第一内窥镜1020和第二内窥镜1040一样，每个器械1010、1030的位置和取向由系统1000的控制器1050使用EM跟踪尖端(和/或其他跟踪装置)来跟踪，以确定每个器械1010、1030在系统1000的全局坐标系中的位置和取向，该全局坐标系是控制器1050已知的。

虽然在所例示的实施方案中，提供了植入物的递送，但系统1000可以协调各种器械1010、1030与内窥镜1020、1040之间的同步或协调的移动和治疗以用于各种其他外科手术，以允许用户使用位于体腔中的不同点处的两个或更多个外科器械来执行协作治疗，使得即使当器械例如由于被周围组织彼此遮挡而无法直接看到彼此时，每个器械也可以完成协作治疗的一部分。

图26示出了使用内窥镜1020、1040中的每一者的EM跟踪远侧端部以及第一植入物部分1080a和第二植入物部分1080b中的每一者上的多个EM跟踪器(例如，三个或其他数量)将第一植入物部分1080a与第二植入物部分1080b对准的示例性过程。第一内窥镜1020的“向上”或中性方位或取向使用其上的EM跟踪器来确定。所确定的取向由图26中的箭头1022指示。可基于上面的多个EM跟踪器相对于第一内窥镜1020的位置来确定第一植入物部分1080a的当前取向。第一植入物部分1080a的当前取向由相对于箭头1022的箭头1024指示。可以使用关于第二内窥镜1040的类似步骤来确定第二植入物部分1080b的当前取向，并且第一植入物部分1080a和/或第二植入物部分1080a可以根据需要重新对准或重新定向，以对准两个植入物部分1080a、1080b，如图26中关于第一植入物部分1080a的实线箭头所示，以确保成功对准和部署，但两个内窥镜1020、1040之间的视野模糊。在其他示例性实施方案中，与图26中所示的那些对准指示器类似的对准指示器可被并入或增强到系统1000所使用的各种显示器中，诸如在用户所使用的腹腔镜视图中。

此外，在对准第一植入物部分1080a和第二植入物部分1080b时，器械1010、1030和内窥镜1020、1040的取向以及它们之间的组织的特性由控制器1050监视，以确保在部署期间不存在对周围组织的无意损伤，诸如组织扭曲或血流阻塞。例如，图27、图28和图29示出了植入物部分1080a、1080b的示例性部署。控制器1050使得在显示器1060和/或另一个显示器上显示通知，以通知用户由于外科治疗部位1070a、1070b的每一侧上的周围组织之间的取向不匹配(部分地基于定位在外科治疗部位1070a、1070b的每一侧上的某些解剖结构1072a、1072b的识别)而还不应当执行图27中的两件式磁性吻合装置的部署。在其他实施方案中，控制器1050可以限制器械1010、1030的致动，以防止由于取向不匹配而部署两件式磁性吻合装置。在图28中，器械1010、1030和内窥镜1020、1040协助旋转周围组织以确保外科治疗位点1070a、1070b之间的正确解剖学取向，并且在图29中，控制器1050使得在显示器1060和/或另一显示器上显示通知以通知用户可以继续进行两件式磁性吻合装置的部署，因为周围组织在外科治疗部位1070a、1070b的每一侧上正确定向，从而确保正确的血液流动并且防止患者肠的可能的扭曲。在控制器1050可最初限制器械1010、1030的致动以防止两件式磁性吻合装置由于取向失配而部署的其他实施方案中，控制器1050可重新启用器械1010、1030的致动以允许两件式磁性吻合装置由于正确取向而部署。在其他实施方案中，可以使用各种其他组织操纵方法来协助旋转，诸如利用引入到外科治疗部位1070a、1070b中的一者或两者的另一个外科器械来执行旋转腹腔镜辅助或通过使用腔内气囊来协助患者肠的旋转。

当第一植入物部分1080a和第二植入物部分1080b已经基于来自内窥镜1020、1040和/或器械1010、1030的任何期望的移动而被重新定向、旋转并且彼此对准时，第一植入物部分1080a和第二植入物部分1080b同时部署。因为第一植入物部分1080a和第二植入物部分1080b是磁性的，所以当部署时第一部分1080a和第二部分1080b通过空肠壁连接在一起，从而将第一治疗部位1070a和第二治疗部位1070b形成为单个连接的或联合的外科治疗部位。

在一些外科手术中可以使用附加的外科器械和/或附加的窥镜来帮助附加的可视化、周围组织的移动、协助定位植入物，等等。在某些实施方案中，使用附加的外科器械和/或附加的窥镜可能是有益的，这是因为难以到达患者体内的一些目标部位，例如考虑到穿过肠的操纵的长度和复杂性，例如小肠内的目标部位。例如，系统1000可包括从一个或多个附加的进入位置引入到患者身体的一个或多个附加的外科器械和/或一个或多个附加的窥镜，并且控制器1050可以协调所并入的外科器械和/或窥镜的移动以执行协作手术。图23示出了例如腹腔镜1085，该腹腔镜具有由虚线指示的视场1085a，通过腹腔镜方法引入患者体内，并且抓紧器1087也通过腹腔镜方法引入患者体内。在所例示的实施方案中，腹腔镜1085和抓紧器1087可用于帮助定向和对准器械1010、1030、内窥镜1020、1040和植入物部分1080a、1080b中的一者或多者，以确保植入物部分1080a、1080b的成功部署。例如，可以引入抓紧器1087来操纵小肠的部分，以确保每个植入物部分1080a、1080b能够到达期望的部署位置，如在腹腔镜1085的视场1085a内视觉地指示的。可以使用除抓紧器之外的器械来操纵小肠的部分，诸如解剖器。

在其他实施方案中，各种外科器械和/或窥镜(诸如双气囊肠镜、自推进式双弯曲内窥镜等)可以用来替代外科器械中的一个或多个外科器械或除了外科器械中的一个或多个外科器械之外使用，以在给定周围组织诸如小肠的长度和复杂性的情况下协助对其进行导航和控制。例如，如果用户希望将内窥镜1020、1040中的一者定位在患者的空肠更深处，则可以使用双气囊肠镜来将一定量的小肠聚集到所选择的内窥镜1020、1040中的一者上，同时防止所选择的内窥镜1020、1040从空肠滑出或向后回缩。该方法允许几英尺或更多的小肠聚集在几英寸的所选择的内窥镜1020、1040上，这是有用的，因为内窥镜具有设定的长度，并且患者小肠内的目标外科部位可比内窥镜的长度更深入肠。在这样的示例中，用户可能需要使用协作式腹腔镜和内窥镜交互来允许足够多的肠组织被拉到所选择的内窥镜1020、1040上。

在其他示例中，双气囊肠镜可用于协助部署两件式磁性吻合装置的植入物部分1080a、1080b中的一者。例如，肠镜的最远侧气囊可定位在待部署的第二植入物部分1080b的远侧，并且当最远侧气囊定位在第二外科治疗部位1070b处时，由于气囊，该部位处的可见度将增加。关于组织操纵器械的各种实施方案的附加细节在例如先前提及的2021年9月29日提交的名称为“Cooperative Access”的美国申请号63/249,980中提供。在一些实施方案中还可以使用各种附加的导航辅助装置，诸如将腹腔镜探头引入到目标部位和/或通过已知手段(诸如虚拟地在机器人系统中或利用基准标记)以其他方式标记患者体内的各个部位。在各种其他实施方案中，两件式磁性吻合装置的植入物部分1080a、1080b中的一者或两者可以使用腹腔镜方法而不是通过如上所述的天然孔口中的一者或两者来部署。使用腹腔镜方法，使用器械1010、1030和内窥镜1020、1040之间的协作式移动穿过患者的空肠或小肠壁来部署植入物部分1080a、1080b中的一者或两者，如图30所示。该方法可利用通常用于解剖移动的各种腹腔镜进入端口来引入植入部分1080a、1080b中的一者或两者，从而避免通过患者的肠的可能的挑战性插入过程，并且植入部分1080a、1080b可以使用与上述那些类似的跟踪和成像机构来确保在放置之前的正确对准和定向。关于腹腔镜的各种实施方案的附加细节在例如之前提及的2021年9月29日提交的名称为“Cooperative Access”的美国申请号63/249,980中提供。

关于部分空肠改道和对应的植入物的附加细节在以下专利中提供：2014年1月28日发布的名称为“Methods and devices for the rerouting of chyme to inducedEnteral Brake”的美国专利号8,636,751；2019年2月19日发布的名称为“Magnetic tissuecompression device with backup mechanical latch”的美国专利号10,206,682；2019年12月31日发布的名称为“Magnetic anastomosis devices with varying magnetic forceat a distance”的美国专利号10,517,600；2020年9月22日发布的名称为“Systems,devices,and methods for forming anastomoses”的美国专利号10,779,831；2021年6月15日发布的名称为“Methods for partial diversion of the intestinal tract”的美国专利号11,033,272；2017年9月21日发布的名称为“Targeting systems for providingaccurate placement of magnetic anastomosis devices”的美国专利公布号2017/0265866；以及2012年1月19日公布的名称为“Adevice for an endoluminal cholecysto-enterostomy”的PCT公布号WO2012007052A1，所有这些申请的全文以引用方式并入本文。

根据上述实施方案，本领域的技术人员将会认识到本发明的另外的特征和优点。因此，本发明不应受到已具体示出和描述内容的限制，除非所附权利要求有所指示。本文引用的所有出版物和参考文献出于所有目的全文明确地以引用方式并入本文。

Claims (24)

1.一种系统，所述系统包括：

第一外科器械，所述第一外科器械被构造成能够插入到体腔的第一部分中并且能够在患者的所述体腔内部署外科植入物的第一部分；

第二外科器械，所述第二外科器械被构造成能够插入到所述体腔的第二部分中并且能够在所述体腔内部署所述外科植入物的第二部分，所述体腔的所述第二部分不同于所述第一部分；

第一柔性内窥镜，所述第一柔性内窥镜具有第一图像传感器，所述第一柔性内窥镜被定位成使得所述第二外科器械不在所述第一图像传感器的视场内；

第二柔性内窥镜，所述第二柔性内窥镜具有第二图像传感器，所述第二柔性内窥镜被定位成使得所述第一外科器械不在所述第二图像传感器的视场内；和

控制器，所述控制器被配置为能够接收由所述第一图像传感器和所述第二图像传感器中的每一者收集的图像，以确定所述第一外科器械和所述第二外科器械相对于彼此的第一位置和第二位置、以确定第一体腔的所述第一部分和所述第二部分内的组织壁的特性、以及基于所述组织壁的所述特性来确定所述外科植入物的所述第一部分和所述第二部分的放置位置。

2.根据权利要求1所述的系统，其中，所述外科植入物的所述第一部分包括第一电磁跟踪器，所述第一电磁跟踪器被配置为能够向所述控制器提供关于所述植入物的所述第一部分的数据；

所述外科植入物的所述第二部分包括第二电磁跟踪器，所述第二电磁跟踪器被配置为能够向所述控制器提供关于所述植入物的所述第二部分的数据；并且

所述外科植入物的所述第一部分和所述第二部分的所确定的放置位置至少基于关于所述植入物的所述第一部分和所述第二部分的接收到的数据。

3.根据权利要求1或权利要求2所述的系统，其中，所述组织壁的所述特性包括厚度、硬度、或组织成分中的至少一者。

4.根据权利要求3所述的系统，其中，所述控制器被配置为能够至少基于所述第一器械和所述第二器械的所述第一位置和所述第二位置来确定所述组织壁的所述厚度。

5.根据权利要求3或权利要求4所述的系统，其中，所述控制器被配置为能够基于组织阻抗和非可见光谱成像中的至少一者来确定所述组织壁的所述特性。

6.根据前述权利要求中任一项所述的系统，其中，所述控制器被配置为当组织阻碍所述第二外科器械进入所述第一内窥镜的所述视场时以及当组织阻碍所述第一外科器械进入所述第二内窥镜的所述视场时，能够确定所述第一外科器械和所述第二外科器械的所述位置。

7.根据前述权利要求中任一项所述的系统，其中，所述第一外科器械被构造成能够通过所述患者的第一自然孔口插入到所述体腔中，并且所述第二外科器械被构造成能够通过所述患者的不同的第二自然孔口插入到所述体腔中。

8.根据前述权利要求中任一项所述的系统，其中，所述控制器被配置为能够旋转和铰接所述第一外科器械，以相对于所述外科植入物的所述第二部分定位所述外科植入物的所述第一部分。

9.根据前述权利要求中任一项所述的系统，其中，所述体腔包括空肠，并且所述外科植入物包括吻合装置。

10.一种系统，所述系统包括：

数据处理器；和

存储器，所述存储器存储被配置为能够致使所述数据处理器执行操作的指令，所述操作包括：

从第一内窥镜的第一图像传感器实时接收表征患者的体腔的第一部分的第一图像数据；

从第二内窥镜的第二图像传感器实时接收表征所述第一体腔的第二部分的第二图像数据；

基于所述第一图像数据来确定第一外科器械的第一位置，所述第一外科器械被构造成能够在所述体腔的所述第一部分中部署外科植入物的第一部分；

基于所述第二图像数据来确定相对于所述第一外科器械的所述第一位置的第二外科器械的第二位置，所述第二外科器械被构造成能够在所述体腔的所述第二部分中部署外科植入物的第二部分；

确定所述第一体腔的所述第一部分和所述第二部分内的所述组织壁的特性；以及

基于所述组织壁的所述特性来确定所述外科植入物的所述第一部分和所述第二部分的放置位置。

11.根据权利要求10所述的系统，其中，所述数据处理器的所述操作还包括：接收从所述外科植入物的所述第一部分中的第一电磁跟踪器到所述控制器的关于所述植入物的所述第一部分的数据，以及接收从所述外科植入物的所述第二部分中的第二电磁跟踪器到所述控制器的关于所述植入物的所述第二部分的数据；以及

至少基于从所述第一电磁跟踪器和所述第二电磁跟踪器接收到的所述数据来确定所述外科植入物的所述第一部分和所述第二部分的放置位置。

12.根据权利要求10或权利要求11所述的系统，其中，所述组织壁的所述特性包括厚度、硬度、或组织成分中的至少一者。

13.根据权利要求12所述的系统，所述系统还包括基于所述第一器械和所述第二器械的所述第一位置和所述第二位置、组织阻抗、和非可见光谱成像中的至少一者来确定所述组织壁的所述特性。

14.根据权利要求10至13中任一项所述的系统，所述系统还包括当组织阻碍所述第二外科器械进入所述第一内窥镜的所述视场时以及当组织阻碍所述第一外科器械进入所述第二内窥镜的所述视场时，确定所述第一外科器械的所述第一位置以及确定所述第二外科器械的所述第二位置。

15.根据权利要求10至14中任一项所述的系统，其中，所述体腔包括空肠，并且所述外科植入物包括吻合装置。

16.一种方法，所述方法包括：

从第一内窥镜系统的第一图像传感器实时接收表征患者的体腔的第一部分的第一图像数据；

从第二内窥镜系统的第二图像传感器实时接收表征所述体腔的第二部分的第二图像数据；

由控制器基于所述第一图像数据来确定第一外科器械在第一身体部分内的第一位置并且使外科植入物的第一部分以可释放的方式接合在所述第一外科器械上，所述第一外科器械位于所述第二内窥镜系统的视场之外，所述体腔的所述第二部分不同于所述第一部分，并且所述体腔的第二外科治疗部位不同于第一外科治疗部位；

由所述控制器基于所述第二图像数据来确定第二外科器械在所述体腔的所述第二部分内相对于所述第一外科器械的第二位置，所述第二外科器械具有以可释放的方式接合在所述第二外科器械上的外科植入物的第二部分，所述第二外科器械位于所述第一内窥镜系统的视场之外；

由所述控制器确定所述第一体腔的所述第一部分和所述第二部分内的所述组织壁的特性；以及

由所述控制器基于所述组织壁的所述特性来确定所述外科植入物的所述第一部分和所述第二部分的放置位置。

17.根据权利要求16所述的方法，其中，所述组织壁的所述特性包括厚度、硬度、或组织成分中的至少一者。

18.根据权利要求16或权利要求17所述的方法，所述方法还包括基于所述第一器械和所述第二器械的所述第一位置和所述第二位置、组织阻抗、和非可见光谱成像中的至少一者来确定所述组织壁的所述特性。

19.根据权利要求16至18中任一项所述的方法，所述方法还包括当组织阻碍所述第二外科器械进入所述第一内窥镜的所述视场时以及当组织阻碍所述第一外科器械进入所述第二内窥镜的所述视场时，确定所述第一外科器械的所述第一位置以及确定所述第二外科器械的所述第二位置。

20.根据权利要求16至19中任一项所述的方法，其中，所述体腔包括空肠，并且所述外科植入物包括吻合装置。

21.一种包括指令的计算机程序产品，当所述程序由根据权利要求1至9中任一项所述的系统的所述控制器执行时，所述指令致使所述控制器：

接收由所述第一图像传感器和所述第二图像传感器中的每一者收集的图像；

确定所述第一外科器械和所述第二外科器械相对于彼此的第一位置和第二位置；

确定所述第一体腔的所述第一部分和所述第二部分内的所述组织壁的特性；以及

基于所述组织壁的所述特性来确定所述外科植入物的所述第一部分和所述第二部分的放置位置。

22.一种包括指令的计算机程序产品，当所述程序由根据权利要求10至15中任一项所述的系统的所述控制器执行时，所述指令致使所述系统执行根据权利要求16至20中任一项所述的方法。

23.一种计算机可读介质，所述计算机可读介质上存储有根据权利要求21或权利要求22所述的计算机程序产品。

24.一种数据载体信号，所述数据载体信号承载根据权利要求21或权利要求22所述的计算机程序产品。