CN113613852A - 机器人手术碰撞检测系统 - Google Patents

Abstract

公开了根据本公开的方面的用于手术机器人碰撞检测的系统和方法。在各个实施例中，一种用于手术机器人碰撞检测的系统包括：机器人推车，其具有机器人臂；成像装置，其由所述机器人推车或所述机器人臂支撑，所述成像装置捕获所述成像装置的视野内的图像；以及控制器，其与所述机器人臂和所述成像装置可操作地通信。所述控制器包括处理器和存储指令的存储器，所述指令在由所述处理器执行时，使得所述控制器：从所述成像装置接收所述图像、从所述图像生成包括第一多个空间点的网格、并且基于所生成的网格来检测所述视野内的潜在碰撞。

Description

机器人手术碰撞检测系统

背景技术

机器人手术系统通常用于执行微创医疗程序。这些手术系统可以包括外科医生控制台，所述控制台被配置成控制支撑机器人臂的可移动支撑结构(例如，可移动推车)，所述机器人臂具有安装在其上的至少一个末端执行器(例如，镊子、抓取工具和/或摄像头)。机器人臂可以在手术程序过程中向末端执行器提供机械力和/或电力。另外，机器人臂还可以实现末端执行器与计算装置之间的电通信，以在手术程序过程中控制末端执行器的操作。每个机器人臂可以包括可操作地连接到末端执行器的器械驱动单元，所述器械驱动单元含有至少一个驱动机构。

外科医生控制台通常包括一个或多个手柄组件，其用于在手术程序过程中启动功能，以控制相关联的末端执行器。这些手柄组件经由对由用户施加的力的直接机械转变或通过将手柄组件的用户致动转变成控制信号来实施致动，所述控制信号进而被传输到机器人臂，以致动器械驱动单元的驱动机构和/或末端执行器。根据响应于手柄组件的用户操纵所生成的控制信号，各个受控部件可以进行较小的位置调整，以将机器人臂和/或末端执行器在手术区域内移动几毫米至更显著的分米或米的调整。这些调整可能导致手术环境中各个受控部件和/或其它对象(例如，手术台或支持人员)之间的碰撞。

因此，需要系统和方法来当各个受控部件在手术环境内移动时，识别和减轻手术环境内受控部件和对象(例如，各个受控部件和/或其它对象)之间的潜在碰撞。

发明内容

根据本公开的方面，描述了一种手术机器人碰撞检测系统。手术机器人碰撞检测系统包括具有机器人臂的机器人推车、成像装置和控制器。成像装置由机器人推车或机器人臂支撑，并且被配置成捕获成像装置的视野内的图像。控制器与机器人臂和成像装置可操作地通信。控制器包括处理器和在其上存储指令的存储器，所述指令在由所述处理器执行时，使得所述控制器：从成像装置接收图像、从所述图像生成包括第一多个空间点的网格、并且基于所生成的网格来检测所述视野内的潜在碰撞。

成像装置可以是立体成像装置、光学成像装置、测距激光装置、红外(IR)成像装置、深度成像装置(例如，RGB-D成像装置)。成像装置可以包括被配置成在第一时间点处捕获第一图像的传感器。

根据本公开的方面，手术机器人碰撞检测系统包括具有机器人臂的机器人推车以及由机器人推车或机器人臂支撑的成像装置。成像装置捕获成像装置的视野内的图像。控制器与机器人臂和成像装置可操作地通信。控制器具有处理器和存储指令的存储器，所述指令在由所述处理器执行时，使得所述控制器：从成像装置接收图像；从所述图像生成包括第一多个空间点的网格；并且基于所生成的网格来检测视野内的潜在碰撞。

在本公开的另一方面中，成像装置包括被配置成在第一时间点处捕获第一图像的传感器，所述第一图像包括与所述传感器呈位置关系的对象。

在本公开的方面中，存储器存储指令，所述指令在由处理器执行时，使得控制器接收第一图像并且基于所述第一图像来生成第一深度图。

在本公开的又另一方面中，控制器基于第一深度图来生成第一点云，所述第一点云包括含在网格内的第一多个空间点。

在本公开的另一方面中，控制器分割第一多个空间点，以识别第一点云的第一空间点子集，所述第一空间点子集中的每个空间点对应于对象的表面。

在本公开的方面中，存储器包括指令，所述指令在由处理器执行时，使得控制器：将第一空间点子集与对象的结构的预识别配置进行比较，以识别成像装置的视野内的对象。

在本公开的另一方面中，成像装置的传感器在第二时间点处捕获第二图像，并且存储器进一步包括指令，所述指令在由处理器执行时，使得控制器：接收第二图像；并且生成第二深度图。

在本公开的又另一方面中，存储器进一步包括指令，所述指令在由至少一个处理器执行时，使得控制器：在包括第二多个空间点的坐标系统内生成第二点云，并且其中所述第二点云基于第二深度图。

在本公开的另一方面中，存储器进一步包括指令，所述指令在由至少一个处理器执行时，使得控制器：分割第二多个空间点，以识别第二点云的第二空间点子集，并且将所述第二空间点子集与一个或多个对象的结构的预识别配置进行比较；将第一点云中的第一空间点子集与第二点云中的第二空间点子集进行匹配，以关于第二点云定向第一点云；并且基于第一点云相对于第二点云的定向来识别成像装置的视野内的一个或多个对象的运动。

在本公开的又另一方面中，存储器进一步包括指令，所述指令在由一个或多个处理器执行时，使得控制器基于一个或多个对象从一个或多个对象在第一点云中的位置到一个或多个对象在第二点云中的位置的所识别运动来确定一个或多个对象的空间轨迹(例如，位置轨迹和/或定向方向)。

在本公开的又另一方面中，所述方法进一步包括与控制器通信的显示装置。存储器进一步包括存储在其上的指令，所述指令在由所述处理器执行时，使得控制器：基于确定存在可能碰撞来使显示装置输出可能碰撞的指示。

在本公开的另一方面中，所述指示包括位置图的三维图像。

在本公开的又另一方面中，位置图的三维图像示出了在对象保持在空间轨迹上的情况下在稍后时间点处呈现可能碰撞。

在本公开的另一方面中，存储器进一步包括存储在其上的指令，所述指令在由处理器执行时，使得控制器：向机器人推车或机器人臂传输控制信号，以使机器人臂重新定位，从而避免可能碰撞。

在本公开的方面中，描述了一种用于检测手术机器人系统的对象之间的潜在碰撞的方法，所述手术机器人系统包括成像装置、机器人臂和控制器，所述控制器与所述成像装置和所述机器人臂通信。所述方法包括：接收由成像装置捕获的图像数据；基于所述图像数据来生成包括第一多个空间点的深度图；以及检测所述图像数据中捕获的对象之间的潜在碰撞。

在本公开的另一方面中，所述方法进一步包括基于深度图生成第一点云，所述第一点云包括多个空间点。

在本公开的另一方面中，所述方法进一步包括分割点云中的多个空间点，以识别所述点云的空间点子集，所述空间点子集中的每个点对应于一个或多个对象的表面部分。

在本公开的又另一方面中，空间点子集的识别包括：将空间点子集与一个或多个对象的预定配置进行匹配；以及基于所述匹配，识别一个或多个对象。

在本公开的方面中，所述方法进一步包括：在比成像装置捕获到图像数据更迟的时间点处从成像装置接收第二图像数据、基于所述第二图像数据来生成包括第二多个空间点的第二深度图、基于所述第二深度图来生成包括第二多个空间点的第二点云、分割第二多个空间点以识别所述第二点云内的空间点子集、以及将第一点云中的空间点子集与第二点云中的空间点子集进行匹配。

在本公开的另一方面中，所述方法进一步包括：基于第一点云和第二点云中所匹配的空间点子集的位置差异来确定对象的空间轨迹；以及当存在可能碰撞时，显示可能碰撞的指示。

在本公开的另一方面中，所述方法进一步包括：传输控制信号，以使机器人臂修改一个方向上的运动，从而避免可能碰撞。

在本公开的方面中，提出了一种暂时性计算机可读介质，其存储计算机可执行指令非，所述计算机可执行指令使得至少一个处理器执行碰撞检测过程。所述碰撞检测过程包括：从成像装置接收一个或多个图像；生成包括空间点的深度图，每个空间点对应于成像装置的视野内的一个或多个对象的表面部分；基于所生成的深度图来生成点云；将所述点云中的空间点分割成空间点子集，所述空间点子集与手术环境中的对象相关联；以及基于手术环境内的空间点子集中的每一个的运动范围来检测空间点子集之间的可能碰撞。

尽管出于说明和描述的目的参考附图详细描述了本公开的实施例，但是应理解，所公开的实施例不应被解释为受其限制。对于本领域普通技术人员显而易见的是，在不脱离本公开的范围的情况下，可以对前述实施例进行各种修改和/或组合。

附图说明

图1是根据本公开的实施例的机器人手术系统的示意图；

图2是图1的机器人手术系统的机器人推车或塔架的透视图；

图3是用于控制图1的机器人手术系统的系统架构的示意图；

图4是可以根据本公开的各个实施例采用的计算装置的示意图；

图5是示出了根据本公开的实施例的用于检测图1的手术环境中的对象的方法的流程图；

图6是示出了根据本公开的实施例的用于检测图1的手术系统中的各个部件之间的潜在碰撞的方法的流程图；并且

图7A至7D示出了根据本公开的实施例的由图1的机器人手术系统中的成像装置捕获的示范性图像数据。

具体实施方式

参考附图详细描述了本公开的实施例，其中相同的附图标记可以用于在若干视图的每一个中表示相同或对应的元件。

如本文所用，术语“远端”通常是指所描述部件更远离临床医生且更靠近患者的部分，并且术语“近端”通常是指所描述部件更靠近临床医生且更远离患者的部分。

如本文所用，术语“临床医生”通常是指医生、护士、包括支持人员的保健护理提供者、以及本文描述的手术系统的其它操作者。

如本文所用，术语“手术环境”通常是指手术机器人安置在其中并在其中进行操作的空间。此类空间可以包括但不限于操作室、手术机器人存储和维护设施、以及手术机器人安置在其中以进行机械操作的其它空间。术语“手术空间”通常是指安置在患者内的手术环境内的区域，并且可以包括但不限于患者体内的吹气区域或以其它方式建立的区域。

如本文所用，术语“对象”通常是指机器人手术系统的对应部件、以及位于手术环境内的外来对象(例如，桌子、墙壁、可移动推车、临床医生或任何其它元件)，尤其是能够与所描述的机器人手术系统的部件碰撞的那些对象。

如本文所用，术语“碰撞”通常是指手术空间或手术环境内的对象之间的接触。对象的此种碰撞可以包括但不限于在手术程序过程中机器人臂接触手术环境内的另一机器人臂。碰撞可以进一步包括机器人手术系统的机器人臂与个体或非机器人元件之间的碰撞。如本文所用，机器人臂被理解为包括远程操作臂等。

如本文所用，术语“参考框架”通常是指传感器可以在其内收集测量结果的预定区域，例如，与传感器呈固定关系存在的三维坐标框架。

术语“无线”是指未通过电导体连接的两个点之间的数据或电力的电通信。将会理解，在整个本公开中，术语“通信”、“联接到”和“有线”可以描述在实施例中可以用无线连接替代的连接。

本公开总体上涉及检测手术环境中或手术空间中(例如，患者体内)的对象之间的可能碰撞。更具体地，本公开描述了基于手术环境或手术空间中的对象之间的所识别空间关系来检测可能碰撞的系统和方法。可以基于由围绕手术环境定位的一个或多个成像装置接收的传感器数据来检测这些碰撞。成像装置可以被配置成测量对象(例如，机器人臂)的表面部分相对于成像装置的深度(例如，距离)。控制器接收所测得的深度信息(被称为图像数据)，并且生成图像数据的三维表示或深度图。

在图像数据的多个例子可用的情况下和/或在围绕手术环境安置多个成像装置的情况下，可以关联或匹配对应的图像数据，并且可以生成离散的深度图。每个深度图可以含有固定3D空间或参考框架内的空间点。组合离散的深度图使得能够生成被称为点云的三维深度图。经考虑可以使用单成像器来为其像素中的每一个产生深度。如本文所用，点云是多个深度图像的累积，深度图像可以来自四处移动的相同成像器，或者其可以同时地或随时间推移地来自多个成像器。点云包括多个空间点，并且可以在生成时被显示为模型，以示出对象中的每一个在手术环境或手术空间内和相对于手术环境或手术空间的位置和定向(或“姿势”)。

在深度图或点云中，当可用时，与特定对象(例如，机器人臂连杆中的连接件(link))相关联的一个或多个预定对象图(例如，定义对象外部的点集)可以与深度图或点云内的空间点的子集匹配，以识别手术环境内的特定对象的位置。还可以基于从表示对象相对于彼此的位置和/或姿势的位置信号(例如，表示第一连杆相对于另一连杆的位置的编码器信号)推导出的运动学图来生成这些对象图。在匹配的情况下，基于所匹配的对象图来更新深度图或点云，以包括来自未包括在深度图或点云中的对象图的空间点(例如，从初始深度图或点云中省略的已知空间点云及其相对于所匹配的对象点的位置)。

可以通过计算手术环境或手术空间内的对象的轨迹来检测手术环境或手术空间内被成像的对象之间的潜在碰撞。例如，可以在一段时间内对从图像数据生成的深度图进行分析，并且可以监视对象的位置，以确定对象的潜在轨迹。当这些潜在轨迹相交时，潜在碰撞可以被识别为很可能发生。基于这些潜在碰撞的识别，可以在显示器上显示对象之间的潜在碰撞的三维图像，因此临床医生可以采取行动来避免碰撞。控制器还可以传输经修改的控制信号，以调整被识别为潜在地遭受碰撞的对象的移动或定位。

现在参照图1至3，示出了根据本公开的实施例提供的机器人手术系统并通常将其指定为10。机器人手术系统10包括手术机器人100、控制器200和包括显示器306的用户界面或控制台300。手术机器人100包括机器人推车或塔架116。连杆112由塔架支撑，连杆112包括多个连接件112a、112b。连接件112a、112b可相对于对应的连接件112a、112b旋转，每个连杆112可移动地支撑连杆112的末端部分104上的末端执行器或工具108(例如，摄像头)，使得末端执行器或工具108被配置成作用于手术空间“S”中患者“P”的组织或对其进行成像。连接件112a、112b可以相对于彼此枢转，以在手术程序过程中根据需要定位手术机器人100的末端部分104。机器人臂102的末端部分104可以包括成像装置106，所述成像装置被配置成在手术程序过程中插入到手术空间“S”中。另外或替代地，成像装置114可以沿着机器人臂102的远端部分定位，并且被配置成捕获包括安置在手术空间“S”内的工具108的进入点的图像数据。如本文所用，成像装置106可以包括成像传感器、摄像头、腹腔镜、内窥镜等。

塔架116包括从塔架接口204接收通信和/或数据的通信接口118。通信接口118传输信号，以操纵马达122并移动与塔架116相关联的连杆112。马达122可以位于机器人臂102中和/或离散的连接件112a、112b内。在各个实施例中，响应于接收电力，马达122机械地操纵机器人臂102、连接件112a、112b和/或工具108(图1)。机器人臂102、连杆112和/或工具108的机械操纵可以包括响应于来自处理器206的指令而从马达122施加力以移动机器人臂102和/或联结到机器人臂102的工具108。例如，马达122可以经由线缆(未示出)可操作地联结到关节“J”以操纵机器人臂102。

塔架116可以固定在手术环境内，如图1所示，或者可以是可在手术环境内重新定位的可移动推车，如图2所示。连接件112a、112b包括与连接连杆112的连接件112a、112b的相应关节“J”相关联的马达122。马达122被配置成从控制器200接收电力和/或控制信号，并且作为响应，操纵手术环境和/或手术空间“S”内的连杆112和/或工具108的位置。具体地，响应于所接收的控制信号，手术机器人100可以启动马达122，以将力施加到相应关节“J”周围或施加到所述关节，以调整手术机器人100的各个部件的位置。连杆112的相应关节“J”可以包括编码器E₁。编码器E₁安置在连杆112的相应关节“J”周围并且被配置成生成表示连杆112围绕相应关节“J”的位置和/或速度的编码器信号，并且通过扩展，对应连接件112a、112b围绕关节“J”可旋转地联接。

控制器200可以是在许多方面类似于图4的计算装置400的单体式计算装置，或可以集成到机器人手术系统10的各个部件中的一个或多个中(例如，在塔架116或控制台300中)。控制器200还可以被分布到机器人手术系统10的多个部件(例如，在多个塔架116中)。控制器200通常包括处理器206、存储器208、塔架接口204、控制台接口202和成像装置接口210。塔架接口204、控制台接口202和成像装置接口210经由无线配置(例如，Wi－Fi、蓝牙、LTE)和/或有线配置分别与塔架116、控制台300、成像装置414、416进行通信。尽管描绘为独立模块，但是在其它实施例中，控制台接口202、塔架接口204和成像装置接口210可以是单部件。

控制台300包括支撑在控制臂304上的输入手柄302，所述输入手柄使临床医生能够操纵工作空间“W”内的手术机器人100(例如，移动和接合机器人臂102、机器人臂102的末端104和/或工具108)。输入手柄302中的每一个可以允许临床医生操纵(例如，夹持、抓握、击发、打开、关闭、旋转、推进、切开等)支撑在机器人臂102的末端104处的工具108。输入手柄302中的每一个通过工作空间“W”的运动可以使得机器人臂102的末端部分104和/或工具108以任何比例对应的方式在手术空间“S”内移动，以引起手术机器人100的移动。

控制台300进一步包括计算机308，所述计算机包括处理单元或处理器和存储器，所述存储器包括与塔架116的各个部件、算法和/或操作相关的数据、指令和/或信息，所述计算机在许多方面类似于图4的计算装置。控制台300可以使用任何合适的电子服务、数据库、平台、云等来操作。控制台300与输入手柄302和显示器306通信。在由临床医生接合时，每个输入手柄302可以向计算机308提供对应于输入手柄302的移动的输入信号。基于所接收的输入信号，计算机308可以处理信号并向控制器200传输信号，所述控制器进而向塔架116和塔架116的装置传输控制信号，以至少部分地基于从计算机308传输的信号来实现运动。输入手柄302可以是手柄、踏板或计算机附件(例如键盘、操纵杆、鼠标、按钮、触摸屏、开关、轨迹球)。

显示器306可以被配置成显示二维和/或三维图像。具体地，显示器306可以被配置成显示包括由机器人手术系统100捕获的图像数据的用户界面。当手术空间“S”的图像(例如，视觉图像、红外图像、超声图像、X射线图像、热图像和/或任何其它捕获的实时图像)被安置在患者“P”体内或其周围的成像装置106、114捕获时，可以将图像数据传输到控制器200，所述控制器进而可以从所述图像数据生成手术空间“S”的三维图像。然后可以传输这些三维图像以在控制台300的显示器306上显示。

关于机器人手术系统的示范性构造和操作的详细论述，可以参考第8,828,023号美国专利；关于示范性手术机器人100的详细描述，可以参考于2017年5月26日提交的国际专利公开WO2017/210098；并且关于机器人手术系统10的构造和操作的详细论述，可以参考于2018年9月4日提交的题为“包括双编码器的机器人手术系统控制臂(ROBOTIC SURGICALSYSTEM CONTROL ARM INCLUDING DUAL ENCODERS)”的第PCT/US18/49319号国际专利申请，这些专利中的每一个的全部内容通过引用并入本文。

继续参考图1和2，连杆112进一步包括支撑或安置在其上的成像装置106、114、414，这些成像装置被配置成捕获手术环境的图像。具体地，成像装置106、114、414、416可以与手术机器人100的各个部件呈间隔关系安置、定位在这些部件中或沿着这些部件安置。成像装置106、114、414、416被配置成捕获手术环境或手术空间“S”(例如，连杆112、手术台、个体、其它对象、器官等)和手术机器人100的图像数据。一旦所述图像数据被捕获，成像装置106、114、414、416就向控制器200传输图像数据，以用于分析。成像装置106、114、414、416可以包括传感器，如但不限于光学传感器、成像装置传感器(例如，CCD和/或CMOS)和/或收集传感器数据的光检测和测距(例如，LiDAR和飞行时间深度)传感器。作为收集传感器数据的结构的结果，成像装置106、114、414、416或控制器200可以并入有已知的数据分析技术，如但不限于立体匹配、光成像检测、光学成像和/或测距激光器、光检测和测距(例如，LiDAR)技术，并且进而将所收集的传感器数据转换为手术环境和/或手术空间“S”的实时图像数据(例如，视觉图像、红外图像和其它实时图像)。在实施例中，成像装置106、114、414、416可以传输原始数据，所述原始数据随后由远程计算装置(例如，控制器200或远程计算装置)处理以生成图像数据。

实时图像或随后生成的图像数据可以表示手术环境内的对象相对于相应成像装置106、114、414、416的表面深度。在实施例中，成像装置106、114、414、416用激光照明对象，并且进而，传感器可以测量光照到对象并从手术环境内或手术区域内的对象反射所需的时间量。例如，使用LiDAR，基于所记录的光传输与反射光检测之间的时间以及光速来测量手术环境中的对象相对于成像装置106、114、414、416的距离。基于反射光的检测和测量，成像装置106、114、414、416生成传感器数据、将所述传感器数据转换为图像数据、并且向控制器200传输所述图像数据。结合图5和6，图像数据可以按空间点的形式表示对象的表面部分相对于成像装置106、114、414、416的深度(例如，距离)。成像装置106、114、414、416经由无线配置或有线配置向控制器200传输图像数据，如下文更详细地描述。

如随后结合图4和图5的描述所描述的，控制器200可以基于所捕获的图像数据来生成一个或多个深度图或点云，以识别成像装置414、416的视野内的对象。基于深度图或点云的生成，控制器200可以通过计算深度图或点云中的每个对象的空间轨迹来识别对象的潜在碰撞。响应于识别潜在碰撞，可以将图像数据从控制器200传输到控制台300，以使得显示器306显示可能发生碰撞的指示。显示指示可以包括改变很可能与另一对象碰撞的一个或多个对象(移动的或静止的)的颜色、绘出对象的轮廓等。还可以通过使非碰撞实体在显示器中变暗并专门地高亮潜在碰撞对象来显示潜在碰撞的指示。此高亮也可以通过改变亮度或颜色来实现。可以通过不仅示出所涉及的对象而且示出未来潜在地要被接触的对象的空间中的扫掠体积来指示碰撞时间，用不同的光强度或颜色图来对所示出的扫掠体积的时间依赖性进行着色，所述不同的光强度或颜色图使得及时清楚地了解何物离得近以及何物离得更远。空间化音频也可以用于直接关注显示器上在不久的将来可能发生碰撞的地方，或者用于直接关注机器人本身可能发生可能碰撞的实际位置。与此绝对位置指示协作，用户还可以使用增强现实显示器，所述增强现实显示器可以使用已经提及的但在空间正确位置上呈现的相同技术来示出潜在碰撞的实际位置。

经由触觉和/或振动反馈(与先前的视觉和音频反馈方法协作或单独完成)向用户显示的即将发生的碰撞的实例包括：

1)两个外科医生控制的(连接到输入装置的)机器人臂之间的臂对臂碰撞，由此：

a.此种碰撞可以通过触觉反馈(增加碰撞方向上感觉到的力)来“显示”；

b.手柄振动；

c.屏幕上示出箭头(3D箭头)的指示，指示将器械移动到哪里(哪个方向)，以避免手臂碰撞；

d.以上全部；

2)手术视野之外的臂与外科医生看到和控制的臂之间的臂对臂碰撞，由此：

a.与以上“1)”相同，但方向指示仅限于一条臂(碰撞的那一条)；

3)臂对人或其它对象，由此：

a.停止(通过适当的触觉反馈，例如，锁定碰撞臂/手柄)。

b.当臂接近与另一臂或使用者碰撞时，降低马达可以产生的最大扭矩。

c.降低速度限制、加速度限制或可以产生的最大外部扭矩(外部扭矩＝致动器扭矩-重力扭矩-动态扭矩)。

d.当臂接近碰撞时，改变位置控制增益，使得控制器在可能发生碰撞的方向上变得“更软”。

e.而且，当接近碰撞时，可以增加比例因子。当显示触觉和视觉反馈时，这将降低速度并且提供更多的反应时间。

现在参照图4，示出了示范性计算装置的示意图，并且通常将其指定为计算装置400。尽管未在本申请的对应附图中明确地示出，但是计算装置400或其一个或多个部件可以表示机器人手术系统10的一个或多个部件(例如，控制器200或计算机308)。控制器400可以包括一个或多个处理器402、存储器404、输入接口410、输出接口412、无线接口414、或其部件的任何期望子集。

存储器404包括非暂时性计算机可读存储介质，以用于存储数据和/或软件，其包括可以由一个或多个处理器402执行的指令。在执行时，这些指令可以使得处理器402控制控制器400的操作，如但不限于接收、分析和传输响应于一个或多个输入手柄302的移动和/或致动而接收的传感器信号。在实施例中，存储器404包括非暂时性计算机可读存储介质，以用于存储数据和/或软件，其包括可以由一个或多个处理器402执行的指令。存储器404可以包括一个或多个固态存储装置，如闪存芯片。另外或替代地，存储器404可以包括一个或多个大容量存储装置，其通过大容量存储装置控制器和通信总线(未示出)与处理器402通信。尽管对本公开中所描述的计算机可读介质的描述是指固态存储装置，但普通技术人员应了解，计算机可读介质可以包括可以由处理器402访问的任何可用介质。更具体地，计算机可读存储介质可以包括但不限于以用于存储信息(如计算机可读指令、数据结构、程序模块或其它合适的数据访问和管理系统等)的任何技术方法实施的非暂时性、易失性、非易失性、可移动、不可移动介质等。计算机可读存储介质的实例包括：RAM、ROM、EPROM、EEPROM、闪速存储器或其它已知的固态存储器技术；CD-ROM、DVD、Blu-Ray或其它此种光学存储器；磁带盒、磁带、磁性磁盘存储器或其它磁存储装置；或可以用于存储信息并且可以由计算装置400访问的任何其它介质。

在实施例中，存储器404存储数据406和/或一个或多个应用程序408。此类应用程序408可以包括在计算装置400的一个或多个处理器402上执行的指令。应用程序408可以包括使得输入接口410和/或输出接口412分别从机器人手术系统10的各个部件接收传感器信号以及向所述各个部件传输传感器信号。另外或替代地，计算装置400可以经由输出接口412传输信号，以用于分析和/或显示。例如，存储器404可以包括指令，所述指令在被执行时，基于从机器人手术系统100的传感器接收的实时图像数据来生成手术环境内的对象的深度图或点云。深度图或点云可以在多次迭代期间存储在存储器208中，以用于深度图或点云的随后累积分析。另外，存储器404可以包括指令，所述指令在由处理器402执行时，基于与深度图或点云相关联的空间内的对象的所确定空间轨迹来识别对象之间的潜在碰撞。例如，输出接口412可以向显示装置(如控制台300的显示器306、或位于手术环境中并与计算装置400通信的远程显示器)传输传感器信号，以显示可能发生碰撞的指示。

存储器404可以进一步经由一个或多个无线配置(例如，射频、光学方式、

(一种用于较短距离地交换数据、使用短长度无线电波、来自固定和移动装置、创建个人区域网络(PAN)的开放式无线协议)、

(一种用于基于个人无线区域网络(WPAN)

802.15.4-2003标准的使用小的、低功率数字无线电的一套高级通信协议的规范)经由无线接口414来传输和/或接收数据。尽管描绘为独立部件，但无线接口414可以集成到输入接口410和/或输出接口412中。

参考图5，描述了一种说明性方法，其用于基于捕获的图1的手术机器人系统的机器人对象以及手术环境内的外来对象的实时图像来生成三维模型，所述方法通常被称为过程500。

最初，成像装置106、114、414、416捕获手术环境内或手术空间内的对象的实时图像(框502)。具体地，成像装置106、114、414、416的一个或多个传感器在一个或多个时间点处(例如，在不同的时间间隔处)捕获处于相对于成像装置106、114、414、416中的每一个的位置中的对象的图像。举例来说，一个或多个成像装置106、114、414、416可以在第一时间点T＝1处捕获实时图像，并且可以在第二时间点T＝2处捕获随后的实时图像数据。如前所述，由成像装置106、114、414、416捕获的实时图像可以包括一个或多个点，其表示对象的表面部分相对于成像装置106、114、414、416的距离。

控制器200接收从成像装置106、114、414、416中的每一个传输的实时图像数据(框504)。具体地，成像装置106、114、414、416向控制器200传输所捕获的图像数据(以原始形式或处理形式)，以用于分析。基于所接收的图像数据，控制器200生成一个或多个深度图(框506)。深度图包括三维坐标框架内的一个或多个空间点，深度图的每个空间点分别对应于所测量的对象的表面上的点距成像装置106、114、414、416的距离。举例来说，第一时间点处所生成的深度图可以包括表示机器人臂102的一个或多个连接件112a、112b的表面部分的空间点。

可以通过在特定时间处匹配与每个深度图相关联的特定对象或对象集合的对应空间点来将深度图组合在一起，以产生组合深度图，其通常被称为点云(例如，第一时间点处的第一三维点云)(框508)。具体地，可以比较和匹配X、Y和Z坐标网格系统内的每个对应深度图中的空间点之间的位置关系，以识别相似的空间关系是相同的(例如，其中在第一深度图和第二深度图中识别空间点的特定且独特的组合，如相对于彼此成角度的第一和第二连杆112)。一旦被识别，每个深度图的空间点的集合可以被组合成点云。将会理解，为了提高每个深度图的坐标参考框架的匹配效率，可以将可识别界标(例如，具有独特形状和/或颜色的对象)放置在手术环境周围并且进行识别，以在成像装置的每个参考框架的匹配过程中提供帮助。另外，可识别界标可以由控制器200识别并且与存储在控制器200的存储器208中的已知界标进行比较。基于所述比较，界标可以用于确定手术环境内一个或多个对象相对于彼此(例如，连杆112)的运动学位置，并且通过扩展确定物理位置。

分割三维点云内的多个空间点，以识别一个或多个空间点子集。

存在许多种用于将3D点的特定集合映射到对象表面的方法，并且这已经是并且继续是研究和开发的富集区域，其中有数个可用于实现多种方案的开源代码。最众所周知的是PCL，即点云库(Point Cloud Library)，其与ROS(机器人操作系统(Robot OperatingSystem))一起使用，ROS是机器人技术普遍采用并适合其的代码。总体上，算法遵循一系列过程，其包括过滤、特征估计、表面重构、配准、模型拟合和分割。过滤通常去除不良数据。特征估计计算一些点附近的特定局部几何特征(如特定区域的平坦平面以及曲率的大小)，其中通常存在一些形式的空间采样以限制所计算的特征的密度。关键点是特征估计的变化，其通常组合局部特征以辨别局部几何关系的独特稳定方面。配准采用特征和关键点的这些集合，并且搜索这些集合与所搜索对象的采样点表面的各个方面之间的最佳统计匹配。这在计算上可能是非常密集的，因此存在许多加速此过程的方案。模型拟合更进一步地进行此过程，并且寻求全部对象的最佳匹配。分割通常用作加速器方法以形成孤立的点和特征的群集，以加速对象匹配的搜索。

在一个实例中，在多个深度图或点云上预扫描或识别与对象的表面部分匹配的空间点子集内的每个空间点，使得空间点子集可以组合在一起以补充手术环境内的所识别对象的空间点。例如，一个或多个空间点子集可以表示手术机器人100的机器人臂102。当在特定深度图或点云中识别或匹配机器人臂102时，可以更新剩余点(例如，控制器200可以用其它方式解释为空白的任何成像装置106、114、414、416不可见的点)，以将预扫描的已知机器人臂102的空间点包括在相对于现有空间点的位置中。这进而使得控制器200能够生成图像或以其它方式确定手术环境内的对象的可能位置或轨迹，所述可能位置或轨迹可能是未知的。

在另一实例中，控制器200可以基于从一个或多个编码器E₁接收的位置信息来任选地生成运动学图(框512)，所述一个或多个编码器沿着机器人手术系统10的各个部件安置或安置在其内。运动学图可以包括基于围绕已知对象(例如，机器人臂102)的关节安置的各个编码器E₁(例如，围绕机器人臂102的连杆112的关节“J”安置的编码器E₁)的位置生成的对应于所述已知对象的位置的图像数据(例如，深度图或点云)。在基于从机器人臂102的编码器E₁接收的编码器信号而确定机器人臂102具有特定姿势(例如，第一与第二连杆112之间的第一角度以及第二连杆112与第三连杆112之间的第二角度)的情况下，可以生成运动学图，其包括此种配置中近似于机器人臂102的空间点数据。控制器200可以将所生成的运动学图与所生成的深度图或点云的一个或多个空间点子集进行比较，以识别手术环境内的一个或多个对象。举例来说，可以将所生成的表示手术环境内的机器人臂102的运动学图与深度图或点云的空间点子集进行比较，以将空间点子集与机器人臂102进行匹配。

为了优化从深度图或点云中识别对象，可以将可识别特征放置在对象上，例如但不限于将具有特定物理形状的几何标示物放置在对象(例如，机器人臂102)上和/或用独特颜色来绘涂一个或多个对象的全部或一部分。

将会理解，虽然深度图或点云内的空间点和空间点子集的运动对准被讨论为是彼此有关的(例如，手术环境中第一与第二机器人臂102之间)，但是对应的深度图或点云可以彼此对准、与手术环境对准、或者与手术环境内的特定界标(例如，独特形状的对象)。在空间点和空间点子集的匹配和比较过程中，还可以对手术环境进行额外的参考，以提高准确性和效率。例如，所讨论的深度图或点云可以与手术环境对准或定向到手术环境，并且通过扩展，可以相对于手术环境来识别手术环境内的对象的位置。深度图和点云也可以与手术环境一起定向。作为此定向的结果，匹配过程可以被简化或以其它方式变得更有效。具体地，当匹配空间点子集(例如，机器人臂102的连接件112a、112b的空间点子集)时，控制器200可以首先在深度图或点云内搜索空间点子集很可能基于空间点子集相对于手术环境的位置的早期识别的区域。

一旦深度图或点云中的空间点被分割(参见框510)，控制器200就可以确定先前的深度图或点云是否已生成并存储在控制器200的存储器208中(框514)。如果在分割即时深度图或点云之前已生成早期点云(框516处的“是”)，则控制器200将早期深度图或点云与即时深度图或点云进行比较。在实施例中，控制器200可以对第一三维点云中的对应于对象的表面部分的一个或多个空间点子集进行分析，并且将第一三维点云的一个或多个空间点子集与第二三维点云中的空间点进行匹配。进而，一个或多个空间点子集的匹配可以帮助识别第二三维点云内的对象。举例来说，从第一三维点云识别对应于机器人臂102的一个或多个空间点子集可以用于匹配第二三维点云内的对应空间点子集，以在第二时间段处识别机器人臂102。作为响应，在第二三维点云内，识别第二时间点处的成像装置414、416(框502)的视野内的特定对象。如果在框514处确定尚未创建先前的三维点云(框514处的“否”)，则控制转到框518。

在一种方法中，从三维点云中提取由一个或多个空间点子集表示的对象(例如，机器人臂102、临床医生“C”和/或患者“P”)，以生成三维模型(框518)。三维模型表示由成像装置414、416(图1)在变化的时间点处捕获的手术环境内的固定位置中的对象。三维模型可以包括表示由成像装置414、416在变化的时间点处捕获的图像的对象(例如，机器人臂102、临床医生、患者和其它物理装置)的固定位置处的几何形状、姿势和位置(以下简称“几何定向”)。举例来说，在各个实施例中，第一三维模型表示在第一时间点处从第一三维点云中提取的对象的几何定向。

确定是否从控制器200接收到新的捕获实时图像需求(框520)。举例来说，为了在随后的时间点(例如，第二时间点)处捕获手术环境中的对象的实时图像，进而生成第二三维模型。如果确定已经接收到新的捕获新实时图像命令(框520处的“是”)，则控制返回到框502，以在随后的时间点处捕获实时图像。如果确定没有接收到新的捕获实时图像命令(框520处的“否”)，则控制“结束”。因此，通过知道特定对象位于点云中的位置，可以将此信息用于加速随后扫描中的对象配准过程。

图6是示出了一种用于基于所生成的三维模型来检测手术环境中的对象之间的潜在碰撞的说明性方法的流程图(参见图5，过程500)，参考图1和2的机器人手术系统10，所述方法通常被称为过程600。如结合图5所描述的，基于来自一个或多个成像装置106、114、414、416的图像数据所捕获和生成的深度图或点云包括空间点，这些空间点可以被分割成对应于手术环境内的对象的位置的空间点子集。最初，控制器200基于对象在多个深度图或点云上的位置和定向中的每一个来计算分割(参见图5，框510)过程中所识别的对象中的每一个的移动轨迹。例如，控制器200可以控制可能具有第一和第二潜在轨迹的第一和第二机器人臂102，如果第一和第二机器人臂102中的每一个继续沿着所述第一和第二潜在轨迹移动，则其可能会导致第一和第二机器人臂102的各个部件之间的碰撞。另外，控制器200可以使用连杆112的位置方向连同含在所生成的三维模型内的每个对象的几何定向来确定手术环境内的连杆112的空间轨迹。

控制器200检测三维模型内所表示的对象之间的任何潜在碰撞(框604)。控制器200可以利用三维模型来基于三维模型内的对象几何定向对对象的空间轨迹(例如，所覆盖的空间)进行分析，以确定对象之间的任何潜在碰撞。在各个实施例中，处理器206可以利用扫掠体积评估来对含在三维模型内的每个对象的空间轨迹进行分析。可以通过评估对象的扫掠体积是否与另一对象的扫掠体积重叠来检测对象之间的任何潜在碰撞。

控制器200向控制台300的显示器306输出图像数据(图2)(框606)。传输到显示器306的图像数据表示手术环境内的由控制器200基于三维模型检测的对象之间的潜在碰撞的三维图像。显示器306基于三维模型中所表示的对象的空间轨迹来显示至少一个描绘手术环境内的对象之间的潜在碰撞的指示的三维图像(框608)。

可以采取校正动作以避免所指示的潜在碰撞(框610)。具体地，临床医生可以采取校正动作以避免显示器308上所显示的潜在碰撞。举例来说，临床医生可以通过提供来自输入手柄302的输入来操纵手术机器人100的机器人臂102，进而使得控制器200向塔架116传输信号，并进而实现机器人臂102的运动，以重新定位机器人臂102，从而避免潜在碰撞(例如校正动作)。替代地或另外，控制器200可以向塔架116传输信号，以改变控制信号，从而避免潜在碰撞。例如，可以提高或降低移动对象的速度，或者可以改变或修改对象移动的轨迹，以避免潜在碰撞。关于基于在手术环境内检测到碰撞而对机器人手术系统中的机器人臂的运动进行的示范性调整的详细描述，可以参考于2018年1月1日提交的题为“包括扭矩传感器的机器人手术系统(ROBOTIC SURGICAL SYSTEMS INCLUDING TORQUE SENSORS)”的第62/613,543号美国临时专利申请，现在于2019年1月2日提交的第PCT/2019/012015号国际专利申请，这些专利申请中的每一个的全部内容通过引用并入本文。

确定是否从控制器200接收到新的空间轨迹计算需求(框612)。举例来说，控制器200可以接收新的需求，以计算随后的三维模型(例如，第二三维模型)中所表示的对象的空间轨迹，其中第二三维模型表示第二时间点处的对象的几何定向。如果确定已接收到新的空间轨迹计算命令(框612处的“是”)，则控制返回到框602，以计算随后的三维模型中所表示的对象的空间轨迹。如果确定没有接收到新的空间轨迹计算命令(框520处的“否”)，则控制“结束”。

图7A至7D表示在不同的时间点处由图1的成像装置106、114、414、416捕获并由控制器200分析的图像数据。举例来说，在第一时间点(T＝1)处，成像装置414、416的传感器捕获手术环境“SE”内的对象的实时图像数据(参见图5，框502)。所捕获的实时图像数据表示手术环境内的对象的表面部分相对于成像装置414、416的深度或距离。随后基于图像数据来生成深度图(参见框506)。T＝1处所生成的深度图包含对应于“SE”内的对象的表面部分、相对于成像装置414、416中的每一个的空间点。

参考图7B，在分割深度图(参见框510)之后，将它们组合以形成点云(参见框518)。点云包含表示手术环境内的对象的表面部分、相对于时间T＝1处的成像装置414、416的多个空间点。然后分割点云的多个空间点，以识别一个或多个空间点子集，所述空间点子集对应于手术环境内的对象。如图7C所示，一旦被分割，空间点子集就用于生成相关联对象的三维模型，在此情况下，所述相关联对象是手术环境中的三个机器人臂102。三维模型表示手术环境内的每个对象相对于彼此的几何定向(例如，位置、姿势和形状)，所述几何定向是在T＝1处捕获的。

参考图7D，基于T＝1处的三维模型(图7C)中的每个对象的几何定向来对对象的可能轨迹进行分析。在仅一个三维模型可用的情况下，然后对被成像的对象中的每一个的已知运动范围进行分析，以确定手术环境内的对象的可能轨迹是否相交。当对象的这些可能轨迹相交时，如果对象被识别为沿着这些可能轨迹移动，则潜在碰撞可以被识别为很可能发生。在两个或更多个三维模型可用的情况下，可以对三维模型、特别是三维模型上的每个对象相对于彼此或手术环境的运动进行比较，以确定可能发生潜在碰撞的位置。

基于这些潜在碰撞的识别，可以在手术环境中的显示器(例如，显示器306或远程显示器(未明确示出))上显示被监视的对象之间的潜在碰撞的指示，因此临床医生可以采取行动以避免碰撞，如图7D所示。控制器200还可以向手术机器人系统100的马达122传输经修改的控制信号，以调整被识别为潜在地遭受碰撞的对象的移动或定位。

根据本公开，可以使用从外科医生/手术机器人100的先前运动学习的速度和加速度前向估计器、卡尔曼(Kalman)滤波器或曲线拟合来实现这些潜在碰撞的识别(例如，预测手术机器人100的机器人臂102的路径)。

尽管在附图中展示了本公开的若干实施例，但并不旨在将本公开限制于此，而是旨在使本公开的范围与所属领域所允许的一样宽，并且本说明书同样被阅读。以上实施例的任何组合也被设想并且在所附权利要求书的范围内。因此，以上描述不应被解释为限制性的，而仅仅是特定实施例的示范。本领域技术人员将在所附权利要求的范围内设想其它修改。

本公开提供了新颖的系统、方法和布置，以协助主临床医生教导新手临床医生如何执行机器人手术操作。尽管已出于说明性目的提供了对所公开的技术的一个或多个实施例的详细描述，但在不改变或脱离本发明的精神的情况下，各种替代方案、修改和等效物对于本领域的普通技术人员将是显而易见的。例如，虽然上述实施例参考特定的特征、部件或其组合，但是此类特征、部件和组合可以用功能上等效的替代物来替代，这些替代物可以含有或可以不含有如最初所描述的元件。

Claims (23)

1.一种手术机器人碰撞检测系统，其包含：

机器人推车，其具有机器人臂；

成像装置，其由所述机器人推车或所述机器人臂支撑，所述成像装置被配置成捕获所述成像装置的视野内的图像；以及

控制器，其与所述机器人臂和所述成像装置可操作地通信，所述控制器具有处理器和在其上存储指令的存储器，所述指令在由所述处理器执行时，使得所述控制器：

从所述成像装置接收所述图像；

从所述图像生成包括第一多个空间点的网格；并且

基于所生成的网格来检测所述视野内的潜在碰撞。

2.根据权利要求1所述的系统，其中所述成像装置选自由以下组成的组：立体成像装置、光学成像装置、测距激光装置和红外(IR)成像装置。

3.根据权利要求1所述的系统，其中所述成像装置包括被配置成在第一时间点处捕获第一图像的传感器，所述第一图像包括与所述传感器呈位置关系的对象。

4.根据权利要求3所述的系统，其中所述存储器存储指令，所述指令在由所述处理器执行时，使得所述控制器接收所述第一图像并且基于所述第一图像来生成第一深度图。

5.根据权利要求4所述的系统，其中所述控制器基于所述第一深度图来生成第一点云，所述第一点云包括含在所述网格内的所述第一多个空间点。

6.根据权利要求5所述的系统，其中所述控制器分割所述第一多个空间点，以识别所述第一点云的第一空间点子集，所述第一空间点子集中的每个空间点对应于所述对象的表面。

7.根据权利要求6所述的系统，其中所述存储器包括指令，所述指令在由所述处理器执行时，使得所述控制器：

将所述第一空间点子集与所述对象的结构的预识别配置进行比较，以识别所述成像装置的所述视野内的所述对象。

8.根据权利要求3所述的系统，其中：

所述成像装置的所述传感器在第二时间点处捕获第二图像，并且

所述存储器进一步包括指令，所述指令在由所述处理器执行时，使得所述控制器：

接收所述第二图像；并且

生成第二深度图。

9.根据权利要求8所述的系统，其中所述存储器进一步包括指令，所述指令在由至少一个处理器执行时，使得所述控制器：

在包含第二多个空间点的坐标系统内生成第二点云，并且其中所述第二点云基于所述第二深度图。

10.根据权利要求9所述的系统，其中所述存储器进一步包括指令，所述指令在由所述至少一个处理器执行时，使得所述控制器：

分割所述第二多个空间点，以识别所述第二点云的第二空间点子集，并且将所述第二空间点子集与一个或多个对象的结构的预识别配置进行比较；

将第一点云中的第一空间点子集与所述第二点云中的所述第二空间点子集进行匹配，以关于所述第二点云定向所述第一点云；并且

基于所述第一点云相对于所述第二点云的定向来识别所述成像装置的所述视野内的所述一个或多个对象的运动。

11.根据权利要求10所述的系统，其中所述存储器进一步包括指令，所述指令在由一个或多个处理器执行时，使得所述控制器基于所述一个或多个对象从所述一个或多个对象在所述第一点云中的位置到所述一个或多个对象在所述第二点云中的位置的所识别运动来确定所述一个或多个对象的空间轨迹。

12.根据权利要求1所述的系统，其进一步包含与所述控制器通信的显示装置，

其中所述存储器进一步包括存储在其上的指令，所述指令在由所述处理器执行时，使得所述控制器：

基于确定存在可能碰撞来使所述显示装置输出可能碰撞的指示。

13.根据权利要求12所述的系统，其中所述指示包括位置图的三维图像。

14.根据权利要求12所述的系统，其中位置图的三维图像示出了在所述一个或多个对象保持在所述空间轨迹上的情况下在稍后时间点处呈现所述可能碰撞。

15.根据权利要求1所述的系统，其中所述存储器进一步包括存储在其上的指令，所述指令在由所述处理器执行时，使得所述控制器：

向所述机器人推车或所述机器人臂传输控制信号，以使所述机器人臂重新定位，从而避免可能碰撞。

16.一种用于检测手术机器人系统的对象之间的潜在碰撞的方法，

所述手术机器人系统包括成像装置、机器人臂和控制器，所述控制器与所述成像装置和所述机器人臂通信，所述方法包含：

接收由所述成像装置捕获的图像数据；

基于所述图像数据来生成包括第一多个空间点的深度图；以及

检测所述图像数据中所捕获的对象之间的潜在碰撞。

17.根据权利要求16所述的方法，其进一步包含基于所述深度图来生成第一点云，所述第一点云包含所述多个空间点。

18.根据权利要求17所述的方法，其进一步包含分割所述点云中的所述多个空间点，以识别所述点云的空间点子集，所述空间点子集中的每个点对应于一个或多个对象的表面部分。

19.根据权利要求18所述的方法，其中所述空间点子集的所述识别包括：将所述空间点子集与所述一个或多个对象的预定配置进行匹配，以及基于所述匹配，识别所述一个或多个对象。

20.根据权利要求18所述的方法，其进一步包含：

在比所述成像装置捕获到所述图像数据更迟的时间点处从所述成像装置接收第二图像数据；

基于所述第二图像数据来生成包括第二多个空间点的第二深度图；

基于所述第二深度图来生成包含第二多个空间点的第二点云；

分割所述第二多个空间点以识别所述第二点云内的所述空间点子集；以及

将所述第一点云中的所述空间点子集与所述第二点云中的所述空间点子集进行匹配。

21.根据权利要求20所述的方法，其进一步包含：

基于所述第一点云和所述第二点云中所匹配的所述空间点子集的位置差异来确定所述对象的空间轨迹；以及

当存在可能碰撞时，显示可能碰撞的指示。

22.根据权利要求21所述的方法，其进一步包含：

传输控制信号，以使所述机器人臂修改一个方向上的运动，从而避免所述可能碰撞。

23.一种非暂时性计算机可读介质，其存储使至少一个处理器执行碰撞检测过程的计算机可执行指令，所述碰撞检测过程包含：

从成像装置接收一个或多个图像；

生成包括空间点的深度图，每个空间点对应于所述成像装置的视野内的一个或多个对象的表面部分；

基于所生成的深度图来生成点云；

将所述点云中的所述空间点分割成空间点子集，所述空间点子集与手术环境中的对象相关联；以及

基于所述手术环境内的所述空间点子集中的每一个的运动范围来检测空间点子集之间的可能碰撞。

Images