CN113316430A - 机器人装置的运动编程 - Google Patents

Abstract

一种方法包括采集患者的手术部位的图像。所述方法包括以下步骤：基于到手术部位的用户限定路径来捕获仪器的运动数据。所述方法包括以下步骤：基于所捕获的运动数据来确定运动路径。该运动路径对应于机器人装置的一个或更多个组件的致动。所述方法包括以下步骤：将运动路径的一部分显示到图像上。所述方法包括以下步骤：确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。所述方法包括以下步骤：将所述一个或更多个指令提供给机器人装置。

Description

机器人装置的运动编程

相关申请的交叉引用

本申请要求2019年1月18日提交的美国临时申请No.62/794,545的权益和优先权，其全部公开内容通过引用并入本文。

技术领域

本公开描述了基于所跟踪的手术仪器(surgical instrument)对机器人装置进行运动编程。

背景技术

微创(minimally invasive)手术通常会限制人体切口的大小，以使可以快速从外科手术中恢复并降低感染几率。然而，在微创手术期间，仅少数工具可能会被同一外科医生同时使用。有时可能会发生工具更换以将合适的工具放置在手术套件中。工具更换可能会超出微创外科手术的时间。而且，微创手术可能会给外科医生带来负担，特别是在长时间手动操作手术控制器的时候。

发明内容

在一个实施方式中，提供了一种方法，所述方法包括以下步骤：采集患者的手术部位的图像。所述方法还包括以下步骤：基于到手术部位的用户限定路径来捕获仪器的运动数据。所述方法还包括以下步骤：基于所捕获的运动数据来确定运动路径。该运动路径对应于机器人装置的一个或更多个组件的致动。所述方法还包括以下步骤：将运动路径的一部分显示到图像上。所述方法还包括以下步骤：确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。所述方法还包括以下步骤：将所述一个或更多个指令提供给机器人装置。

在另一实施方式中，提供了一种方法，所述方法包括以下步骤：采集患者的手术部位的图像。所述方法还包括以下步骤：基于在患者的手术部位处的仪器的用户限定布置来捕获仪器的姿态。所述方法还包括以下步骤：确定与仪器的所捕获的姿态对应的运动路径。运动路径与机器人装置的一个或更多个组件的致动关联。所述方法还包括以下步骤：将运动路径的一部分显示到合并的图像上。所述方法还包括以下步骤：确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。所述方法还包括以下步骤：将所述一个或更多个指令提供给机器人装置。

在另一实施方式中，提供了一种系统，所述系统包括：跟踪装置、机器人装置以及处理装置。该处理装置包括处理器和非暂时性计算机可读介质。该非暂时性计算机可读介质包括所存储的指令，该指令在由处理器执行时，使所述系统采集患者的手术部位的图像。所存储的指令还使所述系统经由跟踪装置，基于在患者的手术部位处的仪器的用户限定布置来捕获仪器的姿态。所存储的指令还使所述系统通过处理器确定与仪器的所捕获的姿态对应的运动路径。运动路径与机器人装置的一个或更多个组件的致动关联。所存储的指令还使所述系统提供用于将运动路径的一部分显示到图像上的指令。所存储的指令还使所述系统通过处理器确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。所存储的指令还使所述系统将所述一个或更多个指令提供给机器人装置。

附图说明

随着结合附图阅读本说明书，本发明的许多优点对本领域技术人员来说将是显而易见的，其中相同标号被应用于相同的要素，并且其中：

图1例示了根据本公开的实施方式的用于执行外科手术的示例系统；

图2例示了根据本公开的实施方式的可以在外科手术期间使用的示例机器人装置；

图3例示了根据本公开的实施方式的计算装置的示例框图；

图4例示了根据本公开的实施方式的示例计算机介质；

图5例示了根据本公开的实施方式的在外科手术期间的示例方法的流程图；

图6例示了根据本公开的实施方式的在外科手术期间的示例方法的另一流程图；

图7例示了根据本公开的实施方式的可以在外科手术期间显示的示例图像；

图8例示了根据本公开的实施方式的可以在外科手术期间显示的另一示例图像；

图9例示了根据本公开的实施方式的在外科手术期间的示例方法的另一流程图；

图10例示了根据本公开的实施方式的在外科手术期间的示例方法的另一流程图。

具体实施方式

下面，对本发明的例示性实施方式进行描述。为了清楚起见，在本说明书中并未描述实际实现的所有特征。当然应意识到，在任何这种实际实施方式的开发中，必须进行许多具体实现决策，以实现开发者的特定目标(诸如符合系统相关约束和商业相关约束)，这些目标将从一个实现到另一实现而发生改变。此外，应意识到，这种开发工作可能是复杂且耗时的，但是对于受益于本公开的本领域普通技术人员，不过是一项常规的任务。而且，要容易理解的是，尽管下面主要在脊柱手术的背景下进行讨论，但是本发明的系统和方法可以被用于任何数量的解剖学环境中，以提供遍布全身的任何数量的不同手术目标部位的通路。

本文所描述的示例包括用于执行外科手术的系统和方法。在一个示例中，提供了一种方法，所述方法包括以下步骤：采集患者的手术部位的图像。在另一示例中，提供了一种方法，所述方法包括以下步骤：采集患者的手术部位的高分辨率基线图像(baselineimage)。在一个示例中，高分辨率基线图像是经由移动透视机捕获的X射线图像。继续该示例，将处理装置配置成，基于调节高分辨率基线图像的一个或更多个方面，以数字方式操纵高分辨率基线图像以生成基线图像集。该方法还包括以下步骤：以比高分辨率基线图像更低的分辨率采集手术部位的新图像。

在一个示例中，较低分辨率图像是以低于与高分辨率基线图像关联的辐射水平的辐射水平捕获的X射线图像。由于较低分辨率图像的图像质量，因此，将处理装置配置成，通过将较低分辨率图像与基线图像集的一个或更多个图像进行比较，来找到较低分辨率图像与来自高分辨率基线图像集的图像之间的匹配。将处理装置配置成，选择与较低分辨率图像具有可接受相关度的基线图像集的代表性图像。还将处理装置配置成，将所选择的代表性图像与较低分辨率的图像合并以产生合并的图像。在一个实施方式中，将所合并的图像显示在显示器上，以供用户(例如，外科医生)评估外科手术的一个或更多个方面。

所述方法还包括以下步骤：基于到手术部位的用户限定路径来捕获由外科医生使用的仪器的运动数据。将处理装置配置成基于所捕获的运动数据来确定运动路径。运动路径对应于机器人装置的一个或更多个组件的致动，该机器人装置将协助外科医生完成外科手术。该方法还包括以下步骤：将运动路径的一部分显示到合并的图像上以供外科医生再检查。

例如，在涉及使用一个或更多个椎弓根螺钉(pedicle screw)的外科手术中，外科医生可以将仪器定位在椎弓根目标部位，并且基于仪器的所捕获的运动数据来查看与椎弓根螺钉的插入对应的运动路径。在该示例中，外科医生可以选择椎弓根目标部位上的一个点并使仪器枢转，以了解叠加到所合并的图像上的一个或更多个不同轨迹。基于绕该点枢转的仪器，将一个或更多个跟踪装置配置成，捕获与仪器的移动关联的运动数据。然后，如本文所描述，相应地处理该运动数据并且将运动路径的至少一部分叠加到所合并的图像上。外科医生可以向处理装置提供关于运动路径是否与术前计划对准的输入(例如，语音命令、接入接口等)。基于运动路径的核准，所述方法包括以下步骤：确定用于沿着所确定的运动路径来致动机器人装置的所述一个或更多个组件的一个或更多个指令。所述方法还包括以下步骤：将所述一个或更多个指令提供给机器人装置。

现在参照附图，图1是用于执行外科手术的示例系统100的图。示例系统100包括支承C形臂(C-Arm)成像装置103的基本单元102。C形臂103包括位于患者P下方并且将辐射束向上引导至接收器105的辐射源104。C形臂103的接收器105将图像数据发送给处理装置122。处理装置122可以与跟踪装置130通信，以获得在外科手术期间使用的各种仪器T和H的位置和取向信息。跟踪装置130可以与机器人装置140通信，以提供各种跟踪部件(诸如标记物(marker)150)的位置信息。机器人装置140和处理装置122可以经由一个或更多个通信信道进行通信。

基本单元102包括控制面板110，用户可以通过该控制面板控制C形臂103的位置，以及辐射暴露。因此，控制面板110可使放射技师能够在外科医生的方向上采集手术部位的图像、控制辐射剂量以及启动辐射脉冲图像。

对于手术部位的不同视角，C形臂103可以在箭头108的方向上绕患者P旋转。在一些情况下，植入物或仪器T和H可以位于手术部位，需要改变视角以获得该部位的无障碍视野。因此，接收器与患者P相对的位置以及更特别地与关注手术部位相对的位置可能会根据外科医生或放射科医生的需要在手术期间发生改变。从而，接收器105可以包括安装至该接收器105的跟踪目标106，该跟踪目标使得能够使用跟踪装置130来跟踪C形臂103的位置。仅举个例子，跟踪目标106可以包括围绕目标间隔开的多个红外(IR)反射器或发射器，而将跟踪装置130配置成，根据由跟踪目标106反射或发射的IR信号对接收器105的位置进行三角测量。

处理装置122可以包括与该处理装置122关联的数字存储器以及用于执行数字和软件指令的处理器。处理装置122还可以并入使用帧抓取器(frame grabber)技术的帧抓取器，来创建数字图像以供投影为显示装置126上的显示器123和124。显示器123和124被定位成供外科医生在手术期间交互式观看。可以将这两个显示器123和124用于示出来自两个视野(诸如横向和A/P)的图像，或者可以示出手术部位的基线扫描和当前扫描，或者当前扫描和基于先前的基线扫描和低辐射电流扫描的“合并”的扫描，如本文所述。输入装置125(诸如键盘或触摸屏)可以允许外科医生选择和操纵屏幕上的图像。应理解，输入装置可以并入与由处理装置122实现的各种任务和特征对应的键或触摸屏图标的阵列。处理装置122包括将从接收器105获得的图像数据转换成数字格式的处理器。在一些情况下，C形臂103可能以电影曝光模式下运行，并且每秒钟生成许多图像。在这些情况下，可以在短时段内将多个图像一起平均化为单个图像，以减少运动伪像(motion artifact)和噪声。

跟踪装置130包括传感器131和132，该传感器131和132用于确定与外科手术中使用的多种部件(例如，红外反射器或发射器)关联的位置数据。在一个示例中，传感器131和132可以是电荷耦合器件(CCD)图像传感器。在另一示例中，传感器131和132可以是互补金属氧化物半导体(CMOS)图像传感器。还可设想，可以使用不同数量的其它图像传感器来实现所描述的功能。

在本发明的一个方面，机器人装置140可以帮助在外科手术期间相对于患者P保持仪器T。在一种场景中，可以将机器人装置140配置成，随着患者P移动(例如，由于呼吸)或者在外科手术期间被移动(例如，由于对患者身体的操纵)，将仪器T保持在与患者P的相对位置。

机器人装置140可以包括：机器人臂141、踏板142、以及移动壳体143。机器人装置140还可以与诸如显示器126这样的显示器通信。机器人装置140还可以包括用于将机器人装置140固定至手术台的固定装置。

在一个示例中，在第一种跟踪模式下，将跟踪装置130配置成，基于在患者的手术目标部位处的用户限定路径来捕获手持仪器的运动数据。在该示例中，处理装置122确定与所捕获的运动数据对应的运动路径。此外，处理装置122确定用于沿着所确定的运动路径致动机器人装置140的所述一个或更多个组件的一个或更多个指令并且将所述一个或更多个指令提供给机器人装置140。在第二种跟踪模式下，将跟踪装置130配置成，基于在患者的手术部位处的仪器的用户限定布置来捕获手持仪器的姿态(即，取向和位置)。在该示例中，处理装置122确定与仪器的所捕获的姿态对应的运动路径。如随第一种跟踪模式所描述的，处理装置122确定用于沿着所确定的运动路径来致动机器人装置140的所述一个或更多个组件的一个或更多个指令，并且将所述一个或更多个指令提供给机器人装置140。

在一个示例中，用户可以通过使用机器人踏板142来控制机器人臂141的致动。在一个实施方式中，用户可以压下机器人踏板142以启用机器人装置140的一种或更多种模式。在一个场景中，用户可以压下机器人踏板142，以使得用户能够根据期望的位置手动定位机器人臂141。在另一场景中，用户可以压下机器人踏板142以启用以下模式：使得机器人臂141能够将仪器T放置到根据如上所确定的运动路径的位置中。在另一场景中，用户可以压下机器人踏板142以停止机器人臂141进行任何进一步的移动。

可以将机器人臂141配置成根据外科手术以及关联的关节的数量来接收一个或更多个末端执行器。在一个示例中，机器人臂141可以是六关节臂。在该示例中，各个关节包括对该关节的角度值进行测量的编码器。由所述一个或更多个编码器提供的移动数据结合六个关节的已知几何形状，可以使得能够确定机器人臂141的位置以及联接至机器人臂141的仪器T的位置。还设想，可以使用不同数量的关节来实现本文所描述的功能。

移动壳体143通过使用轮子或手柄或两者来确保机器人装置140的容易操纵。在一个实施方式中，移动壳体143可以包括固定垫或等效装置。移动壳体143还可以包括控制单元，该控制单元向机器人臂141提供一个或更多个命令，并且可使外科医生能够通过使用诸如触摸屏、鼠标器、操纵杆、键盘或类似装置这样的接口来手动输入数据。

在一个示例中，将处理装置122配置成，经由跟踪装置130捕获仪器H(例如，便携式仪器)的姿态。仪器的所捕获的姿态包括位置信息和取向信息的组合。在该示例中，仪器H的姿态基于在患者P的手术部位的处的用户限定布置。用户限定布置基于外科医生对仪器H的移动。在一个场景中，便携式仪器包括一个或更多个红外反射器或发射器。继续该示例，将处理装置122配置成，确定与仪器H的所捕获的姿态对应的运动路径。运动路径与机器人装置140的一个或更多个组件(例如，一个或更多个连杆和关节)的致动关联。将处理装置122配置成，确定用于沿着所确定的运动路径致动机器人装置140的所述一个或更多个组件的一个或更多个指令。此外，将处理装置122配置成，将所述一个或更多个指令提供给机器人装置140。

在另一示例中，将处理装置122配置成，比较便携式仪器的所述一个或更多个红外反射器的位置与联接至患者的一个或更多个红外反射器的位置。基于该比较，将处理器122配置成，确定便携式仪器的所述一个或更多个红外反射器与联接至患者的所述一个或更多个红外反射器之间的距离是否处于安全阈值内。基于对便携式仪器与患者之间的距离的确定，将处理装置122配置成，确定对机器人装置的所述一个或更多个组件的致动进行的一个或更多个调节。

在另一示例中，将处理装置122配置成，提供手术部位的图像以供显示在显示装置126上。在该示例中，将处理装置122配置成，将所确定的运动路径的至少一部分叠加到手术部位的图像上。叠加所确的定路径的至少一部分将使得外科医生能够再检查该路径并且确保改路径与外科手术计划一致。在一个示例中，还可以将处理装置122配置成，接收来自外科医生的输入，该输入确认所确定的运动路径的叠加的部分与外科手术计划对准。在一个示例中，该输入是通过输入装置125接收的。

在另一示例中，将处理装置122配置成，确定术前轨迹与对应于运动路径的所述一部分的轨迹之间的角度。根据所确定的角度，将处理装置122配置成，基于仪器H的所捕获的位置来确定使仪器枢转的一个或更多个移动，以便使与运动路径的所述一部分对应的轨迹和术前轨迹对准。在该示例中，将处理装置122配置成，提供所述一个或更多个移动以将仪器枢转至机器人装置140。如本文所描述的，将机器人装置140被配置成，将用于进行枢转的所述一个或更多个移动转换成用于使得机器人装置140能够沿着所确定的轨迹移动的指令。

在另一示例中，可以将术前(preoperative)轨迹与对应于运动路径的所述一部分的轨迹之间的所确定的角度与和一个或更多个分数关联的一个或更多个范围进行比较。基于分数，变化的视觉效果(例如，闪烁的颜色)可以与对应于运动路径的所述一部分的轨迹一起进行显示。例如，如果角度处于与破坏椎弓根的周边的较高可能性关联的范围内，那么与运动路径的所述一部分对应的轨迹是以闪烁的红色进行显示的。在另一示例中，如果角度处于与术前轨迹的高相关程度对应的范围内，那么与运动路径的所述一部分对应的轨迹是以绿色进行显示的。

在另一示例中，将处理装置122配置成，确定所确定的运动路径的叠加部分与手术部位内的一个或更多个预定边界相交。在该示例中，将处理装置122配置成，提供用于经由显示装置126显示的所确定的运动路径的叠加的至少一部分的变化的视觉效果。

图2例示了可以在外科手术期间使用的示例机器人装置200。机器人装置200可以包含硬件(诸如处理器、存储器或存储装置)，以及使得机器人装置200能够用于外科手术的传感器。机器人装置200可以由各种装置(诸如电动机、气动马达、液压马达等)来提供动力。机器人装置200包括：基座(base)202、连杆206、210、214、218、222和226、关节204、208、212、216、220、224和230、以及机械手(manipulator)228。

基座202可以提供平台以便为机器人装置200提供支承。基座202可以是静止的或者联接至轮子以便提供机器人装置200的移动。基座202可以包括任何数量的材料，诸如铝、钢、不锈钢等，该材料可以适用于与机器人装置200关联的给定环境。

可以将连杆206、210、214、218、222以及226配置成根据可编程指令集进行移动。例如，可以将连杆配置成，遵循预定的一组移动(例如，与仪器的所捕获的姿态对应的运动路径)以便在用户的监督下完成任务。举例来说，连杆206、210、214、218、222以及226可以形成运动链，该运动链限定连杆206、210、214、218、222以及226中的给定连杆在关节204、208、212、216、220、224以及230中的给定关节处的相对移动。

可以将关节204、208、212、216、220、224以及230配置成通过使用机械齿轮系统来进行旋转。在一个示例中，机械齿轮系统是由应变波齿轮传动、摆线驱动等来进行驱动的。所选择的机械齿轮系统将取决于与机器人装置200的操作相关的许多因素，诸如连杆206、210、214、218、222以及226中的给定连杆的长度、旋转速度、期望的齿轮减速等。向关节204、208、212、216、220、224以及230提供动力将使得连杆206、210、214、218、222以及226能够以允许机械手228与环境交互的方式进行移动。

在一个示例中，将机械手228配置成，可使机器人装置200能够根据一个或更多个约束来与环境交互。在一个示例中，机械手228通过各种操作(诸如抓住手术仪器)来执行部件的适当放置。举例来说，可以将机械手228更换为另一个末端执行器，该末端执行器将为机器人装置200提供不同的功能。

在一个示例中，将机器人装置200配置成，根据机器人操作系统(例如，为机器人的特定功能设计的操作系统)进行操作。机器人操作系统可以提供库和工具(例如，硬件抽象、设备驱动程序、可视化工具、消息传递、包管理等)以使能实现机器人应用。

图3是根据示例实施方式的计算装置300的框图。在一些示例中，图3所示的一些组件可能跨多个计算装置(例如，台式计算机、服务器、手持式装置等)进行分布。然而，为示例起见，将这些组件作为一个示例装置的一部分进行示出和描述。计算装置300包括：接口302、移动单元304、控制单元306、通信系统308、数据存储装置310以及处理器314。图3所示的组件可以通过通信链路316链接在一起。在一些示例中，计算装置300可以包括硬件以使得能够在计算装置300和另一计算装置(未示出)内进行通信。在一个实施方式中，机器人装置140或机器人装置200可以包括计算装置300。

可以将接口302配置成使得计算装置300能够与另一计算装置(未示出)进行通信。因此，可以将接口302配置成从一个或更多个装置接收输入数据。在一些示例中，接口302还可以保持和管理由计算装置300接收和发送的数据记录。在其它示例中，数据记录可以由计算装置300的其它组件来保持和管理。接口302还可以包括用于接收和发送数据的接收器和发送器。在一些示例中，接口302还可以包括同样用于接收输入的用户接口，例如键盘、麦克风、触摸屏等。而且，在一些示例中，接口302还可以与诸如显示器、扬声器等的输出装置经接口连接。

在一个示例中，接口302可以接收指示以下位置信息的输入：该位置信息与机器人装置(例如，机器人装置140、机器人装置200)所处的环境的一个或更多个部件对应。在该示例中，该环境可以是医院中的手术室，该手术室包括被配置成在外科手术期间起作用的机器人装置。还可以将接口302配置成接收与机器人装置关联的信息。例如，与机器人装置关联的信息可以包括机器人装置的操作特性，以及伴随机器人装置(例如，机器人装置140、机器人装置200)的一个或更多个组件(例如，关节204、208、212、216、220、224以及230)的运动范围。

可以将计算装置300的控制单元306配置成，运行控制软件，该控制软件与机器人装置(例如，机器人装置140、机器人装置200)的组件(例如，机器人臂141、机器人踏板142、关节204、208、212、216、220、224以及230)以及一个或更多个其它装置(例如，处理装置122、跟踪装置130等)交换数据。控制软件可以通过与机器人装置通信的用户接口和显示监视器(例如，显示器126)来与用户进行通信。控制软件还可以通过有线通信接口(例如，并行端口、USB等)和/或无线通信接口(例如，天线、收发器等)与跟踪装置130和处理装置122进行通信。控制软件可以与一个或更多个传感器通信，以对用户在被安装至机器人臂(例如，机器人臂141、连杆226)的仪器T处施加的作用力(effort)进行测量。控制软件可以与机器人臂通信，以对机器人臂相对于标记物150的位置进行控制。

如上所述，控制软件可以与跟踪装置130进行通信。在一个场景中，可以将跟踪装置130配置成，跟踪被附接至患者P的标记物150。举例来说，可以将标记物150附接至患者P的椎骨的棘突。在该示例中，标记物150可以包括一个或更多个红外反射器，该红外发射器对跟踪装置130可见以确定标记物150的位置。在另一示例中，可以将多个标记物附接至一个或更多个椎骨并用于确定仪器T的位置。

在一个示例中，跟踪装置130可以近实时地向机器人装置140的控制软件提供标记物150的位置信息的更新。可以将机器人装置140配置成，经由有线和/或无线接口从跟踪装置130接收对标记物150的位置信息的更新。基于所接收到的对标记物150的位置信息的更新，可以将机器人装置140配置成，确定对仪器T的第一位置的一个或更多个调节，以便保持仪器T与患者P相对的期望位置。

在一个实施方式中，控制软件可以包括独立的模块。在示例性实施方式中，这些独立的模块在实时环境下同时运行，并且使用共享存储器来确保控制软件的各种任务的管理。这些模块可以具有不同的优先级，举例来说，如具有最高优先级的安全模块。安全模块可以监测机器人装置140的状态。在一个场景中，当检测到紧急情况(举例来说，如紧急停止、软件失效或与障碍物碰撞)时，安全模块可以向控制单元306发送指令以停止机器人臂141。

在一个示例中，将接口302配置成，允许机器人装置140与其它装置(例如，处理装置122、跟踪装置130)进行通信。因此，将接口302配置成从一个或更多个装置接收输入数据。在一些示例中，接口302还可以保持和管理由其它装置接收和发送的数据记录。在其它示例中，接口302可以使用接收和发送数据的接收器和发送器。

可以将接口302配置成，通过用户接口和显示屏(例如，经由显示器123和124)来管理用户与控制软件之间的通信。显示屏可以显示图形界面，该图形界面通过与机器人装置140关联的不同模式来引导用户。用户接口可以使得用户能够控制与外科手术开始关联的机器人臂141的移动、启用要在外科手术期间使用的跟踪模式、以及例如若需要的话停止机器人臂141。

可以将移动单元304配置成，确定与机器人臂141的一个或更多个组件关联的移动以执行给定手术。在一个实施方式中，可以将移动单元304配置成，使用正向和反向运动学来确定机器人臂141的轨迹。在一个场景中，移动单元304可以访问一个或更多个软件库来确定机器人臂141的轨迹。在另一示例中，将移动单元304配置成，根据仪器的基于用户限定路径的所捕获的运动数据，从处理装置122接收用于致动机器人装置140的所述一个或更多个组件的一个或更多个指令。

可以将移动单元304配置成，模拟机器人装置140沿着给定路径移动仪器T的操作。在一个示例中，基于所模拟的操作，移动单元304可以确定与仪器T关联的度量。此外，可以将移动单元304配置成，根据所模拟的操作来确定与度量关联的力。在一个示例中，移动单元304可以包含基于开放运动链来确定力的指令。

移动单元304可以包括力模块，该力模块用于监测由联接至机器人臂141的一个或更多个传感器测量的力和扭矩。在一个场景中，力模块能够检测与障碍物的碰撞并警告安全模块。

可以将控制单元306配置成，管理与机器人装置140的各种组件(例如，机器人臂141、踏板142等)关联的功能。例如，控制单元306可以发送一个或更多个命令以保持机器人臂141与标记物150相对的期望位置。可以将控制单元306配置成，从移动单元304接收移动数据。

在一个场景中，控制单元306可指令机器人臂141根据协作模式起作用。在协作模式下，用户能够通过握住联接至机器人臂141的工具T并将该仪器T移动至期望位置来手动移动机器人臂141。在一个示例中，机器人装置140可以包括联接至机器人臂141的末端执行器的一个或更多个力传感器。举例来说，当用户抓住仪器T并开始沿一个方向移动该仪器时，控制单元306接收由力传感器测量的作用力，并将这些作用力与机器人臂141的位置相结合以产生用户所期望的移动。

在一个场景中，控制单元306可以指令机器人臂141根据给定模式起作用，这将导致机器人装置140保持仪器T与给定的IR反射器或发射器(例如，标记物150)的相对位置。在一个示例中，机器人装置140可以从跟踪装置130接收标记物150的经更新的位置信息并根据需要进行调节。在该示例中，移动单元304可以基于标记物150的所接收到的经更新的位置信息，来确定机器人臂141的哪个(些)关节需要移动，以便保持仪器T与标记物150的相对位置。

在另一场景中，限制性协作模式可以由用户进行限定，以限制机器人装置140的移动。例如，根据用户偏好，控制单元306可以将机器人臂141的移动限制在平面或轴上。在另一示例中，机器人装置140可以接收关于手术部位内的不应与确定的运动路径的一部分相交的一个或更多个预定边界的信息。

在一个实施方式中，机器人装置140可以与处理装置122进行通信。在一个示例中，机器人装置140可以向处理装置122提供仪器T的位置和取向数据。在该示例中，可以将处理装置122配置成，存储仪器T的位置和取向数据以用于进一步处理。在一个场景中，图像处理装置122可以使用仪器T的所接收到的位置和取向数据，以在显示器126上叠加仪器T的虚拟表示。

在一个实施方式中，可以将被配置成检测压力或力的传感器联接至机器人臂的最后一个关节(例如，连杆226)。基于机器人臂的给定移动，传感器可以向计算装置(例如，机器人装置的控制单元)提供被施加在机器人臂的最后一个关节上的压力的读数。在一个示例中，可以将机器人装置配置成，将力或压力数据传送给计算装置(例如，处理装置122)。在另一实施方式中，可以将传感器联接至诸如牵开器(retractor)这样的仪器。在该实施方式中，可以将被施加在牵开器上并由传感器检测到的力或压力提供给机器人装置(例如，机器人装置140、机器人装置200)或计算装置(例如，处理装置122)或者这两者以用于进一步分析。

在一个场景中，机器人装置可以访问被存储在机器人装置的存储器中的移动数据，以追溯沿着所确定的运动路径的移动。在一个示例中，可以将机器人装置配置成，沿着所确定的运动路径移动手术工具以到达或移动远离手术部位。

在另一方面，机器人装置(例如，机器人装置140、机器人装置200)可以帮助仪器沿着所确定的运动路径移动。在一个场景中，外科医生可以在术中通过将便携式仪器(例如，仪器H)保持在皮肤外的位置，并且通过将所确定的运动路径的至少一部分叠加到手术部位的图像上来了解椎弓根螺钉的轨迹如何与相关解剖结构相交，从而规划该轨迹。在一个示例中，可以将机器人装置配置成，沿着不同的轨迹移动，直到工具与经由便携式仪器捕获的椎弓根螺钉轨迹相交。在该示例中，机器人装置可以向计算装置(例如，处理装置122、计算装置300)提供信号，该计算装置又可以经由听觉或视觉警告来通知外科医生已经到达理想的椎弓根螺钉轨迹。

在另一场景中，一旦联接至机器人装置的机器人臂(例如，机器人臂141、连杆206、210、214、218、222以及226)的仪器到达期望的椎弓根螺钉轨迹，就可以将机器人装置配置成，接收来自外科医生的输入以沿着期望的椎弓根螺钉轨迹行进。在一个示例中，外科医生可以向机器人装置提供输入(例如，压下踏板142)，以确认外科医生决定使机器人装置能够沿着期望的椎弓根螺钉轨迹行进。在另一示例中，用户可以向机器人装置或者计算装置提供另一形式的输入，以帮助仪器沿着所确定的运动路径移动。

在一个场景中，一旦机器人装置已经接收到确认沿着期望的椎弓根螺钉轨迹行进，机器人装置就可以从移动单元304接收指令，以从当前轨迹枢转至期望的椎弓根螺钉轨迹。移动单元304可以向控制单元306提供所需的移动数据，以使得机器人装置能够沿着期望的椎弓根螺钉轨迹移动。

在本发明的另一方面，可以将机器人装置(例如，机器人装置140、机器人装置200)配置成，基于便携式仪器(例如，仪器H)的所捕获的姿态来绕重要区域枢转。例如，可以将机器人装置配置成，绕牵开器的尖端枢转牵开器，以使不需要重复与牵开软组织关联的所有步骤。在一个示例中，移动单元304可以确定为枢转牵开器所需的轨迹。

在一个示例中，可以将机器人装置联接至牵开器，该牵开器保持软组织远离手术部位。在该示例中，由于患者移动，外科医生可能需要稍微重新定位牵开器。为此，外科医生可以启用针对机器人装置的模式，该模式根据由移动单元304确定的轨迹，通过移动机器人臂(例如，机器人臂141、连杆206、210、214、218、222以及226)来使牵开器枢转。在一个示例中，用户可以经由计算装置(例如，处理装置122、计算装置300)输入所期望的方向和移动量。在输入了方向和移动量之后，用户(例如，外科医生)可以与机器人装置交互(例如，压下踏板142)，以开始联接至机器人臂的仪器的移动。在一个示例中，机器人装置可以允许用户在不脱离对接点(dicking point)的情况下查看解剖结构的不同方面。

在另一示例中，移动单元304可以基于便携式仪器(例如，仪器H)的所捕获的姿态向计算装置(例如，处理装置122)提供一个或更多个轨迹以供在显示器126上进行显示。在该示例中，用户可以从与给定手术关联的一个或更多个预定移动中进行选择。例如，可以将给定的预定移动与要通过使用压下机器人装置140的踏板142来执行的特定方向和移动量关联。

在本发明的另一方面，可以将一个或更多个红外(IR)反射器或发射器联接至机器人装置(例如，机器人装置140、机器人装置200)的机器人臂(例如，机器人臂141、连杆206、210、214、218、222以及226)。在一个场景中，可以将跟踪装置130配置成，在机器人装置开始操作之前确定所述一个或更多个IR反射器或发射器的位置。在这种场景中，跟踪装置130可以将所述一个或更多个IR反射器或发射器的位置信息提供给计算装置(例如，处理装置122、计算装置300)以用于进一步处理。

在一个示例中，可以将处理装置122或计算装置300配置成，将联接至机器人臂的所述一个或更多个IR反射器或发射器的位置信息与被存储在本地或远程数据库上的数据(该数据包含关于机器人装置的信息(例如，机器人装置的几何模型))进行比较，以帮助确定机器人臂的定位或位置。在一个示例中，处理装置122可以根据由跟踪装置130提供的信息来确定机器人臂的第一位置。在该示例中，处理装置122可以向机器人装置或计算装置(例如，计算装置300)提供机器人臂的所确定的第一位置。在一个示例中，机器人装置可以使用所接收到的第一位置数据，来执行对与机器人臂的所述一个或更多个关节关联的一个或更多个部件(例如，编码器、致动器)的校准。

在一个场景中，可以将联接至机器人装置的机器人臂的仪器用于确定仪器的预期尖端位置与仪器的实际尖端位置之间的差异。在这种场景中，机器人装置可以继续通过跟踪装置130将仪器移动至已知位置，以使工具的尖端与已知位置相接触。跟踪装置130可以捕获与联接至机器人臂的所述一个或更多个IR反射器或发射器对应的位置信息，并将该信息提供给机器人装置或计算装置(例如，处理装置122、计算装置300)。此外，可以将机器人装置或计算装置配置成，基于工具的预期尖端位置与工具的实际尖端位置，来调节机器人装置与跟踪装置130之间的坐标系偏移。

在另一方面，可以将力或压力传感器联接至机器人装置(例如，机器人装置140、机器人装置200)的机器人臂(例如，机器人臂141、连杆206、210、214、218、222以及226)。在一个示例中，可以将力或压力传感器定位在机器人臂的末端执行器上。在另一示例中，可以将力或压力传感器联接至机器人臂的给定关节。可以将力或压力传感器配置成，确定力或压力读数何时高于静止阈值。该静止阈值可以基于当末端执行器正握住仪器而没有向仪器施加任何附加的力或压力(例如，用户尝试移动仪器)时在传感器处所经历的力或压力。在一个示例中，如果力或压力读数等于或低于静止阈值，则机器人臂可可以停止移动。

在一个示例中，机器人臂141的移动可以通过踏板142的压下来进行控制。例如，当踏板142被压下时，可以将控制单元306和移动单元304配置成，从所述一个或更多个力传感器接收力或压力的任何测量结果，并且使用所接收到的信息来确定机器人臂141的轨迹。

在另一示例中，机械臂141的移动可以根据将踏板142压下多少来进行调整。例如，如果用户将踏板142压下全部量，则与将踏板142压下一半量时相比，机器人臂141可以以更高的速度移动。在另一示例中，机器人臂141的移动可以由位于机器人装置上的用户接口进行控制。

在一个示例中，可以将机器人装置(例如，机器人装置140、机器人装置200)配置成，在本地或远程存储器中存储基于便携式仪器的移动而对应于用户限定运动路径的移动数据。在该示例中，可以将机器人装置配置成，沿着对应于所存储的移动数据的轨迹在一个或更多个方向上行进。例如，外科医生可以指令机器人装置沿着对应于所存储的移动数据的轨迹反转。

在本发明的另一方面，可以将机器人装置(例如，机器人装置140、机器人装置200)用于导航一个或更多个手术仪器，并将导航信息提供给计算装置(例如，处理装置122、计算装置300)以用于进一步处理。在一个示例中，可以将计算装置配置成，确定手术仪器的虚拟表示。此外，可以将计算装置配置成，将手术仪器的虚拟表示叠加在手术部位的二维或三维图像上。

在一个示例中，机器人装置可以在跟踪装置130之间执行校准过程，以便在机器人装置与跟踪装置130之间的视线被阻挡的情况下去除对跟踪装置130的位置信息的依赖。在一个示例中，使用已经被注册到导航系统的机器人装置(如本文所描述的)以及患者的对应于手术部位的三维图像，可以允许机器人装置变得和与跟踪装置130关联的距离的准确度下降无关。

通信系统308可以包括有线通信接口(例如，并行端口、USB等)和/或无线通信接口(例如，天线、收发器等)，以从外部装置接收信号和/或向外部装置提供信号。在一些示例中，通信系统308可以接收用于处理装置122的操作的指令。另外或者另选地，在一些示例中，通信系统308可以提供输出数据。

数据存储装置310可以存储可以由处理器314访问和执行的程序逻辑312。程序逻辑312可以包含向处理装置122、机器人装置140、机器人装置200等的一个或更多个组件提供控制的指令。例如，程序逻辑312可以提供基于与便携式仪器关联的一个或更多个用户限定轨迹来调节机器人装置200的操作的指令。数据存储装置310可以包括一个或更多个易失性存储组件和/或一个或更多个非易失性存储组件，诸如光学、磁性和/或有机存储器，并且可以将数据存储装置全部或部分地与处理器314集成。

处理器314可以包括一个或更多个通用处理器和/或一个或更多个专用处理器。就处理器314包括多于一个的处理器而言，这样的处理器可以单独或组合工作。例如，可以将第一处理器配置成操作移动单元304，并且处理器314中的第二处理器可以操作控制单元306。

更进一步地，虽然这些组件中的各个组件被示为集成在处理装置122、机器人装置140或机器人装置200中，但是在一些实施方式中，可以使用有线或无线连接将一个或更多个组件可移除地安装至或者以其它方式(例如，以机械方式或以电方式)连接至处理装置122、机器人装置140或机器人装置200。

图4描绘了根据示例实施方式配置的示例计算机可读介质。在示例实施方式中，示例系统可以包括：一个或更多个处理器、一种或更多种形式的存储器、一个或更多个输入装置/接口、一个或更多个输出装置/接口、以及机器可读指令，该机器可读指令当由所述一个或更多个处理器执行时，使该系统执行上述各种功能、任务、能力等。

如上所提到的，在一些实施方式中，所公开的技术(例如，机器人装置140、机器人装置200、处理装置122、计算装置300等的功能)可以通过以机器可读格式在计算机可读存储介质上或者在其它介质或制品上编码的计算机程序指令来实现。图4是例示根据本文所公开的至少一些实施方式设置的示例计算机程序产品的概念性局部视图的示意图，该示例计算机程序产品包括用于在计算装置上执行计算机处理的计算机程序。

在一个实施方式中，使用信号承载介质402提供示例计算机程序产品400。信号承载介质402可以包括一个或更多个编程指令404，所述一个或更多个编程指令404当由一个或更多个处理器执行时，可以提供上面参照图1至图3描述的功能或功能的一部分。在一些示例中，信号承载介质402可以是计算机可读介质406，诸如但不限于，硬盘驱动器、光盘(CD)、数字视频盘(DVD)、数字磁带、存储器等。在一些实现中，信号承载介质402可以是计算机可记录介质408，诸如但不限于存储器、读/写(R/W)CD，R/W DVD等。在一些实现中，信号承载介质402可以是通信介质410(例如，光缆、波导、有线通信链路等)。因此，例如，信号承载介质402可以由无线形式的通信介质410来输送。

所述一个或更多个编程指令404例如可以是计算机可执行和/或逻辑实现的指令。在一些示例中，可以将计算装置配置成，响应于由计算机可读介质406、计算机可记录介质408和/或通信介质410中的一个或更多个输送至计算装置的编程指令404来提供各种操作、功能或动作。

计算机可读介质406还可以分布在可以彼此远程定位的多个数据存储部件中。执行所存储的指令的一些或全部的计算装置可以是外部计算机，或移动计算平台(诸如智能手机、平板装置、个人计算机、可佩戴装置等)。另选地，执行所存储的指令的一些或全部的计算装置可以是远程定位的计算机系统(诸如服务器)。

图5、图6、图9以及图10是根据本文所描述的至少一个或更多个实施方式的外科手术期间的示例方法的流程图。尽管各个图中的框都是按顺序次序例示的，但是在一些情况下，这些框可以并行执行，和/或以与其中描述的那些框不同的次序执行。而且，可以将各种框组合成更少的框、划分成附加的框，和/或基于期望的实现去除。

此外，图5、图6、图9以及图10的流程图示出了本实施方式的可能实现的功能和操作。在这点上，各个框皆可以表示模块、节段或程序代码的一部分，其包括可由处理器执行的用于实现所述处理中的特定逻辑功能或步骤的一个或更多个指令。可以将程序代码存储在任何类型的计算机可读介质上，举例来说，如包括磁盘或硬盘驱动器的存储装置。计算机可读介质例如可以包括存储数据达较短时段的非暂时性计算机可读介质(诸如寄存器存储器、处理器高速缓存或随机存取存储器(RAM))，和/或持久性长期存储装置(诸如只读存储器(ROM)、光盘或磁盘、或者光盘只读存储器(CD-ROM))。计算机可读介质能够或者可以包括任何其它的易失性或非易失性存储系统。计算机可读介质例如可以被认为是计算机可读存储介质、有形存储装置或其它制造物品。

另选地，图5、图6、图9以及图10中的各个框皆可以表示被布线以在所述处理中执行特定逻辑功能的电路。例示性方法(诸如图5、图6、图9以及图10所示的那些方法)可以全部或部分地由云和/或图1的系统100中的一个或多个组件来执行。然而，应理解，在不脱离本发明的范围的情况下，示例方法可以代替地由其它实体或实体的组合(即，由其它计算装置和/或计算机装置的组合)来执行。例如，图5、图6、图9以及图10的方法的功能可以完全由计算装置(或计算装置的组件，诸如一个或更多个处理器)来执行，或者可以跨计算装置的多个组件、跨多个计算装置(例如，图1的控制单元118和图像处理装置122)和/或跨服务器来分布。

参照图5，外科手术期间的示例方法500可以包括如框502至516所示的一个或更多个操作、功能或动作。在一个实施方式中，方法500全部或部分由图1的系统100来实现。

如框502所示，方法500包括以下步骤：采集患者的手术部位的高分辨率基线图像，并且以数字方式处理该高分辨率基线图像以生成基线图像集。

在一个示例中，将图像处理装置122配置成，在显示器123、124上提供高质量实时图像，这些高质量实时图像得自使用低剂量辐射获得的较低细节图像。低剂量图像太“嘈杂(noisy)”，无法为准确的图像引导手术提供有关局部解剖结构的足够信息。虽然全剂量图像提供了手术部位的清晰视图，但是较高辐射剂量使得在手术期间拍摄多个全剂量图像非常成问题。

在一个示例中，采集手术部位的基线高分辨率全剂量图像并且存储在与图像处理装置122关联的存储器中。在其中C形臂在手术期间移动的一些情况下，可以在手术部位的不同位置获得多个高分辨率图像，然后将这些多个图像“缝合”在一起以形成合成基础图像。C形臂的移动，并且更具体地在这些移动期间“跟踪”所采集的图像在本文中的更详细描述的其它步骤中进行了解释。对于目前的讨论，假设成像系统是相对固定的，这意味着仅考虑C形臂和/或患者的非常有限的移动，诸如可能出现在硬膜外疼痛手术、脊柱克氏针(K-wire)放置或取石(stone extraction)中。在一个场景中，将基线图像投影在显示器123上以验证手术部位在图像内正确居中。

在一些情况下，可以获得新的全剂量图像，直到获得合适的基线图像。在其中移动C形臂的手术中，在成像装置的新位置获得新的基线图像，如下所讨论的。如果所显示的图像可以接受为基线图像，则可以在用户接口(诸如在显示装置126或接口125上)上按下按钮。在对预期因生理过程(诸如呼吸)而产生大量运动的解剖区域执行的手术中，可以在循环的多个阶段内为同一区域采集多个基线图像。可以将这些图像标记成来自其它医疗仪器(诸如ECG或脉搏血氧仪)的时间数据。

一旦采集到基线图像，就生成基线图像集，其中使原始基线图以数字方式旋转、平移以及调节大小，以创建原始基线图像的数千个排列。例如，可以将典型的128×128像素的二维(2D)图像沿x和y方向以1个像素间隔平移.+-.15个像素、以3度间隔旋转.+-.9度、并且以2.5％的间隔从92.5％到107.5％进行缩放(4个自由度，4D),从而在基线图像集中产生47,089个图像。由于添加了与x轴和y轴正交的两个附加旋转，因此，三维(3D)图像将意味着6D解空间。可以将原始计算机断层扫描(CT)图像数据集用于以类似方式形成数千个的数字重建射线照片(DRR)。因此，在这个步骤中，原始基线图像产生了数千个新的图像表示，就好像原始基线图像是以不同的移动排列中的各个移动排列来采集的一样。可以根据“解空间”中的图像数量以及图像处理装置122的图形处理单元(GPU)可以生成这些图像的速度，将该解空间存储在图形卡存储器中(诸如存储在GPU中)，或者形成为然后被发送给GPU的新图像。就目前的计算能力、以独立的方式的医疗级计算机而言，具有近850,000个图像的基线图像集在GPU中可以在不到一秒钟的时间内生成，这是因为GPU的多个处理器皆可以同时处理一个图像。

如框504所示，方法500包括以下步骤：以较低分辨率采集手术部位的新图像，并将新图像与基线图像集的一个或更多个图像进行比较。在一个示例中，低剂量图像是经由C形臂103采集并存储在与图像处理装置122关联的存储器中的，并且被投影在显示器123上。由于新图像是在较低辐射剂量下获得的，因此噪声很大。因此，可以将新图像与来自基线图像集的图像合并，以在第二显示器124上生成向外科医生传达更多有用信息的更清晰的图像。在一个示例中，合并图像可以通过图像识别或配准步骤来完成，其中将新图像与基线图像集中的图像进行比较以找到具有统计意义的匹配。继续该示例，生成新的“合并的”图像，并且可以与原始的新图像的视图相邻地显示在显示器124上。在整个外科手术的不同时间，可以获得新的基线图像，用于生成新的基线图像集。

如框506所示，方法500包括以下步骤：选择基线图像集中的与新图像具有可接受的相关度的代表性图像，并将所选择的代表性图像与新图像合并以生成所合并的图像。在一个示例中，选择基线图像集中的代表性图像的步骤包括：将当前新图像与基线图像集中的图像进行比较。由于这个步骤发生在外科手术期间，因此，时间和准确度至关重要。优选地，该步骤可以在不到一秒钟的时间内获得图像配准，以使在当通过C形臂拍摄图像时与当在装置126上显示所合并的图像时之间不存在有意义的延迟。可以采用可取决于各种因素的各种算法，诸如基线图像集中的图像数量、执行算法计算的计算机处理器或图形处理器的大小和速度、被分配给执行计算的时间、以及正被比较的图像的大小(例如，128×128像素、1024×1024像素等)。在一种方法中，在整个4D空间中以网格图案在上述预定位置处的像素之间进行比较。在另一种启发式方法中，可以将像素比较集中在被认为提供相关匹配可能性更大的图像区域。这些区域可以基于来自网格或PCA搜索(下面定义的)的知识、来自跟踪系统(诸如光学手术导航装置)的数据或者来自DICOM文件或等效文件的位置数据进行“预先播种(pre-seeded)”。另选地，用户可以通过在基线图像上标记被认为与手术相关的解剖学特征来指定图像的用于比较的一个或更多个区域。利用这个输入，区域中的各个像素皆可以被指派介于0与1之间的相关性分数，当将新图像与基线图像进行比较时，该分数可以衡量像素对图像相似度函数的贡献。可以校准相关性分数以识别要集中的区域或要忽略的区域。

在另一种方法中，执行主分量分析(PCA)，与全分辨率网格方法相比，它可以在所分配的时间量内与更多的较大图像进行比较。在PCA方法中，确定图像集的各个像素如何彼此共同变化。可以仅使用总解集的一小部分(例如，基线图像集中的随机选择的10％)来生成协方差矩阵。来自基线图像集的各个图像皆被转换为一个列向量。

在一个示例中，70×40像素的图像变成了2800×1的向量。这些列向量被归一化成均值0和方差1，并且被组合成较大的矩阵。协方差矩阵由这个较大的矩阵来加以确定，并且选择最大的特征向量。对于这个特定示例，已经发现30个PCA向量可以解释相应图像的约80％的方差。因此，可以将各个2800×1图像向量乘以2800×30PCA向量以生成1×30向量。对新图像应用相同的步骤—该新图像被转换成2800×1图像向量，并且与2800×30PCA向量相乘生成与新图像对应的1×30向量。将解集(基线图像)向量和新图像向量进行归一化，并且计算新图像向量与解空间中的各个向量的点积。生成最大点积(即，最接近1)的解空间基线图像向量被确定为新图像的最接近图像。应理解，本示例可以利用不同的图像尺寸和/或用于分析的不同主要分量来加以改变。还应理解，可以实现例如可以利用特征向量、奇异值确定、均方误差、平均绝对误差以及边缘检测的其它已知技术。还设想到，可以将各种图像识别方法应用于图像的选定区域，或者可以应用各种统计量度以找到落在合适的置信阈值内的匹配。可以指派置信值或相关值，该值量化新图像与所选择的基线图像或者基线图像集中的所选择的图像之间的相关程度，并且可以显示该置信值以供外科医生再检查。外科医生可以决定该置信值对于特定显示器是否可接受以及是否应当采集另一图像。

在图像引导的外科手术中，工具、植入物以及仪器将不可避免地出现在图像场中。这些物体通常是辐射密集的，从而会从视图中挡住相关的患者解剖结构。因此，所获得的新低剂量图像将包括与任何基线图像集无关的工具T的伪像。因此，图像中的工具的存在确保了上述比较技术不会在新图像与任何基线图像集之间产生高程度的配准。不过，如果上述过程中的各个过程的最终结果是寻找最高的相关程度(其在统计上相关或超过某个阈值)，那么可以利用整个新的低剂量图像、工具伪像以及全部来进行图像配准。

另选地，可以修改图像配准步骤以解决新图像上的工具伪像。在一种方法中，可以对新的低剂量图像进行评估，以确定被工具“挡住”的图像像素的数量。这种评估可以涉及将各个像素的灰度值与阈值进行比较，并且排除落在该阈值之外的像素。例如，如果像素灰度值从0(完全被挡住)到10(完全透明)变动，那么可以应用阈值3来从评估中消除某些像素。此外，当位置数据可用于各种被跟踪的工具时，可以在数学上避免被挡住的算法区域。

在另一种方法中，图像识别或配准步骤可以包括以下步骤：测量低剂量图像与基线图像的变换版本(即，已经进行变换以解释C形臂的移动的基线图像)或患者的相似度。在图像引导的外科手术中，C形臂系统采集同一解剖结构的多个X射线图像。在采集该系列图像的过程中，即使解剖学特征可能保持相对稳定，系统也可能会以小增量移动，并且可以在视野中添加或移除手术工具。下面描述的方法通过使用一个图像中存在的解剖学特征来填充另一稍后图像中缺失的细节，从而利用解剖学特征的这种一致性。这种方法进一步允许将全剂量图像的高质量转移至随后的低剂量图像。

在一个实施方式中，将采用图像的标量函数形式的相似度函数用于确定当前低剂量图像与基线图像之间的配准。为了确定这种配准，首先必需确定图像之间已经发生的增量运动。这个运动可以用四个数字来进行描述，这四个数字对应四个自由度——缩放、旋转以及垂直和水平平移。对于要比较的给定的一对图像，这四个数字的知识使得能够操纵该对图像中的一个图像，以使相同的解剖学特征出现在两个图像之间的相同位置。标量函数是这种配准的量度，并且可以使用相关系数、点积或均方误差来获得。举例来说，点积标量函数对应于这两个图像中的各个像素对处的强度值的乘积总和。例如，将低剂量图像和基线图像中的各个图像中的位于1234、1234的像素的强度值相乘。对每隔一个像素位置进行类似的计算，并且将所有这些相乘的值添加到标量函数中。可以意识到，当两个图像精确配准时，该点积将具有最大可能的量值。换句话说，当找到最佳组合时，对应的点积通常高于其它点积，这可以被报告为Z分数(即，高于平均值的标准偏差数)。Z分数大于7.5表示该配准不是偶然找到的99.9999999％的确定性。应记住，使用该点积寻求的配准介于患者解剖结构的基线图像与在视场和成像设备可能已经移动或者非解剖物体被引入视场中之后的稍后时间拍摄的同一解剖结构的实时低剂量图像之间。

这种方法特别适合使用并行计算架构(诸如GPU)来执行，该并行计算架构由能够并行执行同一计算的多个处理器组成。因此，可以将GPU的各个处理器用于计算低剂量图像和基线图像的一个变换版本的相似度函数。这样，可以将基线图像的多个变换版本同时与低剂量图像进行比较。可以在采集基线图像时预先生成经变换的基线图像，然后将该经变换的基线图像存储在GPU存储器中。另选地，可以在比较期间通过从经变换的坐标读取纹理提取(texture fetching)来存储并且在空中变换单个基线图像。在GPU的处理器数量大大超过要考虑的变换数量的情况下，可以将基线图像和低剂量图像分成不同的区段，并且各个区段的相似度函数可以通过不同的处理器进行计算，然后进行合并。

为了进一步加速确定对准两个图像的最佳变换，首先可以利用包含较少像素的经下采样的图像计算相似度函数。可以通过将邻近像素组平均在一起来预先执行该下采样。可以首先为经下采样的图像计算在宽泛范围的可能运动内的许多变换的相似度函数。一旦确定了根据集合的最佳变换，就可以将该变换用作被应用于具有更多像素的图像的可能变换的更精细网格的中心。以这种方式，使用多个步骤以高精度确定最佳变换，同时在较短时间量内考虑宽泛范围的变换。

为了减少因不同图像中的总体强度水平的差异而造成的相似度函数的偏差，以及优先对准图像中的用户关注的解剖学特征，在计算相似度函数之前，可以对图像进行滤波。这种滤波将理想地抑制与低剂量图像关联的非常高的空间频率噪声，同时也抑制了与缺乏重要解剖学细节的大的平坦区域关联的低空间频率信息。这种图像滤波例如可以利用卷积、傅里叶域的乘法或Butterworth滤波器来完成。因此设想在生成相似度函数之前将相应地对低剂量图像和基线图像两者进行滤波。

如先前说明的，图像中可能存在非解剖学特征(诸如手术工具)，在该情况下，可能必需对相似度函数计算过程进行修改，以确保仅使用解剖学特征来确定低剂量图像与基线图像之间的对准。可以生成识别像素是否为解剖学特征的一部分的掩模图像。在一个方面，可以向解剖学像素赋值1，而向非解剖学像素赋值0。这种赋值可使基线图像和低剂量图像两者能够在如上文所述计算相似度函数之前乘以对应掩膜图像。换句话说，掩膜图像可以消除非解剖学像素以避免对相似度函数计算的任何影响。

为了确定像素是否为解剖学的，可以在各个像素周围的邻域中计算多种函数。该邻域的这些函数可以包括原始灰度图像和经滤波的图像中的标准偏差、梯度量值、和/或像素的对应值。像素周围的“邻域”包括预定数量的相邻像素，诸如5×5网格或3×3网格。另外，这些函数可以例如通过找到标准偏差的邻域的标准偏差，或者通过计算标准偏差和梯度量值的二次函数来进行复合。邻域的合适函数的一个示例是使用边缘检测技术来区分骨骼和金属仪器。金属呈现出比骨骼“更清晰”的边缘，并且可以使用“边缘”像素的邻域的标准偏差或梯度计算来确定这种差异。因此，邻域函数可以基于该边缘检测方法确定像素是解剖学的还是非解剖学的，并且视情况为该像素赋值值1或0。

一旦为特定像素计算了值集，就可以将这些值与根据先前采集的图像的测量结果确定的阈值进行比较，并且可以基于超出的阈值数量为像素指派二进制值。另选地，可以将介于0与1之间的分数值指派给该像素，从而反映像素作为解剖学特征或非解剖学特征的一部分的身份的确定性程度。通过将图像中的一个像素处的计算指派给GPU上的一个处理器，可以利用GPU加速这些步骤，从而使得能够同时计算多个像素的值。可以使用形态学图像操作(诸如侵蚀和扩张)的组合来操纵掩模以填充和扩展与非解剖学特征对应的区域。

一旦那图像登记完成，可以以不同方式将新图像与从基线图像集中选择的图像一起显示。在一种方法中，将这两个图像合并。可以通过以常规方式组合图像的数字表示(诸如通过将两个图像的像素数据相加或求平均)来合并两个图像。在一个实施方式中，外科医生可以诸如通过用户接口125来识别所显示的图像中的一个或更多个特定关注区域，并且可以将合并操作配置成，利用关注区域外的显示的基线图像数据，并且进行关注区域内的显示的合并操作。用户接口125可以设置有“滑块”，该“滑块”控制在合并图像中显示的基线图像相对于新图像的量。在另一种方法中，外科医生可以在相关的基线图像和新图像或合并图像之间交替。外科医生可以在这些视图之间交替以得到底层解剖结构的更清晰视图以及具有仪器T的当前场视野的视图，这实际上通过交替图像以数字方式将仪器从视野中移除，从而澄清该仪器相对于被其阻挡的解剖结构的位置。

如框508所示，方法500包括以下步骤：基于到手术部位的用户限定路径来捕获仪器的运动数据。在一个示例中，可以将跟踪装置130配置成，在仪器H被用于外科手术时捕获该仪器H的一个或更多个图像。对所捕获的一个或更多个图像进行处理，以确定与联接至仪器H的一个或更多个IR标记物关联的定向和位置数据。然后，将与所述一个或更多个IR标记物关联的所确定的取向和位置数据用于确定仪器H在给定时段内的三维姿态数据。在一个示例中，可以将仪器H放置在手术室内的已知位置处，以指示捕获运动数据的触发。继续该示例，可以将处理装置122配置成，确定仪器H何时在预定时间量内没有移动，作为结束运动数据捕获的指示符。在另一示例中，可以按下用户接口上的按钮(诸如显示装置126或接口125上的按钮)，以在开始和停止与仪器H关联的运动数据的捕获之间进行切换。

如框510所示，方法500还包括以下步骤：确定与所捕获的运动数据对应的运动路径，其中，该运动路径与机器人装置的一个或更多个组件的致动关联。在一个示例中，运动路径可以包括机器人移动，该机器人移动根据所捕获的运动数据，将机器人装置的末端执行器在特定的时间点放置在空间中的特定位置处，该特定位置对应于仪器H的位置。在一个示例中，运动路径可以包括指示仪器H随时间的位置的一序列笛卡尔坐标和旋转角度。

框510还可以或者代替地包括：比较便携式仪器的所述一个或更多个红外反射器的位置与联接至患者的一个或更多个红外反射器的位置。框510还可以包括：基于该比较，确定便携式仪器的所述一个或更多个红外反射器与联接至患者的所述一个或更多个红外反射器之间的距离处于安全阈值内。基于该确定，框510还可以包括：确定对机器人装置的所述一个或更多个组件的致动进行的一个或更多个调节。

如框512所示，方法500还包括以下步骤：将运动路径的一部分显示到所合并的图像上。在一个示例中，为了借助于机器人装置140来形成用于在椎弓根(vertebralpedicle)中放置椎弓根螺钉的导孔(pilot hole)，外科医生将仪器H推进到要形成导孔的椎弓根目标部位。在该示例中，将跟踪装置130配置成，捕获仪器H的位置和取向，并将该位置和取向信息提供给处理装置122。继续该示例，将处理装置122配置成，提供手术部位的图像以用于显示，并且将运动路径的至少一部分叠加在手术部位的图像上。

参照图7，图7例示了手术部位的包括椎骨702和运动路径704的一部分的示例二维合并图像700。在一个示例中，外科医生可以如上所述将仪器H定位在椎弓根目标部位处，并且查看所合并的图像700，以确定运动路径704的所述一部分的轨迹是否与手术计划对准。在该示例中，基于外科医生查看如图所示的运动路径704的所述一部分并且接受用于形成导孔的对应轨迹，外科医生可以经由处理装置122提供输入，以使用与图像700关联的运动路径来确定一个或更多个指令，这些指令沿着所确定的运动路径来致动机器人装置的一个或更多个组件。然后，处理装置122可以处理或向机器人装置140提供仪器H的取向和位置信息，以便使得机器人装置140能够沿着运动路径704的所确定的部分执行必需的移动。

另选地，方法500可以包括以下步骤：将运动路径的一部分显示到三维图像上。在一个示例中，处理装置122可以包括被配置成执行分割(segmentation)步骤的计算机可执行指令。如本文所使用的，“分割”描述了标识三维图像数据内的单独椎骨的过程，以使椎骨可以被分离并且彼此不同地处理、操纵以及显示。该分割步骤可以采用分割算法，该分割算法使用成像处理和图像识别软件来自动化脊柱节段分割过程。在一个实施方式中，计算机可执行指令自动识别和提取脊柱曲线、检测并识别各个单独的椎骨，直到它们被彼此分割。可以应用一个或更多个自适应网格来生成脊柱的分割的三维模型。各个椎骨或其它解剖学特征可以单独着色以可视地增强骨-软组织界面，或者可以仅对边缘进行着色。

参照图8，图8例示了示例三维图像800，该示例三维图像800包括从其它椎骨分割的椎骨802以及运动路径804的一部分。在一个示例中，外科医生可以如本文所描述地将仪器H定位在椎弓根目标部位处，并且查看三维图像800，以确定运动路径804的所述一部分的轨迹是否与手术计划对准。在该示例中，基于外科医生查看如图所示的运动路径804的所述一部分并且接受用于形成导孔的对应轨迹，外科医生可以经由处理装置122提供输入，以使用与图像800关联的运动路径来确定一个或更多个指令，这些指令沿着所确定的运动路径来致动机器人装置的一个或更多个组件。然后，处理装置122可以处理或向机器人装置140提供仪器H的取向和位置信息，以便使得机器人装置140能够沿着运动路径804的所确定的部分执行必需的移动。

返回参照图5，如框514所示，方法500还包括以下步骤：确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。在一个示例中，可以确定机器人的一序列机器人关节参数(包括关节角度、速度和/或加速度)，这些关节参数随着时间的推移而定位机器人的末端执行器的位置和取向，以便在空间内定位机器人工具。在一个示例中，可以确定机器人的关节参数与机器人工具在特定时间戳的位置之间的直接映射。在一个示例中，不是直接映射，而是可以确定机器人关节参数以便近似机器人工具的位置。在一个实施方式中，可以修改机器人移动，以便使机器人和/或机器人工具的运动曲线平滑，以便避免在机器人正在移动机器人工具时出现抖动或断开连接的移动。在一个示例中，可以将机器人末端执行器的运动路径内的位置进行缩放，以解决仪器H与机器人末端执行器之间的尺寸差异。

在一个示例中，可以先将用于沿着所确定的运动路径致动所述一个或更多个组件的所述一个或更多个指令进行细化，然后再向机器人提供所述一个或更多个指令。例如，可以将机器人的运动路径相对于仪器H的所确定的运动路径按尺寸进行放大或缩小。

如框516所示，方法500还包括以下步骤：将所述一个或更多个指令提供给机器人装置。在一个示例中，可以经由处理装置122与机器人装置140之间的无线或有线通信接口来提供所述一个或更多个指令。

参照图6，外科手术期间的示例方法600可以包括如框602至616所示的一个或更多个操作、功能或动作。在一个实施方式中，方法600全部或部分由图1的系统100来实现。

如框602所示，方法600包括以下步骤：采集患者的手术部位的高分辨率基线图像，并且以数字方式处理该高分辨率基线图像以生成基线图像集。框602在功能上可以类似于方法500的框502。

如框604所示，方法600还包括以下步骤：以较低分辨率采集手术部位的新图像，并将新图像与基线图像集的一个或更多个图像进行比较。框604在功能上可以类似于方法500的框504。

如框606所示，方法600还包括以下步骤：选择基线图像集中的与新图像具有可接受的相关度的代表性图像，并将所选择的代表性图像与新图像合并以生成所合并的图像。框606在功能上可以类似于方法500的框506。

如框608所示，方法600还包括以下步骤：基于在患者的手术部位处的仪器的用户限定布置来捕获仪器的姿态。框608在功能上可以类似于方法500的框508。

如框610所示，方法600还包括以下步骤：确定与仪器的所捕获的姿态对应的运动路径，其中，该运动路径与机器人装置的一个或更多个组件的致动关联。框610在功能上可以类似于方法500的框510。

框610还可以或者代替地包括：比较便携式仪器的所述一个或更多个红外反射器的位置与联接至患者的一个或更多个红外反射器的位置。框610还可以包括：基于该比较，确定便携式仪器的所述一个或更多个红外反射器与联接至患者的所述一个或更多个红外反射器之间的距离处于安全阈值内。基于该确定，框610还可以包括：确定对机器人装置的所述一个或更多个组件的致动进行的一个或更多个调节。

如框612所示，方法600还包括以下步骤：将运动路径的一部分显示到所合并的图像上。框612在功能上可以类似于方法500的框512。另选地，可以将运动路径的所述一部分显示在椎骨的三维图像上。

如框614所示，方法600还包括以下步骤：确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。框614在功能上可以类似于方法500的框514。

如框616所示，方法600还包括以下步骤：将所述一个或更多个指令提供给机器人装置。框616在功能上可以类似于方法500的框516。

参照图9，外科手术期间的示例方法900可以包括如框902至912所示的一个或更多个操作、功能或动作。在一个实施方式中，方法900全部或部分由图1的系统100来实现。

如框902所示，方法900包括以下步骤：采集患者的手术部位的图像。在一个示例中，手术部位的图像可以是二维图像。在另一示例中，在外科手术之前，将患者的解剖结构的三维图像数据集加载到系统中。该图像数据集可以是术前CT扫描、术前MRI或者从术中成像仪采集的术中三维图像数据集。在一个场景中，将三维图像数据集上传至图像处理装置122并转换成一系列DRR，以近似可以采集的所有可能的二维C形臂图像，从而用作用于比较和匹配术中二维图像的基线图像。

如框904所示，方法900还包括以下步骤：基于到手术部位的用户限定路径来捕获仪器的运动数据。框904在功能上可以类似于方法500的框508。

如框906所示，方法900还包括以下步骤：确定与所捕获的运动数据对应的运动路径，其中，该运动路径与机器人装置的一个或更多个组件的致动关联。框906在功能上可以类似于方法500的框510。

如框908所示，方法900还包括以下步骤：将运动路径的一部分显示到所合并的图像上。框908在功能上可以类似于方法500的框512。

如框910所示，方法900还包括以下步骤：确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。框910在功能上可以类似于方法500的框514。

如框912所示，方法900还包括以下步骤：将所述一个或更多个指令提供给机器人装置。框912在功能上可以类似于方法500的框516。

参照图10，外科手术期间的示例方法1000可以包括如框1002至1012所示的一个或更多个操作、功能或动作。在一个实施方式中，方法900全部或部分由图1的系统100来实现。

如框1002所示，方法1000包括以下步骤：采集患者的手术部位的图像。框1002在功能上可以类似于方法900的框902。

如框1004所示，方法1000还包括以下步骤：基于在患者的手术部位处的仪器的用户限定布置来捕获仪器的姿态。框1004在功能上可以类似于方法500的框508。

如框1006所示，方法1000还包括以下步骤：确定与仪器的所捕获的姿态对应的运动路径，其中，该运动路径与机器人装置的一个或更多个组件的致动关联。框1006在功能上可以类似于方法500的框510。

如框1008所示，方法1000还包括以下步骤：将运动路径的一部分显示到所合并的图像上。框1008在功能上可以类似于方法500的框512。

如框1010所示，方法1000还包括以下步骤：确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令。框1010在功能上可以类似于方法500的框514。

如框1012所示，方法1000还包括以下步骤：将所述一个或更多个指令提供给机器人装置。框1012在功能上可以类似于方法500的框516。

应理解，本文所描述的布置仅用于示例的目的。因此，本领域技术人员应意识到，其它布置和其它要素(例如，机器、接口、功能、次序以及功能分组等)可以被代替地使用，并且可以根据期望的结果完全省略一些要素。此外，所描述的要素中的许多要素都是可以以任何合适的组合和定位作为分立或分布式组件或者与其它组件结合来实现的功能性实体，或者可以将被描述为独立结构的其它结构性要素进行组合。

Claims (21)

1.一种方法，所述方法包括以下步骤：

采集患者的手术部位的图像；

基于到所述手术部位的用户限定路径来捕获仪器的运动数据；

基于所捕获的运动数据来确定运动路径，其中，所述运动路径对应于机器人装置的一个或更多个组件的致动；

将所述运动路径的一部分显示到所述图像上；

确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令；以及

将所述一个或更多个指令提供给所述机器人装置。

2.根据权利要求1所述的方法，其中，所述用户限定路径是基于便携式仪器的移动的。

3.根据权利要求2所述的方法，其中，所述便携式仪器包括一个或更多个红外反射器。

4.根据权利要求3所述的方法，其中，确定与所捕获的运动数据对应的运动路径的步骤还包括：

比较所述便携式仪器的所述一个或更多个红外反射器的位置与联接至所述患者的一个或更多个红外反射器的位置；

基于所述比较，确定所述便携式仪器的所述一个或更多个红外反射器与联接至所述患者的所述一个或更多个红外反射器之间的距离处于安全阈值内；以及

基于所述确定，确定对所述机器人装置的所述一个或更多个组件的致动进行的一个或更多个调节。

5.根据权利要求1所述的方法，其中，所述手术部位的图像是三维图像。

6.根据权利要求5所述的方法，其中，将所述一个或更多个指令提供给所述机器人装置的步骤还包括：

接收输入，所述输入确认所确定的运动路径的所叠加的至少一部分与手术作业计划对准。

7.根据权利要求5所述的方法，所述方法还包括以下步骤：

确定所确定的运动路径的所叠加的至少一部分与所述手术部位内的一个或更多个预定边界相交；以及

提供用于显示的所确定的运动路径的所叠加的至少一部分的变化的视觉效果。

8.一种方法，所述方法包括以下步骤：

采集患者的手术部位的三维图像；

基于在患者的手术部位处的仪器的用户限定布置来捕获仪器的姿态；

确定与所述仪器的所捕获的姿态对应的运动路径，其中，所述运动路径与机器人装置的一个或更多个组件的致动关联；

将所述运动路径的一部分显示到所述三维图像上；

确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令；以及

将所述一个或更多个指令提供给所述机器人装置。

9.根据权利要求8所述的方法，其中，所述用户限定布置是基于便携式仪器的移动的。

10.根据权利要求9所述的方法，其中，所述便携式仪器包括一个或更多个红外反射器。

11.根据权利要求10所述的方法，其中，确定与所捕获的运动数据对应的运动路径的步骤还包括：

比较所述便携式仪器的所述一个或更多个红外反射器的位置与联接至所述患者的一个或更多个红外反射器的位置；

基于所述比较，确定所述便携式仪器的所述一个或更多个红外反射器与联接至所述患者的所述一个或更多个红外反射器之间的距离处于安全阈值内；以及

基于所述确定，确定对所述机器人装置的所述一个或更多个组件的致动进行的一个或更多个调节。

12.根据权利要求8所述的方法，其中，所述手术部位的图像是三维图像。

13.根据权利要求12所述的方法，其中，将所述一个或更多个指令提供给所述机器人装置的步骤还包括：

接收输入，所述输入确认所确定的运动路径的所叠加的至少一部分与所述手术作业计划对准。

14.根据权利要求12所述的方法，所述方法还包括以下步骤：

确定所确定的运动路径的所叠加的至少一部分与所述手术部位内的一个或更多个预定边界相交；以及

提供用于显示的所确定的运动路径的所叠加的至少一部分的变化的视觉效果。

15.一种系统，所述系统包括：

跟踪装置；

机器人装置；以及

处理装置，所述处理装置包括：

处理器；以及

非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令在由所述处理器执行时，使所述系统进行如下操作：

接收患者的手术部位的图像；

经由所述跟踪装置，基于在患者的手术部位处的仪器的用户限定布置来捕获仪器的姿态；

通过所述处理器确定与所述仪器的所捕获的姿态对应的运动路径，其中，所述运动路径与所述机器人装置的一个或更多个组件的致动关联；

提供用于将所述运动路径的一部分显示到所述图像上的指令；

通过所述处理器确定用于沿着所确定的运动路径来致动所述一个或更多个组件的一个或更多个指令；以及

将所述一个或更多个指令提供给所述机器人装置。

16.根据权利要求15所述的系统，其中，所述用户限定布置是基于便携式仪器的移动的。

17.根据权利要求16所述的系统，其中，所述便携式仪器包括一个或更多个红外反射器。

18.根据权利要求17所述的系统，其中，所述非暂时性计算机可读介质上存储有指令，在由所述处理器执行时，使所述系统确定与所捕获的运动数据对应的运动路径的所述指令还包括用于如下操作的指令：

比较所述便携式仪器的所述一个或更多个红外反射器的位置与联接至所述患者的一个或更多个红外反射器的位置；

基于所述比较，确定所述便携式仪器的所述一个或更多个红外反射器与联接至所述患者的所述一个或更多个红外反射器之间的距离处于安全阈值内；以及

基于所述确定，确定对所述机器人装置的所述一个或更多个组件的致动进行的一个或更多个调节。

19.根据权利要求15所述的系统，其中，所述手术部位的图像是三维图像。

20.根据权利要求19所述的系统，其中，所述非暂时性计算机可读介质上存储有指令，在由所述处理器执行时，使所述系统将所述一个或更多个指令提供给所述机器人装置的所述指令还包括用于以下操作的指令：

接收输入，所述输入确认所确定的运动路径的所叠加的至少一部分与手术作业计划对准。

21.根据权利要求19所述的系统，其中，所述非暂时性计算机可读介质上存储有指令，所述指令在由所述处理器执行时，还使所述系统进行如下操作：

确定所确定的运动路径的所叠加的至少一部分与所述手术部位内的一个或更多个预定边界相交；以及

提供用于经由显示器显示的所确定的运动路径的所叠加的至少一部分的变化的视觉效果。

Images