CN114008672A - 外科手术期间的三维可视化 - Google Patents

Abstract

一种方法包括以下步骤：从第一三维图像数据集中的至少一个图像中分割至少一个椎体。所述方法包括以下步骤：接收第二三维图像数据集中的至少一个图像。所述方法包括以下步骤：将来自第一三维图像数据集中的所述至少一个图像的所分割出的至少一个椎体与第二三维图像数据集中的所述至少一个图像配准。所述方法包括以下步骤：基于第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置。所述方法包括以下步骤：在来自第一三维图像数据集中的所述至少一个图像的经配准和分割的至少一个椎体上覆盖所述至少一个手术植入物的虚拟表示。

Description

外科手术期间的三维可视化

相关申请的交叉引用

本申请要求2019年5月10日提交的美国临时申请No.62/846,319的优先权，其全部公开通过引用并入本文。

背景技术

许多外科手术需要获得患者的内部身体结构(诸如器官和骨骼)的图像。在一些手术中，借助于手术部位的周期性图像来完成外科手术。外科手术可以广泛地表示由医疗人员(诸如外科医生、介入放射科医师、心脏病专家，疼痛管理医师等)执行的任何侵入式检查或介入。在通过连续成像来有效引导(在本文中被称为图像引导)的外科手术(surgeries)、手术(procedures)以及介入中，频繁的患者图像对于医生正确放置手术器械(不管它们是导管、针、器械还是植入物)或者执行某些医疗程序是必要的。荧光透视或fluoro是一种形式的术中X光片，并且是由荧光透视单元(也称为C形臂)拍摄的。C形臂发送X射线束贯穿患者并拍摄该区域的诸如骨骼和血管结构之类的解剖结构(anatomy)的图片。如同任何图片一样，该图片是三维(3D)空间的二维(2D)图像。然而，如同利用照相机拍摄的任何图片一样，关键3D信息可以基于什么在什么前面以及一个事物相对于另一事物有多大而存在于2D图像中。

数字重建射线照片(DRR)是通过对患者进行CT扫描并且模拟从不同角度和距离拍摄X光片而制成的X射线的数字表示。结果是可以模拟例如通过C形臂荧光镜为该患者拍摄的任何可能的X光片，这对于患者的解剖学特征相对于彼此看上去怎么样而言是唯一的和特定的。因为“场景”是受控的，即，通过控制C形臂相对于患者的虚拟位置以及相对于彼此的角度，所以可以生成看起来像在手术室(OR)中由C形臂拍摄的任何X光片的图片。

许多成像方法(诸如拍摄荧光透视图像)涉及将患者暴露于辐射，尽管是以小剂量。然而，在这些经图像引导的过程中，小剂量的数量合计起来，使得总辐射暴露不仅对患者而且对外科医生或放射科医师以及参与外科手术的其他人员都是不利的。当拍摄图像时，存在各种已知的方法来减少患者/外科医生的辐射暴露量，但是这些方法是以降低正在获得的图像的分辨率为代价的。例如，与标准成像成对比，某些方法使用脉冲成像，而其它方法涉及手动改变暴露时间或强度。收缩视场也可以潜在地减小辐射暴露的面积及其量(以及改变辐射“散射”的量)，但是这又是以减少外科医生在作出医疗决定时可获得的信息为代价的。准直器是可用的，其可以特别地减小可选择区域的暴露面积。然而，因为准直器特别地排除了患者的某些区域暴露于X射线，所以在那些区域中没有图像可用。因此，医疗人员具有患者的不完整视图，被限制于特定选择的区域。此外，在外科手术介入期间拍摄的图像经常被无关的OR设备或者被用于执行介入的实际器械/植入物所阻挡。

发明内容

在一个实施方式中，一种方法包括以下步骤：从第一三维图像数据集中的至少一个图像中分割至少一个椎体。该第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的。所述方法还包括以下步骤：接收第二三维图像数据集中的至少一个图像。该第二三维图像数据集是基于在手术部位的初始扫描之后对该手术部位的第二扫描的。手术部位的第二扫描包括脊柱解剖结构以及至少一个手术植入物。所述方法还包括以下步骤：将来自第一三维图像数据集中的所述至少一个图像的所分割出的至少一个椎体与第二三维图像数据集中的所述至少一个图像配准。所述方法还包括以下步骤：基于第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置。所述方法还包括以下步骤：基于所述至少一个手术植入物的所确定的位置，在来自第一三维图像数据集中的所述至少一个图像的经配准和分割的至少一个椎体上覆盖所述至少一个手术植入物的虚拟表示。

在另一实施方式中，一种方法包括以下步骤：分割第一三维图像数据集中的图像，其中，该第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的。所述方法还包括以下步骤：接收第二三维图像数据集中的图像。该第二三维图像数据集是基于在手术部位的初始扫描之后对该手术部位的第二扫描的。手术部位的第二扫描包括脊柱解剖结构以及至少一个手术植入物。所述方法还包括以下步骤：将第一三维图像数据集中的所分割出的图像与第二三维图像数据集中的所分割出的图像配准。所述方法还包括以下步骤：基于第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置。所述方法还包括以下步骤：基于所述至少一个手术植入物的所确定的位置，在所述第一三维图像数据集中的经配准和分割的图像上覆盖所述至少一个手术植入物的虚拟表示。

在另一实施方式中，一种在外科手术期间产生患者的内部解剖结构的图像的显示的系统包括显示器以及与该显示器通信的处理器。将处理器配置成，分割第一三维图像数据集中的图像。该第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的。还将处理器配置成，接收第二三维图像数据集中的图像。该第二三维图像数据集是基于在手术部位的初始扫描之后对该手术部位的第二扫描的。手术部位的第二扫描包括脊柱解剖结构以及至少一个手术植入物。还将处理器配置成，将第一三维图像数据集中的所分割出的图像与第二三维图像数据集中的图像配准。还将处理器配置成，基于第二三维图像数据集中的图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置。还将处理器配置成，基于所述至少一个手术植入物的所确定的位置，在第一三维图像数据集中的经配准和分割的图像上覆盖所述至少一个手术植入物的虚拟表示。还将处理器配置成提供指令，以经由显示器将所述至少一个手术植入物的虚拟表示作为覆盖物显示到第一三维图像数据集中的经配准和分割的图像上。

附图说明

图1例示了根据示例实施方式的用于执行外科手术的示例系统的图。

图2例示了根据示例实施方式的可以在外科手术期间使用的示例机器人装置。

图3例示了根据示例实施方式的计算装置的框图。

图4例示了根据示例实施方式的来自三维图像数据集中的图像的示例图。

图5例示了根据示例实施方式的另一图像的示例图。

图6例示了根据示例实施方式的来自第二三维图像数据集的另一图像的示例图。

图7例示了根据示例实施方式的另一图像的示例图。

图8例示了根据示例实施方式的另一图像的示例图。

图9例示了根据示例实施方式的用于外科手术期间的三维可视化的示例方法的流程图。

图10例示了根据示例实施方式的用于外科手术期间的三维可视化的另一示例方法的流程图。

图11例示了根据示例实施方式的示例计算机可读介质。

具体实施方式

出于促进理解本发明原理的目的，现在将对在附图中例示的并且在下面的书面说明书中描述的实施方式进行参照。应理解，本发明的范围并不因而受到限制。还应理解，本发明包括对所例示的实施方式的任何改变和修改，并且包括本发明所属领域的技术人员通常会想到的本发明原理的进一步应用。

在一个示例中，一种在外科手术期间产生患者的内部解剖结构的图像的显示的系统包括显示器以及与该显示器通信的处理器。在一个示例中，将处理器配置成，接收在外科手术开始之前经由成像装置捕获的患者的手术部位的三维图像数据集。手术部位包括与外科手术相关的患者脊柱解剖结构。在一个场景中，患者的初始三维扫描是在比术中执行的患者的后续扫描高的辐射水平下执行的，以便查明外科手术的进展。在一个示例中，经由诸如C形臂成像装置的成像装置来捕获三维扫描。

还将处理器配置成，基于对包括脊柱解剖结构的手术部位的初始扫描来分割第一三维图像数据集中的图像。在一个示例中，可以将处理器配置成，运行用于根据深度神经网络来分割一个或更多个椎体的一个或更多个指令。在一个示例中，将处理器配置成，基于经由显示器的用户输入来分割第一三维图像数据集中的图像。在一个示例中，用户输入是经由触摸屏显示器接收的。

在一个场景中，根据外科手术的进展，可以对手术部位执行第二扫描，以确定手术植入物是否已经根据外科手术规划插入。在这种场景中，将处理器配置成，接收第二三维图像数据集中的图像。该第二三维图像数据集是基于在手术部位的初始扫描之后对该手术部位的第二扫描的。在第二扫描时，手术部位包括脊柱解剖结构以及至少一个手术植入物。在一个示例中，与第二扫描相对应的辐射水平低于与初始扫描相对应的辐射水平。较低的辐射水平将足以确定手术植入物的放置。然而，由于较低的辐射水平，因此，第二三维图像数据集的分辨率可能不足以使用户(例如，外科医生)确定手术植入物是否已经根据外科手术规划插入。为了克服第二三维图像数据集的分辨率，将处理器配置成，将第一三维图像数据集中的所分割出的图像与第二三维图像数据集中的图像配准。还处理器配置成，基于与第二三维图像数据集中的图像和所述至少一个手术植入物的三维几何模型一起使用的一个或更多个成像算法来确定手术植入物的位置。还将处理器配置成，基于所述至少一个手术植入物的所确定的位置，将所述至少一个手术植入物的虚拟表示覆盖在所述第一三维图像数据集中的经配准和分割的图像上。还将处理器配置成提供指令，以经由显示器将所述至少一个手术植入物的虚拟表示作为覆盖物显示到第一三维图像数据集中的经配准和分割的图像上。

现在参照附图，图1是用于执行外科手术并且在外科手术期间生成患者的内部解剖结构的图像的显示的示例系统100的图。示例系统100包括支承C形臂(C-Arm)成像装置103的基本单元102。C形臂包括位于患者P下方并且将辐射束向上引导至接收器105的辐射源104。C形臂103的接收器105将图像数据发送给处理装置122。处理装置122可以与跟踪装置130通信，以获得在外科手术期间使用的各种器械T的位置信息。跟踪装置130可以与机器人装置140通信，以提供各种跟踪部件(诸如标记物(marker)150)的位置信息。机器人装置140和处理装置122可以经由一个或更多个通信信道进行通信。

基本单元102包括控制面板110，用户可以通过该控制面板控制C形臂103的位置，以及辐射暴露。因此，控制面板110可使放射技师能够在外科医生的方向上对手术部位“拍照”、控制辐射剂量以及启动辐射脉冲图像。

对于手术部位的不同视角，C形臂103可以在箭头108的方向上绕患者P旋转。在一个示例中，使用C形臂103来捕获患者的三维扫描。在一个示例中，初始三维扫描用于提供第一三维图像数据集，第二三维扫描用于提供第二三维图像数据集。在一个示例中，第一三维图像数据集和第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多个。在另一示例中，第一三维图像数据集和第二三维图像数据集包括荧光透视图像，并且手术部位的初始扫描与比手术部位的第二扫描高的辐射水平相关联。在另一示例中，所述第二扫描包括与来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体相关联的多个手术植入物。

在一些情况下，植入物或器械T可以位于手术部位，需要改变视角以获得该部位的无障碍视野。因此，接收器与患者相对的位置以及更特别地与关注的手术部位相对的位置可能会根据外科医生或放射科医师的需要在手术期间发生改变。从而，接收器105可以包括安装至其的跟踪目标106，该跟踪目标使得能够使用跟踪装置130来跟踪C形臂103的位置。仅举个例子，跟踪目标106可以包括围绕该目标间隔开的多个红外反射器或发射器，而将跟踪装置130配置成，根据由跟踪目标106反射或发射的红外信号对接收器105的位置进行三角测量。

处理装置122可以包括与其相关联的数字存储器以及用于执行数字和软件指令的处理器。处理装置122还可以并入使用帧抓取器(frame grabber)技术的帧抓取器，来创建数字图像以供投影为显示装置126上的显示部123和124。显示部123和124被定位成供外科医生在手术期间交互式观看。可以将这两个显示部123和124用于示出来自两个视野(诸如横向和A/P)的图像，或者可以示出手术部位的基线扫描和当前扫描。输入装置125(诸如键盘或触摸屏)可以允许外科医生选择和操纵屏幕上的图像。应理解，输入装置可以并入与由处理装置122实现的各种任务和特征相对应的键或触摸屏图标的阵列。处理装置122包括将从接收器105获得的图像数据转换成数字格式的处理器。在一些情况下，C形臂103可能以电影曝光模式下运行，并且每秒钟生成许多图像。在这些情况下，可以在短时段内将多个图像一起平均化为单个图像，以减少运动伪像和噪声。

在一个示例中，一旦获取了初始三维扫描，就生成三维图像数据集，其中使三维图像以数字方式旋转、平移以及调整大小从而创建三维图像的数千个排列(permutation)。例如，可以将典型的128×128像素的二维(2D)图像沿x和y方向以1个像素间隔平移.+-.15个像素、以3度间隔旋转.+-.9度、并且以2.5％的间隔从92.5％到107.5％进行缩放(4个自由度，4D)，从而在图像数据集中产生47,089个图像。由于添加了与x轴和y轴正交的两个附加旋转，因此，三维(3D)图像将意味着6D解空间。可以将原始计算机断层扫描图像数据集用于以类似方式形成数千个数字重建射线照片。因此，原始三维图像产生了数千个新的图像表示，就好像初始三维图像是以不同移动排列中的各个移动排列来获取的一样。根据“解空间”中的图像数量以及处理装置122的图形处理单元(GPU)可以生成这些图像的速度，可以将该解空间存储在图形卡存储器中(诸如存储在GPU中)，或者形成为然后被发送给GPU的新图像。

在外科手术期间，以较低的辐射剂量获取新的三维图像，并将其存储在与处理装置122相关联的存储器中。由于新图像是在较低辐射剂量下获得的，因此噪声可能很大。在一个示例中，将处理装置122配置成，将新图像与来自初始三维图像数据集的分割的图像“合并”，以生成更清晰的图像来用于向用户(例如，外科医生)传达更有用信息的显示。将新图像与初始三维图像数据集中的图像进行比较，以找到统计上有意义的匹配。

在一个示例中，图像配准发生在不到一秒钟的时间内，以使在当通过C形臂拍摄图像时与当在显示装置126上示出所合并的图像时之间不存在有意义的延迟。可以采用各种算法，其可取决于各种因素，诸如初始三维图像数据集中的图像数量、执行算法计算的计算机处理器或图形处理器的大小和速度、被分配给执行计算的时间、以及正被比较的图像的大小(例如，128×128像素、1024×1024像素等)。在一种方法中，在整个4D或6D空间的网格图案中的上述预定位置处的像素之间进行比较。在另一种启发式方法中，可以将像素比较集中在被认为提供相关匹配可能性更大的图像区域。这些区域可以基于来自网格或PCA搜索(下面定义的)的知识、来自跟踪系统(诸如光学手术导航装置)的数据或者来自DICOM文件或等效文件的位置数据进行“预先播种(pre-seeded)”。另选地，用户可以通过在初始三维图像上标记被认为与手术相关的解剖学特征来指定图像的用于比较的一个或更多个区域。利用这个输入，区域中的各个像素皆可以被指派介于0与1之间的相关性分数，当将新图像与初始三维图像进行比较时，该分数可以衡量像素对图像相似度函数的贡献。可以校准相关性分数以识别要集中于的区域或要忽略的区域。在一个示例中，将第一三维图像数据集中的分割的图像与第二三维图像数据集中的图像配准的步骤包括对来自第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操作中的一个或更多个：水平平移、竖直平移、旋转、以及缩放。

跟踪装置130包括传感器131和132，该传感器用于确定与外科手术中使用的多种部件(例如，红外反射器或发射器)相关联的位置数据。在一个示例中，传感器131和132可以是电荷耦合器件(CCD)图像传感器。在另一示例中，传感器131和132可以是互补金属氧化物半导体(CMOS)图像传感器。还可设想，可以使用其它图像传感器来实现所描述的功能。

在本发明的一个方面，机器人装置140可以帮助在外科手术期间相对于患者P保持器械T。在一个场景中，可以将机器人装置140配置成，随着患者P移动(例如，由于呼吸)或者在外科手术期间被移动(例如，由于对患者身体的操纵)，保持器械T与患者P的相对位置。

机器人装置140可以包括：机器人臂141、踏板142、以及移动壳体143。机器人装置140还可以与显示器126通信。还可以将机器人装置140配置成通过固定装置联接至手术台。

可以将机器人臂141配置成接收取决于外科手术的一个或更多个末端执行器。在一个示例中，机器人臂141可以是六关节臂。在该示例中，各个关节皆包括对该关节的角度值进行测量的编码器。由所述一个或更多个编码器提供的移动数据结合六个关节的已知几何形状可以使得能够确定机器人臂141的位置以及被联接至机器人臂141的器械T的位置。还设想，可以使用不同数量的关节来实现本文所描述的功能。

移动壳体143通过使用轮子或手柄或两者来确保机器人装置140的容易操纵。在一个实施方式中，移动基座(base)可以包括固定垫或等效装置。移动壳体143还可以包括控制单元，该控制单元向机器人臂141提供一个或更多个命令，并且可使外科医生能够通过使用诸如触摸屏、鼠标器、操纵杆、键盘或类似装置的接口来手动输入数据。

图2例示了可以在外科手术期间使用的示例机器人装置200。机器人装置200可以包含诸如处理器、存储器或存储装置之类的硬件，以及使得机器人装置200能够操作机器人装置以供用于外科手术的传感器。机器人装置200可以由各种装置(诸如电动马达、气动马达、液压马达等)来提供动力。机器人装置200包括：基座(base)202、连杆206、210、214、218、222和226、关节204、208、212、216、220、224和230、以及机械手(manipulator)228。

基座202可以提供平台以便为机器人装置200提供支承。基座202可以是静止的或者被联接至轮子以便提供机器人装置200的移动。基座可以包括任何数量的诸如铝、钢、不锈钢等的材料，该材料可以适用于与机器人装置200相关联的给定环境。

可以将连杆206、210、214、218、222和226配置成根据可编程指令集进行移动。例如，可以将连杆配置成，遵循预定的一组移动以便在用户的监督下完成任务。举例来说，连杆206、210、214、218、222和226可以形成运动链，该运动链限定连杆206、210、214、218、222和226中的给定连杆在关节204、208、212、216、220、224和230中的给定关节处的相对移动。

可以将关节204、208、212、216、220、224和230配置成通过使用机械齿轮系统来进行旋转。在一个示例中，机械齿轮系统可以由应变波齿轮传动、摆线驱动等来进行驱动。所选择的机械齿轮系统将取决于与机器人装置200的操作相关的许多因素，诸如连杆206、210、214、218、222和226中的给定连杆的长度、旋转速度、期望的齿轮减速等。向关节204、208、212、216、220、224和230提供动力将使得连杆206、210、214、218、222和226能够以允许机械手228与环境交互的方式进行移动。

可以将机械手228配置成，可使机器人装置200能够与环境交互。在一个示例中，机械手228可以通过各种操作(诸如抓住手术器械)来执行部件的适当放置。举例来说，可以将机械手更换为另一末端执行器，该末端执行器将为机器人装置200提供不同的功能。

可以将机器人装置200配置成，根据机器人操作系统(例如，为机器人的特定功能设计的操作系统)进行操作。机器人操作系统可以提供库和工具(例如，硬件抽象、设备驱动程序、可视化工具、消息传递、包管理等)以使能实现机器人应用。

图3是根据示例实施方式的计算装置300的框图。在一些示例中，图3所示的一些组件可能跨多个计算装置(例如，台式计算机、服务器、手持式装置等)进行分布。然而，为示例起见，将这些组件作为一个示例装置的一部分进行示出和描述。计算装置300可以包括：接口302、移动单元304、控制单元306、通信系统308、数据存储部310以及处理器314。图3所例示的组件可以通过通信链路316链接在一起。在一些示例中，计算装置300可以包括使得能够在计算装置300和另一计算装置(未示出)内进行通信的硬件。在一个实施方式中，机器人装置140或机器人装置200可以包括计算装置300。

可以将接口302配置成使得计算装置300能够与另一计算装置(未示出)进行通信。因此，可以将接口302配置成从一个或更多个装置接收输入数据。在一些示例中，接口302还可以保持和管理由计算装置300接收和发送的数据。在其它示例中，数据可以由计算装置300的其它组件来保持和管理。接口302还可以包括用于接收和发送数据的接收器和发送器。在一些示例中，接口302还可以包括同样用于接收输入的用户接口，例如键盘、麦克风、触摸屏等。此外，在一些示例中，接口302还可以与诸如显示器、扬声器等的输出装置连接。

举例来说，接口302可以接收指示这样的位置信息的输入：该位置信息与机器人装置(例如，机器人装置140、机器人装置200)所处的环境的一个或更多个要素相对应。在该示例中，该环境可以是医院中的手术室，该手术室包括被配置成在外科手术期间运作的机器人装置。还可以将接口302配置成接收与机器人装置相关联的信息。例如，与机器人装置相关联的信息可以包括机器人装置的操作特性以及机器人装置的组件的运动范围。

可以将计算装置300的控制单元306配置成，运行控制软件，该控制软件与机器人装置(例如，机器人装置140、机器人装置200)的部件(例如，机器人臂141、机器人踏板142、关节204、208、212、216、220、224和230、机械手228等)以及一个或更多个其它装置(例如，处理装置122、跟踪装置130等)交换数据。控制软件可以通过与机器人装置通信的显示监视器(例如，显示器126)和用户接口来与用户进行通信。控制软件还可以通过有线通信接口(例如，并行端口、USB等)和/或无线通信接口(例如，天线、收发器等)与跟踪装置130和处理装置122进行通信。控制软件可以与一个或更多个传感器通信，以对用户在被安装至机器人臂(例如，机器人臂141、连杆226)的器械T处施加的作用力(effort)进行测量。控制软件可以与机器人臂通信，以对机器人臂相对于标记物(例如，标记物150)的位置进行控制。

如上所述，控制软件可以与跟踪装置130进行通信。在一个场景中，可以将跟踪装置130配置成，跟踪被附接至患者P的标记物150。举例来说，可以将标记物150附接至患者P的椎骨的棘突。在该示例中，标记物150可以包括一个或更多个红外反射器，该红外反射器对跟踪装置130可见以确定标记物150的位置。在另一示例中，可以将多个标记物附接至一个或更多个椎骨以及用于确定器械T的位置。

在一个示例中，跟踪装置130可以近实时地向机器人装置140的控制软件提供标记物150的位置信息的更新。可以将机器人装置140配置成，经由有线和/或无线接口从跟踪装置130接收对标记物150的位置信息的更新。基于所接收到的对标记物150的位置信息的更新，可以将机器人装置140配置成，确定对器械T的第一位置的一个或更多个调整，以便保持器械T相对于患者P的期望位置。

控制软件可以包括独立的模块。在示例性实施方式中，这些独立的模块在实时环境下同时运行，并且使用共享存储器来确保控制软件的各种任务的管理。这些模块可以具有不同的优先级，举例来说，如具有最高优先级的安全模块。安全模块可以监测机器人装置140的状态。在一个场景中，当检测到紧急情况(举例来说，如紧急停止、软件故障或与障碍物碰撞)时，安全模块可以向控制单元306发送指令以停止机器人臂141。

可以将控制单元306配置成，管理与机器人装置140的各种组件(例如，机器人臂141、踏板142等)相关联的功能。例如，控制单元306可以发送一个或更多个命令以保持机器人臂141相对于标记物150的期望位置。可以将控制单元306配置成，从移动单元304接收移动数据。

可以将移动单元304配置成，确定与机器人臂141的一个或更多个组件相关联的移动以执行给定手术。在一个实施方式中，可以将移动单元304配置成，使用正向和反向运动学来确定机器人臂141的轨迹。在一个场景中，移动单元304可以访问一个或更多个软件库来确定机器人臂141的轨迹。

可以将移动单元304配置成，模拟机器人装置140沿着给定路径移动器械T的操作。在一个示例中，基于所模拟的操作，移动单元304可以确定与器械T相关联的度量。此外，可以将移动单元304配置成，根据所模拟的操作来确定与该度量相关联的力。在一个示例中，移动单元304可以包含基于开放运动链来确定力的指令。

移动单元304可以包括力模块，该力模块用于监测由被联接至机器人臂141的一个或更多个传感器测量的力和扭矩。在一个场景中，力模块能够检测与障碍物的碰撞并警告安全模块。

可以将接口302配置成，允许机器人装置140与其它装置(例如，处理装置122、跟踪装置130)进行通信。因此，可以将接口302配置成从一个或更多个装置接收输入数据。在一些示例中，接口302还可以保持和管理由其它装置接收和发送的数据记录。在其它示例中，接口302可以使用接收和发送数据的接收器和发送器。

可以将接口302配置成，通过用户接口和显示屏(例如，经由显示部123和124)来管理用户与控制软件之间的通信。显示屏可以显示图形界面，该图形界面通过与机器人装置140相关联的不同模式来引导用户。用户接口可以使得用户能够例如控制与外科手术开始相关联的机器人臂141的移动、启用要在外科手术期间使用的跟踪模式、以及若需要的话停止机器人臂141。

在一个示例中，用户可以通过使用机器人踏板142来控制机器人臂141的致动。在一个实施方式中，用户可以压下机器人踏板142以启用机器人装置140的一种或更多种模式。在一个场景中，用户可以压下机器人踏板142，以使得用户能够根据期望的位置手动定位机器人臂141。在另一场景中，用户可以压下机器人踏板142以启用跟踪模式，该跟踪模式使得机器人臂141能够将器械T保持在与患者P的相对位置中。在另一场景中，用户可以压下机器人踏板142以停止机器人臂141进行任何进一步的移动。

在一个场景中，控制单元306可指令机器人臂141根据协作模式来运作。在协作模式下，用户能够通过握住被联接至机器人臂141的工具T并将该器械T移动至期望位置来手动移动机器人臂141。在一个示例中，机器人装置140可以包括被联接至机器人臂141的末端执行器的一个或更多个力传感器。举例来说，当用户抓住器械T并开始沿一个方向移动该器械时，控制单元306接收由力传感器测量的作用力，并将这些作用力与机器人臂141的位置相结合以产生用户所期望的移动。

在一个场景中，控制单元306可指令机器人臂141根据跟踪模式来运作。在跟踪模式下，机器人装置140将保持器械T相对于给定IR反射器或发射器(例如，标记物150)的位置。在一个示例中，机器人装置140可以从跟踪装置130接收标记物150的更新后的位置信息。在该示例中，移动单元304可以基于所接收到的标记物150的更新后的位置信息，来确定机器人臂141的哪个(些)关节需要移动，以便保持器械T与标记物150的相对位置。

在一个实施方式中，机器人装置140可以与处理装置122进行通信。在一个示例中，机器人装置140可以向处理装置122提供器械T的位置信息。在该示例中，可以将处理装置122配置成，存储器械T的位置信息以用于进一步处理。在一个场景中，处理装置122可以使用器械T的所接收到的位置，以在显示器126上覆盖器械T的虚拟表示。

在本发明的另一方面，机器人装置(例如，机器人装置140、机器人装置200)可以帮助器械沿着经规划或学习到的路径移动。在一个场景中，外科医生可以在术前基于三维(3D)图像，或者在术中通过保持皮肤外部的位置并通过将器械的尖端投影到患者体内以看到轨迹如何与关注的解剖结构相交，来规划椎弓根螺钉的轨迹或牵开器的放置。

在一个场景中，外科医生可以在术前为脊柱的特定节段(level)选择理想的椎弓根螺钉轨迹，但是然后在术中选择不同的轨迹以穿透皮肤和肌肉。在一个示例中，外科医生可以沿着不同的轨迹引导被联接至机器人装置的工具，直到该工具与理想的椎弓根螺钉轨迹相交。在该示例中，机器人装置可以向计算装置(例如，处理装置122、计算装置300)提供信号，该计算装置又可以经由听觉或视觉提示来通知外科医生已经到达理想的椎弓根螺钉轨迹。

在另一场景中，一旦被联接至机器人装置的机器人臂(例如，机器人臂141、连杆206、210、214、218、222和226)的器械到达理想的椎弓根螺钉轨迹，就可以将机器人装置配置成，接收来自外科医生的输入以沿着理想的椎弓根螺钉行进。在一个示例中，外科医生可以向机器人装置提供输入(例如，压下踏板142)，以确认外科医生期望使机器人装置能够沿着理想的椎弓根螺钉行进。在另一示例中，用户可以向机器人装置或者计算装置提供另一形式的输入，以帮助器械沿着预定路径移动。

在一个场景中，一旦机器人装置已经接收到沿着理想的椎弓根螺钉轨迹行进的确认，机器人装置就可以从移动单元304接收指令，以从当前轨迹枢转至理想的椎弓根螺钉轨迹。移动单元304可以向控制单元306提供所需的移动数据，以使得机器人装置能够沿着理想的椎弓根螺钉轨迹移动。

在另一示例中，移动单元304可以基于向计算装置(例如，处理装置122)提供一个或更多个轨迹以供在显示器126上进行显示。在该示例中，用户可以从与给定手术相关联的一个或更多个预定移动中进行选择。例如，可以将给定的预定移动与要通过利用压下机器人装置140的踏板142来执行的特定移动方向和移动量相关联。

在本发明的另一方面，可以将一个或更多个红外(IR)反射器或发射器联接至机器人装置(例如，机器人装置140、机器人装置200)的机器人臂(例如，机器人臂141、连杆206、210、214、218、222和226)。在一个场景中，可以将跟踪装置130配置成，在机器人装置开始操作之前确定所述一个或更多个IR反射器或发射器的位置。在这种场景中，跟踪装置130可以将所述一个或更多个IR反射器或发射器的位置信息提供给计算装置(例如，处理装置122、计算装置300)。

在一个示例中，可以将处理装置122或计算装置300配置成，将位置信息与被存储在本地或远程数据库上的数据(该数据包含关于机器人装置的信息(例如，机器人装置的几何模型))进行比较，以帮助确定机器人臂的定位或位置。在一个示例中，处理装置122可以根据由跟踪装置130提供的信息来确定机器人臂的第一位置。在该示例中，处理装置122可以向机器人装置或计算装置(例如，计算装置300)提供机器人臂的所确定的第一位置。在一个示例中，机器人装置可以使用所接收到的第一位置数据，来执行对与机器人臂的所述一个或更多个关节相关联的一个或更多个部件(例如，编码器、致动器)的校准。

在一个场景中，可以将被联接至机器人装置的机器人臂的器械用于确定器械的预期尖端位置与器械的实际尖端位置之间的差异。在这种场景中，机器人装置可以继续通过跟踪装置130将器械移动至已知位置，以使工具的尖端与已知位置相接触。跟踪装置130可以捕获与被联接至机器人臂的所述一个或更多个IR反射器或发射器相对应的位置信息，并将该信息提供给机器人装置或计算装置(例如，处理装置122、计算装置300)。此外，可以将机器人装置或计算装置配置成，基于工具的预期尖端位置与工具的实际尖端位置，来调节机器人装置与跟踪装置130之间的坐标系偏移。

在一个示例中，外科医生可以结合使用脊柱的三维图像并且规定器械不应穿过的一个或更多个平面。在该示例中，尽管力或压力传感器检测到使器械移动的力，但是机器人臂将根据与预定义的计划相关联的约束，不允许外科医生将器械移动越过所规定的一个或更多个平面。举例来说，可以将机器人装置配置成，当器械接近所述一个或更多个限制平面时向外科医生提供警报。

在本发明的另一方面，可以将机器人装置(例如，机器人装置140、机器人装置200)用于为一个或更多个手术器械和植入物导航。可以将机器人装置配置成，向计算装置(例如，处理装置122、计算装置300)提供导航信息以用于进一步处理。在一个示例中，可以将计算装置配置成，确定手术器械或植入物的虚拟表示。此外，可以将计算装置配置成，将手术器械或植入物的虚拟表示覆盖在手术部位的二维或三维图像上。

在一个示例中，机器人装置可以执行与跟踪装置130之间的校准过程，以便在机器人装置与跟踪装置130之间的视线被阻挡的情况下去除对跟踪装置130的位置信息的依赖。在一个示例中，使用已经被注册到导航系统的机器人装置(如上所述)以及患者的对应于手术部位的三维图像可以允许机器人装置变得不受与跟踪装置130相关联的距离的准确度下降的影响。

在另一示例中，可以将机器人装置用于一个或更多个这样的外科手术中：在该外科手术中，患者的解剖结构是以限制跟踪装置130保持与该解剖结构的视线的能力的方式来定向的。举例来说，跟踪装置130可能难以在单体位外科手术期间保持视线。

在一个示例中，可以将机器人装置的机器人臂联接至末端执行器，该末端执行器被配置成附接至患者的椎骨的棘突。末端执行器可以包括一个或更多个力或压力传感器，以检测在外科手术期间由棘突施加的力或压力的大小。这将使得机器人装置能够向计算装置(例如，处理装置122、计算装置300)发送与患者的移动相关联的定位或位置信息。在一个场景中，可以将计算装置配置成接收与患者的移动相关联的定位或位置信息，并且基于移动信息来更新手术部位的一个或更多个图像。例如，计算装置可以访问包含手术部位的基线图像集的数据库，并且提供用于在显示器126上显示的图像，该图像对应于当末端执行器被附接至棘突时基于从机器人装置接收的位置信息的患者的更新后的位置。使用机器人装置来跟踪患者的移动的一个优点是无需将一个或更多个IR反射标记物附接至棘突来经由跟踪装置130跟踪患者的移动。

在另一示例中，机器人装置可以在外科手术期间辅助跟踪在一个或更多个位置处被联接至机器人臂的器械。经由机器人装置的移动来跟踪器械可以使得器械能够被放置在外科医生难以看到的位置。例如，该器械可能被放置在手术盖布后面，但是可以经由机器人装置和计算装置(例如，处理装置122、计算装置300)来进行跟踪。在另一示例中，机器人装置可以帮助跟踪患者在无菌屏障下的移动。在该示例中，可以将机器人装置用于重新定位手术床以在外科手术期间将患者保持在已知取向。

在一个示例中，外科医生可以在开始外科手术之前输入外科手术的路径。例如，外科医生可以使用患者解剖结构的二维或三维图像并且确定到达手术部位的路径。在一个示例中，计算装置(例如，处理装置122、计算装置300)可以存储对应于预定路径的信息，并且在外科手术开始之前将该信息提供给机器人装置。一旦机器人装置获知机器人装置相对于患者的位置，移动单元304就可以使用与该预定路径相对应的信息来确定一个或更多个允许的轨迹。

在另一示例中，限制机器人臂的移动的路径可以对应于与解剖分割相对应的一个或更多个输入。例如，外科医生可以选择特定的椎骨来将机器人臂的移动限制到该特定的椎骨。举例来说，可以进一步指令机器人装置将机器人臂的移动限制到椎骨的特定部分(例如，棘突等)。

在一个实施方式中，可以将末端执行器联接至机器人臂(例如，机器人臂141、连杆206、210、214、218、222和226)并且辅助紧固件的放置。在一个场景中，机器人装置可以从计算装置(例如，处理装置122，计算装置300)接收关于正在外科手术中使用的板和紧固件的三维几何信息。

在一个示例中，给定的板可能需要在外科手术期间安装四个紧固件。在该示例中，机器人装置可以使用末端执行器来基于由移动单元304确定的轨迹来牵开与给定板的第一紧固件位置相对应的软组织。此外，还可以将移动单元304配置成，确定用于贯穿给定板放置紧固件的最佳轨迹。在放置第一紧固件之后，可以将机器人装置配置成按以下方式来移动末端执行器：允许软组织返回到其原始位置，以及移动以牵开与给定板的第二紧固件位置相对应的软组织。在该示例中，机器人装置可以最小化将软组织牵开的时间，从而降低在将所述紧固件中的各个紧固件安装至给定板时损伤软组织的风险。

在本发明的另一方面，机器人装置(例如，机器人装置140、机器人装置200)可以使用由跟踪装置130捕获的位置信息，来确定被联接至机器人臂(例如，机器人臂141、连杆206、210、214、218、222和226)的器械和植入物相对于患者的位置。在一个实施方式中，机器人装置可以使用由与机器人装置的一个或更多个关节(例如，关节204、208、212、216、220、224和230)相关联的编码器确定的移动信息，以确定在机器人装置与跟踪装置130之间的校准过程之后的手术工具的位置。在另一实施方式中，跟踪装置130可以向计算装置(例如，处理装置122、计算装置300)提供位置信息，以帮助在外科手术期间跟踪机器人装置。

在一个示例中，跟踪装置130可以基于一个或更多个IR反射器或发射器来跟踪被联接至机器人臂的器械的位置。例如，跟踪装置130可以检测被联接至工具的IR反射器或发射器，并且向处理装置122提供位置信息。可以将处理装置122配置成，将被联接至器械的IR反射器或发射器的最后已知位置信息与最新的位置信息进行比较，并且确定与器械相关联的位置变化。

在另一示例中，可以将与被联接至机器人臂的器械相关联的路径的虚拟表示覆盖在患者解剖结构的对应位置上。路径的虚拟表示可以利用多种视觉效果来显示，以表示器械在脊柱的特定区域上的多次通过。

在本发明的另一方面，机器人装置(例如，机器人装置140、机器人装置200)可以包括不止一个机器人臂(例如，机器人臂141、连杆206、210、214、218、222和226)。在一个场景中，如上所述，机器人装置和跟踪装置130可能已经完成了配准过程，以校正它们的坐标系中各个坐标系之间的任何偏移。在这种场景中，除了完成配准过程之外，还可以将处理装置122配置成接收患者脊柱的三维扫描。在一个实施方式中，可以将机器人装置配置成，根据针对脊柱排列(spinal alignment)的术前计划来保持患者的脊柱排列。

在一个示例中，机器人装置可以使用末端执行器，该末端执行器被配置用于抓住外科手术的关键部件。例如，机器人装置可以使用被联接至机器人臂的第一抓具以抓住第一椎弓根螺钉，以及被联接至第二机器人臂的第二抓具以抓住第二椎弓根螺钉。可以将机器人装置配置成，向计算装置(例如，处理装置122、计算装置300)提供与第一机器人臂和第二机器人臂中的每一者相关联的位置信息。基于所接收到的位置信息，计算装置可以确定当前脊柱排列。此外，计算装置可以分析当前脊柱排列以确定在外科手术期间脊柱的所需矫正。

在本发明的另一方面，可以将机器人装置(例如，机器人装置140、机器人装置200)的机器人臂(例如，机器人臂141、连杆206、210、214、218、222和226)配置成接收超声探头。在一个场景中，超声探头由机器人臂保持在已知的取向，以使其利用机器人臂或者共同配准的导航系统(例如，机器人装置140或机器人装置200与跟踪装置130之间的配准)，相对于图像来配准图像中的解剖结构的位置以用于随后的器械操作。

图4是来自基于包括脊柱解剖结构的手术部位402的初始扫描的三维图像数据集的图像400的示例图。在一个示例中，手术部位402的初始扫描可以在外科手术开始之前由图1的C形臂成像装置103来执行。图像400包括第一椎体404和第二椎体406。在一个示例中，将图1的处理装置122配置成从图像400分割第一椎体404。例如，图5是包括从第二椎体406分割的第一椎体404的图像500的示例图。

在给定外科手术期间的一个示例中，可以将一个或更多个手术植入物(例如，椎弓根螺钉)插入到第一椎体404中，以便实现给定的手术结果。在该示例中，在将所述一个或更多个手术植入物插入到第一椎体404中之后，用户(例如，外科医生)可能想要检查植入物的定位。在一个示例中，可以以比初始扫描低的辐射水平来执行手术部位402的第二扫描。举例来说，图6是第二三维图像数据集中的图像600的示例图。该第二三维图像数据集是基于在手术部位402的初始扫描之后对该手术部位402的第二扫描的。手术部位402的第二扫描包括脊柱解剖结构和手术植入物604。

在一个示例中，将处理装置122配置成，接收图像600并将来自图像500的所分割出的椎体404与图像600进行配准。举例来说，图7是所分割出的椎体404从图像500到图像600的示例图。

在一个示例中，将处理装置122配置成，基于图像600以及手术植入物604的三维几何模型来确定手术植入物604的位置。在一个示例中，将处理装置122配置成，将手术植入物604的虚拟表示覆盖在经配准和分割的椎体404上。例如，图8是图像800的示例图，该图像除了手术植入物604的虚拟表示804之外，还包括与图像600一起的经配准和分割的椎体404。在该示例中，用户可以得益于基于在比手术部位的第二扫描高的辐射水平下对手术部位402的初始扫描的图像400来检查手术植入物604的定位，以便在外科手术期间利用较少的辐射同时具有手术部位的更好表示。

图9是根据本文所描述的至少一个实施方式的用于外科手术期间的三维可视化的示例方法的流程图。尽管各个图中的框都是按顺序次序例示的，但是在一些情况下，这些框可以并行执行，和/或以与其中描述的不同的次序执行。而且，可以将各种框组合成更少的框、划分成额外的框，和/或基于期望的实现而去除。

如框902所示，该方法900包括以下步骤：从第一三维图像数据集中的至少一个图像中分割至少一个椎体，其中，该第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的。在一个示例中，第一三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多个。在一个示例中，使用C形臂103来捕获手术部位的初始三维扫描，如上所述。举例来说，手术部位包括患者的脊柱解剖结构。在该示例中，将处理装置122配置成，接收基于所捕获的初始三维扫描的与手术部位相对应的三维图像数据集。继续该示例，将处理装置122配置成，从所接收的三维图像数据集中分割至少一个椎体。

在一个场景中，将处理装置122配置成，将具有残差神经网络的全卷积网络应用于所接收的一个或更多个图像，并从脊柱解剖结构的所述一个或更多个图像分割一个或更多个椎体。在一个示例中，给定所分割出的椎体，半自动地标注椎骨节段。例如，用户在所分割出的图像上指示节段为L5椎骨。在该示例中，应用三维连通分量提取算法来标注不同的椎骨区域。在一个示例中，将小于预定阈值的孤立分量去除。在该示例中，对各个分量应用离散行进立方体算法，随后是使用在频域中应用的加窗采样函数的网格平滑处理。这被实现为对各个体素执行的插值核。此外，根据用户将什么节段定义为最下面的椎骨，以顺序次序标注剩余的椎骨。在一个示例中，将处理装置122配置成，根据深度神经网络，从第一三维图像数据集中的所述至少一个图像中分割所述至少一个椎体。

三维图像数据集还可以用作使用手动或自动规划软件来规划外科手术的基础。例如，可以从所使用的包含在规划软件中的规划工具导出用于放置椎弓根螺钉的规划。这种规划软件为外科医生提供了对患者的解剖取向(anatomical orientation)、手术器械和植入物的适当尺寸以及植入物的正确轨迹的理解。根据一些实现，该系统提供用于椎弓根螺钉的规划，由此该系统在给定患者的解剖结构和测量结果的手术规划中除了标识各个椎弓根螺钉的直径和长度之外，还标识期望的轨迹。在一个示例中，可以将三维图像数据集中的一个或更多个图像显示在显示器(例如，显示装置126)上，并且可以将用于放置椎弓根螺钉的规划的表示覆盖在一个或更多个所显示的图像上。

在一个场景中，外科医生可以基于手术规划继续插入一个或更多个植入物。外科医生可以使用手持工具或者引导机器人装置(例如，机器人装置140、机器人装置200)来插入所述一个或更多个植入物。在这种场景中，将跟踪装置130配置成，随着所述一个或更多个植入物的插入来确定手持工具或机器人装置的位置数据。将跟踪装置130配置成，将手持工具或机器人装置的位置数据提供给处理装置122以用于进一步处理。

如框904所示，该方法900还包括以下步骤：接收第二三维图像数据集中的至少一个图像，其中，第二三维图像数据集是基于在手术部位的初始扫描之后对该手术部位的第二扫描的，其中，手术部位的第二扫描包括脊柱解剖结构以及至少一个手术植入物。在一个示例中，第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多个。在一个示例中，第二扫描包括与来自第二三维图像数据集中的所述至少一个图像的所述一个椎体相关联的多个手术植入物。在一个示例中，一旦将所述植入物中的所述一个或更多个植入物插入，就将C形臂103配置成捕获手术部位的后续三维扫描。在一个示例中，将处理装置122配置成，接收与手术部位的后续三维扫描相对应的三维图像数据集。在一个示例中，将处理装置122配置成，从与手术部位的后续三维扫描相对应的三维图像数据集中分割至少一个椎体，如上所述。

如框906所示，该方法900还包括以下步骤：将来自第一三维图像数据集中的所述至少一个图像的所分割出的至少一个椎体与第二三维图像数据集中的所述至少一个图像配准。在一个场景中，将处理装置122配置成，将和后续三维扫描相对应的一个或更多个图像与和来自初始三维扫描的分割出的椎体相对应的一个或更多个图像进行比较，以便获得图像配准。在一个示例中，将处理装置122配置成，将来自第一三维图像数据集中的所述至少一个图像的所分割出的至少一个椎体与第二三维图像数据集中的所述至少一个图像配准，其包括对来自第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操作中的一个或更多个：水平平移、竖直平移、旋转、以及缩放。在另一示例中，比较后续三维扫描和从跟踪装置130确定的位置。例如，当器械/植入物和C形臂都被跟踪时，解剖结构相对于成像源的位置以及设备相对于成像源的位置是已知的。因此，可以将该信息用于快速和交互地查明设备或硬件相对于解剖结构的位置。在一个示例中，如果在外科手术期间对一个或更多个椎体的位置进行了调整，则将处理装置122配置成，至少基于所述一个或更多个椎体的当前位置来创建所分割出的椎体的新的虚拟扫描。

在一个示例中，将处理装置122配置成，根据预定的相关性得分找到来自初始扫描的所分割出的椎体与来自后续扫描的一个或更多个图像的最佳拟合。可以采用可以取决于各种因素的各种算法，诸如所述图像数据集中的各个图像数据集中的图像数量、执行算法计算的计算机处理器或图形处理器的大小和速度、被分配给执行计算的时间、以及正被比较的图像的大小。在一种方法中，在整个4D空间的网格图案中的上述预定位置处的像素之间进行比较。在一种方法中，在整个6D空间的网格图案中的上述预定位置处的像素之间进行比较。在另一种启发式方法中，可以将像素比较集中在被认为提供相关匹配可能性更大的图像区域。这些区域可以基于来自网格或PCA搜索的知识、来自跟踪系统(例如，跟踪装置130)的数据或者来自DICOM文件或等效文件的位置数据进行“预先播种(pre-seeded)”。在一个示例中，可以将处理装置122配置成，使用所捕获的导航位置(从该位置放置最终螺钉)以及金属伪影扫描中的粗略位置，来简化算法的搜索标准。

如框908所示，该方法900还包括以下步骤：基于第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置。在一个示例中，将处理装置122配置成，使用植入物的三维几何模型，来识别与后续扫描相对应的一个或更多个图像中的各个植入物的最佳相关的最终位置。三维几何模型可以包括可以被处理装置122用于识别的植入物的多个测量结果。例如，处理装置122可以使用椎弓根螺钉的长度和直径，以在与后续扫描相对应的一个或更多个图像中识别各个椎弓根螺钉的最佳相关的最终位置。

如框910所示，该方法900还包括以下步骤：基于所述至少一个手术植入物的所确定的位置，在来自第一三维图像数据集中的所述至少一个图像的经配准和分割的至少一个椎体上覆盖所述至少一个手术植入物的虚拟表示。在一个示例中，将处理装置122配置成，将一个或更多个三维几何模型覆盖在与来自初始三维扫描的分割出的椎体相对应的一个或更多个图像上。在该示例中，将处理装置122配置成，使用如上所述的i)根据预定的相关性得分的来自初始扫描的所分割出的椎体与来自后续扫描的一个或更多个图像的最佳拟合，以及ii)与后续扫描相对应的所述一个或更多个图像中的各个植入物的最佳相关的最终位置，以显示覆盖有植入物的虚拟表示的给定的分割出的椎体的图像。继续该示例，所显示的图像对应于根据经由C形臂103捕获的后续三维扫描的所插入的植入物的图像。在一个示例中，将处理装置122配置成，显示来自后续三维扫描的包括所插入的植入物的三维图像以及来自初始三维扫描的还包括覆盖的植入物虚拟表示的三维图像，以使外科医生可以确定最终的植入物放置是否满足继续进行外科手术的任何剩余步骤。

图10是根据本文所描述的至少一个实施方式的用于外科手术期间的三维可视化的示例方法的流程图。尽管各个图中的框都是按顺序次序例示的，但是在一些情况下，这些框可以并行执行，和/或以与其中描述的不同的次序执行。而且，可以将各种框组合成更少的框、划分成额外的框，和/或基于期望的实现而去除。

如框1002所示，该方法1000包括以下步骤：分割第一三维图像数据集中的图像，其中，该第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的。在一个示例中，基于用户输入对第一三维图像数据集中的图像进行分割。在另一示例中，用户输入包括经由触摸屏显示器接收的输入。例如，显示装置126可以包括触摸屏显示器作为显示部123和124。

如框1004所示，该方法1000还包括以下步骤：接收第二三维图像数据集中的图像，其中，第二三维图像数据集是基于在手术部位的初始扫描之后对该手术部位的第二扫描的，其中，手术部位的第二扫描包括脊柱解剖结构以及至少一个手术植入物。在一个示例中，第一三维图像数据集和第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多个。在另一示例中，第一三维图像数据集和第二三维图像数据集包括荧光透视图像，并且手术部位的初始扫描与比手术部位的第二扫描高的辐射水平相关联。在一个示例中，第二扫描包括与来自第二三维图像数据集中的所述至少一个图像的所述一个椎体相关联的多个手术植入物。

如框1006所示，该方法1000还包括以下步骤：将第一三维图像数据集中的所分割出的图像与第二三维图像数据集中的所分割出的图像配准。在一个示例中，将第一三维图像数据集中的所分割出的图像与第二三维图像数据集中的图像配准的步骤包括对来自第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操作中的一个或更多个：水平平移、竖直平移、旋转、以及缩放。

如框1008所示，该方法1000还包括以下步骤：基于第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置。

如框1010所示，该方法1000还包括以下步骤：基于所述至少一个手术植入物的所确定的位置，在第一三维图像数据集中的经配准和分割的图像上覆盖所述至少一个手术植入物的虚拟表示。

图9和图10的流程图示出了本实施方式的两个可能实现的功能和操作。在这点上，各个框皆可以表示模块、节段或程序代码的一部分，其包括可由处理器执行的用于实现所述处理中的特定逻辑功能或步骤的一个或更多个指令。可以将程序代码存储在任何类型的计算机可读介质上，举例来说，如包括磁盘或硬盘驱动器的存储装置。计算机可读介质例如可以包括存储数据达较短时段的非暂时性计算机可读介质(诸如寄存器存储器、处理器高速缓存或随机存取存储器(RAM))，和/或持久性长期存储装置(诸如只读存储器(ROM)、光盘或磁盘、或者光盘只读存储器(CD-ROM))。计算机可读介质能够或者可以包括任何其它的易失性或非易失性存储系统。计算机可读介质例如可以被认为是计算机可读存储介质、有形存储装置或其它制造物品。

另选地，图9和图10中的各个框皆可以表示被布线以在所述处理中执行特定逻辑功能的电路。例示性方法(诸如图9和图10所示的方法)可以全部或部分地由云中的一个或多个组件来执行。然而，应理解，在不脱离本发明的范围的情况下，示例方法可以代替地由其它实体或实体的组合(即，由其它计算装置和/或计算机装置的组合)来执行。例如，图9和图10的方法的功能可以完全由计算装置(或计算装置的组件，诸如一个或更多个处理器)来执行，或者可以跨计算装置的多个组件、跨多个计算装置和/或跨服务器来分布。

图11描绘了根据示例实施方式配置的示例计算机可读介质。在示例实施方式中，示例系统可以包括：一个或更多个处理器、一种或更多种形式的存储器、一个或更多个输入装置/接口、一个或更多个输出装置/接口、以及机器可读指令，该机器可读指令当由所述一个或更多个处理器执行时，使该系统执行上述各种功能、任务、能力等。

如上所提到的，在一些实施方式中，所公开的技术(例如，机器人装置140、机器人装置200、处理装置122、计算装置300等的功能)可以通过以机器可读格式在计算机可读存储介质上或者在其它介质或制品上编码的计算机程序指令来实现。图11是例示根据本文所公开的至少一些实施方式设置的示例计算机程序产品的概念性局部视图的示意图，该示例计算机程序产品包括用于在计算装置上执行计算机处理的计算机程序。

在一个实施方式中，使用信号承载介质1102提供示例计算机程序产品1100。信号承载介质1102可以包括一个或更多个编程指令1104，该编程指令当由一个或更多个处理器执行时，可以提供上面参照图1至图10描述的功能或功能的一部分。在一些示例中，信号承载介质1102可以是计算机可读介质1106，诸如但不限于，硬盘驱动器、光盘(CD)、数字视频盘(DVD)、数字磁带、存储器等。在一些实现中，信号承载介质1102可以是计算机可记录介质1108，诸如但不限于存储器、读/写(R/W)CD，R/W DVD等。在一些实现中，信号承载介质1102可以是通信介质1110(例如，光缆、波导、有线通信链路等)。因此，例如，信号承载介质1102可以由无线形式的通信介质1110来表达。

所述一个或更多个编程指令1104例如可以是计算机可执行和/或逻辑实现的指令。在一些示例中，可以将计算装置配置成，响应于由计算机可读介质1106、计算机可记录介质1108和/或通信介质1110中的一个或更多个输送至计算装置的编程指令1104来提供各种操作、功能或动作。

计算机可读介质1106还可以分布在可以彼此远程定位的多个数据存储元件当中。执行所存储的指令的一些或全部的计算装置可以是外部计算机，或移动计算平台(诸如智能手机、平板装置、个人计算机、可穿戴装置等)。另选地，执行所存储的指令的一些或全部的计算装置可以是远程定位的计算机系统(诸如服务器)。

应理解，本文所描述的布置仅用于示例的目的。因此，本领域技术人员应意识到，其它布置和其它要素(例如，机器、接口、功能、次序以及功能分组等)可以被代替地使用，并且可以根据期望的结果完全省略一些要素。此外，所描述的要素中的许多要素都是可以以任何合适的组合和定位作为分立或分布式组件或者与其它组件结合来实现的功能性实体，或者可以将被描述为独立结构的其它结构性要素进行组合。

Claims (20)

1.一种方法，所述方法包括以下步骤：

从第一三维图像数据集中的至少一个图像中分割至少一个椎体，其中，所述第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的；

接收第二三维图像数据集中的至少一个图像，其中，所述第二三维图像数据集是基于在所述手术部位的初始扫描之后对所述手术部位的第二扫描的，其中，所述手术部位的第二扫描包括所述脊柱解剖结构以及至少一个手术植入物；

将来自所述第一三维图像数据集中的所述至少一个图像的所分割出的至少一个椎体与所述第二三维图像数据集中的所述至少一个图像配准；

基于所述第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置；以及

基于所述至少一个手术植入物的所确定的位置，在来自所述第一三维图像数据集中的所述至少一个图像的经配准和分割的至少一个椎体上覆盖所述至少一个手术植入物的虚拟表示。

2.根据权利要求1所述的方法，其中，所述第一三维图像数据集和所述第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多个。

3.根据权利要求2所述的方法，其中，所述第一三维图像数据集和所述第二三维图像数据集包括荧光透视图像，其中，所述手术部位的初始扫描与比所述手术部位的第二扫描高的辐射水平相关联。

4.根据权利要求1所述的方法，其中，所述第二扫描包括与来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体相关联的多个手术植入物。

5.根据权利要求1所述的方法，其中，从第一三维图像数据集中的至少一个图像中分割至少一个椎体的步骤是根据深度神经网络来确定的。

6.根据权利要求1所述的方法，其中，将来自所述第一三维图像数据集中的所述至少一个图像的所分割出的至少一个椎体与所述第二三维图像数据集中的所述至少一个图像配准的步骤包括对来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操作中的一个或更多个：水平平移、竖直平移、旋转、以及缩放。

7.一种方法，所述方法包括以下步骤：

分割第一三维图像数据集中的图像，其中，所述第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的；

接收第二三维图像数据集中的图像，其中，所述第二三维图像数据集是基于在所述手术部位的初始扫描之后对所述手术部位的第二扫描的，其中，所述手术部位的第二扫描包括所述脊柱解剖结构以及至少一个手术植入物；

将所述第一三维图像数据集中的所分割出的图像与所述第二三维图像数据集中的所分割出的图像配准；

基于所述第二三维图像数据集中的所述至少一个图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置；以及

基于所述至少一个手术植入物的所确定的位置，在所述第一三维图像数据集中的经配准和分割的图像上覆盖所述至少一个手术植入物的虚拟表示。

8.根据权利要求7所述的方法，其中，所述第一三维图像数据集和所述第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多个。

9.根据权利要求8所述的方法，其中，所述第一三维图像数据集和所述第二三维图像数据集包括荧光透视图像，其中，所述手术部位的初始扫描与比所述手术部位的第二扫描高的辐射水平相关联。

10.根据权利要求7所述的方法，其中，所述第二扫描包括与来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体相关联的多个手术植入物。

11.根据权利要求7所述的方法，其中，分割第一三维图像数据集中的图像的步骤是基于用户输入来进行的。

12.根据权利要求11所述的方法，其中，所述用户输入包括经由触摸屏显示器接收的输入。

13.根据权利要求7所述的方法，其中，将所述第一三维图像数据集中的所分割出的图像与所述第二三维图像数据集中的图像配准的步骤包括对来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操作中的一个或更多个：水平平移、竖直平移、旋转、以及缩放。

14.一种在外科手术期间产生患者内部解剖结构的图像的显示的系统，所述系统包括：

显示器；以及

处理器，所述处理器与所述显示器通信，所述处理器被配置成：

分割第一三维图像数据集中的图像，其中，所述第一三维图像数据集是基于对包括脊柱解剖结构的手术部位的初始扫描的；

接收第二三维图像数据集中的图像，其中，所述第二三维图像数据集是基于在所述手术部位的初始扫描之后对所述手术部位的第二扫描的，其中，所述手术部位的第二扫描包括所述脊柱解剖结构以及至少一个手术植入物；

将所述第一三维图像数据集中的所分割出的图像与所述第二三维图像数据集中的所述图像配准；

基于所述第二三维图像数据集中的所述图像以及所述至少一个手术植入物的三维几何模型，来确定所述至少一个手术植入物的位置；

基于所述至少一个手术植入物的所确定的位置，在所述第一三维图像数据集中的经配准和分割的图像上覆盖所述至少一个手术植入物的虚拟表示；以及

提供指令，以经由所述显示器将所述至少一个手术植入物的所述虚拟表示作为覆盖物显示到所述第一三维图像数据集中的经配准和分割的图像上。

15.根据权利要求14所述的系统，其中，所述第一三维图像数据集和所述第二三维图像数据集包括荧光透视图像或计算机断层扫描图像中的一个或更多个。

16.根据权利要求15所述的系统，其中，所述第一三维图像数据集和所述第二三维图像数据集包括荧光透视图像，其中，所述手术部位的初始扫描与比所述手术部位的第二扫描高的辐射水平相关联。

17.根据权利要求15所述的系统，其中，所述第二扫描包括与来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体相关联的多个手术植入物。

18.根据权利要求15所述的系统，其中，分割第一三维图像数据集中的图像的步骤是基于经由所述显示器的用户输入来进行的。

19.根据权利要求15所述的系统，其中，分割第一三维图像数据集中的图像的步骤是基于经由触摸屏显示器接收的输入来进行的。

20.根据权利要求15所述的系统，其中，将所述第一三维图像数据集中的所分割出的图像与所述第二三维图像数据集中的所述图像配准的步骤包括对来自所述第一三维图像数据集中的所述至少一个图像的所述一个椎体内包含的图像信息进行以下操作中的一个或更多个：水平平移、竖直平移、旋转、以及缩放。

Images