CN114730484A - 根据二维图像数据的三维选择性骨匹配 - Google Patents

Abstract

公开了一种根据一个或多个2D图像生成患者骨的定制三维(3D)模型的方法。该方法包括获得骨的(任选地关节的)2D图像，以及从代表性骨的预先对准库识别候选骨或代表性骨的3D骨模板。该方法还包括重新定位3D模型或2D图像的一个或多个视图(例如，关于旋转角或尾角)。在迭代过程中，可以基于重新定位来识别另一候选骨的另一3D骨模型，直到满足准确度阈值。当满足准确度阈值时，则可以修改当前3D骨模型的表面区域以生成所得的患者骨的3D模型。然后，可以针对与患者的关节相关联的其它骨重复所述过程。

Description

根据二维图像数据的三维选择性骨匹配

本申请要求2019年12月20日提交的美国临时申请序列号62/951,676的权益，该临时申请的内容以全文引用的方式并入本文中。

技术领域

本公开总体上涉及与计算机辅助手术系统有关的方法、系统和装置，所述计算机辅助手术系统包括一起工作以增强手术流程的各种硬件和软件部件。所公开的技术可以应用于例如肩、髋和膝关节置换术，以及其它外科手术，如关节镜手术、脊柱手术、颌面手术、肩袖手术、韧带修复和置换手术。更具体地，本公开涉及根据双平面二维(2D)图像创建三维(3D)解剖模型的方法。

背景技术

随着提供医疗保健的成本持续上升，许多实体都在寻找降低成本的方法。在某些情况下，保险公司会实施更严格的报销标准，以摆脱更昂贵的治疗。例如，保险提供商可询问使用磁共振成像(MRI)设备是否必要，因为与其它成像系统，包括计算机断层扫描(CT)扫描器和X射线机相比，使用此类设备的成本较高。在其它情况下，由于获取和操作此类系统的成本问题，人口较少或新兴市场可能无法获得MRI技术。

目前，许多患者特定的全关节置换系统，包括Smith&Nephew的VISIONAIRE切割引导件，取决于根据通过MRI扫描产生的一系列图像解释患者的关节解剖结构的能力。特别地，患者特定的关节置换程序需要与例如膝盖中的包括软骨表面的区域匹配的形状拟合表面。目前需要提供包括软组织的扫描解剖特征的三维图像的MRI扫描，因为其它成像技术无法为此类表面的开发提供足够的细节。VISIONAIRE是田纳西州孟菲斯市的Smith&Nephew公司的注册商标。

此外，将MRI数据转换为患者特定的关节置换器械的过程可能需要大量的用户干预和在制造器械前的数据处理。用户通常花费大量的时间来确保使用MRI数据创建的骨模型尽可能与患者的骨匹配。简而言之，对MRI扫描的依赖可能在MRI系统不可用时阻止某些患者接受关节置换，或者在保险提供商拒绝承保并要求在全关节置换前进行其它处理时禁止或延迟审批流程。

根据2D成像数据创建3D模型的先前尝试在很大程度上依赖于由处理器执行的复杂数学计算。例如，授予Dhruwdas的美国专利号10,217,217公开了一种用于使用常规2D x射线图像获得3D图像的方法。所述方法包括确定相机模型(源和x射线图像相对于彼此的位置)和2D x射线图像的数字放大率，从2D x射线图像提取骨的轮廓，以及识别轮廓的2D解剖值。所述方法还包括导入骨的3D模板模型，根据相机模型提取廓影顶点及其投影，以及相对于X射线图像对准3D模板模型。选择性地修改模板以匹配2D解剖值。针对每个廓影顶点投影确定轮廓上的最佳匹配点，然后根据相机模型反向投影，以找到最接近对应廓影顶点的目标位置。使用拉普拉斯网格变形算法使3D模板模型变形，使得廓影顶点达到对应的目标位置。然而，由于必须由处理器执行的复杂数学计算，Dhruwdas的方法具有高计算要求。

数学方法不具有与人类一样的3D直觉。因此，数学优化算法必须检查多个取向上的相似性，并且算法可能落入局部最小值，其中骨形状看起来与2D投影或轮廓线匹配，但旋转方向错误。当骨存在某种对称(像骨盆或肱骨或股骨的髁)时，就会发生这种情况。为了进行补偿，计算机必须执行许多计算上更昂贵的投影和比较，以便对这些局部最小值是鲁棒的。因此，主要数学过程是有效性降低的非常低效的方法。

附图说明

并入本说明书中且形成本说明书的一部分的附图说明本公开的实施例，且连同书面描述一起用于解释本发明的原理、特性和特征。在附图中：

图1示出了根据实施例的包括示例性计算机辅助手术系统(CASS)的手术室。

图2示出了根据一些实施例的电磁传感器装置的示例。

图3A示出了根据一些实施例的具有三个垂直线圈的电磁传感器装置的替代性示例。

图3B示出了根据一些实施例的具有两个不平行固定线圈的电磁传感器装置的替代性示例。

图3C示出了根据一些实施例的具有两个不平行分离线圈的电磁传感器装置的替代性示例。

图4示出了根据一些实施例的电磁传感器装置和患者骨的示例。

图5A示出了根据实施例的手术计算机提供给CASS的其它部件的说明性控制指令。

图5B示出了根据实施例的CASS的部件提供给手术计算机的说明性控制指令。

图5C示出了根据实施例的手术计算机通过网络连接到手术数据服务器的说明性实施方式。

图6示出了根据实施例的手术患者护理系统和说明性数据源。

图7A示出了根据实施例的用于确定术前手术计划的示例性流程图。

图7B示出了根据实施例的用于确定护理期，包括术前、术中和术后动作的示例性流程图。

图7C示出了根据实施例的说明性图形用户界面，包括描绘植入物放置的图像。

图8示出了根据实施例的产生关节的定制三维模型的示例性方法。

图9示出了根据实施例的生成定制三维骨模型的示例性方法。

图10A-10C示出了根据实施例的联合配准(co-registering)多个2D图像的过程。

图11A-11B示出了根据实施例的相对于共同坐标系对准骨的过程。

图12A-12C示出了根据实施例的从关于2D图像的库定向代表性骨的视图的过程。

图13A-13B示出了根据实施例的相对于至少一个2D图像缩放和重新定向3D骨模型的过程。

图14示出了根据实施例的修改3D骨模型的轮廓的过程。

图15A-15D示出了根据实施例的相对于髋臼股骨关节产生关节的定制三维模型的过程的各个阶段。

图16示出了根据实施例的从一组所识别的潜在代表性骨中选择代表性骨的过程。

图17示出了可以在其中实施示例性实施例的各方面的示例性数据处理系统的框图。

具体实施方式

本公开不限于所描述的特定系统、装置和方法，因为其可以变化。描述中使用的术语仅用于描述特定版本或实施例的目的，而不旨在限制范围。

如本文件中所使用，除非上下文另外明确规定，否则单数形式“一个”、“一种”和“该/所述”包括复数引用。除非另有定义，否则本文所使用的所有科技术语具有与本领域普通技术人员通常所理解的相同含义。本公开中的任何内容均不应被解释为承认本公开中描述的实施例由于在前发明而无权把本公开的日期提前。如本文件中所使用，术语“包括”意指“包括但不限于”。

定义

出于本公开的目的，术语“植入物”用于指代制造成置换或增强生物结构的假体装置或结构。例如，在全髋关节置换手术中，使用假体髋臼杯(植入物)置换或增强患者的磨损或损坏的髋臼。虽然术语“植入物”通常被认为表示人造结构(与移植物形成对比)，但是出于本说明书的目的，植入物可包括移植以置换或增强生物结构的生物组织或材料。

出于本公开的目的，术语“实时”用于指代事件发生或可操作系统接收到输入时即时执行的计算或操作。然而，术语“实时”的使用并不旨在排除在输入和响应之间引起某些延迟的操作，只要延迟是机器的性能特性引起的意外结果即可。

尽管本公开内容中的很多是通过特定职位或职务来指代外科医生或其他医学专业人员，但是本公开中的任何内容均不旨在限于特定职位或职务。外科医生或医疗专业人员可以包括任何医生、护士、医疗专业人员或技师。这些术语或职位中的任何一个都可以与本文公开的系统的用户互换使用，除非另有明确规定。例如，在一些实施例中，对外科医生的提及也可以适用于技师或护士。

本文所公开的系统、方法和装置特别好地适合于利用手术导航系统(例如

手术导航系统)的手术程序。NAVIO是宾夕法尼亚州匹兹堡的BLUE BELTTECHNOLOGIES公司的注册商标，该公司是田纳西州孟菲斯的SMITH&NEPHEW公司的子公司。

CASS生态系统概述

图1提供了根据一些实施例的示例计算机辅助手术系统(CASS)100的图示。如以下各节中进一步详细所述，CASS使用计算机，机器人和成像技术来帮助外科医生执行骨科手术程序，例如全膝关节置换术(TKA)或全髋关节置换术(THA)。例如，手术导航系统可以帮助外科医生以高精度定位患者的解剖结构、引导手术器械以及植入医疗装置。诸如CASS 100的手术导航系统经常采用各种形式的计算技术来执行各种各样的标准和微创手术程序和技术。而且，这些系统允许外科医生更准确地计划、跟踪和导航相对于患者身体的器械和植入物的位置，以及进行术前和术中身体成像。

执行器平台105在手术期间相对于患者定位手术工具。执行器平台105的确切部件将根据所采用的实施例而变化。例如，对于膝手术，执行器平台105可以包括在其使用期间保持手术工具或器械的末端执行器105B。末端执行器105B可以是外科医生使用的手持式装置或器械(例如

手持件或切割引导件或夹具)，或者替代地，末端执行器105B可以包括由机器人臂105A保持或定位的装置或器械。尽管在图1中示出了一个机器人臂105A，但在一些实施例中，可以有多个装置。例如，在手术台T的每一侧可以有一个机器人臂105A，或者在手术台T的一侧可以有两个装置。机器人臂105A可以直接安装到手术台T，在手术台T的旁边位于地板平台(未示出)上，安装在落地杆上，或安装在手术室的墙壁或天花板上。地板平台可以是固定的或可移动的。在一个特定实施例中，机器人臂105A安装在位于患者的腿或脚之间的落地杆上。在一些实施例中，末端执行器105B可以包括缝合线保持器或吻合器以帮助闭合伤口。此外，在两个机器人臂105A的情况下，手术计算机150可以驱动机器人臂105A一起工作以在闭合时缝合伤口。替代地，手术计算机150可以驱动一个或多个机器人臂105A以在闭合时缝合伤口。

执行器平台105可以包括用于在手术期间定位患者的肢体的肢体定位器105C。肢体定位器105C的一个示例是SMITH AND NEPHEW SPIDER2系统。肢体定位器105C可以由外科医生手动操作，或者替代地，基于从手术计算机150(以下描述)接收到的指令来改变肢体位置。尽管在图1中示出了一个肢体定位器105C，但在一些实施例中可以有多个装置。作为示例，在手术台T的每一侧可以有一个肢体定位器105C，或者在手术台T的一侧可以有两个装置。肢体定位器105C可以直接安装到手术台T，在手术台T的旁边位于地板平台(未示出)上，安装在杆上，或安装在手术室的墙壁或天花板上。在一些实施例中，肢体定位器105C可以以非常规方式使用，例如牵开器或特定的骨保持器。作为示例，肢体定位器105C可以包括脚踝靴、软组织夹、骨夹或软组织牵开器匙，例如钩形、弯曲或成角的刀片。在一些实施例中，肢体定位器105C可以包括缝线保持器以辅助闭合伤口。

执行器平台105可以包括工具，如螺丝刀，指示轴线或平面的光或激光，水准仪，销驱动器，销拔出器，平面检查器，指示器，指状件，或它们的某种组合。

切除设备110(图1中未示出)使用例如机械、超声或激光技术执行骨或组织切除。切除设备110的示例包括钻孔装置、去毛刺装置、振荡锯切装置、振动冲击装置、扩孔器、超声骨切割装置、射频消融装置、往复运动装置(例如锉刀或拉刀)，以及激光消融系统。在一些实施例中，切除设备110在手术期间由外科医生保持和操作。在其他实施例中，执行器平台105可以用于在使用期间保持切除设备110。

执行器平台105还可以包括切割引导件或夹具105D，其用于引导在手术期间用于切除组织的锯或钻。这样的切割引导件105D可以一体地形成为执行器平台105或机器人臂105A的一部分，或者切割引导件可以是可以配合地和/或可移除地附接到执行器平台105或机器人臂105A的独立结构。可以由CASS 100控制执行器平台105或机器人臂105A，以根据术前或术中制定的手术计划将切割引导件或夹具105D定位在患者的解剖结构附近，使得切割引导件或夹具将根据手术计划产生精确的骨切割。

跟踪系统115使用一个或多个传感器来收集定位患者的解剖结构和手术器械的实时位置数据。例如，对于TKA程序，跟踪系统可以在程序期间提供末端执行器105B的位置和取向。除了位置数据之外，来自跟踪系统115的数据还可以用于推断解剖结构/器械的速度/加速度，其可以用于工具控制。在一些实施例中，跟踪系统115可以使用附接到末端执行器105B的跟踪器阵列来确定末端执行器105B的位置和取向。可以基于跟踪系统115的位置和取向以及跟踪系统115和末端执行器105B之间的三维空间中的已知关系来推断末端执行器105B的位置。在本发明的各种实施例中可以使用各种类型的跟踪系统，包括但不限于红外(IR)跟踪系统、电磁(EM)跟踪系统、基于视频或图像的跟踪系统以及超声配准和跟踪系统。使用由跟踪系统115提供的数据，手术计算机150可以检测对象并防止碰撞。例如，手术计算机150可以防止机器人臂105A和/或末端执行器105B与软组织碰撞。

任何合适的跟踪系统都可以用于跟踪手术室中的手术对象和患者解剖结构。例如，可以在阵列中使用红外和可见光相机的组合。各种照明源(例如红外LED光源)可以照亮场景，从而可以进行三维成像。在一些实施例中，这可以包括立体，三视，四视等成像。除了在一些实施例中固定到推车的相机阵列之外，还可以在整个手术室中放置附加相机。例如，操作者/外科医生穿戴的手持式工具或头戴件可以包括将图像传回中央处理器以将那些图像与相机阵列获取的图像相关的成像功能。这可以为使用多个视角进行建模的环境提供更鲁棒的图像。此外，一些成像装置可以在场景上具有合适的分辨率或具有合适的视角以拾取存储在快速响应(QR)代码或条形码中的信息。这有助于识别未用系统手动配准的特定对象。在一些实施例中，相机可以安装在机器人臂105A上。

如本文所论述的，尽管大多数跟踪和/或导航技术利用基于图像的跟踪系统(例如，IR跟踪系统、基于视频或图像的跟踪系统等等)。然而，基于电磁(EM)的跟踪系统由于各种原因变得越来越常见。例如，标准光学跟踪器的植入需要组织切除(例如，向下到皮质)以及后续钻孔和驱动皮质销。另外，由于光学跟踪器需要与跟踪系统的直达视线，因此此类跟踪器的放置可能需要远离手术部位以确保它们不限制外科医生或医疗专业人员的移动。

通常，基于EM的跟踪装置包括一个或多个线圈和参考场发生器。一个或多个线圈可(例如，经由有线或无线电源)通电。一旦通电，线圈就产生可(例如，由参考场发生器或附加装置)以允许确定一个或多个线圈的位置和取向的方式检测和测量的电磁场。如所属领域的普通技术人员应理解的，例如图2中所示的单个线圈限于检测五(5)个总自由度(DOF)。例如，传感器200能够跟踪/确定X、Y或Z方向上的移动，以及围绕Y轴202或Z轴201的旋转。然而，由于线圈的电磁特性，不可能正确地跟踪围绕X轴线的旋转运动。

因此，在大多数电磁跟踪应用中，诸如图3A中所示的三线圈系统用于实现在可使刚性主体在三维空间中移动的所有六个自由度中的跟踪(即，前/后310、上/下320、左/右330、滚动340、俯仰350和偏航360)。然而，包括两个额外线圈及其定位的90°偏移角可能要求跟踪装置大得多。替代地，如本领域的技术人员所知，少于三个完整的线圈可用于跟踪所有6DOF。在一些基于EM的跟踪装置中，两个线圈可以彼此固定，例如图3B中所示的。由于两个线圈301B、302B彼此刚性地固定，不完全平行，并且具有相对于彼此已知的位置，因此可以使用此布置确定第六自由度303B。

尽管使用两个固定线圈(例如，301B、302B)允许在6DOF中使用基于EM的跟踪，但由于附加线圈，传感器装置的直径比单个线圈大得多。因此，在手术环境中使用基于EM的跟踪系统的实际应用可能需要组织切除并对患者骨的一部分进行钻孔以允许插入EM跟踪器。替代地，在一些实施例中，可以仅使用销(例如，不需要钻孔或切除大量骨)将单个线圈或5DOFEM跟踪装置植入/插入患者骨中。

因此，如本文所述，需要一种解决方案，该解决方案可以将EM跟踪系统的使用限于小到足以使用小直径针或销(即，不需要在骨中制造新切口或大直径开口)插入/嵌入的装置。因此，在一些实施例中，未附接到第一传感器且因此具有小直径的第二5DOF传感器可用于跟踪所有6DOF。现在参考图3C，在一些实施例中，两个5DOF EM传感器(例如，301C、302C)可以在不同位置处以不同角取向(例如，角303C是非零的)插入到患者中(例如，患者骨中)。

现在参考图4，示出了使用在大多数OR中典型的标准中空针405将第一5DOF EM传感器401和第二5DOF EM传感器402插入到患者骨403中的示例实施例。在另一实施例中，第一传感器401和第二传感器402可具有“？”的角度偏移404。在一些实施例中，偏移角“？”404可能需要大于预定值(例如，0.50°、0.75°等的最小角)。在一些实施例中，此最小值可以在手术计划期间由CASS确定并提供给外科医生或医学专业人员。在一些实施例中，最小值可以基于一个或多个因素，例如，跟踪系统的定向准确度、第一EM传感器与第二EM传感器之间的距离。场发生器的位置、场检测器的位置、EM传感器的类型、EM传感器的质量、患者解剖结构等等。

因此，如本文所论述的，在一些实施例中，销/针(例如，套管安装针等)可用于插入一个或多个EM传感器。通常，销/针将是一次性部件，而传感器本身可以是可重复使用的。然而，应理解，这仅是一个可能系统，并且可使用销/针和/或EM传感器是独立的一次性使用的或可重复使用的各种其它系统。在另一实施例中，EM传感器可(例如，使用鲁尔锁配件等)固定到安装针/销，这可以允许快速组装和拆卸。在另外的实施例中，EM传感器可以利用允许传感器最小地侵入放置的替代套筒和/或锚定系统。

在另一实施例中，上述系统可以允许多传感器导航系统，其可以检测和校正困扰电磁跟踪系统的场畸变。应理解，场畸变可以由参考场内的任何铁磁性材料的移动引起。因此，如本领域的普通技术人员所知，典型OR具有大量可造成干扰的装置(例如，手术台、LCD显示器、照明设备、成像系统、手术仪器等)。此外，众所周知，场畸变难以检测。使用多个EM传感器使得系统能够准确地检测场畸变，和/或警示用户当前位置测量值可能不准确。因为传感器(例如，经由销/针)牢固地固定到骨解剖结构，所以传感器位置(X、Y、Z)的相对测量可用于检测场畸变。作为非限制性示例，在一些实施例中，在EM传感器固定到骨之后，两个传感器之间的相对距离是已知的并且应当保持恒定。因此，此距离的任何改变都可以指示存在场畸变。

在一些实施例中，外科医生可以在术前或术中用系统手动配准特定对象。例如，通过与用户界面交互，外科医生可以识别工具或骨结构的起始位置。通过跟踪与该工具或骨结构相关的基准标记，或者通过使用其他常规图像跟踪方式，处理器可以在工具或骨在三维模型中移动通过环境时对其进行跟踪。在其它示例中，2D至3D方法可以用作预对准或规划步骤，其提供指南和计划或定位可用于查看机器人系统的骨建模部分的原始数据。

在一些实施例中，诸如在手术室中识别个人、重要工具或骨的基准标记的某些标记物可以包括可以由与跟踪系统关联的相机或相机阵列拾取的被动或主动标识。例如，红外LED可以闪烁图案，所述图案将唯一的标识传达给该图案的来源，从而提供动态识别标记。类似地，一维或二维光学代码(条形码、QR代码等)可以固定到手术室的对象以提供基于图像分析可以发生的被动识别。如果这些代码非对称地放置在对象上，则它们也可以用于通过将标识的位置与图像中的对象的范围进行比较来确定对象的取向。例如，可以将QR码放置在工具托盘的角部中，从而允许跟踪该托盘的方向和标识。其他跟踪方式将在全文中进行说明。例如，在一些实施例中，外科医生和其他人员可以穿戴增强现实头戴件以提供附加的相机角度和跟踪能力。

除了光学跟踪外，还可以通过配准对象的物理性质并将其与可以跟踪的对象(例如固定到工具或骨的基准标记)关联来跟踪对象的某些特征。例如，外科医生可以执行手动配准过程，由此被跟踪工具和被跟踪骨可以相对于彼此被操纵。通过将工具的尖端撞击骨的表面，可以为该骨标绘三维表面，所述三维表面与相对于该基准标记的参考系的位置和取向关联。通过光学跟踪与该骨关联的基准标记的位置和取向(姿态)，可以通过外推法在环境中跟踪该表面的模型。

将CASS 100配准到患者的相关解剖结构的配准过程还可以涉及使用解剖学标志，例如骨或软骨上的标志。例如，CASS 100可以包括相关骨或关节的3D模型，并且外科医生可以使用连接到CASS的探针在术中收集有关患者实际骨上的骨标志的位置的数据。骨标志可以包括例如内踝和外踝，股骨近端和胫骨远端的端部，以及髋关节的中心。CASS 100可以将外科医生用探针收集的骨标志的位置数据与3D模型中相同标志的位置数据进行比较和配准。替代地，CASS 100可以通过使用由外科医生使用CASS探针或其他手段收集的骨标志和骨表面的位置数据来构建没有术前图像数据的骨或关节的3D模型。配准过程还可以包括确定关节的各个轴线。例如，对于TKA，外科医生可以使用CASS 100来确定股骨和胫骨的解剖和机械轴。外科医生和CASS 100可以通过在螺旋方向上移动患者的腿部(即，环转)来识别髋关节的中心，以便CASS可以确定髋关节中心的位置。

组织导航系统120(图1中未示出)为外科医生提供手术区域周围的患者的骨、软骨、肌肉、神经和/或血管组织的术中实时可视化。可以用于组织导航的系统的示例包括荧光成像系统和超声系统。

显示器125提供图形用户界面(GUI)，其显示由组织导航系统120收集的图像以及与手术有关的其他信息。例如，在一个实施例中，显示器125覆盖术前或术中收集的从各种模态(例如，CT、MRI、X射线、荧光、超声等)收集的图像信息以为外科医生提供患者的解剖结构的各种视图以及实时状况。显示器125可以包括例如一个或多个计算机监视器。作为显示器125的替代或补充，手术人员中的一个或多个人员可以穿戴增强现实(AR)头戴式装置(HMD)。例如，在图1中，外科医生111穿戴AR HMD 155，其可以例如将术前图像数据覆盖在患者或提供手术计划建议。在以下各节中详细描述了AR HMD 155在手术程序中的各种示例性使用。

手术计算机150向CASS 100的各种部件提供控制指令，从那些部件收集数据，并为手术期间所需的各种数据提供一般处理。在一些实施例中，手术计算机150是通用计算机。在其他实施例中，手术计算机150可以是使用多个中央处理单元(CPU)或图形处理单元(GPU)来执行处理的并行计算平台。在一些实施例中，手术计算机150通过一个或多个计算机网络(例如，互联网)连接到远程服务器。远程服务器可以用于例如数据的存储或计算密集型处理任务的执行。

可以使用本领域中公知的各种技术来将手术计算机150连接到CASS 100的其他部件。而且，计算机可以使用多种技术来连接到手术计算机150。例如，末端执行器105B可以通过有线(即，串行)连接而连接到手术计算机150。跟踪系统115、组织导航系统120和显示器125可以类似地使用有线连接来连接到手术计算机150。替代地，跟踪系统115、组织导航系统120和显示器125可以使用无线技术连接到手术计算机150，所述无线技术例如但不限于Wi-Fi、蓝牙、近场通信(NFC)或ZigBee。

动力冲击和髋臼扩孔器装置

以上关于图1描述的CASS设计的灵活性的一部分在于可以根据需要向CASS 100添加额外的或替代的装置以支持特定的手术程序。例如，在髋手术的情况下，CASS 100可以包括动力冲击装置。冲击装置设计成重复施加外科医生可以用来执行诸如植入物对准的活动的冲击力。例如，在全髋关节置换术(THA)中，外科医生通常会使用冲击装置将假体髋臼杯插入到植入宿主的髋臼中。尽管冲击装置本质上可以是手动的(例如，由外科医生用槌敲击冲击器来操作)，但是动力冲击装置通常在手术环境中更容易且更快速地使用。动力冲击装置可以例如使用附接到该装置的电池来供电。各种附接件可以连接至动力冲击装置以允许在手术期间根据需要以各种方式来引导冲击力。同样，在髋手术的情况下，CASS 100可以包括动力的、机器人控制的末端执行器，以使髋臼扩孔以容纳髋臼杯植入物。

在机器人辅助THA中，可以使用CT或其他图像数据、解剖标志的识别、附着到患者骨的跟踪器阵列以及一个或多个相机将患者的解剖结构配准到CASS 100。可以使用夹具和/或骨钉将跟踪器阵列安装在髂嵴上，并且可以在外部通过皮肤或在内部(后外侧或前外侧)通过为了执行THA而制造的切口来安装这样的跟踪器阵列。对于THA，CASS 100可以利用插入股骨近端的一个或多个股骨皮质螺钉作为检查点以帮助配准过程。CASS 100还可以使用插入骨盆中的一个或多个检查点螺钉作为附加检查点以帮助配准过程。股骨跟踪器阵列可以固定或安装在股骨皮质螺钉中。CASS 100可以采用以下步骤，其中使用外科医生精确地放置在显示器125上为外科医生所识别的股骨近端和骨盆的关键区域上的探针进行验证。跟踪器可以位于机器人臂105A或末端执行器105B上以将臂和/或末端执行器配准到CASS 100。验证步骤还可以利用股骨近端检查点和远端检查点。CASS 100可以利用颜色提示或其他提示来通知外科医生有关骨和机器人臂105A或末端执行器105B的配准过程已在一定程度的精度上(例如，在1mm内)被验证。

对于THA，CASS 100可以包括使用股骨阵列的拉刀跟踪选择，以允许外科医生在术中获取拉刀的位置和取向并计算患者的髋长度和偏移值。根据提供的有关患者髋关节的信息以及在完成拉刀跟踪后计划的植入物位置和取向的信息，外科医生可以对手术计划进行修改或调整。

对于机器人辅助THA，CASS 100可以包括连接或附接到机器人臂105A或末端执行器105B的一个或多个动力铰刀，其根据手术计划准备骨盆骨以接收髋臼植入物。机器人臂105A和/或末端执行器105B可以通知外科医生和/或控制扩孔器的动力，以确保根据手术计划切除(扩孔)髋臼。例如，如果外科医生根据手术计划试图在要切除的骨的边界之外切除骨，则CASS 100可以切断扩孔器的电源或指示外科医生切断扩孔器的电源。2D至3D建模方法可以提供关于骨体积预测的更大置信度，例如对于探针不可接近的骨的区域。CASS 100可以为外科医生提供选择以关闭或脱离扩孔器的机器人控制。与使用不同颜色的手术计划相比，显示器125可以示出正被切除(扩孔)的骨的进度。外科医生可以查看正被切除(扩孔)的骨的显示以根据手术计划引导扩孔器完成扩孔。CASS 100可以向外科医生提供视觉或听觉提示以警告外科医生正在进行不符合手术计划的切除。

在扩孔之后，CASS 100可以采用附接到或连接到机器人臂105A或末端执行器105B的手动或动力冲击器以将试验植入物和最终植入物冲击到髋臼中。机器人臂105A和/或末端执行器105B可以用于引导冲击器以根据手术计划将试验植入物和最终植入物冲击到髋臼中。CASS 100可以使试验植入物和最终植入物相对于骨的位置和取向被显示以告知外科医生如何将试验植入物和最终植入物的取向和位置与手术计划进行比较，显示器125可以在外科医生操纵腿部和髋部时显示植入物的位置和取向。如果外科医生对初始植入物位置和取向不满意，则通过准备新的手术计划，CASS 100可以为外科医生提供重新计划以及重做铰孔和植入物冲击的选择。

术前，CASS 100可以基于髋关节的三维模型和患者特定的其他信息(例如腿骨的机械和解剖轴，上髁轴，股骨颈轴，股骨和髋的尺寸(例如，长度)，髋关节的中线轴，髋关节的ASIS轴，以及诸如小转子标志，远侧标志和髋关节旋转中心的解剖学标志的位置)来制定拟议的手术计划。CASS制定的手术计划可以根据髋关节的三维模型和患者特定的其他信息提供建议的最佳植入物尺寸以及植入物的位置和取向。CASS制定的手术计划可以包括有关偏移值、倾斜度和前倾值、旋转中心、杯尺寸、中度值、上下配合度、股骨柄尺寸和长度的建议细节。

对于THA，可以在术前和术中查看CASS制定的手术计划，而外科医生可以在术前或术中修改CASS制定的手术计划。CASS制定的手术计划可以显示计划的髋关节切除，并根据计划的切除将计划的植入物叠加到髋关节上。CASS 100可以为外科医生提供不同手术流程的选择，所述选择将根据外科医生的喜好显示给外科医生。例如，外科医生可以基于被检查和获取的解剖标志的数量和类型和/或在配准过程中使用的跟踪器阵列的位置和数量，从不同的工作流程进行选择。

根据一些实施例，与CASS 100一起使用的动力冲击装置可以以各种不同的设置来操作。在一些实施例中，外科医生通过手动开关或动力冲击装置上的其他物理机构来调整设置。在其他实施例中，可以使用数字接口，所述数字接口允许例如经由动力冲击装置上的触摸屏进行设置输入。这样的数字接口可以允许可用设置基于例如连接到电力附接装置的附接件的类型而变化。在一些实施例中，可以通过与CASS 100内的机器人或其他计算机系统通信来改变设置，而不是调整动力冲击装置本身上的设置。可以使用例如动力冲击装置上的蓝牙或Wi-Fi联网模块来建立这样的连接。在另一实施例中，冲击装置和端部件可以包含允许冲击装置知道什么端部件(杯冲击器，拉刀手柄等)被附接的特征而外科医生不需要采取任何动作，并相应地调整设置。这可以例如通过QR码、条形码、RFID标签或其他方法来实现。

可以使用的设置的示例包括杯冲击设置(例如，单向，指定频率范围，指定力和/或能量范围)；拉刀冲击设置(例如，双向/在指定频率范围内振荡，指定力和/或能量范围)；股骨头冲击设置(例如，以指定力或能量进行单向/单次打击)；以及干冲击设置(例如，在指定频率下以指定力或能量进行的单向)。另外，在一些实施例中，动力冲击装置包括与髋臼内衬冲击有关的设置(例如，以指定力或能量进行的单向/单次打击)。对于每种类型的内衬(例如，聚合、陶瓷、黑晶(oxinium)或其他材料)，可能会有多种设置。此外，动力冲击装置可以基于术前测试/成像/知识和/或外科医生的术中评估来提供针对不同骨质量的设置。在一些实施例中，动力冲击装置可以具有双重功能。例如，动力冲击装置不仅可以提供往复运动以提供冲击力，而且可以为拉刀或锉刀提供往复运动。

在一些实施例中，动力冲击装置包括反馈传感器，该反馈传感器在器械使用期间收集数据，并将数据发送到计算装置，例如装置内的控制器或手术计算机150。然后，此计算装置可以例如通过不透射线的纹身记录数据以供稍后分析，所述纹身提供术前、术中和/或术后配准能力。可以收集的数据的示例包括但不限于声波、每种器械的预定共振频率、来自患者骨的反作用力或回弹能量、装置相对于配准的骨解剖结构的成像(例如，荧光、CT、超声、MRI等)的位置，和/或骨上的外部应变计。

一旦收集到数据，计算装置就可以实时或接近实时地执行一种或多种算法以帮助外科医生执行手术程序。例如，在一些实施例中，计算装置使用所收集的数据来导出诸如正确的最终拉刀尺寸(股骨)的信息；当干完全就位(股骨侧)时；或当杯对于THA就位(深度和/或取向)时。一旦知道该信息，其可以显示以供外科医生审查，或者其可以用于激活触觉或其他反馈机构以指导手术程序。

此外，从前述算法导出的数据可以用于驱动装置的操作。例如，在用动力冲击装置插入假体髋臼杯期间，装置可以自动伸出冲击头(例如，末端执行器)，将植入物移动到适当的位置，或者一旦植入物完全就位就关闭装置的电源。在一个实施例中，导出的信息可以用于自动调整骨质量的设置，其中动力冲击装置应使用较少的动力来减轻股骨/髋臼/骨盆骨折或周围组织的损伤。

机器人臂

在一些实施例中，CASS 100包括机器人臂10SA，所述机器人臂用作稳定和保持手术程序期间使用的各种器械的接口。例如，在髋手术的情况下，这些器械可以包括但不限于牵开器、矢状或往复锯、扩孔器手柄、杯冲击器、拉刀手柄和干插入器。机器人臂105A可以具有多个自由度(类似Spider装置)，并且具有锁定到位的能力(例如，通过按下按钮、语音激活、外科医生从机器人臂移开手或其他方法)。

在一些实施例中，机器人臂105A的移动可以通过使用内置在机器人臂系统中的控制面板来实现。例如，显示屏可以包括一个或多个输入源，例如指导机器人臂105A移动的物理按钮或具有一个或多个图标的用户界面。外科医生或其他保健专业人员可以在执行手术程序期间与一个或多个输入源接合以定位机器人臂105A。

附接或集成到机器人臂105A中的工具或末端执行器105B可以包括但不限于去毛刺装置、手术刀、切割装置、牵开器、关节张紧装置、任何类型的维度测量装置等。在一个特定示例中，机器人臂105A可以定位成获得相对准确的骨尺寸或形状测量值。在另外的示例中，机器人臂105A可以具有钳口或另一装置，该钳口或另一装置打开到已知植入物尺寸的宽度，使得外科医生可以关于植入物的正确尺寸设定或放置做出快速决策。在使用末端执行器105B的实施例中，末端执行器可以定位在机器人臂105A的端部处，使得在机器人臂系统内执行任何马达控制操作。在使用工具的实施例中，工具可以固定在机器人臂105A的远端处，但是马达控制操作可以位于工具本身内。

机器人臂105A可在内部被机动化以稳定机器人臂，从而防止其跌落并撞击患者、手术台、手术人员等，并允许外科医生移动机器人臂而不必完全支撑其重量。在外科医生移动机器人臂105A的同时，机器人臂可提供一些阻力以防止机器人臂移动太快或一次激活太多自由度。机器人臂105A的位置和锁定状态可以例如通过控制器或手术计算机150来跟踪。

在一些实施例中，机器人臂105A可以用手(例如，由外科医生)或用内部马达移动到其理想位置和取向以进行正在执行的任务。在一些实施例中，机器人臂105A可以能够以“自由”模式操作，允许外科医生将臂定位在期望的位置而不受限制。在自由模式下，如上所述，仍可以跟踪机器人臂105A的位置和取向。在一个实施例中，在由手术计算机150跟踪的手术计划的指定部分期间，当来自用户(例如，外科医生)的输入时，可以选择性地释放一定的自由度。其中机器人臂105A通过液压或马达在内部提供动力或通过类似的手段提供对外部手动运动的阻力的设计可以被描述为动力机器人臂，而在没有动力反馈的情况下被手动操纵但是可以被手动或自动锁定在适当位置的臂可以被描述为被动机器人臂。

机器人臂105A或末端执行器105B可以包括触发器或其他装置以控制锯或钻的动力。外科医生对触发器或其他装置的接合可以使机器人臂105A或末端执行器105B从机动对准模式过渡到锯或钻被接合并通电的模式。另外，CASS 100可以包括脚踏板(未示出)、语音激活控制系统或AR系统，所述脚踏板、语音激活控制系统或AR系统在被激活时使系统执行某些功能。在一个示例中，用户查看膝盖，将其与模板对准，然后通知AR系统当前视图表示已对准的骨。该参考视图通知初始机器人臂105A位置，该位置接着可由操作员进一步微调。更具体地，所述系统使用该输入来定位机器人臂105A以三角测量大致起始姿态。在无源臂的情况下，当关节中的任一个达到其期望位置时，磁性离合器可以锁定。在该示例中，操作员仅移动臂，直到所有关节锁定到位。用户随后可(在有或没有AR协助的情况下)自由进行细微调整。

在另一示例中，外科医生可以激活脚踏板以指示CASS 100将机器人臂105A或末端执行器105B置于自动模式，所述自动模式将机器人臂或末端执行器相对于患者的解剖结构置于适当的位置，以便执行必要的切除。CASS 100还可以将机器人臂105A或末端执行器105B置于协作模式，所述协作模式允许外科医生手动操纵机器人臂或末端执行器并将其定位在特定位置。协作模式可以配置成允许外科医生在限制其他方向上的运动的同时向内侧或外侧移动机器人臂105A或末端执行器105B。如所讨论的，机器人臂105A或末端执行器105B可以包括切割装置(锯、钻和磨刀)或将引导切割装置的切割引导件或夹具105D。在其他实施例中，机器人臂105A或机器人控制的末端执行器105B的运动可以完全由CASS100控制，而无需任何外科医生或其他医疗专业人员的帮助或输入，或仅需很少的帮助或输入。在另外的其他实施例中，外科医生或其他医疗专业人员可以使用与机器人臂或机器人控制的末端执行器装置分离的控制机构，例如使用操纵杆或交互式监视器或显示控制装置，来远程控制机器人臂105A或机器人控制的末端执行器105B的运动。

以下示例描述了在髋手术的情况下使用机器人装置；然而，应当理解，机器人臂在涉及膝、肩等的手术程序中可能还有其他应用。在于2019年8月28日提交的、标题为“机器人辅助韧带移植物放置和张紧(Robotic Assisted Ligament Graft Placement andTensioning)”的WIPO公开号WO 2020/047051中描述了在形成前十字韧带(ACL)移植隧道的情况下使用机器人臂的一个示例，该文献的全部内容通过引用并入本文中。

机器人臂105A可以用于保持牵开器。例如在一个实施例中，外科医生可以将机器人臂105A移动到期望位置。此时，机器人臂105A可以锁定到位。在一些实施例中，机器人臂105A被提供有关于患者位置的数据，使得如果患者移动，则机器人臂可以相应地调节牵开器位置。在一些实施例中，可以使用多个机器人臂，由此允许保持多个牵开器或同时执行一个以上的动作(例如，牵开器保持和铰孔)。

机器人臂105A还可以用于在制造股骨颈切口时帮助稳定外科医生的手。在该应用中，对机器人臂105A的控制可以施加某些限制以防止发生软组织损伤。例如，在一个实施例中，手术计算机150在机器人臂105A操作时跟踪其位置。如果跟踪的位置接近预测到组织损伤的区域，则可以向机器人臂105A发送命令以使其停止。替代地，在由手术计算机150自动控制机器人臂105A的情况下，手术计算机可以确保不向机器人臂提供导致其进入可能发生软组织损伤的区域的任何指令。手术计算机150可以对外科医生施加某些限制以防止外科医生扩孔到髋臼内侧壁中太深或以不正确的角度或取向扩孔。

在一些实施例中，机器人臂105A可以用于在杯冲击期间将杯冲击器保持在期望的角度或取向。当已达到最终位置时，机器人臂105A可以防止任何进一步的就位以防止损坏骨盆。

外科医生可以使用机器人臂105A将拉刀手柄定位在期望位置，并允许外科医生以期望取向将拉刀冲击到股骨管中。在一些实施例中，一旦手术计算机150接收到拉刀已完全就位的反馈，机器人臂105A可以限制手柄以防止拉刀进一步前进。

机器人臂105A还可以用于表面重修应用。例如，机器人臂105A可以在使用传统器械的同时稳定外科医生，并提供某些约束或限制以允许适当地放置植入部件(例如，导丝放置、倒角切割器、套筒切割器、平面切割器等)。在仅使用骨钻的情况下，机器人臂105A可以使外科医生的手持件稳定并且可以对手持件施加限制以防止外科医生违反手术计划而去除非期望的骨。

机器人臂105A可以是被动臂。作为示例，机器人臂105A可以是可从Brainlab AG获得的CIRQ机器人臂。CIRQ是德国慕尼黑Olof-Palme-Str.981829，Brainlab AG的注册商标。在一个特定实施例中，机器人臂105A是智能握持臂，如在授予Krinninger等人的美国专利申请第15/525,585号，授予Nowatschin等人的美国专利申请第15/561,042号，授予Nowatschin等人的美国专利第15/561,048号以及授予Nowatschin等人的美国专利第10,342,636号中所公开，上述每个专利的全部内容通过引用并入本文。

手术程序数据的生成和收集

医疗专业人员为治疗临床状况而提供的各种服务统称为“护理期”。对于特定的外科手术，护理期可以包括三个阶段：术前、术中和术后。在每个阶段期间，都会收集或生成可用于分析护理期的数据，以便了解程序的各个特征并识别可用于例如在训练模型中以最少的人工干预即可做出决策的模式。在护理期收集的数据可以作为完整数据集存储在手术计算机150或手术数据服务器180处。因此，对于每个护理期，存在一个数据集，所述数据集包括关于患者术前集体收集的所有数据，由CASS 100术中收集或存储的所有数据，以及由患者或由监控患者的医疗专业人员提供的任何术后数据。

如进一步详细解释，在护理期中收集的数据可以用于增强手术程序的执行或提供对手术程序和患者结果的整体理解。例如，在一些实施例中，在护理期中收集的数据可以用于生成手术计划。在一个实施例中，在手术期间收集数据时，在术中完善高级的术前计划。以该方式，当通过CASS 100的部件收集新数据时，可以将手术计划视为实时或近实时动态变化。在其他实施例中，可以使用术前图像或其他输入数据来术前制定在手术期间简单执行的鲁棒计划。在该情况下，由CASS 100在手术期间收集的数据可用于提出建议，以确保外科医生处于术前手术计划之内。例如，如果外科医生不确定如何实现某些规定的切割或植入物对准，则可以向手术计算机150查询以得到建议。在另外的其他实施例中，可以组合术前和术中计划方案，使得可以在手术程序期间根据需要或期望动态修改完善的术前计划。在一些实施例中，患者解剖结构的基于生物力学的模型贡献模拟数据以在制定术前、术中和术后/康复程序中由CASS 100考虑以优化患者的植入物性能结果。

除了改变手术程序本身之外，在护理期中收集的数据还可以用作其他手术辅助程序的输入。例如，在一些实施例中，可以使用护理期数据来设计植入物。在2011年8月15日提交的、标题为“用于骨科手术的参数优化的系统和方法(Systems and Methods forOptimizing Parameters for Orthopaedic Procedures)”的美国专利申请第13/814,531号；2012年7月20日提交的、标题为“用于优化植入物与解剖结构的配合的系统和方法(Systems and Methods for Optimizing Fit of an Implant to Anatomy)”的美国专利申请第14/232,958号；以及2008年9月19日提交的、标题为“用于提高性能的手术调节植入物(Operatively Tuning Implants for Increased Performance)”的美国专利申请第12/234,444号中描述了用于设计、尺寸确定和配合植入物的示例数据驱动技术，上述专利的每一个的全部内容在此通过引用并入本专利申请。

此外，数据可用于教育、培训或研究目的。例如，使用下面在图5C中描述的基于网络的方案，其他医生或学生可以在允许他们选择性地查看从CASS 100各个部件收集的数据的界面中远程地查看手术。在手术程序之后，可以使用类似的界面来“回放”手术以进行培训或其他教育目的，或找出手术中任何问题或并发症的根源。

术前阶段期获取的数据通常包括手术之前收集或生成的所有信息。因此，例如，可以从患者录入表或电子病历(EMR)获取有关患者的信息。可以收集的患者信息的示例包括但不限于患者人口统计学、诊断、病史、病历记录、生命体征、病史信息、过敏和实验室检查结果。术前数据还可以包括与感兴趣的解剖区域有关的图像。这些图像可以例如使用磁共振成像(MRI)、计算机断层摄影(CT)、X射线、超声或本领域已知的任何其他方式来获取。术前数据还可以包括从患者获取的生活质量数据。例如，在一个实施例中，术前患者使用移动应用程序(“app”)来回答关于他们当前生活质量的问卷。在一些实施例中，CASS 100所使用的术前数据包括关于患者的人口统计学、人体测量学、文化或其他特定特征，其可以与活动水平和特定患者活动相符合以为患者定制手术计划。例如，某些文化或人口统计学的人可能更愿意使用每天蹲便的厕所。

图5A和5B提供了可在护理期的术中阶段期间获取的数据的示例。这些示例基于以上参考图1描述的CASS 100的各种部件；然而，应当理解，可以基于手术期间使用的设备的类型及其使用来使用其他类型的数据。

图5A示出了根据一些实施例的手术计算机150提供给CASS 100的其他部件的一些控制指令的示例。注意，图5A的示例假定执行器平台105的部件均由手术计算机150直接控制。在其中部件由外科医生111手动控制的实施例中，可以在显示器125或AR HMD 155上提供指令以指示外科医生111如何移动部件。

包括在执行器平台105中的各种部件由手术计算机150控制，所述手术计算机提供位置指令，所述位置指令指示该部件在坐标系内移动的位置。在一些实施例中，手术计算机150向执行器平台105提供指令，所述指令定义当执行器平台105的部件偏离手术计划时如何反应。这些命令在图SA中作为“触觉”命令被参考。例如，末端执行器105B可以提供力以抵抗在计划切除的区域之外的运动。执行器平台105可以使用的其他命令包括振动和音频提示。

在一些实施例中，机器人臂105A的末端执行器105B与切割引导件105D可操作地联接。响应于手术场景的解剖模型，机器人臂105A可以将末端执行器105B和切割引导件105D移动到适当位置以匹配根据手术计划要进行的股骨或胫骨切割的位置。这可以减少错误的可能性，从而允许视觉系统和利用该视觉系统的处理器实施手术计划，以将切割引导件105D放置在相对于胫骨或股骨的精确位置和取向以将切割引导件的切槽与要根据手术计划执行的切割对准。然后，外科医生可以使用任何合适的工具，例如振动或旋转锯或钻，以完美的放置和取向来执行切割(或钻孔)，原因是该工具在机械上受到切割引导件105D的特征限制。在一些实施例中，切割引导件105D可以包括一个或多个销孔，在使用切割引导件执行患者组织的切除之前，外科医生使用所述钉孔来将切割引导件钻进和拧紧或钉扎到适当的位置。这可以释放机器人臂105A或确保切割引导件105D完全固定而不相对于要切除的骨移动。例如，该程序可以用于在全膝关节置换术期间制造股骨的第一远侧切口。在一些实施例中，在关节置换术是髋关节置换术的情况下，切割引导件105D可以固定到股骨头或髋臼以用于相应的髋关节置换术切除。应当理解，利用精确切口的任何关节置换术都可以以该方式使用机器人臂105A和/或切割引导件105D。

切除设备110提供有多种命令来执行骨或组织操作。与执行器平台105一样，位置信息可以被提供给切除设备110以指定在执行切除时应将其定位在何处。提供给切除设备110的其他命令可以取决于切除设备的类型。例如，对于机械或超声切除工具，命令可以指定工具的速度和频率。对于射频消融(RFA)和其他激光消融工具，这些命令可以指定强度和脉冲持续时间。

CASS 100的一些部件不需要由手术计算机150直接控制；而是，手术计算机150仅需要激活部件，所述部件然后在本地执行软件以指定收集数据并将其提供给手术计算机150的方式。在图5A的示例中，有两个部件以该方式操作：跟踪系统115和组织导航系统120。

手术计算机150向显示器125提供外科医生111在手术期间所需的任何可视化。对于监视器，手术计算机150可以使用本领域已知的技术来提供用于显示图像、GUI等的指令。显示器125可以包括手术计划的工作流程的各个部分。例如，在配准过程期间，显示器125可以显示术前构建的3D骨模型，并在外科医生使用探针收集患者身上的解剖学标志的位置时示出探针的位置。显示器125可以包括关于手术目标区域的信息。例如，结合TKA，显示器125可以示出股骨和胫骨的机械和解剖轴。显示器125可以基于手术计划示出膝关节的内翻和外翻角，并且CASS 100可以示出如果对手术计划进行预期的修正将如何影响这样的角。因此，显示器125是交互式接口，其可以动态地更新和显示对手术计划的改变将如何影响程序以及安装在骨上的植入物的最终位置和取向。

随着工作流程进行到骨切割或切除的准备，显示器125可以在执行任何切割之前示出计划的或推荐的骨切割。外科医生111可以操纵图像显示以提供目标区域的不同解剖视角，并且可以具有基于患者的术中评估来改变或修正计划的骨切割的选择。显示器125可以示出如果执行计划的骨切割将如何将选定植入物安装在骨上。如果外科医生111选择改变先前计划的骨切割，则显示器125可以示出经修正的骨切割将如何改变安装在骨上时的植入物的位置和取向。

显示器125可以向外科医生111提供关于患者，计划的外科手术和植入物的各种数据和信息。可以显示各种患者特定的信息，包括有关患者健康的实时数据，例如心率、血压等。显示器125还可以包括关于手术目标区域(包括标志的位置)的解剖结构的信息、解剖结构的当前状态(例如，是否进行了任何切除，计划和执行的骨切割的深度和角度)以及随着手术计划的进展解剖结构的未来状态。显示器125还可以提供或示出关于手术目标区域的附加信息。对于TKA，显示器125可以提供关于股骨和胫骨之间的间隙(例如，间隙平衡)以及如果执行计划的手术计划将如何改变这样的间隙的信息。对于TKA，显示器125可以提供关于膝关节的附加相关信息，例如关于关节的张力(例如，韧带松弛)的数据以及关于关节的旋转和对准的信息。显示器125可以示出当膝关节屈曲时计划的植入物的定位和位置将如何影响患者。显示器125可以示出不同植入物的使用或不同尺寸的相同植入物的使用将如何影响手术计划，并预览这样的植入物将如何定位在骨上。CASS 100可以在TKA或THA中为每个计划的骨切除术提供这样的信息。在TKA中，CASS 100可以为一个或多个计划的骨切除术提供机器人控制。例如，CASS 100只能为初始股骨远端切割提供机器人控制，并且外科医生111可以使用常规手段(例如4合1切割引导件或夹具105D)手动执行其他切除(前、后和倒角切割)。

显示器125可以采用不同的颜色来通知外科医生手术计划的状态。例如，可以以第一颜色显示未切除的骨，可以以第二颜色显示切除的骨，并且可以以第三颜色显示计划的切除。植入物可以叠加在显示器125中的骨上，并且植入物颜色可以改变或对应于不同类型或尺寸的植入物。

显示器125上示出的信息和选项可以根据所执行的手术程序的类型而变化。此外，外科医生111可以请求或选择与他或她的手术计划偏好匹配或一致的特定手术流程显示。例如，对于通常在TKA中在股骨切割之前执行胫骨切割的外科医生111，显示器125和关联的工作流程可以适于考虑该偏好。外科医生111还可以预先选择从标准手术工作流程显示中包括或删除某些步骤。例如，如果外科医生111使用切除测量来最终确定植入计划，但在最终确定植入计划时不分析韧带间隙平衡，则可以将手术流程显示组织为模块，并且外科医生可以根据外科医生的喜好或特定手术的情况选择要显示的模块和提供模块的顺序。例如，涉及韧带和间隙平衡的模块可以包括切除前和切除后的韧带/间隙平衡，并且外科医生111可以根据在进行骨切除术之前或之后(或之前和之后)是否执行这种韧带和间隙平衡来选择将哪些模块包括在其默认手术计划工作流程中。

对于更专业的显示设备，例如AR HMD，手术计算机150可以使用设备支持的数据格式来提供图像、文本等。例如，如果显示器125是诸如Microsoft HoloLens^TM或Magic LeapOne^TM的全息设备，则手术计算机150可以使用HoloLens应用程序接口(API)来发送命令，所述命令指定显示在外科医生111的视野中的全息图的位置和内容。

在一些实施例中，可以将一个或多个手术计划模型结合到CASS 100中，并在提供给外科医生111的手术计划的制定中使用。术语“手术计划模型”是指模拟各种情况下的解剖结构的生物力学性能以确定执行切割和其他手术活动的最佳方式的软件。例如，对于膝关节置换手术，手术计划模型可以测量功能活动的参数，例如深屈膝、步态等，并选择膝上的切割位置以优化植入物放置。手术计划模型的一个示例是来自SMITH AND NEPHEW公司的LIFEMOD^TM仿真软件。在一些实施例中，手术计算机150包括允许在手术期间完全执行手术计划模型的计算架构(例如，基于GPU的并行处理环境)。在其他实施例中，手术计算机150可以通过网络连接到允许这种执行的远程计算机，例如手术数据服务器180(参见图5C)。作为对手术计划模型的完全执行的替代，在一些实施例中，导出一组传递函数，其将由模型获取的数学运算简化为一个或多个预测方程。然后，不同于在手术期间执行完全模拟，而是使用预测方程。在于2019年8月19日提交的、标题为“患者特定手术方法和系统(Patient SpecificSurgical Method and System)”的WIPO公开号2020/037308中描述了关于传递函数的使用的更多细节，该文献的全部内容通过引用并入本文。

图5B示出了可以从CASS 100的各个部件提供给手术计算机150的一些类型的数据的示例。在一些实施例中，部件可以在手术期间实时或接近实时地将数据流传输到手术计算机150。在其他实施例中，部件可以使数据排队并且以设定的间隔(例如，每秒)将其发送到手术计算机150。可以使用本领域中已知的任何格式来传送数据。因此，在一些实施例中，所有部件均以通用格式将数据传输至手术计算机150。在其他实施例中，每个部件可以使用不同的数据格式，并且手术计算机150配置有能够转换数据的一个或多个软件应用。

通常，手术计算机150可以用作收集CASS数据的中心点。数据的确切内容将取决于来源。例如，执行器平台105的每个部件向手术计算机150提供测量位置。因此，通过将测量位置与手术计算机150最初指定的位置(参见图5B)进行比较，手术计算机可以识别手术期间发生的偏差。

切除设备110可以根据所用设备的类型将各种类型的数据发送到手术计算机150。可以发送的示例性数据类型包括测量的扭矩、音频签名和测量的位移值。类似地，跟踪技术115可以根据所采用的跟踪方法来提供不同类型的数据。示例性跟踪数据类型包括被跟踪项(例如，解剖结构、工具等)、超声图像以及表面或标志收集点或轴的位置值。当系统操作时，组织导航系统120向手术计算机150提供解剖位置、形状等。

尽管显示器125通常用于输出数据以呈现给用户，但它也可以向手术计算机150提供数据。例如，对于将监视器用作显示器125的一部分的实施例，外科医生111可以与GUI交互以提供输入，所述输入被发送到手术计算机150以进行进一步处理。对于AR应用，可以将HMD的测量位置和位移发送到手术计算机150，使得其可以根据需要更新所呈现的视图。

在护理期的术后阶段期间，可以收集各种类型的数据以量化由于手术而导致的患者状况的总体改善或恶化。数据可以采取例如患者通过问卷调查报告的自我报告信息的形式。例如，在进行膝关节置换手术的情况下，可以使用牛津(Oxford)膝评分问卷来测量功能状态，并且可以通过EQ5D-5L问卷来测量术后生活质量。在髋关节置换手术的情况下的其他示例可以包括牛津髋评分、哈里斯(Harris)髋评分和WOMAC(西安大略和麦克马斯特大学骨关节炎指数)。这样的问卷可以例如由医护专业人员直接在临床环境中进行管理，或者使用允许患者直接回答问题的移动应用进行管理。在一些实施例中，可以为患者配备收集与手术有关的数据的一个或多个可穿戴设备。例如，在进行膝手术之后，可以为患者配备膝支架，所述膝支架包括用于监测膝位置、柔韧性等的传感器。可以收集该信息并将其传输到患者的移动设备以供外科医生审查以评估手术的结果并解决任何问题。在一些实施例中，一个或多个相机可以在术后指定的活动期间获取并记录患者的身体部位的运动。可以将该运动获取与生物力学模型进行比较以更好地了解患者关节的功能，并且更好地预测康复进展并确定可能需要的任何修正。

护理期的术后阶段可以在患者的整个生命周期中持续进行。例如，在一些实施例中，手术计算机150或包括CASS 100的其他部件可以在执行手术之后继续接收和收集与手术程序有关的数据。该数据可以包括例如图像、问题答案、“正常”患者数据(例如，血型、血压、状况、药物等)、生物统计数据(例如，步态等)，以及有关特定问题(例如，膝或髋关节疼痛)的客观和主观数据。该数据可以由患者或患者的医师明确地提供给手术计算机150或其他CASS部件。替代地或附加地，手术计算机150或其他CASS部件可以监测患者的EMR并在其可用时检索相关信息。患者康复的该纵向视图允许手术计算机150或其他CASS部件提供对患者结果的更客观分析以测量和跟踪给定程序的成功与否。例如，可以通过对护理期中收集的各种数据项进行回归分析，将患者在手术程序后很长时间所经历的状况与手术联系起来。通过对具有相似程序和/或相似解剖结构的患者组进行分析，可以进一步增强该分析。

在一些实施例中，在中心位置收集数据以提供更容易的分析和使用。在一些情况下，可以从各种CASS部件手动收集数据。例如，可以将便携式存储设备(例如，USB棒)附接到手术计算机150，以便检索在手术期间收集的数据。然后可以将数据例如经由台式计算机传输到集中式存储装置。替代地，在一些实施例中，手术计算机150经由网络175直接连接到集中式存储装置，如图5C中所不。

图5C示出了“基于云”的实施方式，其中手术计算机150经由网络175连接到手术数据服务器180。该网络175可以是例如私有内联网或因特网。除了来自手术计算机150的数据之外，其他来源也可以将相关数据传输到手术数据服务器180。图5C的示例示出了3个附加数据源：患者160、医疗保健专业人员165和EMR数据库170。因此，患者160可以例如使用移动应用将术前和术后数据发送到手术数据服务器180。医疗保健专业人员165包括外科医生和他或她的职员以及与患者160一起工作的任何其他专业人员(例如，私人医生，康复专家等)。还应当注意的是，EMR数据库170可以用于术前和术后数据。例如，假设患者160已给予足够的许可，则手术数据服务器180可以收集患者术前的EMR。然后，手术数据服务器180可以继续监测EMR以进行手术后的任何更新。

在手术数据服务器180处，护理期数据库185用于存储在患者的护理期中收集的各种数据。护理期数据库185可以使用本领域中已知的任何技术来实现。例如，在一些实施例中，可以使用基于SQL的数据库，其中所有各种数据项都以允许它们容易地并入行和列的两个SQL集合中的方式结构化。然而，在其他实施例中，可以采用No-SQL数据库来允许非结构化数据，同时提供快速处理和响应查询的能力。如本领域中所理解的，术语“No-SQL”用于定义在其设计中不相关的一类数据库。各种类型的No-SQL数据库通常可以根据其基础数据模型进行分组。这些分组可以包括使用基于列的数据模型(例如，Cassandra)、基于文档的数据模型(例如，MongoDB)、基于键值的数据模型(例如，Redis)和/或基于图形的数据模型(例如Allego)的数据库。可以使用任何类型的No-SQL数据库来实现本文所述的各种实施例，并且在一些实施例中，不同类型的数据库可以支持护理期数据库185。

可以使用本领域中已知的任何数据格式和传输技术在各种数据源和手术数据服务器180之间传输数据。应当注意的是，图5C中所示的架构允许从数据源到手术数据服务器180的传输，以及由数据源从手术数据服务器180检索数据。例如，如下面详细解释的，在一些实施例中，手术计算机150可以使用来自过去手术、机器学习模型等的数据来帮助指导手术程序。

在一些实施例中，手术计算机150或手术数据服务器180可以执行去标识过程以确保存储在护理期数据库185中的数据满足健康保险流通与责任法案(HIPAA)标准或法律规定的其他要求。HIPAA提供了去标识期间必须从数据删除的某些标识列表。前述的去标识过程可以在传输到护理期数据库185以进行存储的数据中扫描这些标识。例如，在一个实施例中，手术计算机150在刚开始将特定数据项或一组数据项传输到手术数据服务器180之前执行去识别过程。在一些实施例中，唯一标识被分配给来自特定护理期的数据以便在必要时重新识别数据。

尽管图5A-5C讨论了在单个护理期的情况下的数据收集，但是应当理解，一般概念可以扩展到多个护理期的数据收集。例如，每次使用CASS 100进行手术时可以在整个护理期中收集手术数据，并将其存储在手术计算机150或手术数据服务器180处。如下面进一步详细解释，护理期数据的鲁棒数据库允许生成优化值、测量结果、距离或其他参数以及与手术程序有关的其他建议。在一些实施例中，以允许在手术程序期间快速检索相关信息的方式在数据库或其他存储介质中索引各种数据集。例如，在一个实施例中，可以使用以患者为中心的一组索引，以便可以容易地提取与特定患者或与特定患者相似的一组患者的数据。该概念可以类似地应用于外科医生、植入物特性、CASS部件型式等。

管理护理期数据的更多细节在2018年12月21日提交的、标题为“提供护理期的方法和系统(Methods and Systems for Providing an Episode ofCare)”的美国专利申请第62/783,858号中进行了描述，其全部内容通过引用并入本文。

开放与封闭数字生态系统

在一些实施例中，CASS 100被设计成用作独立或“封闭”数字生态系统。CASS 100的每个部件专门设计成在封闭生态系统中使用，并且数字生态系统外部的装置通常无法访问数据。例如，在一些实施例中，每个部件包括实现用于诸如通信、存储、安全等的活动的专有协议的软件或固件。对于想要控制CASS 100的所有部件以确保满足某些兼容性、安全性和可靠性标准的公司而言，封闭数字生态系统的概念可能是理想的。例如，CASS 100可以设计成使得除非获得公司的认证，否则不能将新部件与CASS一起使用。

在其他实施例中，CASS 100被设计成用作“开放”数字生态系统。在这些实施例中，部件可以由各种不同的公司根据诸如通信、存储和安全性的活动的标准来生产。因此，通过使用这些标准，任何公司都可以自由地构建CASS平台的独立、合规部件。可以使用公共可用的应用编程接口(API)和开放的、可共享的数据格式在部件之间传输数据。

为了说明可以用CASS 100执行的一种类型的推荐，下面公开了一种用于优化手术参数的技术。在本文中术语“优化”是指基于某些指定的标准选择最佳的参数。在极端情况下，优化可以指基于来自整个护理期的数据(包括任何术前数据，给定时间点的CASS数据状态，以及术后目标)选择最佳参数。而且，可以使用历史数据来执行优化，例如在涉及例如相同外科医生、具有与当前患者相似的身体特性的过去患者等的过去手术期间生成的数据。

优化的参数可以取决于要对其进行手术的患者解剖结构的部分。例如，对于膝手术，手术参数可以包括股骨和胫骨部件的定位信息，包括但不限于旋转对准(例如，内翻/外翻旋转、外旋、股骨部件的屈曲旋转、胫骨部件的后倾角)，切除深度(例如内翻膝，外翻膝)，以及植入物的类型、大小和位置。定位信息还可以包括用于组合植入物的手术参数，例如整体肢体对准，组合胫股过度伸展和组合胫股切除。CASS 100可以针对给定的TKA股骨植入物优化参数的其他示例包括以下：

CASS 100可以为给定的TKA胫骨植入物优化的参数的其他示例包括以下：

对于髋手术，手术参数可以包括股骨颈切除位置和角度、杯倾斜角、杯前倾角、杯深度、股骨柄设计、股骨柄尺寸、股骨柄在管内的适合度、股骨偏移、腿长以及植入物的股骨型式。

肩参数可以包括但不限于肱骨切除深度/角度、肱骨干型式、肱骨偏移、关节盂型式和倾斜度，以及反向肩参数，例如肱骨切除深度/角度、肱骨干型式、关节盂倾斜度/型式、盂球方位、盂球偏移和偏移方向。

存在用于优化手术参数的各种常规技术。然而，这些技术通常需要大量的计算，因此，通常需要在术前确定参数。结果，外科医生基于在手术期间可能出现的问题来修改优化参数的能力受到限制。而且，常规的优化技术通常以“黑匣子”方式操作，很少或没有关于推荐参数值的解释。因此，如果外科医生决定偏离建议的参数值，则外科医生通常会在没有完全理解该偏离对其余手术流程的影响或偏离对患者手术后生活质量的影响的情况下这样做。

手术患者护理系统

使用手术患者护理系统620可以将优化的一般概念扩展到整个护理期，所述手术患者护理系统使用手术数据以及来自患者605和医疗保健专业人员630的其他数据来优化结果和患者满意度，如图6中所示。

常规地，术前诊断，术前手术计划，术中执行既定计划以及术后全关节置换术的管理都基于个人经验，已发表的文献和外科医生的培训知识库(最终，个体外科医生的部落知识及其对等“网络”和期刊出版物)以及他们利用指导和视觉提示对“平衡”进行准确的术中触觉辨别以及对平面切除进行准确的手动执行的本能。该现有的知识库和执行方式在为需要护理的患者提供的结果优化方面受到限制。例如，在以下方面存在限制：准确诊断患者以进行适当的，微创的既定护理；使动态的患者，医疗经济和外科医生的偏好与患者期望的结果保持一致；执行手术计划以使骨正确对准和保持平衡等；以及从具有难以调和到整体患者框架中的不同偏差的断开连接源接收数据。因此，更精确地模拟解剖反应并指导手术计划的数据驱动工具可以改善现有方法。

手术患者护理系统620设计成利用患者特定数据、外科医生数据、医疗机构数据和历史结果数据来制定算法，所述算法基于期望的临床结果为患者的整个护理期(术前、术中和术后)建议或推荐最佳整体治疗计划。例如，在一个实施例中，手术患者护理系统620跟踪对建议或推荐计划的遵守，并基于患者/护理提供者的表现来调整计划。一旦手术治疗计划完成，手术患者护理系统620就将收集的数据记录在历史数据库中。该数据库可供将来的患者访问和制定将来的治疗计划。除了利用统计和数学模型之外，还可以使用模拟工具(例如

)基于初步或建议的手术计划来模拟结果，对准，运动学等，并且根据患者的概况或外科医生的喜好重新配置初步或建议的计划以实现期望或最佳结果。手术患者护理系统620确保每个患者正在接受个性化手术和康复护理，从而提高成功临床结果的机会并减轻与近期修正相关联的设施的经济负担。

在一些实施例中，手术患者护理系统620采用数据收集和管理方法来提供详细的手术病例计划，该计划具有使用CASS 100监视和/或执行的不同步骤。用户的执行在每个步骤完成时计算并且用于建议对病例计划的后续步骤的更改。病例计划的生成依赖于存储在本地或云存储数据库中的一系列输入数据。输入数据既可以与当前接受治疗的患者相关，也可以与来自接受过类似治疗的患者的历史数据相关。

患者605向手术患者护理系统620提供诸如当前患者数据610和历史患者数据615的输入。本领域中通常已知的各种方法可以用于从患者605收集这样的输入。例如，在一些实施例中，患者605填写手术患者护理系统620解析的纸质或数字调查以提取患者数据。在其他实施例中，手术患者护理系统620可以从诸如电子病历(EMR)、健康历史文件以及付款人/提供商历史文件的现有信息源提取患者数据。在另外的其他实施例中，手术患者护理系统620可以提供允许外部数据源将数据推送到手术患者护理系统的应用程序接口(API)。例如，患者605可以具有移动电话、可穿戴装置或其他移动装置，其收集数据(例如，心率、疼痛或不适水平、运动或活动水平，或患者提交的对患者对任何数目的术前计划标准或条件依从性的反应)并将该数据提供给手术患者护理系统620。类似地，患者605可能在其移动或可穿戴装置上具有数字应用程序，该数字应用程序可以收集数据并将其传输到手术患者护理系统620。

当前患者数据610可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、都市统计区域(MSA)驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)以及手术预期理想结果的指示。

历史患者数据615可以包括但不限于：活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、MSA驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)、手术的预期理想结果、手术的实际结果(患者报告结果[PRO]、植入物的生存期、疼痛程度、活动水平等)、所使用的植入物的尺寸、所使用的植入物的位置/取向/对准，实现的软组织平衡等。

进行手术或治疗的医疗保健专业人员630可以向手术患者护理系统620提供各种类型的数据625。该医疗保健专业人员数据625可包括例如对已知或优选手术技术的描述(例如，十字形保持(CR)与后稳定(PS)、尺寸增大与尺寸减小、有止血带与无止血带、股骨柄样式、THA的优选方案等)，医疗保健专业人员630的培训水平(例如，从业年限、受训的职位、培训的地方、模仿的技术)，包括历史数据(结果、患者满意度)的先前成功水平，以及关于运动范围、恢复天数和装置的生存期的预期理想结果。可以例如通过提供给医疗保健专业人员630的纸质或数字调查，经由医疗保健专业人员对移动应用的输入，或通过从EMR提取相关数据来获取医疗保健专业人员数据625。另外，CASS 100可以提供诸如概况数据(例如，患者专用膝器械概况)的数据或描述手术期间CASS的使用的历史记录。

与要进行手术或治疗所在的设施有关的信息可以包括在输入数据中。该数据可以包括但不限于以下：门诊手术中心(ASC)与医院，设施创伤水平，关节置换术全面医疗计划(CJR)或捆绑候选，MSA驱动评分，社区与都市，学术与非学术，术后网络访问(仅熟练护理设施[SNF]，家庭健康等)，医疗专业人员的可用性，植入物的可用性，以及手术设备的可用性。

这些设施输入可以例如但不限于通过调查(纸/数字)，手术计划工具(例如，应用，网站，电子病历[EMR]等)，医院信息数据库(在因特网上)等。也可以获取与关联医疗保健经济有关的输入数据，包括但不限于患者的社会经济概况，患者将获得的预期报销水平，以及治疗是否是患者特定的。

可以(例如但不限于)通过调查(纸/数字)，直接付款人信息，社会经济状况数据库(在互联网上提供邮政编码)等来获取这些医疗保健经济输入。最后，获取从该程序的模拟导出的数据。模拟输入包括植入物尺寸、位置和取向。可以使用定制或可商购的解剖建模软件程序(例如

AnyBody或OpenSIM)进行模拟。应当注意，上述数据输入可能并非对每个患者都可用，并且将使用可用数据来生成治疗计划。

在手术之前，可以获取患者数据610、615和医疗保健专业人员数据625并将其存储在基于云的数据库或在线数据库(例如，图5C中所示的手术数据服务器180)中。与该程序有关的信息通过无线数据传输或使用便携式媒体存储手动提供给计算系统。计算系统被配置成生成用于CASS 100的病例计划。以下将描述病例计划的生成。应当注意，该系统可以访问以前接受治疗的患者的历史数据，包括由计算机辅助的患者特定的膝器械(PSKI)选择系统或CASS 100本身自动生成的植入物尺寸、位置和取向。为此，外科销售代表或病例工程师使用在线门户将病例日志数据上传到历史数据库。在一些实施例中，到在线数据库的数据传输是无线的和自动化的。

来自在线数据库的历史数据集用作机器学习模型(例如循环神经网络(RNN)或其他形式的人工神经网络)的输入。如本领域通常所理解的，人工神经网络的功能类似于生物神经网络，并且由一系列节点和连接组成。训练机器学习模型以基于输入数据预测一个或多个值。对于以下各节，假定对机器学习模型进行训练以生成预测方程。可以优化这些预测方程以确定植入物的最佳尺寸、位置和取向，以实现最佳结果或满意度。

一旦程序完成，就收集所有患者数据和可用结果数据，包括由CASS 100确定的植入物尺寸、位置和取向，并将其存储在历史数据库中。通过RNN进行的目标方程的任何后续计算都将以该方式包括来自先前患者的数据，从而可以对系统进行持续改进。

除了或作为确定植入物定位的替代，在一些实施例中，预测方程和关联的优化可以用于生成与PSKI系统一起使用的切除平面。当与PSKI系统一起使用时，预测方程的计算和优化在手术前完成。使用医学图像数据(X射线，CT，MRI)估计患者的解剖结构。预测方程的全局优化可以提供植入物部件的理想尺寸和位置。植入物部件和患者解剖结构的布尔交集定义为切除体积。可以产生PSKI以去除优化的切除包络。在该实施例中，外科医生不能在术中改变手术计划。

外科医生可以选择在手术之前或期间的任何时候更改手术病例计划。如果外科医生选择偏离手术病例计划，则锁定更改后的部件的尺寸、位置和/或取向，并根据部件的新尺寸、位置和/或取向刷新全局优化(使用先前描述的技术)以找到其他部件的新理想位置，以及实现部件的新优化尺寸、位置和/或取向需要执行的相应切除。例如，如果外科医生确定术中需要更新或修改TKA中股骨植入物的尺寸、位置和/或取向，则股骨植入物的位置将相对于解剖结构锁定，并且将通过考虑外科医生对股骨植入物尺寸、位置和/或取向的改变计算(通过全局优化)胫骨的新最佳位置。此外，如果用于实施病例计划的手术系统是机器人辅助的(例如，使用

或MAKO Rio)，则可以实时监测手术期间的骨移除和骨形态。如果在该程序期间进行的切除偏离手术计划，则处理器可以考虑已进行的实际切除来优化附加部件的后续放置。

图7A示出了手术患者护理系统620如何可以适于执行病例计划匹配服务。在该示例中，获取与当前患者610有关的数据，并将其与患者数据和相关结果615的历史数据库的全部或部分进行比较。例如，外科医生可以选择将当前患者的计划与历史数据库的子集进行比较。可以对历史数据库中的数据进行过滤以包括例如仅具有良好结果的数据集，与概况与当前患者概况相同或相似的患者的历史手术对应的数据集，与特定外科医生对应的数据集，与手术计划的特定要素(例如，仅保留特定韧带的手术)对应的数据集，或由外科医生或医疗专业人员选择的任何其他标准。例如，如果当前患者数据与经历良好结果的先前患者的数据匹配或相关，则可以访问并适应或采用先前患者的病例计划以用于当前患者。预测方程可以与识别或确定与病例计划相关的动作的术中算法结合使用。基于来自历史数据库的相关信息和/或预先选择的信息，术中算法确定一系列推荐操作以供外科医生执行。算法的每次执行都会在病例计划中产生下一个动作。如果外科医生执行该动作，则评估结果。外科医生执行动作的结果用于完善和更新术中算法的输入，用于生成病例计划中的下一步骤。一旦已完全执行病例计划，与病例计划相关的所有数据(包括外科医生对执行建议动作的任何偏差)都将存储在历史数据的数据库中。在一些实施例中，系统以分段方式使用术前、术中或术后模块，而不是整个连续护理。换句话说，护理人员可以规定治疗模块的任何排列或组合，包括使用单个模块。这些概念在图7B中示出，并且可以应用于使用CASS100的任何类型的手术。

手术过程显示

如以上关于图1和图5A-5C所述，CASS 100的各个部件在手术期间产生详细的数据记录。CASS 100可以在手术的每个步骤期间跟踪和记录外科医生的各种动作和活动，并将实际活动与术前或术中手术计划进行比较。在一些实施例中，可以采用软件工具将该数据处理为可以有效地“回放”手术的格式。例如，在一个实施例中，可以使用一个或多个GUI，其示出手术期间在显示器125上呈现的所有信息。这可以用示出由不同工具收集的数据的图形和图像进行补充。例如，在组织切除期间提供膝的视觉图示的GUI可以提供与视觉图示相邻的切除设备的测量扭矩和位移，以更好地提供对发生的与计划切除区域的任何偏差的理解。审查手术计划的回放或在实际手术与手术计划的不同阶段之间进行切换的能力可以为外科医生和/或手术人员带来好处，从而使此类人员可以识别出手术的任何不足或挑战性阶段，使得可以在未来手术中对其进行修改。类似地，在学术环境中，上述GUI可以用作培训未来的外科医生和/或手术人员的教学工具。此外，由于数据集有效地记录了外科医生活动的许多要素，因此它也可以出于其他原因(例如，法律或合规性原因)用作特定手术程序正确或不正确执行的证据。

随着时间，随着越来越多的手术数据被收集，可能会获取丰富的数据库，其描述由不同的外科医生为不同患者针对各种类型的解剖结构(膝、肩、髋等)执行手术程序。而且，诸如植入物类型和尺寸、患者人口统计学等的信息可以进一步用于增强整体数据集。一旦已建立数据集，就可以将其用于训练机器学习模型(例如，RNN)，以基于CASS 100的当前状态来预测手术将如何进行。

机器学习模型的训练可以如下进行。在手术期间，可以在多个时间段内对CASS100的总体状态进行采样。然后可以训练机器学习模型以将第一时间段的当前状态转换为不同时间段的未来状态。通过分析CASS 100的整个状态而不是单独的数据项，可以获取CASS 100的不同部件之间相互作用的任何因果效应。在一些实施例中，可以使用多个机器学习模型而不是单个模型。在一些实施例中，不仅可以利用CASS 100的状态，而且还可以利用患者数据(例如，从EMR获取)和手术人员的身份来训练机器学习模型。这使模型可以以更大的特异性进行预测。而且，如果需要，它允许外科医生仅根据他们自己的手术经验选择性地做出预测。

在一些实施例中，可以将由前述机器学习模型做出的预测或推荐直接整合到手术流程中。例如，在一些实施例中，手术计算机150可以在后台执行机器学习模型，从而为即将来临的动作或手术状况做出预测或推荐。因此可以为每个时期预测或推荐多个状态。例如，手术计算机150可以以30秒的增量预测或推荐接下来的5分钟的状态。使用该信息，外科医生可以利用手术的“过程显示”视图以允许未来状态的可视化。例如，图7C示出了可以显示给外科医生的一系列图像，其示出了植入物放置界面。外科医生可以例如通过在CASS 100的显示器125中输入特定时间或指示系统使用触觉、口头或其他指令以特定的时间增量来前进或倒回显示来遍历这些图像。在一个实施例中，过程显示可以呈现在AR HMD中的外科医生视野的上部。在一些实施例中，过程显示可以被实时更新。例如，当外科医生在计划切除区域周围移动切除工具时，可以更新过程显示，使得外科医生可以看到他或她的动作如何影响手术的其他因素。

在一些实施例中，不是简单地使用CASS 100的当前状态作为机器学习模型的输入，而是模型的输入可以包括计划的未来状态。例如，外科医生可以指示他或她正计划进行膝关节的特定骨切除。该指示可以手动输入到手术计算机150中，或者外科医生可以口头提供指示。然后手术计算机150可以产生胶片，显示切口对手术的预期效果。这样的胶片可以在特定的时间增量上示出如果将执行预期的动作过程，则手术将如何受到影响，包括例如患者解剖结构的变化，植入物位置和取向的变化，以及有关外科手术和器械的变化。外科医生或医疗专业人员可以在手术的任何时候调用或请求该类型的胶片，以预览如果将执行预期动作则预期动作过程将如何影响手术计划。

应当进一步指出的是，使用经充分训练的机器学习模型和机器人CASS，可以使手术的各个要素实现自动化，使得外科医生仅需要例如通过仅为手术的各个步骤提供批准而最少地参与。例如，随着时间，使用臂或其他手段的机器人控制可以逐渐整合到手术流程中，外科医生与机器人操作之间的手动交互逐渐越来越少。在该情况下，机器学习模型可以学习需要哪些机器人命令来实现CASS实施计划的某些状态。最终，机器学习模型可以用于产生胶片或类似的视图或显示，其可以预测并可以从初始状态预览整个手术。例如，可以定义包括患者信息、手术计划、植入物特性和外科医生偏好的初始状态。基于该信息，外科医生可以预览整个手术以确认CASS推荐的计划满足外科医生的期望和/或要求。而且，由于机器学习模型的输出是CASS 100本身的状态，因此可以导出命令来控制CASS的部件以实现每个预测状态。因此，在极端情况下，仅基于初始状态信息就可以使整个手术自动化。

使用点探针在髋手术期间获得关键区域的高分辨率

在标题为“用于计划和执行无图像植入物修正手术的系统和方法(Systems andMethods for Planning and Performing Image Free Implant Revision Surgery)”的美国专利申请第14/955,742号中描述了点探针的使用，其全部内容通过引用并入本文。简而言之，可以使用光学跟踪的点探针来标绘需要新植入物的目标骨的实际表面。在移除有缺陷或磨损的植入物之后，以及在移除任何患病或其他不需要的骨之后，执行标绘。通过用点探针的尖端刷或刮擦剩余的整个骨，可以在骨表面上收集多个点。这称为跟踪或“绘制”骨。所收集的点用于在计算机计划系统中创建骨表面的三维模型或表面图。然后将剩余骨的创建3D模型用作规划手术和必要植入物尺寸的基础。在于2019年4月17日提交的、标题为“三维选择性骨匹配(Three-Dimensional Selective Bone Matching)”的美国专利申请第16/387,151号和2020年2月13日提交的、标题为“三维选择性骨匹配(Three-DimensionalSelective Bone Matching)”的美国专利申请第16/789,930号中描述了使用X射线确定3D模型的替代技术，上述专利中的每一个的全部内容通过引用并入本文。

对于髋应用，点探针绘制可用于获取诸如髋臼缘和髋臼窝的关键区域的高分辨率数据。这可以使外科医生在开始扩孔之前获得详细的视图。例如，在一个实施例中，点探针可以用于识别髋臼的底部(窝)。如本领域中众所周知，在髋手术中，重要的是确保在扩孔期间不损害髋臼的底部以避免破坏内侧壁。如果内侧壁被无意中破坏，则手术将需要额外的骨移植步骤。考虑到这一点，在手术程序期间，来自点探针的信息可用于为髋臼扩孔器提供操作指导。例如，髋臼扩孔器可以被配置成在外科医生到达底部或以其他方式偏离手术计划时向外科医生提供触觉反馈。替代地，当到达底部时或当扩孔器在阈值距离内时，CASS100可以自动停止扩孔器。

作为额外的保障，可以估计髋臼和内侧壁之间区域的厚度。例如，一旦将髋臼缘和髋臼窝绘制并将其配准到术前3D模型，即可通过比较髋臼表面的位置与内侧壁的位置来容易地估计厚度。使用该知识，在预测在扩孔时任何手术活动通过髋臼壁突出的情况下，CASS100可以提供警报或其他响应。

点探针还可以用于收集将3D模型定向到患者时使用的常见参考点的高分辨率数据。例如，对于像ASIS和耻骨联合之类的骨盆平面标志，外科医生可以使用点探针来绘制骨以代表真实的骨盆平面。已知这些标志的更完整视图，配准软件将具有更多信息来定向3D模型。

点探针还可用于收集描述可用于提高植入物放置的准确性的股骨近端参考点的高分辨率数据。例如，大转子(GT)的尖端与股骨头中心之间的关系通常用作在髋关节置换术期间对准股骨部件的参考点。对准高度取决于GT的正确位置；因此，在一些实施例中，点探针用于绘制GT以提供该区域的高分辨率视图。类似地，在一些实施例中，具有小转子(LT)的高分辨率视图可能是有用的。例如，在髋关节置换术期间，Dorr分类有助于选择将在手术期间最大化实现压入配合的能力的干，从而防止术后股骨部件发生微动并确保最佳的骨长入。如本领域中所理解的，Dorr分类测量LT处的管宽度与LT下方10cm处的管宽度之间的比率。分类的准确性高度取决于相关解剖结构的正确位置。因此，绘制LT以提供该区域的高分辨率视图可能是有利的。

在一些实施例中，点探针用于绘制股骨颈以提供高分辨率数据，允许外科医生更好地理解在哪里制造颈切口。然后导航系统可以在外科医生进行颈切割时引导他们。例如，如本领域中所理解的，通过将一条线放置在股骨柄的中心下方并且将第二条线放置在股骨颈的中心下方来测量股骨颈角度。因此，股骨颈(以及可能还有股骨柄)的高分辨率视图将提供股骨颈角度的更准确的计算。

高分辨率股骨头颈数据也可以用于导航表面重修程序，其中软件/硬件帮助外科医生准备股骨近端并放置股骨部件。如本领域中通常所理解的，在髋表面重修期间，股骨头和颈未被移除；而是修剪头部并用光滑的金属覆盖物盖住。在该情况下，对于外科医生来说，对股骨和帽进行绘制将是有利的，使得可以理解它们各自几何形状的精确评估并将其用于指导股骨部件的修剪和放置。

使用点探针将术前数据配准到患者解剖结构

如上所述，在一些实施例中，在术前阶段期间基于感兴趣的解剖区域的2D或3D图像来开发3D模型。在这样的实施例中，在手术程序之前执行3D模型与手术部位之间的配准。配准的3D模型可用于在术中跟踪和测量患者的解剖结构和手术工具。

在手术程序期间，获取标志以便于将该术前3D模型配准到患者的解剖结构。对于膝手术，这些点可能包括股骨头中心、股骨远端轴点、内侧和外侧上髁、内侧和外侧踝、胫骨近端机械轴点以及胫骨A/P方向。对于髋手术，这些点可能包括髂前上棘(ASIS)、耻骨联合、沿髋臼缘和半球内的点、大转子(GT)和小转子(LT)。

在翻修手术中，外科医生可能绘制包含解剖缺陷的某些区域以便更好地可视化和导航植入物插入。这些缺陷可以基于术前图像的分析来识别。例如，在一个实施例中，将每个术前图像与示出“健康”解剖结构(即，无缺陷)的图像库进行比较。患者图像和健康图像之间的任何重大偏差都可以标记为潜在缺陷。然后，在手术期间，可以通过CASS 100的显示器125上的视觉警报来警告外科医生可能存在的缺陷。然后外科医生可以绘制该区域以向手术计算机150提供有关潜在缺陷的更多详细信息。

在一些实施例中，外科医生可以使用非接触方法来进行骨解剖内切口的配准。例如，在一个实施例中，采用激光扫描进行配准。激光条投射在感兴趣的解剖区域上，并且该区域的高度变化被检测为线的变化。其他非接触式光学方法，例如白光干涉法或超声，也可以替代地用于表面高度测量或对解剖结构进行配准。例如，在配准点和被配准的骨之间存在软组织的地方(例如，髋手术中的ASIS，耻骨联合)，超声技术可能是有益的，从而提供对解剖平面的更精确限定。

如本文所论述，实施例可以允许从2D图像数据创建一个或多个3D模型。2D图像数据可以用比诸如MRI或CT图像的体积图像数据低的成本来获取。应理解，尽管本文中主要使用术语“3D图像数据”，但所述模型可包括CAD、IGES、STL、VRML、DXF、OBJ或类似文件/应用程序类型中的一种或多种。在一些实施例中，如本文所论述的，在解剖模型的细分期间，可能产生极其大的骨形状库(即，比通常用标准非可置换骨形状标准统计形状模型(SSM)技术的数据库可获得的更多)。因此，如本文所论述的，一些实施例可利用半自动化系统。在一些实施例中，半自动化系统可以从用户(例如，提供质量控制的医疗成像专家)接收额外输入，从而利用用户的医疗专业知识来简化系统的计算要求。在一些实施例中，半自动化系统可以不从用户接收任何额外输入。

现在参考图8，示出了与根据2D图像数据创建患者解剖结构的至少一部分的3D模型有关的示例性实施例800。因此，在一些实施例中，系统可接收801捕获患者的骨解剖结构的至少一部分(例如，形成关节或感兴趣区的一个或多个骨或骨区段)的多个2D图像(例如，投影放射照相、平片X射线、锥形束X射线、荧光透视、断层扫描、心脏超声检查、超声波或任何已知或未来2D图像格式)。在一些实施例中，用户(例如，外科医生或医学专家)可以利用图形用户界面(GUI)从本地或远程存储装置上传一个或多个2D图像。GUI可以在各种平台(包括但不限于计算机、平板电脑、智能手机或其它移动装置)上实施，并且可以在各种装置(包括但不限于显示器、耳机、医学图像查看器以及照片存档和通信系统(PACS))上显示。在另外的实施例中，2D图像可以由系统从辅助装置直接或自主地下载，所述辅助装置包括但不限于计算机、移动装置、平板电脑、服务器、远程数据库等。在一些情况下，一个或多个2D图像可以由远程装置传输，并且由系统接收和存储以供将来使用。在其他情况下，系统可以访问远程装置并请求2D图像。此外，除了2D图像之外，还可以接收与其相关联的区分数据。例如，系统可以另外获取包括与2D图像的骨有关的一个或多个特性(例如尺寸、测量值、计算的特性、变形、特征或如本文所述的其它区分信息)的数据。与骨的特性有关的数据可通过来自用户的手动输入、从数据库或通过本领域普通技术人员已知的其它方法与2D图像一起接收。

一旦被接收801，多个2D图像可以被联合配准502以产生修改的和/或合成2D图像(例如，下文讨论的图10A-10C)。在一些实施例中，联合配准过程802可包括对准两个或更多个2D图像以重新创建一个或多个感兴趣解剖特征。如本文所论述的，具体参考图10A-10C，每个所接收的2D图像801的视场的一部分可以与相邻(即，相关联的)2D图像的视场的一部分重叠。因此，在一些实施例中，可以(例如，自主地或通过人员审查)分析这些重叠区域，以使得共同特征能够彼此对准，并且因此可以将多个2D图像“拼接”在一起以形成合成2D图像。在图10A-10C中描绘的实施例中，将多个图像拼接在一起以形成合成的全长腿部X射线图像。在一些示例中，可以由不透射线的纹身或电子测量装置辅助拼接，所述不透射线的纹身或电子测量装置传送在获取X射线图像或其它2D图像时的位置/取向。

在另一实施例中，所述系统可以将由系统获取的区分信息803与图像相关联，所述区分信息包括与2D图像的骨有关的一个或多个特性，例如尺寸、测量值、计算的特性、变形、特征，或如本文所述的其它区分信息。与骨的特性有关的数据可通过来自用户的手动输入、从数据库或通过本领域普通技术人员已知的其它方法与2D图像一起接收。

所述系统可以对合成图像(或各个2D图像中的至少一个)进行标记，并将标志和任何其它已知区分信息与图像相关联。可以通过识别关于患者解剖结构(例如，骨、关节、韧带等)的一个或多个关键点来执行标记过程，以便进一步表征感兴趣区域。标志可以与合成图像和/或各个2D图像相关联，以在如本文进一步描述的过程中用作区分数据。应注意，标记过程是任选的，并且在一些示例中可以不执行。在这些示例中，骨的廓影在2D投影(例如，X射线)上的印记、叠加在X射线上的半透明骨或者模拟的X射线可用作配准标志。

在一些实施例中，关键点可以与一个或多个解剖特征有关，并且/或者与已知部分、解剖特征或标志相关联。例如，在一些实施例中，一个或多个关键点可以指骨解剖结构的部分、韧带附着的位置，和/或大小和方向极值(例如，自适应引导VISIONAIRE系统的点、骨标志、解剖标志、几何拐点等)。在另一实施例中，关键点与特征有关，并且/或者与解剖特征或标志的一部分相关联。在另外的实施例中，关键点可以与细分区段相关联。在另外的实施例中，可以通过使2D图像标志在3D空间的投影射线相对于3D候选骨模型相交来获得关键点。在其它另外的实施例中，将2D或3D实体分成分立区段，使得可以如本文所述个别地操纵表示骨的特定区段或区域。

在另外的实施例中，一个或多个关键点可以与一个或多个特定解剖特征相关联，例如膝关节或髋关节中心、患者髁(例如，外侧和内侧)上的一个或多个后点、前切迹点、上髁(例如，外侧和内侧)、沿着股骨AP轴线的点、中间平面或交点等。在另外的实施例中，关键点可以识别一个或多个手术工具(例如，切割引导件、试验植入物等)相对于一个或多个解剖特征或标志的预期切除位置或预期位置。在一些实施例中，关键点可以位于解剖特征或标志上。在其它实施例中，一个或多个关键点可以位于距一个或多个特征或标志的预定偏移位置处。因此，在一些实施例中，关键点可以与特征、标志或已知位置(例如，在相对于可识别解剖位置的已知矢量处)相关联。因此，应理解，在一些实施例中，选择用于识别的每个关键点或每组关键点可基于患者解剖结构(例如，特定关节)或待执行的程序类型而变化。

一旦联合配准802完成，就可以执行标记过程803。如本文进一步讨论的，在一些实施例中，标记过程803可以(例如，经由GUI)手动执行。在其它实施例中，计算装置可以(例如，基于机器学习、人工智能、人工神经网络等)识别(即，自动标记)一个或多个关键点。在一些实施例中，可以对关键点进行手动调整。在一些实施例中，选择用于识别的一组关键点可以在多个患者的多个程序中一致地且准确地可识别。在一些实施例中，由于标记过程803的一致性和准确性，系统可以计算患者的骨的一个或多个特性。在其它实施例中，可以识别和/或计算骨的各种尺寸和/或变形。例如，关于膝关节，系统可以计算股骨、胫骨和/或整条腿的内翻、外翻和/或弯曲角变形。如所描述的，进一步设想了当计算一个或多个特性时，标记803步骤还可以涵盖以相同方式使由系统获取的任何另外区分数据与2D图像(包括与2D图像的骨有关的一个或多个特性)相关联。例如，关于骨的特性的数据可以通过来自用户的手动输入、从数据库或通过本领域普通技术人员已知的其它方法与2D图像一起接收。

虽然如本文所述的关键点的识别以及骨的特性的计算可能是有益的，但在一些实施例中，可以省略此步骤。由于用户提供的用于对准的视觉辅助，因此生成3D骨模型不需要识别关键点。还有，关键点以及各种特性的计算可以有助于系统更准确地估计骨的特征，并且因此更准确且高效地提供可比较的代表性骨，如下文进一步描述的。在步骤804中，系统为与患者骨解剖结构的关节相关联的每个骨生成定制3D骨模型。

参考图9，示出了用于在图8的步骤804中为患者的关节的骨生成定制3D骨模型的示例性方法900。在一些实施例中，执行方法900的系统可以使用如上文更详细地描述的所获得的和联合配准的2D图像使候选骨与共同或已知坐标系901相符。同样，如上文所解释的，2D图像可以是患者骨的骨解剖结构的不同视图，并且可以包括通过X射线或超声波生成的射线照片，但是也可以在其它示例中使用其它类型的2D图像。

在另一实施例中，可以识别902基本上与患者骨匹配的(例如，来自候选骨的历史3D模型库的)候选骨的3D模型，并将其从一个或多个视图呈现(例如，在显示装置上)，任选地，与叠加在3D模型上的患者骨解剖结构的一个或多个2D图像一起呈现。可以基于骨解剖结构的骨特性、包括与患者相关联的人口统计信息的背景信息，和/或方法900的先前迭代中3D模型或2D图像中的一个或多个的重新定位来识别3D模型。可选地，可以使用计算机自动化(例如，图像处理或分析技术或人工智能(AI)模型的应用)从2D图像自动提取骨特性，但骨特性可以是输入的或手动提取的或以其它方式获得的。骨特性可以与轮廓、表面区域、特征和相关联的位置、变形或患者骨解剖结构的任何其它特征有关。

在一些示例中，系统可以输出交互显示，该交互显示便于选择有助于从库中识别3D模型的输出滤波器。在这些示例中，滤波器中的每一个与骨特性中的一个或背景信息的一部分相关联。另外，在方法900的第二和后续迭代中，3D模型可以基于3D模型或2D图像中的一个或多个的重新定位来识别902，以便改进3D模型或2D图像的对准。在这些示例中，可以基于在重新定位之后骨解剖结构在2D图像中的廓影的部分与第一历史3D模型的2D表示(其也可以是廓影)的比较来识别3D模型。所述比较有利地且高效地解析一个或多个模糊的骨膜投影。系统可以分析骨解剖结构的廓影或其它轮廓或外形以及关于重新定位以选择与骨解剖结构更紧密匹配的后续3D模型的信息。

因此，在一些实施例中，与候选骨相关联的模板3D骨模型可以是默认用于初始比较的理想化骨或优选骨。在其它实施例中，模板3D骨模型可以是选自代表性骨的库的初始代表性骨，如本文所论述的。在一些情况下，基于任何和/或所有已知数据(例如，基于2D图像、从患者收集的人口统计数据、历史医学图像等的关键点、标志、轴线、解剖结构大小、取向、角度等)选择代表性骨以与候选骨紧密匹配。

接着，例如通过重新缩放、竖直或水平平移或重新定向患者的骨的2D图像以改善与3D模型的对准来重新定位903对应于候选骨的所识别的3D骨模型。替代地，3D骨模型可以相对于2D图像重新定位、缩放和/或重新定向以实现相同结果。有助于改进对准的比较可以总体地或以开放壳表面(open shell surface)基于2D图像。开放壳表面可以包括例如线框，模拟的反向投影表示(例如，以类似于CT图像)，经解释的像素灰度值或轮廓线，或一个或多个得到的标志、轴线、线或轮廓，但也可使用其它类型的表面。另外，骨表面可以由患者的骨解剖结构的可见部分或患者的骨解剖结构的形状表示，而在2D图像中不表示软组织，并且其它类型的表示也可以用于其它示例中。

在步骤904中，系统确定3D模型是否满足关于2D图像的阈值准确度和3D模型中反映的骨解剖结构的表示的质量。该确定可以基于2D图像中的骨的廓影的手动输入或自动分析或者任何其他自动比较以及建立或定义的阈值。如果不满足阈值准确度，则否(No)分支回到步骤902，并且在后续迭代中重复步骤902-904。在后续迭代中，系统使用关于重新定位的信息以改进识别并呈现相关联的3D模型的候选骨的选择。

基于如本文所述的重新定位903，系统能够识别各种所识别的关键点1011相对于模板3D骨模型的已知关键点的位置。如图16中所示，系统可以呈现符合相似度阈值的一组潜在代表性骨(即，一个或多个代表性骨1610)，用户和/或AI系统可以从该组潜在代表性骨选择代表性骨。在一些实施例中，这可能由于用户和/或AI系统确定潜在代表性骨与2D图像在可接受程度上不匹配而发生。该组潜在代表性骨可以以本文所述的相同方式与初始的一组代表性骨(即，库中的相邻骨)有关，并且可以以本文所述的相同方式(即，通过对相似度的量值进行排序)排列或呈现。在一些实施例中，用户和/或AI系统可以选择返回到前一组潜在代表性骨。此过程可以迭代地继续，直到识别出可接受的结果。

因此，重新定位可以基于对准信息和本文讨论的各种因素中的任一种产生更新的结果(即，一组新的所识别的潜在代表性骨)。用户和/或AI系统可以审查该组新的所识别的潜在代表性骨(例如，如图16中所示)并选择新的代表性骨或候选骨。此外，用户和/或AI系统可以选择返回到重新定位步骤903。替代地，在审查时，用户和/或AI系统可以选择继续初始代表性骨。在其它实施例中，AI系统可以提示用户执行所描述的动作中的任一个。然而，如果在步骤904中满足阈值准确度，则是(Yes)分支进行到步骤905。

然后，3D骨模型可以通过改变一个或多个轮廓或表面或接触区域来修改905，以与患者的骨解剖结构更紧密地匹配。在完成表面区域修改后，所得3D模型基本上对应于骨解剖结构。因此，该技术有利地以更有效且更高效的方式根据2D图像生成3D模型。例如，所生成的3D模型可用于促进数字模板化以确定植入物大小或建立用于手术规划或术后评估的临床标志。在其它示例中，所生成的3D模型可用于生成或修改手术计划，或限定与患者的骨解剖结构相关联的机器人手术的手术体积。在另外其它示例中，所生成的3D模型可用于产生患者特定的切口或针引导件、抓握旋量-空间触点或用于切口或针引导件的视觉参考，并且3D骨模型还可以其它方式用于其它示例中。

在一些实施例中，对于与患者的关节相关联的每个骨，系统可以重复过程900的每个步骤。例如，在膝关节的非限制性示例中，可以针对股骨和胫骨两者单独地执行过程900。另外或替代地，在髋关节的情况下，可以针对股骨和髋臼两者单独地执行过程900。对于其它关节，可以在单独的步骤中通过过程900对每个感兴趣骨进行建模。还设想了可以在单个过程中同时对多于一个骨进行建模。设想了，对于每个候选骨，可以使用一组不同的关键点来计算特性以及参考历史骨数据和与历史骨数据进行比较。在另一实施例中，可以加速该过程以用于额外骨。在第一骨的过程900期间，一旦从库中选择了代表性3D骨模型，也可以呈现来自相同历史记录(即，相同历史患者)的关节的对应额外骨的一个或多个3D骨模型，使得可以跳过或简化步骤902以用于后续骨。对于每个3D骨模型，仍可以单独地执行对尺度和取向的调整以及对轮廓或表面区域的修改。

返回参考图8，可以通过产生关节805的定制三维模型来完成过程800。在根据方法900生成定制3D骨模型中的每一个之后，可以将它们组合805以产生关节的定制三维模型。由于在整个此过程中已定义和调整每个关节的各种轴线，因此每个3D骨模型的对准可以是已知的，使得它们可以相对于彼此自动定向。在一些示例中，可以针对患者的关节识别对应于与不同患者相关联的多个候选骨的多个历史3D骨模型。

关节的三维模型随后可以由系统打包并传输到各个位置和系统。作为非限制性示例，关节的三维模型可以传输到患者记录数据库、临床研究数据库、手术规划系统、植入物规划或制造系统、引导件规划或制造系统、工具规划或制造系统和/或训练系统。此外，历史骨图像数据库可以包括关于从其中衍生代表性骨的历史骨和/或与其相关联的历史患者的额外信息。在一些实施例中，代表性骨可以与外科医生的注释或指示相关联。注释或指示可以包括疾病诊断，例如对指示疾病原因(例如，指示骨变形由创伤或骨关节炎引起)的历史骨周围的软组织和/或骨刺的评估。注释或指示可以另外或替代地包括与历史骨有关的治疗计划信息。例如，外科医生可以指示变形的程度，并且其中该变形未得到全面治疗(例如，由于软组织可能不能充分适应此类治疗，因此可能无法治疗极端变形)，注释也可以指示治疗的程度。作为另一示例，注释或指示可以描述对用于最大化运动范围的股骨头植入物大小的选择。作为额外示例，注释或指示可包括使用2D或3D数字模板软件的计划的骨校正。在另一实施例中，代表性骨可以与植入物信息相关联。植入物信息可以是具体植入物的描述(例如，大小)或者患者或骨制备的描述(例如，切割平面、扩孔表面、针或板的位置)。植入物信息还可以指示额外工具、引导件或部件在手术或患者的手术史中的使用。例如，植入物信息可以指示哪些增强件、楔形件、柄、创伤板、螺钉等曾用于历史患者。本文所述的任何附加信息可以预测植入物、附加部件或最适合当前患者的行动方案。在另一实施例中，代表性骨可以与手术计划或手术结果数据、植入物设计数据等相关联。应注意，本文所述的附加信息的实施例旨在为非限制性示例。此附加信息可以与关节的三维模型一起中继到外部位置和系统。由于患者的关节与代表性骨的相似度，附加信息不仅可以具有信息性并有助于医疗专业人员的未来决策，而且可以甚至进一步帮助与手术程序相关的规划。在某些情况下，附加信息可以完全减轻规划或制造过程的一个或多个步骤。

设想了，在不停止或中断所述过程的情况下，可以忽略本文所述的过程800、900的一些步骤。例如，联合配准步骤802可以预先执行或完全忽略，例如，所述过程可以继续利用单个短片2D x射线图像1005代替合成2D图像1010。作为另一示例，可以在不停止所述过程的情况下忽略标记步骤803。然而，应注意，标记步骤803的包括向系统(即，关键点1011)提供进一步的信息，以用于识别潜在代表性骨。作为另一示例，修改步骤905可以在稍后单独执行，或完全忽略。在一些实施例中，3D骨模型可以不经过进一步修改而充分代表候选骨。在其它实施例中，可以在不执行步骤905的情况下完成所得的关节的3D模型。3D模型可以被打包并传递到另一系统，在此系统中可能发生此类修改。

还设想了本文所述的过程800、900中的任一步骤可以由计算装置执行。通过机器学习，计算装置可能能够在没有用户干预的情况下执行若干步骤。例如，计算装置可能能够通过自动识别共同特征并相应地对准2D图像来联合配准多个2D图像。在一些实施例中，计算装置可以自动识别关键点(即，自动标记)。例如，利用机器学习的计算装置可能能够更一致地且更准确地识别关键点。甚至更进一步的，计算装置能够识别的关键点的数目可能比可行地手动识别的数目更多(例如，由于时间约束、缺乏一致性、缺乏准确性等)。此额外标记过程可使得更准确地生成3D骨模型。在另外的实施例中，系统可以自动对准候选骨并定向代表性骨的视图。设想了本文所述的所有步骤的自动化。另外，在并入一个或多个自动化步骤的实施例中，用户还可以选择对由系统完成的步骤进行调整。用户可能希望修改自动识别的关键点的位置，调整多个2D图像的对准等。

本文所述的过程并不旨在限于所描述的特定实施例，所述特定实施例旨在作为各种特征的图示。在不脱离本领域技术人员显然明白的精神和范围的情况下，可以对该过程进行许多修改和变型。例如，虽然本文所述的过程的各个步骤可包括重新定位、缩放、定向、旋转或以其它方式修改2D图像以更好地匹配额外视觉表示(例如，额外2D图像、3D模型、模板等)，但设想了可替代地以对应方式修改额外视觉表示以更好地匹配2D图像。此外，尽管本文所述的过程的各个步骤可包括比较、标记、对准、定向、调整或以其它方式修改合成2D图像，但设想了可以针对一个或多个单独的2D图像或包括合成2D图像的一部分的2D图像进行修改。

现在参考图10A，多个所接收的2D图像(即1005A、1005B和1005C)的示意性示例示出为射线照片“x射线”图像。然而，如所论述的，设想了各种形式的2D图像。在另外的实施例中，2D图像可包括荧光透视图像、投影射线照片、2D计算机断层扫描图像、2D心电图图像、超声波图像等。多个2D图像中的每一个可以提供患者身体的区域的一个或多个截面视场，使得总之，多个2D图像捕获形成感兴趣解剖结构(例如，关节)的骨的全部。

作为非限制性示例，当膝关节是感兴趣解剖结构时，多个2D图像可包括捕获患者股骨的上部的第一图像1005A、捕获股骨的下部和胫骨的上部的第二图像1005B，以及捕获胫骨的下部的第三图像1005C。此外，虽然单个视图可能足够，但可以提供多个骨的额外视图。在一些实施例中，例如，可以从前-后(AP)视图和/或内-外(ML)视图提供股骨和/或胫骨的图像。因此，针对所示2D图像中的每一个，实施例可具有来自第二视图的对应2D图像。在其它实施例中，仅来自第一视图的2D图像中的一些可以具有来自第二视图的对应2D图像。

在一些实施例中，如图10A-C中所示，2D图像的对准可能需要重新定位、旋转和/或缩放每个2D图像以与其他图像对准。如所描绘的，合成图像1010还可被裁剪以分离关节的骨。在一些实施例中，联合配准可以经由对准工具1001(例如，移动、旋转、缩放等)通过用户界面手动地执行。在另一实施例中，联合配准可以由识别一个或多个解剖特征的计算装置执行。在一些实施例中，用户可以对计算机生成的联合配准进行手动调整。

在一些实施例中，并且如图10C中所示，合成图像1010可用于确定骨大小、骨对准、骨变形、机械轴线、关节线等。在一些实施例中，并且如图所示，可以(例如，手动或自主)识别一个或多个关键点1011。作为非限制性示例，在手动选择关键点的实施例中，用户可以选择测量工具/引导件1002以使得能够选择这些点，并且选择使一个或多个点与一个或多个其它点相关联(例如，以创建轴线(例如，机械轴线或解剖轴线)、最佳拟合曲线等)的能力。在其它实施例中，计算装置可以(例如，基于机器学习、人工智能、人工神经网络等)识别(即，自动分段和/或自动标记)一个或多个关键点1011。用户可以对自动识别的关键点进行手动调整。在一些实施例中，该组关键点是计算预先确定的骨的一组特性所需的预定组。例如，系统和/或用户可以识别股骨头的中心、一个或多个关节表面、一个或多个髁骨、髁间窝、轴的中心、沿着轴的轴线的一个或多个额外点等。系统可计算患者的骨的一个或多个特性，例如骨大小、骨长度、解剖轴线、机械轴线等。系统还可以识别骨的变形和/或计算变形程度。例如，可以计算股骨、胫骨和/或整条腿的内翻、外翻和/或弯曲角变形。另外，可以收集周围软组织的测量值，以与患者性别相关，或区分由于肥胖与其它类型的退行性骨关节炎引起的变形。在一些示例中，此类测量值可基于X射线灰度值与周围空气的灰度值的比较。

现在参考图11A和11B，患者的骨可以符合共同的或已知的坐标系(即，图9的901处)。例如，如图11A中可见，可以将候选骨的2D图像1105(即，合成图像1010、其一部分，或多个2D图像1005A-1005C中的一个)与模板骨1115比较(例如，覆盖)并对准，以便将候选骨置于预定取向。相对于共同坐标系(例如，基于关键点的坐标系)具有已知位置、取向和缩放的模板骨1115提供候选骨可以对准的表示。在一些实施例中，模板骨1115可以是默认用于初始比较的理想化骨或优选骨。在其它实施例中，模板骨1115可以是选自代表性骨库的初始代表性骨，如本文进一步讨论的。在一些情况下，基于任何和/或所有已知数据(基于2D图像、从患者收集的人口统计数据、历史医学图像等的关键点、标志、轴线、解剖结构大小、取向、角度等)来选择代表性骨以与候选骨紧密匹配。2D图像1105的对准可包括重新定位、旋转和/或缩放2D图像1105以与模板骨1115基本上匹配和对准，如图11B中所示，使得2D图像1105的候选骨被置于预定取向。替代地，模板骨1115可以被重新定位、旋转和/或缩放以与2D图像1105匹配和对准，从而实现相同的结果。如本文所论述的，2D图像的对准可以由用户和/或软件(例如，基于图像分析、人工智能系统或其它基于神经网络的系统)执行。

基于2D图像1105相对于模板1115(即，图9的901处)的重新定位、旋转和/或缩放，系统可以识别各个所识别的关键点1011相对于模板1115的已知关键点的位置。因此，在一些实施例中，系统可以利用任何和/或所有可用患者数据(如关于模板骨1115简要描述的)识别一个或多个潜在代表性骨，以与患者骨进行比较。可以从代表性骨库(例如，历史骨图像数据库)中识别潜在代表性骨。作为非限制性示例，系统可以利用一个或多个关键点(及其相对于彼此和/或模板1115的对应关键点的位置)和/或患者骨的任何计算的特性(包括但不限于骨尺寸、骨变形、骨厚度、机械轴线和解剖轴线)来识别历史骨图像数据中的实质性匹配。在一些实施例中，系统还可以收集各种生物测定和人口统计数据，例如年龄、身高、体重、种族、活动水平、先前损伤和医疗数据等，其可以与历史骨图像数据交叉参考。应理解，代表性骨可仅大致等同于患者的解剖结构。

在一些实施例中，当用户和/或AI系统对准2D图像时，可以确定模板1115和2D图像1105在形状、大小、位置、旋转等方面具有足够的差异，使得需要进一步对准。例如，当用户将2D图像1105与模板1115对准时，进一步的不一致可能变得明显，从而提示用户进一步定位、旋转和/或缩放2D图像以更适当地匹配模板1115。在一些实施例中，可以迭代地执行关于图11A-11B描述的过程。

使用本文所论述的迭代更新对准过程可以基于骨尺寸、计算的特性、关键点1011相对于彼此的位置、模板1115的关键点以及本文所论述的各种因素中的任一个的任何改变而产生一个或多个更新的结果/选项(即，新的一组所识别的潜在代表性骨和/或经修改或更新的模板)。在一些实施例中，用户和/或AI系统可以选择返回到前一组潜在代表性骨。此过程可以迭代地继续，直到识别出可接受的结果。

在一些实施例中，新的一组潜在代表性骨可以全部或部分包括初始组的潜在代表性骨。此外，在一些实施例中，新的一组潜在代表性骨可以全部或部分是初始的一组潜在代表性骨(基于共同坐标系)的“邻居”，即，基于关键点和如本文所述的所有其他可用数据在库中识别为表现出与初始的一组潜在代表性骨具有实质相似性的骨。在一些实施例中，可以通过相似度的量值来量化库中的骨的相似性，使得潜在代表性骨可以彼此相似的排序顺序排列和/或呈现。

库可包括来自多个患者的历史骨图像数据。例如，库可包括跨多个医院和位置从多个医生接收的骨图像数据。可以各种方式处理历史骨图像数据以允许与候选骨的2D图像进行更准确的比较。例如，在一些实施例中，历史骨图像数据可以包括可以被直接呈现(例如1210A、1220A、1230A和1240A)以与患者骨的2D图像1105进行比较的2D图像。在替代实施例中，库可包括至少一个3D图像、3D图像数据、3D实体或表示骨的其它3D数据，而没有对应的2D图像数据。例如，在一些情况下，患者的解剖结构的历史3D表示(例如，MRI或CT)可以包括在库中，而没有对应的2D图像(例如，当患者仅经历3D医学成像时)。在此类情况下，实施例可利用转换模块，该转换模块可将3D图像数据转换成2D图像的表示或在视觉上类似于标准或现有2D图像样式(例如，x射线)的2D图像的重建。

在另一实施例中，库中的代表性骨或候选骨可以符合共同坐标系或与其对准(即，具有预定取向、角度和/或视图)，使得代表性骨具有已知的初始取向、角度和/或视图。在一些实施例中，代表性骨的初始取向/角度符合预定视图。预定视图可以是标准成像视图，例如临床场景中常用的视图或根据教科书说明的视图。通过关于解剖和/或临床环境(例如，x射线台或x射线盒)以临床医生通常可以对患者进行定向的相同方式定向视图，可以最初向用户呈现类似于临床场景且因此为具有医学成像经验的个体所熟悉的视图。因此，用户可能能够例如通过从通常在临床环境中出现的相同视角识别骨的特征或标志来更好地评估潜在代表性骨。在一些实施例中，预定视图可对应于患者的特定姿态，所述特定姿态在临床环境中是常见的，例如，仰卧位、站立位或坐位。在另外的实施例中，预定视图可以是不同地显示一个或多个解剖特征或标志以允许清晰可视化和比较的视图。

现在参考图12A-12C，示出了对图9的步骤902进行说明的实施例，其中审查代表性骨的多个视图以选择与2D图像1105的患者骨的最佳匹配。在一些实施例中，代表性骨可以由用户和/或AI系统基于对该组潜在代表性骨的审查来选择。例如，如图16中所示，系统呈现符合相似度阈值的一组潜在代表性骨(即，一个或多个代表性骨1610)，用户和/或AI系统可以从该组潜在代表性骨选择代表性骨。在一些实施例中，除了一个或多个代表性骨1610之外，系统还呈现患者的候选骨的2D图像1605(例如2D图像1105)以便于比较，使得用户可以通过比较从中选择代表性骨。在其它实施例中，可以由系统基于与2D图像1105的相似度的量化量值从一组潜在代表性骨选择代表性骨(例如，展现相似度的最大量值的代表性骨)。如图12A中可见，代表性骨可以从多个视图(例如，1210A、1220A、1230A和1240A)呈现，以便最小化或消除在从单个2D视图观察代表性骨时可能呈现的模糊性。具体就使用AI而言，一些示例中的AI系统用于预测视图偏离理想化前-后或内-外视图或另一标准视图的量。通过使用正确定向的骨，将相对高效地缩放和定位骨。

如图12A-12C中展示的，可以关于代表性骨的一个或多个所呈现的视图(例如，1210A-C、1220A-C、1230A-C和1240A-C)分析(即，患者骨的)2D图像1105以识别适当匹配的视图。这样，用户和/或自动化软件可以直接比较骨的对应解剖特征、关键点或标志。例如，可以在患者的代表性骨和2D图像上比较髁的大小、形状和位置。虽然视图1210A-C、1220A-C、1230A-C和1240A-C与2D图像1105的候选骨对准到共同坐标系，但图像可能需要就其旋转角1250和/或尾角1260进一步定向或细化。例如，比较从不同视点显示的解剖特征、关键点或标志以便消除2D视图中的模糊性可能是有用的。因此，在一些实施例中，用户和/或自动化软件可能能够调整视图的旋转角1250和/或尾角1260(例如，单独地或一致地调整1210A-C、1220A-C、1230A-C和1240A-C)，以便识别和确定视图与2D图像的候选骨之间的更好的可能匹配。

图12D中示出了2D视图的非限制性图示。因此，如图所示，第一列(即，1210A、1220A、1230A和1240A)表示没有调整(即，如图12A中所示)的四个视图中的每一个。第二列(即，1210B、1220B、1230B和1240B)表示对旋转角进行五度(5°)调整的四个视图中的每一个。如图12B中所示，视图1210、1220已在第一方向上从其原始取向(如图12A中所见的1210A和1220A)旋转地调整5°，而视图1230、1240已在相反方向上从其原始取向旋转地调整5°。最后，第三列(即，1210C、1220C、1230C和1240C)表示对旋转角进行五度(5°)调整且对尾角进行五度(5°)调整的四个潜在视图中的每一个。如图12C中所示，视图1210、1230已在第一方向上从其原始取向(如图12A中所见的1210A和1230A)向尾部调整5°，而视图1220、1240已在相反方向上从其原始取向向尾部调整5°。因此，呈现了代表性骨的四个独特视图(如图12C中所示)。

因此，如图12D中所示，可通过调整视图来实现2D视图中的至少一个与2D图像1105的更紧密匹配。虽然大小和形状相似的骨的呈现可以提供用于选择适当匹配的代表性骨和/或视图的充分比较，但是在2D比较中仍可能存在模糊性。例如，如1230A中所示，描绘了小阴影区1230A-1。在一些实施例中，阴影区可能太小而无法辨别其代表的是软组织还是髁的边缘。因此，在一些实施例中，可以旋转视图以更好地确定所描绘的解剖结构。如本文所论述的，确定应改变取向/角可以由用户和/或软件(例如，基于图像分析、人工智能系统或其它基于神经网络的系统)做出。因此，如图所示，1230B是2D表示，其中1230A中所示的视图已旋转五度(5°)。如1230B中所示，阴影区1230B-1比阴影区1230A-1大得多。这是因为在此特定示例中，两个髁(即，内侧髁和外侧髁)在2D图像中彼此重叠。因此，当旋转骨时，髁的对准被移位以允许更好的观察。

在另一实施例中，如参考图12C所论述的，可以进一步修改2D视图(例如，可以调整尾角)以进一步增加或增强解剖结构的2D视图。因此，如图所示，可以通过增加五度旋转并将尾角调整五度1230C来修改原始视图1230A。因此，基于这种修改，可以清楚地看到，可以通过对潜在代表性骨的微小调整来增强或更好地观察1230C-1小的难以辨别的阴影1230A-1。如还示出的，可能存在这些视觉增强的额外示例(例如，1240A-1、1240B-1和1240C-1)。

应注意，图12A-12D的图示旨在为非限制性示例。因此，虽然图12A-12D描绘了被调整5°的旋转角和尾角，旋转角和/或尾角可以被调整高达10°、高达15°或大于15°。此外，本文设想了所有可能的增量。旋转角和/或尾角可以较小增量(例如，一度或一度的一小部分)或较大增量(例如，10°或更大)调整。在一些实施例中，可以选择增量，其实施角度的可展示且临床相关的变化，同时仍提供将视图与患者骨的2D图像精确匹配所需的粒度水平。另外，尽管本文以度为单位论述了旋转角和尾角的调整，但可以其它增量单位调整角。一个或多个非限制性示例可包括按角的百分比、弧长、任意或最佳拟合、单位等进行调整。

如本文所论述的，1250A是原始取向上的潜在代表性骨。应理解，尽管初始视图被描绘为是相同的，但潜在代表性骨的初始视图可变化。在一些实施例中，可以适应任何原始取向/角度，只要它们是系统已知的或由系统限定的。多个不同的初始视图可以允许与2D图像1105更快且更清晰地比较。

在一些实施例中，当用户和/或AI系统将视图定向到2D图像1105时，可以确定视图和2D图像1105在旋转角和/或尾角上具有足够差异，使得需要进一步对准。例如，当用户对视图1210/1220/1250/1240进行定向以匹配2D图像1105时，进一步的不一致可能变得明显，从而提示用户对视图进行进一步定向。在一些实施例中，用户和/或AI系统可以选择返回到该组潜在代表性骨(例如，如图16中所示)，并且选择新的代表性骨。

可以迭代地执行参考图12A-12D描述的过程。在另一实施例中，当用户对视图1210/1220/1250/1240进行定向以匹配2D图像1105时，系统可以利用视图的取向作为指示2D图像1105中存在的取向(即，旋转角和尾角)。取向信息可以基于取向信息和本文论述的各种因素中的任一个产生更新的结果(即，新的一组所识别的潜在代表性骨)。用户和/或AI系统可以审查新的一组所识别的潜在代表性骨(例如，如图16中所示)并选择新的代表性骨。因此，用户和/或AI系统可以返回到具有新的代表性骨的定向步骤。此外，用户和/或AI系统可以选择返回到对准步骤901。替代地，在审查时，用户和/或AI系统可以选择继续初始代表性骨。在其它实施例中，AI系统可以提示用户执行所描述的动作中的任一个。所述过程可以迭代地继续，直到可以识别出符合或超过相似度阈值的代表性骨的2D视图(即，理想视图)。在一些实施例中，如果不能找到符合阈值的代表性骨和/或对应视图，则用户或AI系统可以减少或修改与阈值相关联的各种因素，直到找到代表性骨的合适视图。

图13A和13B提供了关于调整3D骨模型(即，对应于所选代表性骨的3D骨模型)的步骤903的非限制性示例。如图13A中所示，基于所选理想视图，3D骨模型1325覆盖在2D图像1305(例如，2D图像1005A-1005C)中的一个或多个上。在一些实施例中，可以单独地选择2D图像中的一个(例如，AP股骨、AP胫骨、侧胫骨、侧股骨等)以进行直接比较，如图13B中所示，其中可以进一步重新定位、重新缩放和/或重新定向2D图像以较大程度地匹配3D骨模型。替代地，可以进一步重新定位、重新缩放和/或重新定向3D骨模型以较大程度地匹配2D图像，从而实现相同的相对位置、取向和缩放。可以对一个或多个额外2D图像重复此过程，使得3D模型被进一步调整为最佳拟合。在另一实施例中，所选2D图像1305可以沿着锁定平面(例如，在A至P、P至A、L至M，或M至L中)沿着单个轴线移动，以便确认和/或评估各点处的3D骨。

现在参考图14，示出了与修改3D骨模型905的步骤相关联的所示实施例。如图14中所示，代表性3D骨模型1425与2D图像1405(例如，2D图像1005A-1005C)之间可持续存在一些不一致性。因此，在一些实施例中，可以通过调整3D骨模型上的一个或多个点1430来改变3D骨模型的一个或多个轮廓。这些改变可以依赖于骨图像数据(未示出)的库。因此，在一些实施例中，如果特定点对应于(例如，来自库的)已知3D骨模型的轮廓，则3D骨模型的轮廓可以仅可调整到该特定点。

例如，当选择3D骨模型上的点1430进行调整时，系统可以访问和/或创建基于接近度的点云，该点云确定在库中的多个3D骨模型中的对应点的任何和所有潜在位置。当在给定方向(例如，上、下、左、右等)上调整所选点1430时，它可以“卡合”到点云内的相邻位置。因此，由于所选点1430的新位置对应于存储在库中的至少一个3D图像上的现有点，因此利用来自其的数据调整3D骨模型的轮廓以考虑所选点1430的新位置。在用户手动修改3D骨模型的一个或多个轮廓的实施例中，系统可以提供视觉辅助。例如，当调整所选点1430时，可以实时地向用户显示从所选点1430的即时位置产生的新轮廓。可以通过将所得的切口或额外骨质量叠加在3D骨模型上来图示新轮廓(例如，显示为模仿骨的外观、3D模型或模拟x射线的不透明或半透明特征)。虽然图14中展示了分立的一组点1430，但这仅为说明性的。设想了可以根据对应点云选择和重新定位沿着3D骨模型的外围的任何点。一旦完成所有轮廓修改，结果是表示患者的候选骨的定制3D模型。

本文所述的表示3D骨模型的方式旨在为示例性和非限制性的。3D骨模型可以替代地以多种方式中的任一种表示，以用于修改轮廓或区域的目的。例如，3D骨模型可以表示为来自库的对应x射线数据的接合碎片或区段，使得各个碎片或区段可以被重新定位以匹配2D图像1405。

在另一实施例中，3D骨模型可以基于统计形状(即，统计形状模型)。除了整体缩放或以其它方式调整3D骨模型之外，可以缩放或调整单个统计形状以便修改3D骨模型的分立部分或区域以更好地匹配2D图像1405。例如，在一些实施例中，2D图像的特定髁的尺寸可能与3D骨模型的尺寸不匹配，而骨的其它特征以高准确度匹配。在这种情况下，对应于髁的3D骨模型的一个或多个单个统计形状可以整体缩放以更好地匹配2D图像的髁。在另一实施例中，变形可以被所选3D骨模型错误呈现或根本不呈现(例如，库可以包含极少表示罕见变形的数据)。在这种情况下，对应于包括变形的区域的3D骨模型的一个或多个单个统计形状可以被缩放和/或调整以更好地呈现变形并且更好地匹配2D图像。

应注意，所得的候选骨的定制3D模型相对于候选骨的一些特征可能比其它特征准确程度更大。在一些实施例中，在定制3D模型以已知目的产生的情况下，骨的特定特征或区域对定制3D模型的效用可能更重要，而其它特征或区域不太重要或完全不相关。例如，当产生定制3D模型以进一步用于设计和制造定制切割引导件时，切割引导件将抵靠骨安放并接触骨的骨的特定表面和区域对于确保与骨的适当配合和定向至关重要。然而，其它区域在使用中可能不接触切割引导件，并且除了确保这些区域不干扰切割引导件的配合和安放之外，可能与设计切割引导件不相关。换句话说，虽然MRI 3D骨表示所有表面，但仅骨的一部分可用于特定应用。例如，急症护理和修复应用可能无权接近关节空间，但周围的骨可用于预测关节空间或待校正的骨形状的其它方面。

因此，在一些实施例中，用户和/或AI系统可以集中于实现2D图像与定制3D模型之间关于感兴趣特征、表面和区域的高度相似性。其他特征、表面和区域可具有较低的相似度阈值，其可以以各种方式(例如，定制3D模型的表面中的间隙或裂口、具有指示误差裕度的通用或近似表面形状)在定制3D模型中实施，使得利用定制3D模型的系统可以考虑这些不确定性。例如，可以产生限制与任何不确定表面或区域的接触的切割引导件，以便防止切割引导件抵靠骨的不当或不明确的放置。

此外，尽管本文概述的过程已相对于膝关节示出，但设想了可以执行所述程序以产生各种其它类型的关节的定制三维模型，所述其它类型的关节包括但不限于髋、肩、脊柱和诸如手腕和踝部的四肢。例如，图15A-15D展示了在髋臼股骨关节(即，髋关节)上执行的过程800和900的各个步骤。可能需要髋关节的定制三维模型来规划全髋关节成形术或全髋关节修复成形术。图15A和15B在髋关节的2D图像上展示了联合配准802和标记803步骤。图15C和15D展示了使候选骨与共同坐标系相符的步骤901。

此外，如本文所论述的，虽然单个视图可能足够，但可提供提供多个骨的额外视图的额外2D图像。图15A和15C展示了髋关节的AP视图的使用，而15B和15D描绘了髋关节的ML视图的使用。每个视图的图像可以联合配准、标记，并且用于产生定制3D骨模型。如本领域的普通技术人员将显而易见的，所提供的视图可基于各种因素，包括但不限于关节类型、预期的程序类型、可用性和辐射暴露而变化。例如，在髋关节的情况下，可以利用每个骨的多个视图。在一些实施例中，可利用骨盆的AP视图和骨盆的侧视图。在一些实施例中，AP视图可以是低骨盆视图。此外，倾斜视图也可以代替视图中的一个。另外，可利用股骨的AP视图和蛙式(Lauenstein)视图(即，蛙腿)。此外，来自相同视图(例如，来自关节的一侧的AP视图和来自关节的相对侧的AP视图)的多个图像可以一起使用。在一些情况下，各视图可以限于一个髋臼股骨关节，与骨盆的两个髋臼股骨关节相对。在一些情况下，可以在单个2D图像中捕获特定视图(例如，骨盆的AP视图和股骨的AP视图)处的一个或多个骨。所描述的实施例旨在为非限制性示例，并且设想了所述系统可与任何2D视图或2D视图的组合一起使用。由于患者成像的变化，可以提供各种类型的图像和各种视图，并且因此所述系统被设计成利用任何此类2D图像。

虽然本文的各过程被描述和示出为利用多个2D图像，但在一些实施例中，可以仅提供患者的单个视图的单个2D图像。例如，所述系统可识别2D图像的关键点和特征，通过历史骨图像数据的库交叉参考所述关键点和特征以识别基本相似的历史骨图像数据。在一些实施例中，库包含对应于所识别的历史骨图像数据的3D模型和/或额外2D视图，其可用于合成患者的单个2D图像的备用视图。单个2D图像可以与合成的备用视图一起使用以产生关节的定制3D模型，如本文另外描述的。

如本文所论述的，选择用于识别的一组关键点将基于关节类型而变化。如图15A中所示，例如，髋关节的关键点可包括股骨头的中心(例如，近似为球体)、骨盆泪滴、坐骨点和/或转子。髋关节的关键点的其它非限制性示例是髂嵴、髂前上棘(ASIS)、髌骨点、坐骨最低点、大转子、小转子、髋臼、鞍点、髋臼顶、闭孔、骨联合、骶骨、骶尾关节和股骨干。此外，除了关键点之外，所述系统还可以利用本文所述的任何两个关键点之间的线。在一些实施例中，可利用骨盆的相对侧上的对应特征之间的线，例如股骨头之间的线、坐骨间线、转子间线或泪滴线。对于其它的关节类型，不同的关键点和线对于进行标记可能是有意义的，如本领域的普通技术人员已知的。另外，可以针对不同的关节类型执行不同的计算。例如，在如图15B中所见的髋关节的情况下，计算可包括骨盆倾斜、变形和股骨移位，以及其它测量。

图17示出了可以在其中实施示例性实施例的各方面的示例性数据处理系统1700的框图。数据处理系统1700是计算机的示例，例如服务器或客户端，实现本发明的示例性实施例的过程的计算机可用代码或指令位于其中。在一些实施例中，数据处理系统1700可以是服务器计算装置。例如，数据处理系统1700可以在可操作地连接到如上所述的手术系统100的服务器或另一类似计算装置中实施。数据处理系统1700可以被配置成例如传输和接收与患者有关的信息和/或与手术系统100相关的手术计划。

在所描绘的示例中，数据处理系统1700可以采用集线器架构，所述集线器架构包括北桥和存储器控制器集线器(NB/MCH)1701以及南桥和输入/输出(I/O)控制器集线器(SB/ICH)1702。处理单元1703、主存储器1704和图形处理器1705可以连接到NB/MCH 1701。图形处理器1705可以通过例如加速图形端口(AGP)连接到NB/MCH 1701。

在所描绘的示例中，网络适配器1706连接到SB/ICH 1702。音频适配器1707、键盘和鼠标适配器1708、调制解调器1709、只读存储器(ROM)1710、硬盘驱动器(HDD)1711、光学驱动器(例如，CD或DVD)1712、通用串行总线(USB)端口和其他通信端口1713，以及PCI/PCIe装置1714可通过总线系统1716连接到SB/ICH 1702。PCI/PCIe装置1714可以包括以太网适配器、附加卡和笔记本电脑的PC卡。ROM 1710可以是例如闪存基本输入/输出系统(BIOS)。HDD 1711和光学驱动器1712可以使用集成驱动器电子器件(IDE)或串行高级技术附件(SATA)接口。超级I/O(SIO)装置1715可以连接到SB/ICH 1702。

操作系统可以在处理单元1703上运行。操作系统可以协调并提供对数据处理系统1700内的各种部件的控制。作为客户端，操作系统可以是可商购的操作系统。诸如JavaTM编程系统的面向对象的编程系统可以与操作系统一起运行，并从面向对象的程序或在数据处理系统1700上执行的应用程序向操作系统提供调用。作为服务器，数据处理系统1700可以是运行高级交互式Executive操作系统或Linux操作系统的

eServerTM

数据处理系统1700可以是对称多处理器(SMP)系统，其可以在处理单元1703中包括多个处理器。替代地，可以采用单处理器系统。

用于操作系统、面向对象的编程系统以及应用程序或程序的指令位于诸如HDD1711的存储装置上，并且被加载到主存储器1704中以供处理单元1703执行。本文所述的实施例的过程可以由处理单元1703使用计算机可用程序代码执行，所述计算机可用程序代码可以位于诸如主存储器1704、ROM 1710的存储器中，或位于一个或多个外围设备中。

总线系统1716可以由一个或多个总线构成。可以使用任何类型的通信构造或架构来实施总线系统1716，所述通信构造或架构可以提供在附接到该构造或架构的不同部件或装置之间的数据传输。诸如调制解调器1709或网络适配器1706的通信单元可以包括可用于传输和接收数据的一个或多个装置。

本领域的普通技术人员将理解，图17中所描绘的硬件可以根据实施方式而变化。除了示出的硬件之外或代替示出的硬件，可以使用其他内部硬件或外围设备，如闪存、等效的非易失性存储器或光盘驱动器。此外，数据处理系统1700可以采用许多不同数据处理系统中的任一种的形式，包括但不限于客户端计算装置、服务器计算装置、平板电脑、笔记本电脑、电话或其它通信装置、个人数字助理等等。本质上，数据处理系统1700可以是不受架构限制的任何已知或以后开发的数据处理系统。

虽然已公开了结合本教导的原理的各种示例性实施例，但是本教导不限于所公开的实施例。相反，本申请旨在涵盖本教导的任何变型、使用或更改，并使用其一般原理。此外，本申请旨在涵盖属于这些教导所属领域中的已知或习惯实践内的对本公开的偏离。

在以上详细描述中，参考形成其一部分的附图。在附图中，除非上下文另外规定，类似符号通常标识类似的部件。本公开中描述的说明性实施例并不意味着是限制性的。可以使用其它实施例，并且可以在不脱离本文所呈现的主题的精神或范围的情况下进行其它改变。容易理解的是，本公开的各种特征(如本文大体上描述并在附图中图示的)可以被布置、取代、组合、分离和设计成各种各样的不同构型，这些构型全部在本文中明确设想。

本公开不限于本申请中所描述的特定实施例方面，其旨在作为各种特征的说明。在不脱离本领域技术人员显然明白的精神和范围的情况下，可以进行许多修改和变化。根据前述描述，本公开的范围内的功能等效方法和设备(除本文中所列举的那些之外)对于本领域技术人员将显而易见。应当理解，本公开不限于特定的方法、试剂、化合物、组合物或生物系统，其当然可以变化。还应理解，本文中所使用的术语仅用于描述特定实施例的目的，而不意图是限制性的。

关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用酌情从复数转换成单数和/或从单数转换为复数。为了清楚起见，各种单数/复数排列可在本文中明确阐述。

本领域的技术人员应理解，一般来说，本文中所使用的术语通常意图为“开放性”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等等)。虽然各种组合物、方法和装置按照“包括”各种部件或步骤(解释为意为“包括但不限于”)描述，但组合物、方法和装置还可“基本上由各种部件和步骤组成”或“由各种部件和步骤组成”，并且此类术语应解释为定义基本上封闭的构件组。

另外，即使明确叙述特定数目，本领域的技术人员将认识到，此类叙述应解释为意指至少所叙述的数字(例如，无其它修饰词只叙述“两个叙述物”，意味着至少两个叙述物或两个或更多个叙述物)。此外，在使用类似于“A、B和C等中的至少一个”的用语的那些情况下，一般来说，这种构造意在本领域技术人员将理解该用语的意义(例如，“具有A、B和C中的至少一个的系统”将包括但不限于只具有A、只具有B、只具有C、一起具有A和B、一起具有A和C、一起具有B和C和/或一起具有A、B和C的系统，等等)。在使用类似于“A、B或C等中的至少一个”的用语的那些情况下，一般来说，这种构造意在本领域技术人员将理解该用语的意义(例如，“具有A、B或C中的至少一个的系统”将包括但不限于只具有A、只具有B、只具有C、一起具有A和B、一起具有A和C、一起具有B和C和/或一起具有A、B和C的系统，等等)。本领域技术人员还将理解，不管在说明书、样品实施例或者附图中，呈现两个或更多个替代术语的几乎任何转折词和/或短语都应理解为考虑了包括术语之一、术语中任一个或两个术语的可能性。例如，短语“A或B”将理解为包括“A”或“B”或“A和B”的可能性。

另外，在根据马库什组描述本公开的特征的情况下，本领域的技术人员将认识到，本公开还根据马库什组的任何个别成员或成员的子组描述。

本领域技术人员将理解，出于任何和所有目的，例如就提供书面描述而言，本文公开的所有范围还涵盖任何可能的子范围和所有可能的子范围及其子范围的组合。任何列出的范围可被容易地认为是充分描述并且实现分解为至少相等的二分之一、三分之一、四分之一、五分之一、十分之一等等的相同范围。作为非限制性示例，本文中论述的每个范围可以容易地分解为下三分之一、中三分之一和上三分之一等等。本领域技术人员还将理解，诸如“达”、“至少”等的所有语言包括叙述的数字，并且指可以随后如上所述分解成子范围的范围。最后，所属领域的技术人员将理解，范围包括每个个别成员。因此，例如，具有1-3个细胞的基团是指具有1、2或3个细胞的基团。类似地，具有1-5个细胞的基团是指具有1、2、3、4或5个细胞的基团，诸如此类。

如本文所用，术语“约”是指数值量的变化，该变化例如可以通过在现实世界中的测量或处理程序，通过这些程序中的无意错误，通过组合物或试剂的制造、来源或纯度方面的差异等而发生。通常，本文所用的术语“约”是指大于或小于由所述值的1/10(例如，±10％)表示的值或值的范围。术语“约”还指的是本领域技术人员可以理解为等同的变体，只要这样的变体不包含现有技术实践的已知值即可。术语“约”之后的每个值或值的范围也意图涵盖所述绝对值或值的范围的实施例。无论是否被术语“约”修饰，在本公开中所引用的定量值包括与所引用的值的等同物，例如，可能发生的这样的值的数值变化，但是本领域技术人员将认识到等同物。

以上公开的各种特征和功能以及其替代方案可以组合成许多其它不同的系统或应用。本领域的技术人员随后可以进行各种目前不可预见或非预期的替代方案、修改、变化或改进，其中每一个也旨在由所公开的实施例涵盖。

Claims (15)

1.一种用于三维(3D)解剖建模的方法，所述方法包括：

基于共同坐标系联合配准一个或多个所获得的二维(2D)图像，其中所述2D图像与患者的骨解剖结构相关联；

基于所述骨解剖结构的骨特性和包括与所述患者相关联的至少人口统计信息的背景信息，识别对应于第一候选骨的第一历史3D骨模型；

重新定位叠加在所述第一历史3D骨模型上的2D图像中的一个或多个，以将所述2D图像中的一个或多个与所述第一历史3D骨模型基本对准；

修改对应于第二候选骨并且基于所述重新定位识别的第二历史3D骨模型的一个或多个表面区域；以及

根据所修改的第二历史3D骨模型生成3D模型，其中所生成的3D模型对应于所述骨解剖结构。

2.根据权利要求1所述的方法，其有助于基于所生成的3D模型进行数字模板化以确定一个或多个植入物的大小或建立用于手术规划或术后评估的一个或多个临床标志。

3.根据权利要求1或2中任一项所述的方法，还包括：

将第一组候选骨或第二组候选骨与2D图像总体地或以开放壳表面进行比较；以及

选择由所述患者的骨解剖结构的可见部分或所述患者的骨解剖结构的形状表示的一个或多个骨表面。

4.根据权利要求3所述的方法，其中所述开放壳表面包括线框，模拟的反向投影表示，经解释的像素灰度值或轮廓线，或一个或多个得到的标志、轴线、线或轮廓。

5.根据权利要求1至4中任一项所述的方法，其中所获得的2D图像中的两个或更多个来自所述患者的骨解剖结构的不同视图，并且包括通过平片X射线、锥形束X射线或超声波生成的射线照片。

6.根据权利要求1至5中任一项所述的方法，还包括基于所生成的3D模型，针对与所述患者的骨解剖结构相关联的机器人手术生成或修改手术计划，或者定义手术体积。

7.根据权利要求1至6中任一项所述的方法，还包括基于所生成的3D模型，生成患者特定的切口或针引导件、抓握旋量空间触点或用于所述切口或针引导件的视觉参考。

8.根据权利要求1至7中任一项所述的方法，还包括基于所述骨解剖结构的骨特性和所述背景信息识别对应于多个候选骨的多个历史3D骨模型，其中所述骨解剖结构包括包含多个骨的关节，并且所述候选骨中的一个或多个与不同患者相关联。

9.根据权利要求1至8中任一项所述的方法，还包括使用计算机自动化从所述2D图像中的一个或多个提取所述骨特性中的一个或多个。

10.根据权利要求1至9中任一项所述的方法，还包括接收对一个或多个输出滤波器的选择以促进对所述第一历史3D骨模型的识别，其中所述滤波器中的每一个与所述骨特性中的一个或所述背景信息的一部分相关联。

11.根据权利要求1至10中任一项所述的方法，还包括：

对所述第二历史3D骨模型重复所述重新定位，而不修改所述表面区域；以及

当所述第二历史3D骨模型无法满足阈值准确度时，基于所述第二历史3D骨模型的重新定位识别第三历史3D骨模型。

12.根据权利要求1至11中任一项所述的方法，还包括基于所述骨解剖结构在所述2D图像中的一个或多个中的一个或多个部分与所述第一历史3D模型在所述重新定位之后的2D表示的比较，识别所述第二历史3D骨模型，其中所述一个或多个部分具有所述骨解剖结构的廓影，并且所述比较解析一个或多个模糊的骨膜投影。

13.根据权利要求1至12中任一项所述的方法，其中所述重新定位包括重新缩放、竖直或水平平移、或重新定向所述2D图像中的一个或多个或所述第一历史3D骨模型。

14.一种非暂时性计算机可读介质，其上存储有用于对患者骨解剖结构进行三维建模的指令，所述指令包括可执行代码，所述可执行代码在由一个或多个处理器执行时使所述处理器执行根据权利要求1至13中任一项所述的方法。

15.一种手术计算装置，包括：非暂时性计算机可读介质，所述非暂时性计算机可读介质包括存储在其上的编程指令；以及一个或多个处理器，所述一个或多个处理器耦合到所述计算机可读介质并且被配置成执行所存储的编程指令以执行根据权利要求1至13中任一项所述的方法。

Images