CN117751386A - 2d x射线图像中物体的近实时连续3d配准 - Google Patents

Abstract

提供了基于仅一个附加的X射线而无需改变X射线源的位置对骨骼(碎片)、器械和植入物进行连续自动配准的系统和方法。根据本发明，接收显示感兴趣手术区域的2D X射线图像。人工智能辅助自动检测和与有关外科手术过程的相关先验信息结合的如骨骼(碎片)、工具(如钻头)和/或植入物的物体的定位，用于在任何需要的时间点计算它们的相对3D位置和定向。这种物体配准能够多次重复，并因此能够近实时地提供指导。

Description

2D X射线图像中物体的近实时连续3D配准

技术领域

本发明涉及人工智能和计算机辅助手术领域。此外，本发明涉及基于X射线图像提供与物体相关信息的系统和方法。具体地，本发明涉及用于近实时地对潜在的移动物体进行自动配准(即确定相对3D位置和定向)的系统和方法。这些方法可以作为在系统的处理单元上可执行的计算机程序来实现。

背景技术

在长骨骨折的情况下，可以通过作为骨折愈合支撑件的植入物(如类髓内钉，其可以插入骨骼的髓管中，或骨板，其可以固定到骨骼表面)来稳定骨骼碎片。将此类植入物进行植入的外科手术过程可能是微创的，并且可能需要重复采集X射线图像，以使外科医生能够正确放置植入物。该植入物还可以连接到一个或更多个子植入物，例如螺钉或刀片。

长骨的髓内钉过程存在各种关键和困难步骤，包括充分正确地复位骨折(确保骨骼碎片的正确定位)、确定将植入物插入骨骼中的进入点、以及通过将螺钉穿过植入物上的孔来插入从而锁定植入物。

将钉子植入长骨的关键步骤在于确定进入点。进入点的不理想选择可能会导致钉子的非最优定位，并因此也会导致连接的子植入物(例如颈螺钉或刀片)的位置不合适。此外，对于给定的进入点，如果外科医生已经进行了扩孔，则钉子所在的管已经确定并且可能不会再被校正。

确定进入点有两种主要方法：触诊或基于X射线。触诊时，在进行初始切割后，外科医生用手指感觉进入点区域(例如，在股骨中植入头髓钉的情况下，该区域是大转子的尖端)，并根据可疑的骨骼表面和经验法则(例如，所谓的1/3-2/3-法则)确定进入点的位置。该过程的缺点在于，通过感觉，可能只能不完美地确定骨骼表面，这可能导致与最优进入点的重大偏差。此外，经验法则(例如，1/3-2/3-法则)可能相当不理想，具体取决于患者的特定解剖结构。

也可以基于X射线确定进入点。在将头髓钉植入股骨的情况下，可以首先获取前-后(anterior-posterior，AP)X射线图像，其中将开口器械放置在转子的尖端上。然后，获取侧向X射线图像，使得股骨干和颈平行。开口器械的尖端沿背侧或腹侧方向移动，直到尖端位于所述两个轴线之间的中间(通过X射线图像检查)。该过程的缺点在于，首先，很难从正确的方向获取侧向X射线图像，其次，根据X射线图像确定所述两个轴线可能只能被不精确地完成。

微创式确定将钉子插入肱骨的进入点甚至更加困难，因为在插入植入物时通常需要正确复位颈部和头部附近的骨折。正确的进入点大致位于解剖颈(颈解剖结构)的最近端点上，或者在中间方向上距该点指定距离处。通过正确复位任意骨折，进入点在完美的前-后(AP)X射线图像中可见，因为在此类图像中可以识别关节轮廓的最近端点。然而，确保正确的AP成像方向是困难的并且甚至可以是不可能的，具体取决于手术室(operation room，OR)中患者和X射线成像设备的物理设置。此外，即使在完美的AP成像方向上，在确定进入点相对于成像深度的位置方面也存在着很大的不确定性。从不同的观察方向(例如，轴向方向)获取图像可能无法解决此问题，因为在此类X射线图像中可能无法识别进入点。

即使将用于确定进入点的所述两种方法(触诊和采集X射线)结合起来，通常也不能充分地提高精度。目前为止，还没有针对此问题的既有计算机辅助手术(computer-assisted surgery，CAS)技术。

任意接骨过程中的另一个挑战在于，足够正确的骨折复位对于令人满意的临床结果至关重要。通常，骨折只有在正确执行复位的情况下才能令人满意地愈合。在微创手术中，特别是长骨的复位通常很难评估，尤其是涉及到正确的前倾角(对于股骨)或扭转角(对于肱骨或胫骨)。通常只有在完成手术后才会注意到不正确的前倾角或扭转角。在这个阶段，即使骨折本身已经愈合，不正确的前倾角或扭转角也会给患者带来严重的不适和限制。因此，足够正确的前倾角或扭转角对于获得令人满意的临床结果至关重要，尤其是对于股骨、胫骨或肱骨的接骨而言。类似的评述也适用于颅骨干(caput-collum-diaphysis，CCD)角和腿长，对于令人满意的临床结果而言，颅骨干角和腿长也至关重要。

在治疗胫骨和股骨骨折时，骨碎片旋转不良是修复手术的最常见原因之一。股骨颈的非病理性前倾角(AV角)通常为10度至20度。相对于最优(例如，另一条健康的腿)，高达10度的旋转不良可以被患者代偿，但更大的旋转不良可能会在行走时引起不适和问题。术中确定AV角具有挑战性，并且经常被不正确地进行或根本无法进行。研究表明，10％到25％的腿部接骨过程会产生与理想值的超过10度的偏差。因此，确定AV角的可靠术中过程非常重要。

确定前倾角或扭转角的困难在于长骨太长以至于无法放入一个X射线图像中。此外，确定前倾角或扭转角所需的几何体位于骨骼的最近端部分和最远端部分处(例如对于股骨而言，是颈轴和髁突)。因此，在单独的近端和远端X射线图像中描绘的几何体必须相互关联。

现有技术提出了不同的方法来确定前倾角。对于股骨和头髓钉，一种方法是手动确定膝盖是否朝上指向手术室的天花板，并主观判断应与钉子轴线和股骨头中心相交的螺钉(或头部元件)是否与手术室地板成大约10度角。Blau等人提出了一种CAS方法(US2015/0265361 A1和WO 2019/077388A1)，其中使用了两个带有金属标记的参考体(一个在股骨的远端区域中，一个在股骨的近端区域中)以及两个近端X射线图像和一个远端X射线图像，它们都描绘了各自的参考体。

髓内钉过程中的另一个困难步骤是锁定。使用长钉来锁定的主要困难在于钉子的弯曲和扭转，因为钉子在某种程度上遵循髓管。这防止了在短钉情况下采用的简单静态机械锁定过程。徒手锁定(free-hand locking)具有挑战性且耗时，并且可能需要采集许多X射线图像。出于这个原因，一些制造商提供了一种适应钉子弯曲的灵活机械解决方案(这里称为“长瞄准设备(long aiming device)”)。虽然长瞄准设备简化了过程，但其应用仍然不简单，因为必须正确解释显示长瞄准设备的X射线图像并相应地调整C臂位置。只有在正确调整C臂后，才能正确调整长瞄准设备。

在没有计算机辅助的情况下，典型的传统徒手锁定过程可能会导致高误钻率。如果要钻的距离很长，例如，当将顺行股骨钉锁定在髁突附近时，则尤其如此。传统方法包括外科医生估计钻尖的适当位置并估计适当的钻头角度。误钻可能并不总是有问题的，有时只需钻个新孔就可以纠正。但是，为了避免新的钻孔最终与之前的钻孔在同一钻道中，建议为钻头选择新的起始位置。然而，在某些情况下(例如，具有内螺纹的锁定孔，或板和钉子的组合植入物)，这可能几乎是不可能的。在这些情况下，在首次钻孔尝试中正确地钻孔至关重要，这不仅需要精确正确地确定初始钻尖位置和钻孔角度，还需要在钻孔时保持该钻孔角度。

在这种情况下，特别是在靠近关键结构进行钻孔的情况下(例如放置骶髂或椎弓根螺钉时)，需要在钻孔过程中以持续验证钻孔角度和轨迹的形式来提供支持。在传统过程中，这需要反复调整C臂并从不同的观察方向获取X射线，以估计钻头相对于目标物体(例如钉子)的3D位置和定向。

本发明的目的是在动态变化的情况下解决这些挑战(例如，在骨骼上钻孔、重新定位骨骼碎片、将植入物插入骨骼中)。现有技术(例如计算机辅助手术系统和/或手术机器人)通常需要耗时且通常具有侵入性的事先配准过程。自2002年以来，存在一种基于术中X射线(其作为实时跟踪移动的基础)将解剖结构配准到参考体/跟踪器(通过Brainlab AG的透视-CT匹配)的非侵入性过程，但这仍然与带有附加跟踪器/参考体的跟踪系统相结合。

发明内容

本发明提出了既不需要参考体也不需要跟踪器的系统和方法，其在所需的时间点配准可能相对于彼此移动的多个物体。本发明的目的可能是提供这样的配准，即仅基于当前的X射线图像和从先前的X射线图像中提取的先验信息来近实时地(可能在几分之一秒内)确定物体的相对3D位置和定向，从而允许这些物体在获取当前X射线图像和先前X射线图像之间相对于彼此移动。本发明的目的也可以是确定物体(其可能相对于另一个物体)上或内部感兴趣的特定点或曲线。本发明的目的还可以是提供多个物体之间的相对3D定向和3D位置，这些物体至少部分地描绘在X射线图像中。

所述目的中的至少一个或另一个通过根据权利要求1所述的设备和根据权利要求13所述的方法解决。根据本发明的其它实施例在对应的从属权利要求中有所描述。

通常，设备配备有被配置成处理X射线图像的处理单元。提供软件程序以便通过该处理单元执行。借助于计算机软件程序，以下步骤能够被设备的处理单元执行。

首先，接收到第一X射线图像，该第一X射线图像是至少部分可见物体的投影图像。然后，接收物体的模型，并应用该模型在第一X射线图像中定位该物体，并在第一X射线图像中识别点，其中该点相对于该物体的3D位置是已知的。换言之，该点在3D空间中在患者处的位置是已知的，并且该点在2D投影图像中是可见的。

与第一X射线图像类似，接收到第二X射线图像，该第二X射线图像是至少部分可见的工具以及至少部分可见的物体的投影图像。再次应用该物体的模型以在第二X射线图像中定位该物体。相对于工具，定义坐标系，并在该坐标系中确定和标识轴线。

最后，根据第二X射线图像、工具的3D模型、定位的物体、该点相对于该物体的3D位置在生成第一X射线图像和生成第二X射线图像时是相同的认知、以及对点和轴线之间的认知来确定工具相对于物体的3D位置和定向。

如本文所用，“物体”可以是在X射线图像中至少部分可见的任何物体，例如，解剖结构或植入物。当将“物体”视为植入物时，可以理解植入物可能已经被放置在解剖结构内。在X射线图像中，“工具”也可以是至少部分可见的，例如钻头、k-wire、螺钉等。在更具体的示例中，如果“物体”是骨骼，那么“工具”也可以是旨在插入骨骼中但尚未插入的类似于骨钉的植入物。可以说，“工具”是应当插入的物体，而“物体”是解剖结构或已经放置在该解剖结构内的类似于植入物的物体。需要再次指出的是，本发明不需要使用任何参考体或跟踪器。

术语“3D表示”可以指3D体积或3D表面的完整描述或部分描述，也可以指选定的几何方面，例如半径、曲线、平面、角度等。本发明可以允许确定关于物体的3D表面或体积的完整3D信息，但是本发明还考虑了仅确定选定几何方面的方法。

由于X射线成像是2D成像方式，因此通常无法唯一地确定X射线图像中描绘的单个物体的3D位姿(即3D位置和3D定向)，通常也无法唯一地确定X射线图像中描绘的物体之间的相对3D位置和3D定向。

物体的物理尺寸通过截距定理与其在X射线图像中的投影尺寸相关，因为X射线束来自X射线源(焦点)并在图像平面中被X射线检测器检测到。在确定成像深度时通常存在模糊性，该图像深度是距图像平面的距离，其在后文中也被称为“z坐标”。在本发明中，术语“定位”和“位置”是指确定物体相对于所选坐标系的3D定向，并在无需确定z坐标的情况下确定该物体在图像平面上的投影的2D空间位置。

如果X射线图像中描绘的物体的3D模型可用，则可以对物体进行定位。如果物体足够大并且具有足够的结构，它甚至可以近似地确定(或估计)该物体的z坐标。然而，在某些情况下，即使X射线图像中显示的已知物体的确定3D模型可用，也无法定位或确定z坐标。例如，这尤其适用于薄物体，例如钻头或k-wire。在不知道钻头尖端的成像深度的情况下，钻头的多个3D位姿会在2D X射线图像中产生相同或几乎相同的投影。因此，通常可能无法确定钻头相对于X射线图像中显示的植入物的相对3D位置和3D定向。另一方面，如果这种物体的成像深度能够通过其他方法确定或提前已知，则可以确定该物体的3D位置和3D定向。

本发明的目的在于能够对物体(其几何形状使得如果没有关于其成像深度的进一步信息，则可能无法对其定位)进行定位，并确定该物体相对于另一个物体的3D位置和/或3D定向。

例如，该物体可以包括带孔的植入物。在这种情况下，基于该植入物中孔的轴线，可以根据本发明的实施例确定点相对于物体的3D位置。需要指出的是，该植入物可以是髓内钉，该髓内钉横向延伸穿过孔以将骨结构锁定在该钉处。这种孔可以设置有螺纹。该孔的轴线将切割骨骼的外表面，从而定义用于锁定螺钉的进入点。在另一示例中，可以放置在长骨内部的钉子和可以放置在所述长骨外部的板的组合能够被至少一个螺钉组合并固定在一起，该螺钉延伸穿过板上的孔并且延伸穿过钉子上的孔。同样在此处，螺钉的进入点可以由延伸穿过这些孔的轴线来定义。

在又一示例中，该物体可以被认为是已经植入骨骼的钉子，并且X射线图像还显示了工具(如钻头)的至少一部分。在这种情况下，该工具在第一X射线图像中至少部分可见，并且识别点是该工具上的一个点，例如工具的尖端。基于第二X射线图像，可以确定该工具相对于物体的3D位置和定向，尽管该工具在生成第一X射线图像和生成第二X射线图像之间已经相对于物体有所移动。在被描绘到第二X射线图像中的那一刻，确定钻头相对于骨骼中植入物的3D位置和定向可能有助于评估该钻头是否指向植入物中的孔(当稍后沿着钻孔植入螺钉时，螺钉应穿过该孔延伸)。

在X射线图像中识别的点的3D位置可以通过不同的方式确定。一方面，点相对于物体的3D位置可以基于对骨骼表面的位置的认知和点位于骨骼表面的认知来确定。例如，当生成第一X射线图像时，钻头的尖端可能位于骨骼的外表面上。当生成第二X射线图像时，即使钻头将钻入骨骼中，该点可能仍然相同。因此，这两个X射线图像中的点可能是进入点，尽管该点仅在第一X射线图像中由钻头的尖端定义。

另一方面，点相对于物体的3D位置可以基于来自另一观察方向的另一X射线图像来确定。例如，基于C臂的X射线系统可以在生成该另一X射线图像之前旋转。

此外，点相对于物体的3D位置可以基于工具相对于物体的3D位置和定向的确定来确定，而工具相对于物体的3D位置和定向的确定则是基于第一X射线图像的。即，当在生成第一X射线图像的那一刻已经知道3D位置和定向时，能够使用该认知确定稍后时刻以及工具相对于物体移动之后的3D位置和定向。事实上，可以在一系列X射线图像中一次又一次地重复该过程。

在工具的尖端在X射线图像中可见的情况下，确定工具相对于物体的3D位置和定向还可以基于定义了另一个点的工具的尖端。需要指出的是，所述另一个点可能只是投影图像中的一个点，即2D点。然而，与该点的已知3D位置(例如进入点)一起，可以考虑所述另一个点来确定X射线图像之间的移动过程。

在少数情况下，确定工具相对于物体的3D位置和定向可能会更加困难。例如，至少在X射线图像中可见的工具部分可能是旋转对称的，就像在生成X射线图像期间旋转的钻头一样。根据本发明的实施例仍然能够以至少足够的精度来确定工具相对于物体的3D位置和定向。例如，在考虑像钻头或K-wire这样的细而长的工具，或薄而长的植入物时，单个投影可能无法显示足够的细节以便能够区分工具在3D空间中的定向，其中这些定向可能导致相似或相同的投影。但是，当比较多于一个投影图像时，可能会存在能够假定的特定定向。此外，还可以考虑其他方面，例如可见的工具尖端。

在另一示例中，当生成一起显示物体和工具的X射线图像时，该工具可能被部分遮挡。可能会出现工具的尖端被植入物遮挡，或者钻头的轴主要被管子遮挡，该管子在钻骨过程中保护周围的软组织免受伤害。在这些情况下，可以接收第三X射线图像，该第三X射线图像是对前一X射线图像从另一个观察方向生成的。这种第三X射线图像可以提供除了从以主要观察方向生成的图像中能够获取的信息之外的合适信息。例如，工具的尖端可能在第三X射线图像中可见。尽管尖端的3D位置在第二X射线图像中不可见，但可以确定尖端的3D位置，这归功于以下事实：在生成第二X射线图像时，在第二X射线图像中可见的工具轴线在朝向X射线成像设备焦点的方向上定义了平面，并且工具的尖端随后必须位于该平面上。此外，在生成第三X射线图像时，能够认为该工具的尖端在X射线成像设备的焦点方向上定义了线。由尖端定义的线(即由第三X射线图像中的可见点定义的线)在基于第二X射线图像定义的3D空间中切割平面。可以理解，第二X射线图像和第三X射线图像是配准的，例如，通过在两个图像中定位物体来配准。

基于处理过的X射线图像，该设备可以被配置成向使用者提供指令。具体地，该设备可以被配置成将已确定的工具相对于物体的3D位置和定向与期望或预期的3D位置和定向进行比较。自动生成的指令可以为使用者提供指导。不仅可以在钻孔开始时进行适当的定向，而且还可以在钻孔过程中进行监控。例如，该设备可以在钻孔过程中评估钻孔方向是否最终会达到目标结构，并且可以在必要时提供校正钻孔方向的指令。在提供指令时，该设备可以考虑已经执行的钻孔深度、物体的密度、钻头的直径和钻头的刚度中的至少一个。可以理解，钻孔过程中钻头的倾斜可能会导致钻头弯曲或钻头轴线移动，这取决于周围材料(例如骨骼)的性质。设备在提供指令时可能会考虑这些方面，这些方面在某种程度上是可以预期的。

EP 19217245提出的一种可能的解决方案是利用有关成像深度的先验信息。例如，根据从不同成像方向(其描述了X射线束穿过物体的方向)获取的先前X射线图像可以知道，k-wire的尖端位于转子上，从而限制了K-wire尖端相对于另一个物体的成像深度。这可能足以解决有关当前成像方向上k-wire相对于另一个物体的3D位置和3D定向的任何模糊性。

两个或更多个X射线的3D配准

另一种可能的解决方案是利用从不同成像方向采集的两个或更多个X射线图像，并配准这些图像。成像方向越不同(例如，AP和ML图像)，在确定3D信息方面，附加图像可能就越有用。图像配准可以基于图像中描述的唯一可定位物体来进行，该可定位物体的3D模型是已知的并且不得在图像之间移动。如上所述，本领域中最常见的方法是使用参考体或跟踪器。但是，通常更优选的是不使用任何参考体，因为这样做会简化产品开发和系统使用。如果C臂移动是精确已知的(例如，如果C臂是电子控制的)，则可以仅基于这些已知的C臂移动进行图像配准。

然而，C臂的移动通常并不是精确已知的。如LU101009B1所述，已知几何形状的刚性物体(例如植入物)至少可以允许确定成像方向，即使植入物可能只是可定位的并且可能不允许确定成像深度。

然而，在许多情况下，X射线图像中并不存在这种刚性物体。例如，在确定用于植入钉子的进入点时，X射线图像中没有植入物。本发明教导的系统和方法允许在缺少通常允许唯一且足够精确3D配准的已知几何形状的单个刚性物体的情况下对多个X射线图像进行3D配准。这里提出的方法是使用两个或更多个对象的特征组合或者一个物体的至少两个或更多个部分的特征组合，特征中的每一个本身可能不允许唯一且足够精确的3D配准，但它们一起实现了这种配准，和/或限制了图像采集之间所允许的C臂移动(例如，只允许绕X射线成像设备的特定轴线(例如C臂轴线)旋转，或沿特定轴线进行平移)。用于配准的物体可以是人造的并具有已知的几何形状(例如，钻头或k-wire)，或者其可以是解剖部分。也可以使用简单的几何模型来近似物体或物体的部分(例如，可以用球来近似股骨头部)，或者可以只使用它们的特定特征(其可以是单个点，例如，k-wire或钻头的尖端)。用于配准的物体的特征不得在图像采集之间移动：如果此类特征是单个点，则仅要求该点不移动。例如，如果使用k-wire尖端，则该尖端不得在图像之间移动，而k-wire的倾斜度可能会在图像之间发生变化。

根据实施例，可以配准X射线图像，其中X射线图像中的每一个示出物体的至少一部分。第一X射线图像可以是用第一成像方向和X射线源相对于物体的第一位置生成的。第二图像可以是用第二成像方向和X射线源相对于物体的第二位置生成的。基于物体的模型和以下条件中的至少一项，可以对这两个X射线图像进行配准：

-在这两个X射线图像中，相对于物体具有固定3D位置的点是可定义的和/或可检测的，即在这两个X射线图像中均可识别和/或可定位。需要指出的是，单个点可能就足够了。还需要指出的是，该点可以具有距物体结构(例如物体表面)已知的距离。

-这两个X射线图像中都有相对于物体具有固定3D位置的两个可识别的点。

-在这两个X射线图像中都可以看到具有固定3D位置的另一物体的部分。在这种情况下，在配准X射线图像时可以使用该另一物体的模型。可以设想，甚至可以将一个点视作该另一物体的部分。

-在采集第一X射线图像和第二X射线图像之间，X射线源相对于物体的唯一移动是平移。

-在生成第一X射线图像和第二X射线图像之间，X射线源的唯一旋转是围绕垂直于成像方向的轴线的旋转。例如，X射线源可以围绕基于X射线成像设备的C臂的C轴线旋转。

可以理解，与上述条件中的多于一个一起时，基于物体模型的X射线图像配准可以更准确。

根据实施例，相对于物体具有固定3D位置的点可以是另一物体的点，只要该点是固定的，就允许该另一物体移动。可以理解，相对于物体的固定3D位置可以位于该物体的表面上(即接触点)，但也可以是距物体指定距离(大于零)的点。该指定距离可以是距物体表面的距离(这将允许物体外部或内部的位置)或到物体特定点的距离(例如，如果物体是球，则为到球中心的距离)。

根据实施例，相对于物体具有固定3D位置的另一物体可以与该物体接触或在距该物体指定距离处。需要指出的是，该另一物体相对于该物体的定向可以是固定的或可变的，其中该另一物体的定向可以由于旋转和/或由于该另一物体相对于该物体的平移而改变。

可以理解，还可以用三个或更多个物体进行X射线图像的配准。

根据各种实施例，以下是允许图像配准(无参考体)的示例：

1.使用球(物体1)以及k-wire或钻头的尖端(物体2)来近似表示股骨头部或人工股骨头部(作为髋关节植入物的一部分)，同时还限制图像之间所允许的C臂移动。

2.使用圆柱体(物体1)以及k-wire或钻头的尖端(物体2)来近似表示骨干或椎体，其中在图像之间可以限制或不限制所允许的C臂移动。

3.使用球(物体1)来近似表示股骨头部或人造股骨头部(作为髋关节植入物的一部分)并使用圆柱体(物体2)来近似表示股骨干，其中不需要限制图像之间所允许的C臂移动。

4.使用导杆(导杆具有防止其插入太深的挡块)或固定在骨骼内的k-wire，同时还限制图像之间所允许的C臂移动。在这种情况下，只使用一个物体，并且该方法体现为图像之间受限制的C臂移动。

5.使用导杆或固定在骨骼内的k-wire(物体1)并使用球(物体2)来近似表示股骨头部。

需要指出的是，该方法还可以用于提高配准的精度或验证其他结果。即，当使用多个物体或物体的至少多个部分进行图像配准时，其中的一个或更多个甚至自身就可能允许3D配准，并且还可能限制所允许的C臂移动，与不使用所提出的方法相比，这种过定(overdetermination)可以提高配准精度。替代地，可以基于可用物体或特征的子集来对图像进行配准。这种配准可以用于验证对剩余物体或特征(其未用于配准)的检测，或者它可以允许检测图像之间的移动(例如，开口器械的尖端是否移动)。

该方法的另一个实施例可以通过将模型联合拟合到所有可用的X射线投影图像，同时限制X射线图像之间所允许的C臂移动(例如，只允许平移)来配准描绘物体不同(但可能重叠)部分的两个或更多个X射线图像(例如，一个X射线图像显示股骨的近端部分，另一个X射线图像显示同一股骨的远端部分)。拟合的模型可以是整体或局部3D模型(例如，统计形状或外观模型)，或者还可以是仅描述物体的某些几何方面(例如，轴线、平面或选择点的位置)的简化模型。

如下详细所述，基于配准的X射线图像可以确定物体的3D重建。可以理解，可以基于该物体(或多个物体中的至少一个)的3D重建来进行和/或增强X射线图像的配准。基于配准的X射线图像确定的3D重建可以用于其它X射线图像的配准。替代地，可以基于单个或第一X射线图像以及物体的3D模型来确定该物体的3D重建，然后在配准第一X射线图像与第二X射线图像时使用。

通常，在以下情况下，X射线图像的配准和/或3D重建可能是有利的：

·确定股骨处的前倾角是有意义的。

·确定胫骨或肱骨处的扭转角是有意义的。

·确定股骨头部和股骨干之间的CCD角度是有意义的。

·确定长骨的前曲是有意义的。

·确定骨骼的长度是有意义的。

·确定股骨、胫骨或肱骨处的植入物进入点是有意义的。

下面列出了物体组合的示例以供说明。

·物体1是肱骨头，并且点是开口器械或钻头的尖端。

·物体1是椎骨，并且点是位于椎骨表面的开口器械或钻头的尖端。

·物体1是胫骨，并且点是开口器械的尖端。

·物体1是胫骨，并且物体2是腓骨、股骨或距骨或足部的另一种骨骼。

·物体1是股骨的近端部分，并且物体2是股骨表面处的开口器械。

·物体1是股骨的远端部分，并且物体2是股骨表面处的开口器械。

·物体1是股骨的远端部分，并且物体2是股骨的近端部分，其中至少一个X射线图像描绘了股骨的远端部分，至少一个X射线图像描绘了股骨的近端部分，并且另一物体是位于股骨近端上的开口器械。

·物体1是髂骨，并且物体2是骶骨，点是开口器械或钻头的尖端。

·物体1是植入骨骼中的髓内钉，并且物体2是骨骼。

·物体1是植入骨骼中的髓内钉，并且物体2是骨骼，点是开口器械、钻头或子植入物(如锁定螺钉)的尖端。

计算3D表示/重建

一旦两个或更多个X射线图像被配准，则可以使用它们来计算至少部分描绘在X射线图像中的解剖结构的3D表示或重建。根据实施例，这可以按照P.Gamage等,“3Dreconstruction of patient specific bone models from2D radiographs for imageguided orthopedic surgery”DOI:10.1109/DICTA.2009.42中所建议的那样进行。在第一步骤中，在每个X射线图像中确定感兴趣的骨骼结构的特征(通常是特征骨骼边缘，包括外部骨轮廓和一些特征内部边缘)，可能使用被训练用于分割的神经网络。在第二步骤中，对感兴趣的骨骼结构的3D模型进行变形，使其2D投影拟合在所有可用X射线图像中的在第一步骤确定的特征(例如，特征骨骼边缘)。虽然Gamage等人的论文对感兴趣的解剖结构使用了通用3D模型，但也可以使用其他3D模型，例如统计形状模型。需要指出的是，该过程不仅需要图像之间的相对视角(由图像配准提供)，还需要其中一个图像的成像方向。该方向可以是已知的(例如，因为外科医生被指示从特定的观察方向获取图像，即前后(AP)或内外侧(ML))，或者可以基于各种方法(例如，通过使用LU100907B1)对其进行估计。尽管如果图像之间的相对视角更准确，3D重建的精度可能会提高，但确定其中一个图像的成像方向的精度可能不是关键因素。

通过合并有关感兴趣骨骼结构上一个或更多个点，甚至部分表面的3D位置的先验信息，可以提高所确定的3D表示的精度。例如，在植有钉子的股骨的3D重建中，可以使用k-wire在X射线图像中标示股骨表面上的特定点。根据前面的过程步骤，该标示点在植入钉给出的坐标系中的3D位置可以是已知的。然后，可以使用这一认知更准确地重建股骨的3D表面。如果有关特定点的3D位置的这种先验信息是可用的，那么这甚至可以允许基于单个X射线图像进行3D重建。此外，如果植入物(如板)与骨骼的部分的形状相匹配，并且已被定位在骨骼的该匹配部分上，则该信息也可用于3D重建。

作为替代方法，也可以在没有事先图像配准的情况下对物体(例如骨骼)进行3D重建，即也可以联合进行图像配准和3D重建，正如LU101009B1所建议的那样。本公开教授的是，通过限制所允许的C臂移动和/或利用出现在联合配准和重建所基于的至少两个图像中的另一个物体(例如，钻头或k-wire)的易于检测的特征来提高精度并解决模糊性。例如，这种易于检测的特征可以是，例如k-wire或钻头的尖端，该尖端要么位于待重建的物体的表面上，要么在距其已知距离处。此特征不得在图像采集之间移动。在k-wire或钻头的情况下，这意味着只要其尖端保持在原位，器械自身就可以改变其倾斜度。如果使用两个以上的图像进行此类重建，则不带事先图像配准的重建可能会效果更好。需要指出的是，联合图像配准和3D重建通常可能优于首先执行配准的方法，因为联合配准和3D重建允许对所有参数进行联合优化(即，对于配准和重建两者而言)。这在过定的情况下尤其适用，例如，当用植入钉或板以及有关表面上点的3D位置的先验信息重建骨骼的3D表面时。

对于联合图像配准和3D重建，可以接收显示第一物体的第一部分的第一X射线图像并且可以接收显示第一物体的第二部分的至少第二图像，其中，该第一X射线图像是以第一成像方向和X射线源相对于第一物体的第一位置生成的，其中，该第二X射线图像是以第二成像方向和X射线源相对于第一物体的第二位置生成的。通过使用第一物体的模型，第一物体在两个X射线图像中的投影可以被联合匹配，使得能够确定图像的空间关系，因为该模型能够变形并适于匹配X射线图像中的外观。这种联合配准和3D重建的结果可以通过相对于第一物体具有固定3D位置的至少一个点来增强，其中该点在至少两个X射线图像中是可识别和可检测的(可以理解，在改进3D重建时也可能对两个以上的图像进行配准)。此外，可以考虑相对于第一对象具有固定3D位置的第二物体的至少一部分，其中基于第二对象的模型，该至少部分第二物体可以在X射线图像中被识别和被检测。

需要指出的是，第一物体的第一部分和第二部分可以重叠，这将提高结果的精度。例如，第一物体的所谓第一部分和第二部分可以都是股骨的近端部分，其中成像方向不同，使得在图像中至少股骨的外观有所不同。

确定植入曲线和/或进入点

本发明的目的可以是确定植入曲线或路径，沿着该曲线或路径能够将诸如钉子或螺钉之类的植入物插入并植入骨骼中，和/或确定进入点，该进入点是外科医生将骨骼打开以插入植入物的点。因此，进入点是植入曲线与骨骼表面的交点。植入曲线可以是直线(或轴线)，也可以是弯曲的，因为植入物(例如，钉子)具有曲率。需要指出的是，进入点的最优位置可能取决于植入物并且还取决于骨骼中骨折的位置，即骨折位于远端或近端方向上的何处位置。

存在着可能需要确定植入曲线和/或进入点的各种情况。特别是在某些情况下，如果完全解剖复位尚未进行，则仅能确定进入点。在其他情况下，首先获得植入曲线，然后通过确定植入曲线与骨骼表面的交点来获得进入点。在其他情况下，植入曲线和进入点是共同确定的。本发明讨论了所有这些实例的示例。

通常，根据实施例接收2D X射线图像，该X射线图像显示了感兴趣的手术区域。在该X射线图像中，可以确定与感兴趣的结构以及骨骼内的植入路径相关联的第一点，该植入路径用于旨在被植入的植入物，其中植入曲线或路径与第一点具有预定的关系。用于将植入物插入骨骼中的进入点位于植入路径上。可以理解，该第一点可能不是进入点。

基于骨骼的3D重建，该系统还可以帮助选择最优植入物并计算骨骼内的最优位置(植入曲线)(即进入点、插入深度、旋转等)，使得植入物足够远离骨骼的狭窄点。一旦选择了进入点，系统就可以根据实际的进入点(如果植入物已经在骨骼中可见)计算出骨骼内新的理想位置。然后，系统可以考虑骨骼碎片的实际位置以更新3D重建。该系统还可以计算和显示尚未植入的子植入物的预计位置。例如，在头髓钉的情况下，可以根据股骨近端的完整3D重建来计算颈螺钉/刀片的预计位置。

徒手锁定过程

基于上述在2D X射线图像中对点和植入路径的大致确定，当考虑植入螺钉以锁定例如骨钉时，针对植入路径和点之间的预定关系，以下条件可能被满足：当感兴趣的结构是植入物上的孔时，该孔可以具有预定的轴线，并且该点可以与该孔的中心相关联，并且该植入路径可以指向该孔的轴线方向。

作为一种可能的应用，描述了徒手锁定过程的示例工作流程，其中通过将螺钉穿过植入物的孔进行植入来锁定该植入物。根据实施例，已经植入的钉子被定位在X射线图像中，这决定了植入曲线。在此，植入曲线是直线(轴线)，沿着这条直线将螺钉植入。骨骼表面的3D重建(至少在植入曲线附近)可以相对于已经植入的钉子(即，在钉子给出的坐标系中)进行。这可以按如下方式进行。从不同的观察方向获取至少两个X射线图像(例如，一个AP或ML图像和一个从倾斜角拍摄的图像)。这些X射线图像可以通过神经网络进行分类，例如，考虑并使用如植入的钉子来配准，并且可能通过神经网络在所有图像中对骨骼轮廓进行分割。遵循上述3D重建过程，可以对骨骼表面进行3D重建。植入曲线与骨骼表面的交点决定了进入点相对于钉子的3D位置。由于X射线图像中的观察方向可以根据定位的钉子来确定，这也允许在给定的X射线图像中标示进入点的位置。

通过纳入骨骼表面上相对于钉子的至少一个点的已知3D位置，可以提高该过程的精度。这种认知可以通过将本发明中的过程与EP 19217245所教授的徒手锁定过程相结合来获得。一种可能的方法是使用EP 19217245来获得第一锁定孔的进入点，然后该点成为骨骼表面上的已知点。该已知点可以在本发明中用于骨骼的3D重建和随后确定第二锁定孔及其它锁定孔的进入点。还可以识别骨骼表面上的点，例如通过接触骨骼表面的钻头尖端。如果在从不同成像方向拍摄的多于一个的X射线图像中识别出点，则可以提高精度。

确定用于将钉子植入股骨中的进入点

基于上述在2D X射线图像中对第一点和植入路径的大致确定，在考虑将钉子植入股骨中时，针对植入路径与第一点之间的预定关系，以下条件中的至少一项可能被满足：

当感兴趣的结构是股骨头部时，第一点可以与股骨头部的中心相关联，并且因此可以位于植入路径的近端延伸上，即近X射线图像中的进入点。

当感兴趣的结构是股骨颈的狭窄部分时，第一点可以与股骨颈的狭窄部分的横截面中心相关联，并且植入路径的近端延伸可以在所述狭窄部分中，到第一点比到股骨颈外表面更近。

当感兴趣的结构是股骨干的狭窄部分时，第一点可以与股骨干近端处的狭窄部分的横截面中心相关联，并且植入路径可以在所述狭窄部分中，到第一点比到股骨干外表面更近。

当感兴趣的结构是股骨干的峡部时，第一点可以与该峡部的横截面的中心相关联，并且第一点可以位于植入路径上。

在实施例中，感兴趣的结构不需要在X射线图像中完全可见。在X射线图像中，仅可见20％至80％的感兴趣结构可能就足够了。根据感兴趣的具体结构(即感兴趣的结构是否是股骨头部、股骨颈、股骨干还是其他解剖结构)，至少30％到40％的结构必须可见。因此，即使例如股骨头部本身在X射线图像中不可见(即位于成像区域之外)，即使在只有20％至30％的股骨头部可见的情况下，也可以识别股骨头部的中心。对于股骨干的峡部，同样的情况也是可能的，即使该峡部位于成像区域之外并且只有30％到50％的股骨干可见。

为了检测图像中的感兴趣点，可以使用神经分割网络，该网络以是否是可能的关键点来对每个像素进行分类。能够使用中心位于真正关键点处的2D高斯热图来训练神经分割网络。高斯热图可以是旋转不变的，或者，如果特定方向的不确定性是可容忍的，则高斯热图也可以是定向的。为了检测图像本身之外的感兴趣点，一种可能的方法可能是分割原始图像之外的附加像素，使用包含在图像本身中的所有信息进行推断。

呈现了用于确定进入点的示例工作流程，该进入点用于将髓内钉或头髓钉植入股骨中。根据实施例，首先确定X射线图像的植入曲线的投影。在该实施例中，植入曲线近似表示为直线(即植入轴线)。作为第一步骤，可以检查当前的X射线图像是否满足确定植入轴线的必要要求。这些要求可以包括图像质量、解剖结构某些区域的足够可见性、以及至少近似适当的解剖视角(ML)。此外，这些要求可以包括是否满足上述条件。可以通过图像处理算法(可能利用神经网络)检查这些要求。此外，如果适用，可以确定骨骼碎片的相对位置并将其与期望位置进行比较，在此基础上可以确定这些碎片是否排列得足够好(即，解剖复位已经进行得足够好)。

更详细地说，上述条件可以描述如下。通过方向和一个点来确定植入轴线，该方向和一个点与至少两个解剖标志(例如，它们可以是股骨头部的中心和股骨干的峡部)相关联。如上所述，可以通过神经网络确定标志，即使该标志在X射线图像中不可见。可以通过确定从建议轴线到骨骼轮廓上在X射线中可见的各种标志的距离来检查建议的植入轴线是否可接受。例如，建议的植入轴线应靠近股骨颈峡部的中心穿过，即它不应太靠近骨骼表面。如果违反此条件，则X射线图像不是从合适的成像方向获取的，并且必须从不同的成像方向获取另一X射线图像。从不同的观察方向确定另一X射线图像中的植入曲线可能会导致不同的植入轴线，从而可能导致不同的进入点。本发明还教授了如何调整成像设备以便从合适的方向获取X射线图像。

需要指出的是，植入物可以具有曲率，这意味着笔直的植入轴线可能仅近似表示为所插入的植入物的投影。本发明还可以基于植入物的3D模型来确定更接近植入物的2D投影的植入曲线。这种方法可以使用与两个或更多个解剖标志相关联的多个点来确定植入曲线。

植入轴线的投影决定了3D空间中的植入平面(或者更一般地说，植入曲线的投影决定了3D空间中的2D流形)。可以通过将该植入平面与另一骨骼结构相交来获得进入点，该另一骨骼结构可以通过线来近似表示并且已知为包含该进入点。在股骨的情况下，这种骨骼结构可以是转子边缘，它狭窄而笔直，足以通过线来很好地近似表示，并且可以假设进入点位于其上。需要指出的是，根据植入物，进入点的其他位置也是可能的，例如，在梨状窝上。

转子边缘可以在侧向X线图像中检测到。替代地或者另外地，可以使用图像中可识别的另一点(例如，所描绘的k-wire的尖端或一些其他开口工具)，对于该点，有关其相对于进入点的位置的一些先验信息是已知的。在股骨的情况下，其示例可以为如果已知k-wire的尖端位于转子边缘上，则可以通过触诊和/或因为先前从不同视角(例如AP)获取的X射线限制了k-wire尖端在至少一个维度或自由度上的位置来获知该点的位置。

可能至少存在三种方法以利用有关k-wire(或其他一些开口器械)尖端相对于进入点的先验信息。最简单的可能方法是使用k-wire尖端在植入轴线投影上的正交投影。在这种情况下，可能需要在从不同角度(例如，AP)获取的后续X射线图像中检查在根据ML图像中的信息重新定位k-wire尖端后以及在重新定位后可能获取新的ML图像后，k-wire尖端是否仍然位于期望的结构(转子边缘)上。另一种可能方法是根据解剖学先验信息估计结构投影(其在ML图像中可能无法识别)与植入轴线投影之间的角度，并以该估计角将k-wire的尖端倾斜投影到植入轴线的投影上。最后，第三种可能方法是使用配准的AP和ML图像对以在ML图像中计算投影核线与投影植入轴线的交点，该投影核线是通过将k-wire尖端和AP图像的焦点连接而定义的。一旦获得了进入点，就还能确定3D空间中的植入轴线。

或者，还可以通过对股骨近端进行部分3D重建来找到骨骼结构(此处为转子边缘)，该骨骼结构与植入平面的交点决定了进入点。根据实施例，这种3D重建可以基于来自不同观察方向的两个或更多个X射线图像(其中至少两个包含k-wire)如下进行。在所有X射线图像中都检测股骨的特征骨骼边缘(至少包括骨骼轮廓)。此外，在所有X射线图像中，找到股骨头部并用圆圈来近似表示，并检测k-wire的尖端。现在可以使用上述方法基于特征骨骼边缘、所近似表示的股骨头部和k-wire尖端以及受限的C臂移动来对图像进行配准。图像配准后，可以重建至少包含转子区域的3D表面。通过利用有关k-wire尖端距骨骼表面距离的先验信息(例如，可以从AP图像中已知)可以提高3D重建的精度。该过程的各种替代方案是可能的，这些替代方案被描述在实施例的详细说明中。

在前面的方法中，植入曲线是在2D X射线图像中确定的，然后讨论了用于获得进入点的各种替代方案。或者，整个过程(即确定植入曲线和进入点)可以基于股骨的近端(如果使用逆行钉，则为股骨远端)的3D重建，包括足够多的骨干部分。这种3D重建可以再次基于多个X射线图像，这些X射线图像已使用上述方法进行配准。例如，配准可以使用球来近似表示股骨头部，并且用圆柱体或平均骨干形状来近似表示骨干。或者，可以进行配准和骨骼重建(其可能包括表面，也可能包括髓管和内皮质等内部结构)的联合优化和确定。一旦获得了股骨相关部分的3D重建，就可以通过优化植入物表面和骨骼表面之间的距离来拟合3D植入曲线。3D植入曲线与已经确定的3D骨骼表面的交点产生进入点。

与2D X射线图像相关的植入曲线的位置和定向是在第一点的基础上确定的，其中植入曲线包括骨骼内距骨骼表面为第一距离的第一部段和骨骼内距骨骼表面为第二距离的第二部段，其中，第一距离小于第二距离，并且其中第一点位于骨骼的第一可识别结构上，并且位于距植入轴线的第一部段一定距离处。可以使用第二点，该第二点可以位于骨骼的可识别结构上并且可以位于距植入曲线的第二部段一定距离处。此外，可以在至少一个另一点的基础上进一步确定植入曲线的位置和定向，其中所述至少一个另一点位于骨骼的第二可识别结构上并且位于植入曲线上。

确定用于将钉子植入胫骨中的进入点

根据上文“计算3D表示/重建”章节中描述的联合配准和3D重建，可以确定用于将髓内钉植入胫骨中的进入点。

根据实施例，建议通过要求使用者将开口器械(例如，钻头或k-wire)放置在胫骨表面上的近端任意点处(但最好是放在可疑进入点附近)来提高精度并解决任何模糊性。使用者获取胫骨近端部分的侧向图像和至少一个AP图像。可以通过联合拟合胫骨的统计模型和其所有X射线图像的投影来计算胫骨的3D重建，同时考虑开口器械的尖端不会在图像之间移动这一事实。通过要求使用者从不同的(例如近似AP)成像方向获取两个或更多个图像，也可能是另一(例如，侧向)图像可以进一步增加精度。任何过定都可能允许检测开口器械尖端的可能移动和/或验证开口器械尖端的检测。

基于胫骨的3D重建，系统可以确定进入点，例如，通过在拟合统计模型的平均形状上识别进入点。需要指出的是，这种仅基于成像(即没有触诊)来查找顺行胫骨钉的进入点的指导可能使外科医生能够进行髌上入路，这通常是可取的，但传统上具有在进入点无法触诊骨骼的缺点。

确定用于将钉子植入肱骨中的进入点

上述提出的图像配准和重建技术的另一应用可能是确定用于将髓内钉植入肱骨中的进入点。

通常，基于X射线图像，可以使用包含用于处理X射线图像的处理单元的系统来辅助肱骨手术，从而实现上述目的。当软件程序产品被处理单元执行时，可能会使系统执行包含以下步骤的方法。首先，接收以第一成像方向生成并显示肱骨近端部分的第一X射线图像，并且接收以第二成像方向生成并显示肱骨近端部分的第二X射线图像。这些图像可以包括肱骨干的近端部分以及带关节面的肱骨头部，以及关节盂(即肩部的互补关节结构)。需要指出的是，第二成像方向通常与第一成像方向不同。然后，(i)配准第一X射线图像和第二X射线图像，(ii)确定这两个图像中的肱骨头部的2D轮廓中的至少一部分的近似表示，(iii)基于所近似表示的2D轮廓和第一图像与第二图像的配准确定肱骨头部的3D近似表示，(iv)确定第一X射线图像和第二X射线图像中至少三个不同点的2D图像坐标。最后，基于至少三个确定的点，将解剖颈的近似表示确定为肱骨头部的3D近似表示上的曲线。需要指出的是，所述至少三个确定的点不必位于所确定的曲线上。如果可以确定与前三个点不在同一平面上的解剖颈的其他点，则可以确定解剖颈的更精确的近似表示。这可以允许确定解剖颈的旋转位置，从而确定围绕肩关节轴线的肱骨头部的旋转位置。确定围绕关节轴线的旋转位置的另一种方法是检测大结节和/或小结节的位置，以防两者中的至少一个相对于近端碎片处于固定位置。另一种选择是使用术前获得的3D信息(例如CT扫描)基于术中X射线图像生成近端骨折的3D重建。该方法可以与上述方法结合使用。

根据实施例，肱骨头部的2D轮廓的至少一部分的近似表示可以是2D圆或2D椭圆。此外，肱骨头部的3D近似表示可以是3D球或3D椭球。解剖颈的近似表示可以是3D空间中的圆或椭圆。

根据实施例，可以接收另一X射线图像，并且可以确定在由第一X射线图像、第二X射线图像和该另一X射线图像组成的群组中的至少两个X射线图像中的肱骨干轴线的近似表示。基于所述至少两个X射线图像中的所近似表示的肱骨干轴线和第一X射线图像与第二X射线图像的配准，可以确定肱骨的3D轴线的近似表示。

根据所公开方法的实施例，然后可以基于所近似表示的解剖颈和所近似表示的3D骨干轴线和/或所近似表示的肱骨关节盂来确定骨折肱骨近端碎片的进入点和/或脱位。因此，可以基于进入点和头部脱位在近端片段中确定植入曲线。此外，可以提供信息以重新定位近端片段。

根据实施例，可以对至少两个X射线图像进行配准，其中这两个X射线图像可以是来自第一X射线图像、第二X射线图像和另一X射线图像的两个。可以基于肱骨头部的模型并基于相对于肱骨头部具有固定3D位置的一个附加点来对X射线图像进行配准，其中该点在所述至少两个X射线图像中被识别和被检测。该一个附加点可能是器械的尖端，并且可能位于肱骨头部的关节表面上。在这种情况下，可以利用点与肱骨头部中心之间的距离等于由球来近似表示的肱骨头部的半径这一事实来提高x射线图像配准的精度。

在下文中，更详细地描述了根据本公开的方法的各个方面。位于肩关节中的肱骨头部可以用球(球体)来近似表示。在下文中，除非另有说明，否则应当理解，肱骨近似于这样的球，这意味着将肱骨在X射线图像中的投影近似为圆。因此，“中心”和“半径”总是指这样近似表示的球或圆。需要指出的是，也可以使用肱骨头部的其他简单几何近似表示，例如，椭球体。在这种情况下，解剖颈将由椭圆近似表示。

下面介绍确定进入点的示例工作流程。确定肱骨进入点时的复杂问题是，利用肱骨钉治疗的骨折经常沿着外科颈出现，从而使肱骨头部移位。在正确的复位中，肱骨头部的中心应当靠近肱骨干轴线。根据实施例，这可以在描绘近端肱骨的轴向X射线图像中得到验证。如果肱骨头部的中心离骨干轴线不够近，建议使用者在远端方向对手臂施加牵引力，以纠正肱骨头部围绕关节轴线的任何旋转(可能无法检测到)。然后建议近似进入点位于骨干轴线上距肱骨头部中心大约20％的内侧(意味着在上面的典型轴向X射线图像中)。然后，使用者需要将开口器械(例如，k-wire)放在这个建议的进入点上。或者，为了如上所述地提高配准的精度，该系统要求使用者故意将开口器械放置在可疑进入点的内侧(意味着，轴向X射线图像中描绘的股骨头部中心上方30％至80％)，以确保器械的尖端位于肱骨头部的球形部分上。该系统可以在新的轴向X射线图像中检测肱骨头部和该器械的尖端(例如，通过使用神经网络)。

然后指示使用者获取AP图像，仅允许特定的C臂移动(例如，绕C轴线旋转和附加的平移)并使器械的尖端就位(允许器械的倾斜度改变)。再次检测肱骨头部和器械尖端。然后，可以基于近似表示肱骨头部的球和器械的尖端，按照上文“两个或更多个X射线的3D配准”章节中所述对轴向图像和AP图像进行配准。

界定肩关节的关节表面的曲线被称为解剖颈(anatomical neck)(collumanatomicum，颈组织解剖结构)。解剖颈界定了肱骨的球形部分，但外科医生通常无法在X射线图像识别它。它可以用3D空间中的2D圆来近似表示，该2D圆是通过将平面与近似表示肱骨头的球相交得到的，其中该平面相对于肱骨的骨干轴线倾斜。球形关节表面向上(外翻)和背侧(患者的手臂从肩部放松向下垂下并平行于胸部)定向。三个点足以定义该相交平面。轴向X射线和AP X射线可以分别在解剖颈上确定两个点，即限定肱骨球形部分的圆弧的起点和终点。因此，这是过定的问题：基于两个X射线图像，可以确定四个点，而定义相交平面只需要三个点。如果使用了附加X射线图像，该问题可能变得更加过定。这种过定可以允许对相交平面进行更精确的计算，或者可以允许处理可能无法确定某点(例如，因为它被遮挡了)的情况。

需要指出是，当通过将确定的平面与近似表示肱骨头部的球相交来确定解剖颈的近似表示时，可以进行各种修改。例如，该相交平面可以在侧向方向上移动，以得到解剖颈在肱骨头部上的更精确位置。替代地或者另外地，可以调整近似表示解剖颈的圆的半径。也可以使用具有更多自由度的几何模型来近似表示肱骨头部和/或近似表示解剖颈。

进入点可以被认为是在3D空间中解剖颈上最接近骨干轴线和骨骼表面交点的点，或者它可以在内侧方向上位于距该点的距离等于使用者定义的距离处。这样确定的解剖颈和进入点可以在当前X射线图像中显示为叠加。如果在X射线图像中，该进入点离与近似表示头部的圆很近，则会导致z坐标存在可能的较大不精确度。为了缓解这种情况，可以发出旋转C臂的指令，使得建议的进入点在X射线图像中进一步向肱骨头部的内部移动。这在任何情况下都是有利的，这是因为由于机械限制，因此可能难以获得进入点位于近似圆附近的X射线图像。换言之，C臂在轴向图像和AP图像之间的旋转可能是例如60度，这在手术工作流程中可能比90度旋转更容易实现。

该工作流程的其它细节、可选实现和扩展被描述在下面实施例的详细说明中。

允许近实时地连续对物体进行3D配准的其他定位方法

本公开教授了另外两种允许对物体(例如，小直径的钻头或植入物)进行定位的方法，该物体的几何形状使得在没有关于其成像深度的进一步信息的情况下可能无法定位，并确定该物体相对于另一物体(例如钉子、骨骼、或其组合)的3D位置和3D定向(即，提供这些物体的3D配准)。第一种方法不需要物体(例如钻头)的2D-3D匹配，并且在两个X射线图像中检测该物体(例如钻头)的点可能就足够了。例如，如果在钻孔时使用软组织保护套管，那么这可能是优势，因为钻头的2D-3D匹配可能需要在X射线采集之前停止钻头并拉回套筒，这可能很乏味且容易出错。为了获得准确的2D-3D匹配，如果钻头已经进入骨骼，那么这种回拉甚至可能很有必要，否则在X射线图像中可能看不到足够的钻头。所提出的方法可以是有利的，因为钻头可以旋转并且对于X射线采集可能不需要将套筒拉回。

这里提出的第二种方法不需要旋转或重新调整C臂(即使没有禁止更改C臂位置)。例如，在钻孔场景中，这可以允许在钻孔过程中的任何时刻持续验证实际钻孔轨迹并基于X射线图像利用与外科医生的近实时(near-real-time，NRT)反馈将其与所需的钻孔轨迹进行比较。

在第一种方法中，物体(例如，钻头)的可识别点相对于另一物体(例如，钉子)的3D位置可以例如通过以下步骤来确定：从不同的观察方向获取两个X射线图像(在采集这两个图像之间不移动钻头尖端)；在两个X射线图像中检测钻头尖端；基于已知的钉子匹配对这两个X射线图像进行配准；然后计算核线的最优近似点，该核线在3D钉子坐标系中延伸穿过各个钻头尖端位置。如果已知物体的轴线包含特定点(例如，钻头轴线穿过骨骼表面上的进入点，即钻头尖端位于钻孔开始处)，则可以确定该物体(例如，钻头)的相对3D定向，其中该特定点相对于另一个物体(例如，钉子)的3D坐标是已知的。在计算物体的相对3D定向时，可以考虑钻头的可能的弯曲和相应区域中X射线图像的失真。

第二种方法通过并入先验信息来消除有关物体(例如，钻头)的z坐标的模糊性，该先验信息为在该物体的坐标系中已知的轴线(例如，钻孔轴线)穿过一点(例如，进入点，即钻头的起点)，其中该点相对于另一物体(例如，钉子)的3D坐标是已知的。同样，在计算这种轨迹时，可以考虑钻头的可能的弯曲和相应区域中X射线图像的失真。

如果实际钻孔轨迹与所需的钻孔轨迹不匹配(即，在远端锁定的情况下，如果钻头继续沿当前路径前进，钻头将错过钉子的锁孔)，系统可以给使用者发出指令以通过旋转钻头钻子来将电动工具倾斜指定角度。通过这样做，钻头钻子侧向穿过海绵骨，从而回到正确的轨迹。因为这可能会扩大进入骨骼的入口孔，从而移动原始进入点的位置，所以这种校正可能必须考虑这种增加的不确定性。

这种方法还可以允许处理由板和钉子组合而组成的植入物，这些植入物在板上的孔和钉子上的孔之间有螺钉连接。这种植入物类型的NRT指导可以按如下方式进行。基于相关解剖结构的3D重建，可以计算该组合的植入物的理想位置，权衡板位置的优劣(例如，表面贴合度)和钉子位置的优劣(例如，在狭窄点距骨表面的距离足够)。基于计算出的位置，可以计算用于钉子进入骨骼的进入点。插入钉子后，可以基于钉子轴线的当前位置重新计算组合植入物的理想位置。该系统可以为外科医生提供指导以旋转和平移钉子，使得钉子和子植入物(例如螺钉，如果适用的话)的最终位置，同时板(其或多或少地刚性连接到钉子)的预计最终位置得以优化。在到达钉子的最终位置后，系统可以通过在X射线中定位板(尚未到达其最终目的地)并考虑已插入的钉子施加的限制，为板的最优定位提供支持。接下来，可以进行钻穿板孔。这种钻孔是关键的步骤：钻孔也必须击中钉孔，误钻可能不容易被校正，因为可能无法从不同的起点重新钻孔。如果之前已经固定了板(使用未穿过钉子的螺钉)，则钻孔起点和进入点也已固定。在这种情况下，如有必要，可以多次进行钻头角度验证和校正。

如果板孔只允许以特定角度钻孔，则根据钉子的实际位置定位板可能是决定性的。在这种情况下，没有进一步的调整空间，系统可以指导以根据钉子的当前位置定位板。这可以允许在钻孔过程中仅根据钉子与板的配准来推导钻孔轨迹，这反过来又可以确定钻头的位置，即使X射线中只有钻头的一小部分可见(可能仍然需要钻头尖端)。

所提出的系统可以近实时地为外科医生提供持续的指导。如果配准足够快，甚至可以评估来自C臂的连续视频流，从而为外科医生提供准连续的导向指导。通过计算物体在当前X射线图像中的相对3D位置和定向，并将其与所需的一系列物体进行比较，可以向外科医生提供有关如何实现所需的一系列物体的指令。必要的调整或移动可以由外科医生徒手进行，也可以由外科医生利用传感器和/或机械支持地进行。例如，可以将加速度传感器连接到电动工具上，以支持调整钻孔角度。另一种可能性是使用机器人，该机器人可以根据计算出的所需调整来定位一个或更多个物体。根据系统的NRT反馈，可以随时重新计算调整，并在必要时进行校正。

复位支持

本发明的另一个目的可以是支持骨骼碎片的解剖学正确复位。通常，外科医生会尝试以尽可能自然的相对排列方式重新定位骨折碎片。为了获得更好的结果，在插入任何植入物进行固定之前或之后检查这种复位在解剖学上是否正确可能是有必要的。

可以通过计算感兴趣骨骼的3D重建来支持复位。这种3D重建可能不一定是整个骨骼的完整重建，也可能不必在每个方面都精确。在仅提取特定测量值的情况下，3D重建只需要足够精确，就可以足够准确地确定该测量值。例如，如果要确定股骨前倾角(AV)，则在髁突和颈区域进行足够准确的股骨3D重建可能就足够了。其他感兴趣的测量示例可以包括腿部长度、腿部畸形程度、曲率(如股骨前曲)或头颈干(caput-collum-diaphysis，CCD)角，因为在插入髓内钉之前或之后经常出现股骨近端碎片的内翻旋转。一旦确定了感兴趣的测量值，就可以使用它来选择合适的植入物，或者可以将其与所需值进行比较，该所需值可以来自数据库或者特定于患者，例如，通过将正在手术的腿与另一条健康腿进行比较。可以向外科医生提供有关如何获得所需值(例如，所需的前倾角)的指导。

引人注意的还有：通过从可用的X射线图像中自动计算来监控整个手术过程中的某个测量值，并在测量值偏离所需值太大时警告外科医生。

在某些情况下，甚至可以根据单个X射线图像进行3D重建，特别是如果能够确定观察方向(例如，基于LU100907B1)并且仅对特定测量值(例如CCD角)感兴趣。然而，通常，从不同的观察方向拍摄的两个或更多个X射线图像和/或描绘骨骼的不同部位的两个或更多个X射线图像可以提高3D重建的精度(参见上文“计算3D表示/重建”章节)。甚至某部分骨骼在X射线图像中不可见或仅部分可见，也可以计算3D重建，前提是该不可见部分不会因骨折而相对于可见部分发生位移，或者即使存在这种位移，但错位参数也是已知的或能够以其他方式确定。例如，基于股骨的统计3D模型，可以从ML和AP图像对中足够准确地重建股骨头部，其中股骨头部的大部分是不可见的。另一个示例是，如果股骨干没有骨折，则可以基于两个近端X射线图形重建股骨的远端部分。当然，如果还可以获得显示远端部分的另一X射线，则能够提高远端部分的重建的精度。

在基于两个或更多个X射线图像的骨骼3D重建中，如果在计算3D重建之前能够对这些X射线图像进行配准，则可以按照上文“两个或更多个X射线的3D配准”章节中描述的方法之一进一步提高精度。如果要根据显示骨骼不同部位的两个或更多个X射线(例如，两个X射线显示股骨近端，一个X射线显示股骨远端)来计算骨骼的3D重建，则可以基于在每个骨骼部位的至少一个X射线中可见的具有已知3D模型的物体(例如，已经植入的钉子)和/或通过限制这些X射线采集之间所允许的C臂移动(参见LU101009B1)，来对描绘不同部分的X射线进行3D配准。

当植入物尚未插入时，无论是在对患者开孔之前还是之后(例如，为了检测转子周围骨折复位的背侧间隙)，可能都必须确定AV角。在这种情况下，两个或更多个股骨近端图像(例如AP和ML)的配准可以按照上文“两个或更多个X射线的3D配准”章节所述进行，如下所示。在确定用于插入钉子的进入点时，可以将诸如k-wire(其直径已知)之类的开口器械放置在可疑的进入点上，从而在X射线图像中检测到。根据其尖端的位置以及检测到的股骨头部，可以对图像进行配准。如果在X射线图像中看不到其他物体(如k-wire)，则仍可以通过要求C臂在图像之间的特定移动来进行图像配准。例如，系统可能需要围绕C臂的C轴线旋转75度。如果以足够的精度执行此旋转，则也可以以足够的精度对图像进行配准。可以通过将所允许的C臂移动限制为仅平移运动来对骨骼的非重叠部分(例如，股骨的远端和近端部分)进行配准，如实施例中所述。

需要指出的是，为了确定AV角，3D重建并不是必需的。通过确定另一个点(例如，在颈轴附近)，可以有足够的信息来基于2D方法确定AV角。通过采用上述方法，可以对在X射线图像中检测到的2D结构(例如，股骨近端和远端部分内的结构)进行配准。

在其他情况下，考虑相邻的骨骼或骨骼结构可能是有益的，例如，当确定骨骼的正确旋转角度时。例如，在胫骨骨折的情况下，对其近端部分方向的评估可能会考虑股骨、髌骨和/或腓骨的髁突。类似的建议也适用于评估其远端的旋转位置。胫骨与腓骨或其他骨骼结构(例如，足部关节的重叠边缘)的相对位置可以清楚地指示胫骨远端的观察方向。所有这些评估都可以基于神经网络，该神经网络可以执行联合优化，可能基于每个考虑结构的置信度值(校正检测)。可以将此类评估的结果与有关患者或肢体定位的知识相结合，以评估骨骼的当前复位。例如，在肱骨的情况下，系统可以指示外科医生将患者的桡骨定位在平行于患者身体的位置。对于复位评估，通过在X射线图像中检测这些结构来指导使用者实现肱骨关节表面相对于关节盂的中心位置可能就足够了。

X射线剂量的减少

需要记住的是，总体目的可能是减少患者和手术室工作人员的X射线暴露。根据本文公开的实施例，在骨折治疗过程中应生成尽可能少的X射线图像。例如，为检查近端片段相对于远端片段的位置而获取的图像也可用于确定进入点。作为另一示例，在确定进入点的过程中生成的图像也可用于测量AV角或CCD角。

还可以减少X射线暴露，因为根据实施例，完整解剖结构无需在X射线图像中都可见。可以提供物体(例如解剖结构、植入物、手术工具和/或植入系统的部分)的3D表示或定位，即使它们在X射线图像中不可见或仅部分可见。例如，即使投影图像没有完全描绘股骨头部，仍然可以对其完整重建。作为另一示例，可以基于一个或更多个近端图像重建股骨的远端部分，而远端部分未被完全描绘。

在一些情况下，可能需要确定与解剖结构相关的感兴趣点，例如股骨头部的中心或股骨干上的特定点。在这种情况下，可能无需在X射线图像中显示该感兴趣点。如果确定此类感兴趣点时的任何不确定性或不准确性会影响后续中不太重要的维度或自由度，则更适用于此。例如，股骨头部的中心点和/或股骨干轴线上的特定点可能位于X射线图像之外，但是基于深度神经网络方法，系统可能仍然能够确定这些点并利用它们，例如，以足够的精度计算植入曲线，因为植入曲线方向上的任何不准确性可能对计算出的植入曲线没有显著的影响。

根据实施例，系统的处理单元可以被配置成基于显示解剖结构的某最低要求百分比(例如，20％)的X射线投影图像来确定该解剖结构和/或与该解剖结构相关联的感兴趣点。如果可见的解剖结构部分小于最低要求(例如，小于20％)，则系统可以引导使用者获得所需的视图。例如，如果股骨头部完全不可见，则系统可以发出指令，使C臂沿根据当前X射线投影图像中股骨干的外观计算的方向移动。

将3D模型匹配到2D投影图像

需要指出的是，可以直接从成像设备接收处理后的X射线图像的图像数据，例如从基于C臂或G臂的2D X射线设备，或者替代地从数据库接收。X射线投影图像可以表示感兴趣的解剖结构，特别是骨骼。例如，该骨骼可以是手部或脚部的骨骼，但特别可能是下肢的长骨(如股骨和胫骨)和上肢的长骨(如肱骨)。该图像还可以包括人造物体，例如骨骼植入物或手术工具，例如钻头或k-wire。

本公开区分了“物体”和“模型”。术语“物体”将用于真实物体，例如，用于骨骼或骨骼的一部分或其他解剖结构，或用于植入物(如髓内钉、骨板或骨螺钉)，或用于手术工具(如套管或k-wire)。“物体”也可以只描述真实物体的一部分(例如，骨骼的一部分)，或者它可以是真实物体的集合，因此由子物体组成(例如，物体“骨骼”可以断裂，因此由子物体“骨折的骨骼部分”组成)。

另一方面，术语“模型”将用于物体的虚拟表示。例如，定义植入物形状和尺寸的数据集可以构成植入物的模型。作为另一示例，例如在诊断过程中生成的解剖结构的3D表示可以作为真实解剖物体的模型。应该指出的是，“模型”可以描述具体的物体，例如，具体的钉子，或者它可以描述一类具有一些可变性的物体，例如股骨。在后一种情况下，此类物体可以例如由统计形状或外观模型来描述。然后，本发明的目的可以是从获取的X射线图像所描绘的物体类别中找到特定实例的3D表示。例如，其目的可以是基于股骨的一般统计形状模型，找到在所获取的X射线图像中描绘的股骨的3D表示。也可以使用包含一组离散确定性可能性的模型，然后系统将选择其中哪一个最能描述图像中的物体。例如，数据库中可能存在数个钉子，然后算法会识别哪一个钉子被描绘在图像中。

需要指出的是，模型可以是真实物体的完整3D模型或部分3D模型，或者它可能只描述了物体的某些几何方面(其也可能是小于3的维度)，例如股骨头部或肱骨头部能够用3D的球和2D投影图像中的圆来近似表示，或者骨干具有骨干轴线所描述的方向。

由于3D表示实际上是一组计算机数据，因此很容易从该数据中提取被虚拟表示物体的特定信息，例如几何方面和/或尺寸(例如，轴线、轮廓、曲率、中心点、角度、距离或半径)。如果比例尺是根据一个物体确定的，例如，由于根据模型数据钉子的宽度是已知的，那么如果另一被描绘且可能未知的物体位于相似的成像深度处，则也可以测量此物体的几何方面或尺寸。如果一个物体的成像深度已知(例如，因为该物体足够大，或者因为X射线检测器的尺寸和成像平面与焦点之间的距离已知)，并且如果存在关于两个物体之间成像深度差异的信息(例如，基于解剖学知识)，则甚至可以根据截距定理计算出不同成像深度处的不同物体的大小。

根据实施例，X射线图像中的物体在X射线投影图像中被自动分类和识别。然而，也可以在X射线投影图像中手动分类和/或识别物体。这种分类或识别可以由设备通过自动引用设备所辨别出的结构来支持。

将物体的模型匹配到与其描绘在X射线图像中的投影时，可以只考虑该投影的选定特征(例如，轮廓或特征边缘)，也可以考虑整个外观。可以使用神经分割网络来确定轮廓或特征边缘。物体在X射线图像中的外观主要取决于X射线辐射的衰减、吸收和偏转，而X射线辐射的衰减、吸收和偏转又取决于物体的材料。例如，钢制钉子通常比钛制钉子吸收更多的X射线辐射，这不仅会影响钉子在其轮廓内的投影图像的外观，而且还可能改变轮廓本身的形状，例如改变钉孔的轮廓。这种效应的强度还取决于X射线强度和该物体周围X射线束必须穿过的组织的数量。作为另一示例，软组织和硬组织之间的过渡在X射线图像中是可识别的，因为这种过渡会导致X射线图像中较暗区域和较亮区域之间的边缘。例如，肌肉组织和骨骼组织之间的过渡可以是可识别的结构，而且内皮质，海绵内骨组织和硬皮质外骨组织之间的过渡在X射线图像中也可以是可识别特征。需要指出的是，在本公开内容中确定骨骼轮廓的任何地方，这种轮廓也可以是内皮层或骨骼形状的任何其他可识别特征。

根据实施例，对于由确定性模型描述的物体，2D-3D匹配可以按照Lavallée S.,Szeliski R.,Brunie L.(1993)Matching 3-D smooth surfaces with their 2-Dprojections using 3-D distance maps,in Laugier C.(eds):Geometric Reasoningfor Perception and Action.GRPA 1991,Lecture Notes in Computer Science,Vol708.Springer,Berlin,Heidelberg中的思路进行。在这种方法中，可以通过向参数向量中引入附加的自由度或通过使用适当调整的模型来解释其他效应，例如图像失真(例如，由图像增强器引入的枕头效应)或钉子弯曲。

根据实施例，对于由统计形状或外观模型描述的物体，将虚拟投影匹配到实际投影可以按照V.Blanz,T.Vetter(2003),Face Recognition Based on Fitting a 3DMorphable Model,IEEE Transactions on Pattern Analysis and MachineIntelligence中的思路进行。在该论文中，统计的、可变形的3D模型被拟合到2D图像。为此，确定了用于轮廓和外观的统计模型参数以及用于透视投影的相机和位姿参数。另一方法是遵循X.Dong和G.Zheng的Automatic Extract of Proximal Femur Contours fromCalibrated X-Ray Images Using 3D Statistical Models,in T.Dohi et al.(Eds.),Lecture Notes in Computer Science,2008。按照如下方式使3D模型变形：其虚拟投影与X射线图像中物体的实际投影相匹配，还允许计算成像方向(其描述了X射线束穿过物体的方向)。

在显示X射线图像时，几何方面和/或尺寸可能会在投影图像中显示为叠加。替代地或另外地，模型的至少一部分可以显示在投影图像中，例如作为透明可视化或3D渲染，这可以促进使用者识别模型的结构方面，从而识别所成像的物体。

总体评述

关于C臂的旋转轴线和平移轴线的定义，参见图25。在该图中，X射线源用XR表示，用字母B表示的旋转轴线被称为竖直轴线，用字母D表示的旋转轴线被称为螺旋轴线，用字母E表示的旋转轴线被称为C轴线。需要指出的是，对于某些C臂模型，轴线E可能更靠近轴线B。轴线D与中心X射线束(标有XB)之间的交点被称为C臂的中心“C”。C臂可以沿字母A指示的方向上下移动。C臂也可以沿字母C指示的方向移动。竖直轴线距C臂的中心“C”的距离可能因C臂而异。需要指出的是，也可以使用G臂来代替C臂。

神经网络可以基于多种数据进行训练，该多重数据与应用该神经网络的数据相当。在评估图像中的骨骼结构时，应基于感兴趣骨骼的多种X射线图像来训练神经网络。可以理解，也可以基于模拟的X射线图像来训练神经网络。

根据实施例，可以使用多于一个神经网络，其中每个神经网络可以专门针对实现所需解决方案的必要子步骤进行训练。例如，第一神经网络可以被训练以评估X射线图像数据，以便对2D投影图像中的解剖结构进行分类，而第二神经网络可以被训练以检测2D投影图像中该结构的特征边缘。第三神经网络可以被训练以确定如股骨头部中心之类的特定关键点。还可以将神经网络与其他算法相结合，包括但不限于基于模型的算法，如活动形状模型(Active Shape Model)。需要指出的是，神经网络还可以直接解决本发明中的任务之一，例如，确定植入曲线。

需要指出的是，处理单元可以仅由执行该过程所有步骤的一个处理器实现，也可以由一组或多个处理器实现，这些处理器不需要位于同一位置。例如，云计算允许将处理器放置在任何地方。例如，处理单元可以分为控制与使用者交互的第一子处理器(其包括用于可视化结果的监控器)，和执行所有计算的第二子处理器(可能位于其他地方)。第一子处理器或另一子处理器还可以控制例如X射线成像设备的C臂或G臂的移动。

根据实施例，该设备还可以包括存储装置，该存储装置提供用于存储例如X射线图像的数据库。可以理解，还可以在系统可以连接的网络中提供这种存储装置，并且可以通过该网络接收与神经网络相关的数据。此外，该设备可以包括用于生成至少一个2D X射线图像的成像单元，其中该成像单元能够从不同方向生成图像。

根据实施例，该系统可以包括用于向使用者提供信息的设备，其中，该信息包括组外的至少一条信息，该组是由X射线图像和关于程序步骤的指令组成的。可以理解，这种设备可以是用于信息可视化的监控器或增强现实设备，或者可以是用于以声学方式提供信息的扬声器。该设备还可以包括用于手动确定或选择X射线图像中物体的位置或部分(例如骨骼轮廓)的输入装置，例如用于测量图像中的距离。例如，这种输入装置可以是用于控制点击设备(如监控屏幕上的光标)的包含在设备内的计算机键盘、计算机鼠标或触摸屏。该设备还可以包括摄像头或扫描仪，以读取包装的标签或以其他方式识别植入物或手术工具。摄像头还可以使使用者能够通过手势或模仿(例如，通过虚拟现实显示的虚拟触摸设备)与设备进行视觉通信。该设备还可以包括麦克风和/或扬声器，并与使用者进行声学通信。

需要指出的是，本公开中提及的所有C臂移动始终指的是C臂和患者之间的相对重新定位。因此，任何C臂平移或旋转通常都可以被患者/手术台的对应平移或旋转所取代，或被C臂平移/旋转和患者/手术台平移/旋转的组合所取代。这在处理四肢时可能特别重要，因为在实践中，移动患者的四肢可能比移动C臂更容易。需要指出的是，所需的患者移动通常与C臂移动不同，特别是，如果目标结构已经在X射线图像位于所需位置，则通常不需要对患者进行平移。该系统可以计算C臂调整和/或患者调整。还需要指出的是，所有对C臂的引用都可以类比地适用于G臂。

本发明所公开的方法和技术可以用在支持人类使用者或外科医生的系统中，或者它们也可以用在部分或全部步骤由机械执行的系统中。因此，本专利申请中提及的所有“使用者”或“外科医生”都可以指人类使用者以及机械外科医生、机械支持设备或类似装置。类似地，每当提到发出如何调整C臂的指令时，可以理解这种调整也可以在没有人工干预的情况下执行，即自动执行、由机械C臂执行、由机械工作台执行，或者它们可以由手术室工作人员在一些自动化支持下执行。需要指出的是，由于机械外科医生和/或机械C臂的操作精度可能高于人类，因此迭代过程可能需要更少的迭代，并且可能会执行更复杂的指令(例如，组合多个迭代步骤)。

计算机程序可以优选加载到数据处理器的随机存取存储器中。因此，根据实施例的系统的数据处理器或处理单元可以被配备成执行所描述的过程的至少一部分。此外，本发明涉及一种计算机可读介质，例如CD-ROM，其上可以存储所公开的计算机程序。然而，计算机程序也可以通过像万维网这样的网络呈现，并且能够从这样的网络下载到数据处理器的随机存取存储器中。此外，计算机程序还可以在基于云的处理器上执行，其结果通过网络呈现。

需要指出的是，在手术前或手术过程中，可能只需扫描植入物的包装(例如条形码)或植入物本身上的任何文字，即可获得有关植入物的先验信息(例如，钉子的大小和类型)。

从上面的描述中可以清楚地看出，本发明的主要方面是处理X射线图像数据，允许对可见物体进行自动解释。本文所述的方法应理解为辅助患者手术治疗的方法。因此，根据实施例，该方法可以不包括通过手术治疗动物或人体的任何步骤。

可以理解，本文所述的方法步骤——特别是根据实施例描述的与工作流程相关的方法的那些步骤(其中一些在图中可视化)——是主要步骤，其中这些主要步骤可以被区分或分为几个子步骤。此外，在这些主要步骤之间可能还有其他子步骤。还可以理解，整个方法中只有一部分可以构成本发明，即步骤可以被省略或被概括。

必须指出的是，实施例是参照不同的主题来描述的。具体地，一些实施例是参照方法类型权利要求(计算机程序)来描述的，而其他实施例是参照装置类型权利要求(系统/设备)来描述的。但是，本领域技术人员将从上述和以下描述中明白，除非另有说明，否则属于一类主题的特征的任何组合以及与不同主题相关的特征之间的任何组合都被视为与本申请一起公开。

本发明的上述方面以及其它方面、特征和优点也能够从下面描述的实施例示例中推导出来，并且还参照附图中的实施例示例对其进行解释，但本发明并不局限于这些实施例示例。

附图说明

图1示出了用于确定髓内钉进入点的股骨的侧向X射线图像。

图2示出了胫骨近端部分和开口器械的ML X射线图像。

图3示出了胫骨近端部分和开口器械的AP X射线图像。

图4示出了胫骨近端部分和开口器械的AP X射线图像。

图5示出了胫骨近端部分和开口器械的AP X射线图像。

图6示出了基于两个AP X射线图像和一个ML X射线图像的胫骨的图像配准。

图7示出了肱骨近端部分的轴向X射线图像。

图8示出了肱骨近端部分和导杆的轴向X射线图像。

图9示出了肱骨近端部分和导杆的AP X射线图像。

图10示出了基于AP X射线图像和轴向X射线图像的肱骨的图像配准。

图11示出了肱骨近端部分、颈组织解剖结构的2D点以及导杆的轴向X射线图像。

图12示出了肱骨近端部分、颈组织解剖结构的2D点以及导杆的AP X射线图像。

图13示出了肱骨近端部分、2D投影的颈组织解剖结构、进入点以及导杆的AP X射线图像。

图14示出了肱骨近端部分、2D投影的颈组织解剖结构、进入点以及尖端位于进入点上的导杆的AP X射线图像。

图15示出了从AP观察方向的骨折的3D肱骨和导杆。

图16示出了从轴向观察方向的骨折的3D肱骨和导杆。

图17示出了从AP观察方向的骨折的3D肱骨和插入的导杆。

图18示出了肱骨近端部分、颈组织解剖结构的2D点和插入的导杆的轴向X射线图像。

图19示出了肱骨近端部分、颈组织解剖结构的2D点和插入的导杆的AP X射线图像。

图20示出了股骨近端部分、其轮廓和开口器械的AP X射线图像。

图21示出了股骨近端部分、其轮廓和开口器械的ML X射线图像。

图22示出了股骨远端部分的ML X射线图像。

图23示出了股骨远端部分及其轮廓的ML X射线图像。

图24示出了3D股骨和股骨前倾角的定义。

图25示出了具有旋转轴线和平移轴线的C臂。

图26示出了用于确定胫骨的进入点的可能的工作流程。

图27示出了用于确定肱骨的进入点的可能的工作流程。

图28示出了股骨远端部分、插入的植入物以及放置在股骨表面上的钻头的AP X射线图像。

图29示出了股骨远端部分、插入的植入物以及放置在股骨表面上的钻头的ML X射线图像。

图30示出了基于AP X射线图像和ML X射线图像的股骨远端部分的图像配准，包含股骨、插入的植入物和钻头。

图31示出了从不同观察方向的与图30相同的一系列物体。

图32示出了股骨远端部分的ML X射线图像，其中计算了多个钉孔的进入点。

图33示出了用于确定髓内植入物在股骨中的进入点的可能的工作流程。

图34示出了用于确定股骨前倾角的可能的工作流程。

图35示出了用于徒手锁定过程(快速版)的可能的工作流程。

图36示出了用于徒手锁定过程(增强版)的可能的工作流程。

图37示出了用于验证和校正钻孔轨迹的可能的工作流程。

图38示出了3D空间中三种不同的钻孔位置。

图39示出了图38中场景的2D投影。

在所有附图中，除非另有说明，否则使用相同的附图标记和字符来表示图示实施例的类似特征、元素、组件或部分。此外，虽然本公开现在将参照附图进行详细描述，但这样做是与说明性实施例相关的，并且本公开不局限于附图中所示的特定实施例。

具体实施方式

确定用于将髓内钉植入股骨中的进入点

本发明的第一目的可以是确定植入曲线和用于将髓内钉植入股骨中的进入点。为了确定该进入点，需要从特定观察方向获取X射线图像。在真正的侧视图中，骨干轴线和颈轴线带有一定偏移地平行。然而，这种视图并不是本发明所需的视图。所需的视图是围绕C臂的C轴线旋转，使得植入轴线将延伸穿过股骨头部的中心的侧视图。例如，可以通过具有足够高精度的神经网络来确定股骨头部的中心。确定股骨头部的中心时的不确定性可能主要涉及朝向植入轴线方向的偏差，这并不会显著影响确保所需观察方向的精度。基于解剖学数据库或基于LU100907B1，该系统可以通过估计围绕C轴线的所需旋转角来支持使用者获得所需的观察方向。

该系统还可以帮助使用者获得正确的观察方向。例如，考虑以下场景：相较于开口器械的尖端与股骨干的最低可视部分之间的2D距离，股骨头部中心与开口器械尖端之间的2D距离太小。当C臂的焦点轴线几乎垂直于植入轴线时，就会出现这种效果。如果是这种情况，在当前的X射线投影图像中，峡部处的骨干中心很可能不可见。因此，系统可以发出指令，使C臂绕图25中的轴线B旋转。遵循指令会得到X射线投影图像，其中第一距离增加并且第二距离减少(即颈区域更大，并且骨干的峡部变得可见)。

对于如上所述的确定C臂需要旋转多少角度才能获得所需视图的方法，其可能是考虑AP X射线图像中的解剖外观。在图像中可以识别以下点：股骨头部的中心、开口器械的尖端和大转子过渡处的骨干中心。然后可以分别在前两点和后两点之间画出两条线。由于也可以在ML X射线图像中以足够的精度识别这三个点，因此可以估计ML X射线图像的焦点线与解剖结构(例如，植入轴线和/或颈轴线)之间的角度。如果这个角度太小或太大，系统可能会发出指令，以分别增加角度或减小角度。

根据实施例，植入轴线可以按如下方式确定。图1示出了股骨的侧向(ML)X射线图像。该系统可以检测峡部处的骨干中心(标记为ISC)和股骨头部的中心(标记为CF)。由这两个点定义的线可以假定为植入轴线(标记为IA)。此外，该系统可以检测颈区域和骨干区域的投影外部边界(标记为OB)，或者替代地检测边界上的多个点。例如，边界的分割可以通过神经网络完成。替代地，神经网络可以直接估计特定点而不是完整的边界。例如，神经网络可以估计骨干的中心而不是骨干的边界，并且可以根据股骨头的大小来估计骨干直径。根据这些信息，可以估计骨干边界的位置而无需找到边界本身。植入轴线应当与颈边界和骨干边界都保持一定距离。如果其中的一个距离太小，系统可以计算围绕C臂的C轴线所需的旋转使得在随后获取的X射线投影图像中达到所需的观察方向。C臂旋转的方向可以根据颈区域距离和骨干区域距离的加权评估来确定。旋转的角度可以根据股骨的解剖模型计算。

一旦达到所需的观察方向，就可以将植入轴线与转子边缘轴线的交点定义为进入点。转子边缘轴线可以在图像中直接检测到。如果不希望这样或这样不可行，也可以在X射线图像中通过连接开口器械尖端和植入轴线的线来近似表示转子边缘轴线。可以假设这条线垂直于植入轴线，或者如果有先验信息表明不是这样，则它可能与植入轴线成斜角延伸。

植入物可以由钉子和头部元件组成。如果开口器械的投影尖端与投影进入点之间的距离不在所需距离内(例如，距离大于1mm)，则系统可以指导使用者如何移动开口器械以到达进入点。例如，如果股骨上的开口器械的尖端与确定的进入点相比位置过于靠前，则系统会发出指令，使开口器械的尖端沿向后方向移动。

根据实施例，该系统可以在X射线中检测股骨干的峡部、股骨头部的中心(标记为CF)和开口器械的尖端(标记为KW)。可以假设植入轴线(标记为IA)是穿过股骨头部的中心(标记为CF)和骨干峡部处的中心(标记为ISC)的线。可以假设进入点是植入轴线上最接近开口器械的尖端KW的点(标记为EP)。系统可以发出移动开口器械的指令，使得开口器械放置在EP上。将器械移动到投影点后，为验证开口器械的尖端在AP视图中是否仍在大转子的投影尖端上，获取AP图像可能会有所帮助。如果对从AP图像中检测到的K-Wire尖端的投影核线(可能基于AP图像与ML图像的配准)有一定了解，并且在采集AP图像和采集ML图像之间k-wire尖端没有移动，那么这将导致更准确地确定进入点，其中无需在另一个AP图像中额外验证尖端是否仍然位于大转子的投影尖端上。

用于确定髓内植入物在股骨中的进入点的可能的工作流程示例(参见图33)：

1、使用者获取AP X射线图像，在该AP X射线图像中开口器械的尖端放置在大转子的投影尖端上。

2、在不移动开口器械尖端的情况下，使用者获取ML X射线投影图像。

3、系统检测X射线图像中的股骨头部中心、骨干峡部中心点以及开口器械的尖端。

a、如果股骨头部和骨干峡部都不足够可见，则系统会发出指令，使C臂在侧向方向上移动以增加视野。

b、如果只有股骨头部不足够可见，而峡部完全可见，则系统会发出指令，使C臂沿腿部在近端方向上移动。

c、系统计算股骨头部中心与开口器械尖端之间的第一距离，以及开口器械尖端与骨干某一点之间的第二距离。该点可能是峡部处的骨干中心(如果可见)，或者，如果峡部不可见，则可能是骨干最远端的可见点或者替代地是峡部处骨干的估计中心(基于骨干的可见部分)。

d、如果只有骨干不足够可见，而股骨头部完全可见，则系统会发出指令，使C臂沿腿部在远端方向上移动。确定骨干是否足够可见的一种方法是将步骤3c中的第二距离与阈值进行比较。另一种方法可以是评估骨干的曲率，以确定峡部在当前X射线图像中是否可见。

e、如果与第二距离相比，步骤3c中的第一距离太小，则需要围绕C臂轴线B顺时针(右股骨)或逆时针(左股骨)旋转C臂(参见图25)，反之亦然。可以根据所述两个距离以及可能来自步骤1中的AP图像的附加信息来计算C臂需要旋转的角度。该附加信息可能包括，例如股骨的CCD角。还可以考虑ML X射线图像中描绘的骨干曲率。

4、重复步骤2和步骤3，直到股骨的所有重要部分都足够可见，并且步骤3c中的所述两个距离具有所需的比率。

5、除了步骤3中的点外，系统还检测股骨颈的左右侧轮廓以及股骨干的左右侧轮廓。

6、从股骨头部中心到骨干峡部处的中心绘制一条线。计算这条线与股骨颈和股骨干的所述四个轮廓之间的四个距离。

7、对于每个颈区域和骨干区域，定义指标来评估该线延伸穿过所述区域中的每一个的中心程度。示例：当线接触颈的左侧轮廓时，颈的该指标值为0；当线接触股骨的右侧轮廓时，颈的该指标值为1；当线位于颈区域的中心时，该指标值为0.5。

8、根据颈指标和骨干指标的加权平均值定义新指标。如果该新指标低于第一阈值，则C臂需要绕其C轴线旋转，使得C臂的焦点在向前方向上移动。如果该新指标高于第二阈值(第二阈值高于第一阈值)，则C臂需要绕其C轴线沿相反方向旋转。可以根据该指标与对应阈值之间的距离来计算C臂需要旋转的角度。

9、如果步骤8中定义的指标超出了步骤8中的所述两个阈值，则必须获取新的ML X射线投影图像。

10、重复步骤5至步骤9，直到步骤8中定义的指标介于步骤8中的所述两个阈值之间。所绘制的线是最终的投影植入轴线。

11、计算开口器械的投影尖端与步骤10中的线之间的距离。

12、可选：对开口器械的尖端进行定位。根据开口器械的尖端的外观(即其在X射线投影图像中的大小)，系统给出在向后或向前方向上移动开口器械的尖端的指令。

13、如果开口器械的尖端离步骤10中的线太远，则优化其位置并获取新的ML X射线投影图像。

14、重复步骤11至步骤13，直到开口器械的尖端与步骤10中的线在一定距离内。

15、获取AP X射线投影图像，以确保开口器械的尖端仍在大转子的尖端上。如果不是这种情况，则返回到步骤2。

将带有子植入物的钉子植入胫骨中的过程

可能的工作流程示例(参见图26)：

0、对于以下工作流程，假定胫骨的近端部分完好无损(或被正确重新定位)。

1、使用者将开口器械放置在胫骨表面上(在近端部分的任意点处，但理想情况下是在外科医生估计的进入点附近)。

2、使用者获取胫骨(标记为TIB)的近端部分的(近似)侧向图像，如图2所示。

3、使用者获取胫骨的近端部分的至少一个AP图像(理想情况下，来自略微不同方向的多个图像)，如图3、图4和图5所示。

4、系统检测所有图像中开口器械(标记为OI)的大小(或直径等)，以估计胫骨的大小(缩放比例)。

5、系统将胫骨的统计模型联合匹配到所有图像中，例如，通过将统计模型与骨骼轮廓(或更一般地说，骨骼的外观)相匹配。该步骤的结果是胫骨的3D重建。

a、这包括每个图像的六个旋转和平移参数、一个缩放比例参数(其在步骤4中已经初步估计)以及一定数量的模式(确定模式相当于胫骨的3D重建)。因此，如果有n个图像和m个模式，则参数总数为(6·n+1+m)。

b、根据(每个图像中)胫骨得所有估计的旋转和平移，系统对所有图像执行图像配准，如图6所示。因此，AP图像(标记为I.AP1和I.AP2)、ML图像(标记为I.ML)、开口器械的尖端(标记为OI)和胫骨(标记为TIB)之间的空间关系是已知的。

c、可选：为了获得潜在更准确的结果，系统可以使用股骨髁突或腓骨信息，例如，通过使用这些骨骼的统计信息。

6、基于胫骨的3D重建，系统确定进入点。例如，这可以通过在统计模型的平均形状上定义该进入点来实现。然后可以在3D重建中识别该点。

7、可选：基于胫骨的3D重建，系统将植入物放入骨骼中(虚拟地)，并计算近端锁定螺钉的长度。该步骤还可以改善对进入点的估计，因为它考虑了实际植入物。

8、系统将进入点显示为当前X射线图像中的叠加。

9、如果开口器械的尖端不够接近所估计的进入点，则系统会发出指令以校正尖端的位置。

a、使用者校正开口器械的尖端的位置并获取新的X射线图像。

b、系统计算新图像中的进入点(例如，通过图像差异分析或通过将胫骨的3D重建与新图像相匹配)。

c、返回步骤8。

10、使用者将植入物插入胫骨并获取新的图像。

11、系统对植入物进行定位。基于胫骨的3D重建，系统提供必要的3D信息(例如，近端锁定螺钉的长度)。

12、系统为近端锁定提供支持。

13、系统通过比较胫骨的近端部分(其可能包括股骨髁突)和胫骨的远端部分(可能包括足部)来计算扭转角。为了更准确地计算扭转角，系统还可以使用有关腓骨的信息(例如，通过定位腓骨并计算其与胫骨的空间关系)。

将带有子植入物的钉子植入肱骨中的过程

可能的工作流程示例(参见图27)：

0、使用者提供进入点和颈组织解剖结构之间的所需距离(例如，0mm，或5mm内侧)。

1、使用者获取肱骨近端部分的轴向X射线图像，如图7所示。

2、该系统检测肱骨头部的轮廓(例如，利用神经网络)。根据检测到的轮廓，系统用圆圈来近似表示肱骨头部(标记为HH)，即系统估计2D中心和半径。这可能包括肱骨头部(2D中心和半径)的多个候选项，这些候选项根据其合理性(例如，基于统计模型、均方近似误差、置信水平等)进行排名。根据检测到的骨干轴线(标记为IC)，系统旋转图像，使得骨干轴线为竖直线。系统评估头部的中心是否足够靠近骨干轴线。如果头部的中心和骨干轴线之间的距离过大，系统建议使用者在远端方向上对臂施加牵引力，以校正平移的重新定位(即头部vs骨干；软组织的力将导致垂直于牵引力的重新定位)。

3、系统估计初始进入点(标记为EP)，该初始进入点位于肱骨头部和骨干轴线的交点之间的某处(例如，在交点中心上方20％)。

4、使用者将导杆放在步骤3中进入点的初始猜测处。

5、使用者获取另一轴向X射线图像，其中导杆(标记为OI)可见，如图8所示。

6、系统检测肱骨头部(标记为HH)(2D中心和半径)和2D骨干轴线(标记为IC)并定位导杆(标记为OI)，以获得其尖端的2D坐标和2D缩放比例(基于导杆的已知直径)。

7、系统建议使用者使C臂围绕其C轴线旋转(其它允许的C臂移动是在远端-近端方向或前-后方向上的平移；禁止的移动是其他旋转和内侧-外侧方向上的平移)。

8、使用者在不移动导杆尖端的情况下(只要尖端保持在原位，导杆的角度移动是允许的)获取肱骨的近端部分的AP X射线图像(不必是真正的AP图像)，如图9所示。

9、系统检测肱骨头部(标记为HH)(2D中心和半径)和2D骨干轴线(标记为IC)并定位导杆(标记为OI)，以获得其尖端的2D坐标和2D缩放比例(基于导杆的已知直径)。

10、基于步骤6至步骤9中的信息，系统执行如图10所示的图像配准，并计算肱骨头部的球形近似表示(标记为HH3D)和3D骨干轴线，该骨干轴线与该球体位于同一坐标系中。

11、有四个点(即每个图像两个点，轴向和AP)(在图11和图12中标记为CA)定义了投影肱骨头部的圆形部分的起点和终点。系统检测这四个点中的至少三个。基于这至少三个点，系统确定3D的颈组织解剖结构(例如，通过基于这三个点定义平面，该平面与肱骨头部的球形近似表示相交)。

12、系统还可以使用步骤11中的所述第四个点，以改进对颈组织解剖结构确定(例如，利用加权最小二乘法，其中权重是基于所述四个点中的每一个的个体置信水平)。

13、当解剖结构在空间中虚拟旋转，使得3D骨干轴线是竖直线并且肱骨头部在骨干上方时，进入点被定义为颈组织解剖结构上的空间中的最高点(图13中标记为CA3D)。基于步骤0中的设置和步骤10到步骤12的结果，系统计算最终进入点(标记为EP)。

14、使用者将导杆放在所计算的进入点上，并获取新的AP X射线图像，如图14所示。

15、系统检测导杆(标记为OI)的尖端，并评估导杆的尖端是否足够靠近所计算的进入点(标记为EP)。

16、重复步骤14和步骤15，直到导杆的尖端足够靠近进入点。

17、用于导杆角度移动的可选指令。

a、基于最新的图像配准(其包括3D的肱骨头部)，该系统确定肱骨头部和导杆之间的空间关系，如图15和图16所示。如果导杆的方向偏离最优插入方向太多，系统会给出使导杆进行角度移动的指令。最优插入方向可以是估计的，例如，利用统计模型，或通过比较导杆的轴线(标记为OIA)与肱骨头部轴线(标记为HA)。

b、如果在步骤a中给出了指令，则使用者遵循该指令并从同一方向获取新的X射线图像。图像差异分析检测图像中的变化并更新图像配准。

c、重复步骤a和步骤b，直到不需要导杆的进一步角度移动。

18、肱骨头部轮廓的图像配准和验证的可选改进。

a、使用者插入导杆，如图17所示。

b、使用者获取X射线图像(例如，如图18所示的轴向图像)。

c、系统定位导杆(标记为OI)并检测肱骨头部(标记为HH)(2D中心和半径)。

d、系统建议使用者使C臂绕其C轴线旋转(其他可能的C臂移动，请参阅步骤7)。

e、使用者在不移动导杆的情况下从其它方向获取X射线图像(例如，如图19所示的AP图像)。

f、系统定位导杆(标记为OI)并检测肱骨头部(标记为HH)(2D中心和半径)。

g、基于来自两个图像的信息，系统执行图像配准。由于导杆的3D模型是已知的，因此该图像配准比步骤10中的更准确。

h、基于图像配准，系统可以验证两个图像中肱骨头部的检测。

i、基于验证结果，系统优化两个图像中肱骨头部的轮廓(例如，通过选择肱骨头部的另一候选项)。

19、肱骨头部旋转脱位的可选校正。

a、使用者获取X射线图像(轴向或AP)。系统定位导杆并检测2D骨干轴线以及2D肱骨头部轴线(由肱骨头部的可见圆形部分定义)。

b、如果前一个图像具有明显不同的成像方向(例如，前一个图像为轴向并且当前图像为AP)，则系统基于最新的图像对来进行图像配准。基于该图像配准，系统确定当前图像的骨干轴线和肱骨头部轴线之间的理想2D角度。

c、如果前一个图像具有非常相似的成像方向(例如，通过图像差异分析所识别的)，则骨干轴线和肱骨头部轴线之间的理想2D角度保持不变(与前一个图像相比)。

d、系统计算骨干轴线和肱骨头部轴线之间的当前2D角度。

e、如果骨干轴线和肱骨头部轴线之间的角度不够接近步骤19b或步骤19c中的理想角度(例如，在轴向图像中为20°，在AP图像中为130°)，则系统会发出指令，以校正在背腹侧(轴向图像)或内侧-外侧(AP图像)方向的旋转脱位。

f、如果前一个图像具有非常相似的成像方向，但与该前一个图像相比，肱骨头部的可见圆形部分更小或更大(例如，由于之前对脱位的校正)，则系统会给出附加的指令，使C臂围绕其C轴线旋转，以改变下一个图像的成像方向(即，更新图像配准)，因为旋转脱位可能还因其他成像方向而改变。

h、如果给出了指令，则使用者校正旋转脱位(并在需要时旋转C臂)并返回步骤19a。

20、可选的扭转检查。

a、使用者放置前臂，使其与身体(或大腿)平行。

b、使用者获取轴向X射线图像。

c、系统检测肱骨头部轴线和关节盂的2D中心。系统计算关节盂中心与头部轴线之间的距离。基于该结果，系统给出需要校正扭转的方向和角度的指令。

d、使用者通过按照步骤c中的方向和角度旋转该头部来校正扭转。

e、重复步骤20b至步骤20d，直到关节盂的中心足够靠近肱骨头部轴线。

可能的变动：作为在步骤3中将进入点估计在交点中心(内侧)上方20％处的替代，系统可以使用更高的值(例如，70％)来确保导杆的尖端位于肱骨头部的球形部分上。在步骤10中，系统可以使用导杆尖端位于肱骨头部的球形近似表示上的信息来改善图像配准。由于上述70％方法，导杆尖端的当前位置与进入点的距离更大(与20％方法相比)。当引导使用者用导杆的尖端到达进入点时(步骤14至步骤16)，系统确定观看方向是否发生了变化(例如，通过图像差异分析)。如果观察方向没有改变，则使用从前一X射线图像中计算出的进入点，并根据更新的检测到的尖端位置更新引导信息。如果观察方向仅略有变化，则进入点会相应地移动(例如，通过一种称为对象跟踪的技术，例如参见，S.R.Balaji et al的“Asurvey on moving object tracking using image processing”(2017))。如果观察方向发生显著变化，则系统会指示使用者使C臂绕其C轴线旋转并从不同的观察方向(例如，如果当前图像是AP，则为轴向)获取X射线图像，同时不移动导杆的尖端。基于更新的图像，系统根据通过先前配准获得的信息(例如，肱骨头部的球近似表示的半径)执行图像配准，在当前图像中显示进入点，并引导使用者用导杆的尖端到达进入点。

确定股骨前倾角

在下文中，将介绍在插入植入物之前或之后确定AV角的示例工作流程，并且其可以比现有技术更坚固和/或更精确。根据实施例，针对确定股骨前倾角的整个过程可以如下进行(参见图34)。

1、使用者将开口器械的尖端大致放置在大转子的尖端上。

2、使用者获取股骨近端部分的AP X射线图像，如图20所示。

3、系统检测股骨的2D轮廓(标记为FEM)和用圆圈(标记为FH)近似表示(即，由2D中心和2D半径确定)的股骨头部，并且定位开口器械(标记为OI)的尖端。

4、如果股骨的某些重要部位或开口器械的尖端不够可见，则系统会发出旋转和/或移动C臂的指令，并且使用者返回步骤2。

5、使用者使C臂绕其C轴线旋转以获取ML X射线图像。使用者可以额外地使用C臂的内侧-外侧和/或前-后移位。在移动C臂时，开口器械的尖端不得移动。

6、使用者获取股骨近端部分的ML X射线图像，如图21所示。

7、系统检测股骨的2D轮廓(标记为FEM)和股骨头部(标记为FH)(即，2D中心和2D半径)，并且定位开口器械(标记为OI)的尖端。

8、如果股骨的某些重要部位或开口器械的尖端不够可见，则系统会发出移动C臂(仅平移)或使C臂绕其C轴线旋转的指令，并且使用者返回步骤6。

9、基于近端AP和ML图像对，系统进行图像配准。如果图像配准不成功，则系统会发出旋转和/或移动C臂的指令，并且使用者返回步骤2。

10、使用者沿着患者的腿部在远端方向上移动C臂。在该步骤中，不允许旋转，但允许C臂的所有三种平移移动。

11、使用者获取股骨远端部分的ML X射线投影图像，如图22和图23所示。

12、系统检测股骨的2D轮廓(标记为FEM)。

13、无需股骨髁突的特定定向或对齐。但是，如果股骨的某些重要部分不够可见，则系统会发出移动(只允许平移)C臂的指令，并且使用者返回步骤11。

14、基于图像配准，系统将统计模型(其是基于骨折股骨和未骨折股骨训练的)联合拟合到所有图像，使得该统计模型的投影轮廓与所有图像中检测到的股骨2D轮廓相匹配。这一步直接导致股骨的3D重建。为了提高3D重建的精度，系统可以计算开口器械尖端的3D位置(基于近端图像配准)，并利用开口器械的尖端放置在股骨表面的事实将该点用作参考点。

15、该系统根据股骨的3D重建来确定前倾角，如图24所示。根据Yeon Soo Lee etal.:“3D femoral neck anteversion measurements based on the posterior femoralplane insystem”(2006)，可以基于股骨头部中心(标记为FHC)、股骨颈中心(标记为FNC)、转子后尖(标记为TRO)以及股骨后髁突的外侧和内侧顶点(标记为LC和MC)来计算前倾角。该系统识别步骤10中股骨3D重建上的这五个点，从而计算前倾角。

徒手锁定过程

股骨钉的远端锁定过程可能有不同的实现方式。在下文中，将介绍可能的工作流程的两个示例(一个是“快速”示例，另一个示例具有“增强”的精度)。在任何一种工作流程中，使用者都可以在钻孔过程中利用近实时(NRT)反馈随时根据X射线图像验证钻孔轨迹，并在必要时校正钻孔角度。该验证不需要旋转或重新调整C臂。下面提供了此类验证的示例工作流程。

可能的工作流程示例(快速版)，参见图35：

1、使用者获取股骨远端部分的X射线图像(例如，图28中描绘的AP，或ML)。

2、系统定位植入物并检测股骨轮廓。如果植入物或股骨轮廓无法定位，则系统发出提高可见性(例如，通过移动C臂)的指令。使用者遵循指令并返回步骤1。

3、使用者将钻头放在股骨表面(例如，在钉孔轨迹处)。使用者从另一个观察方向(例如，如图29所示的25°-ML)获取X射线图像。

4、系统定位植入物(标记为IM)，检测股骨轮廓(标记为FEM)，并定位钻头(标记为DR)。

5、如果钻头尖端无法定位，则系统发出提高钻头尖端可见性(例如，通过移动C臂)的指令。使用者遵循指令，获取新图像，并返回步骤4。

6、基于植入物在两个图像中的定位(图30中标记为I.AP和I.ML)，系统进行图像配准，如图30和图31所示。

7、基于步骤6中的图像配准，系统通过将股骨的投影轮廓与两个图像中检测到的股骨轮廓相匹配来拟合股骨的统计模型(即，它确定两个图像中股骨的旋转和平移、缩放比例以及统计模型的模式)。

8、对于当前图像，系统定义从图像平面中的钻头尖端到焦点的线。这条线与重建的股骨相交两次(即进入点和离开点)。选择更靠近焦点的点作为钻头尖端的当前3D位置。该系统可以根据沿钉孔轨迹的重建股骨的骨干直径来计算锁定螺钉的长度。

9、基于股骨和植入物之间已知的空间关系(由于图像配准和股骨重建)，系统计算钻头和植入物之间的空间关系。

10、如果钻头轨迹穿过钉孔，则系统给出开始钻孔的指令，使用者开始钻孔，并且使用者来到步骤14。在钻孔过程中的任意时刻，使用者都可以按照以下示例工作流程验证钻孔轨迹。

11、如果钻头轨迹没有穿过钉孔，则系统会给出移动钻头尖端和/或旋转钻头的指令。使用者遵循指令并获取新的X射线图像。

12、系统评估观察方向是否发生了变化(例如，通过图像差异分析)。如果观察方向没有变化，则系统可以使用上一个图像的大多数结果，但会定位钻头。如果观察方向或任何其他相关图像内容(例如，通过图像模糊效果、遮挡等)发生了变化，则系统可以使用此信息来改善图像配准(例如，通过使用当前图像的附加观察方向)。该系统定位植入物和钻头，检测股骨的轮廓，并将重建的股骨拟合到当前图像中。

13、使用者返回步骤9。

14、如果使用者想要锁定更多孔，则系统显示所有钉孔的进入点(由股骨的3D重建与植入曲线的交点给出，以获得理想的锁定位置)，并给出如何移动钻头尖端以到达进入点的指令。图32描绘了一个示例。使用者将钻头尖端放在计算出的进入点(标记为EP)上并返回步骤12。

可能的工作流程示例(增强版)，参见图36：

1、可选：使用者获取股骨远端部分的X射线图像(例如，图28中描绘的AP，或ML)。该系统定位植入物(标记为IM)并检测股骨轮廓(标记为FEM)。如果植入物或股骨轮廓无法定位，则系统发出提高可见性(例如，通过移动C臂)的指令。使用者遵循指令并返回此步骤的开头。

2、使用者将钻头放在股骨表面上(例如，放到钉孔轨迹上)。

3、使用者获取股骨远端部分的X射线图像(例如ML或AP)。系统定位植入物(标记为IM)，检测股骨轮廓(标记为FEM)，并定位钻头(标记为DR)。如果植入物或股骨轮廓或钻头尖端无法定位，则系统发出提高可见性(例如，通过移动C臂)的指令。使用者遵循指令并返回此步骤的开头。基于相对于钉子坐标系的骨骼3D重建，系统计算子植入物(例如锁定螺钉)的所需长度并显示相应的信息。

4、使用者从另一个观察方向(例如，图29所示的25°-ML)获取X射线图像。钻头尖端不得在图像之间移动。如果它已移动，系统可能能够检测到这一点，并会请求使用者返回步骤3。

5、系统定位植入物(标记为IM)，检测股骨轮廓(标记为FEM)，并定位钻头(标记为DR)。

6、如果钻头尖端无法定位，则系统发出提高钻头尖端可见性(例如，通过移动C臂)的指令。使用者遵循指令，获取新图像，并返回步骤5。

7、基于植入物在至少两个图像中的定位(在图30中标记为I.AP和I.ML)，系统进行图像配准，如图30和图31所示。

8、基于步骤7中的图像配准，但可能还使用来自先前图像配准的信息，系统通过将股骨的投影轮廓与图像中检测到的股骨轮廓相匹配来拟合股骨的统计模型(即，它确定两个图像中股骨的旋转和平移、缩放比例以及统计模型的模式)。可选：系统可以根据重建的骨骼和确定的钉孔轨迹来更新计算的子植入物的长度。

9、对于当前图像，系统定义从图像平面中的钻头尖端到焦点的线L1(在图31中标记为L1)。L1与重建的股骨相交两次(即进入和离开点)。选择更靠近焦点的点作为钻头尖端的当前3D位置的初始值。

10、对于来自其他观察方向的包含钻头尖端的图像，系统定义从图像平面中的钻头尖端到焦点(即在该图像的相应坐标系中)的线L2。基于图像配准，该线被转换到当前图像的坐标系中。转换后的线被称为L2'(在图31中标记为L2')。

11、如果L1和L2'之间的最小距离大于某个阈值，则系统可以建议使用者返回步骤4，因为钻头尖端在图像之间很可能已经移动。可选：如果使用者确保在生成用于图像配准的图像对之间钻头尖端没有移动，则系统通过优化植入物在两个图像中的定位并最小化L1和L2'之间的距离来改善图像配准。(如果植入物和钻头尖端的定位在两个图像中都是完美的，并且钻头尖端在图像之间没有移动，则L1和L2'将相交。)

12、L1上距L2'距离最小的点被选为钻头尖端的当前3D位置的另一初始值。

13、基于钻头尖端3D位置的所述两种解决方案(即，来自步骤9和步骤12)，系统找到钻头尖端的当前3D位置(例如，通过选择步骤12中的解决方案，或通过平均两个解决方案)。由于钻头尖端在股骨表面，因此该系统在估计的钻头尖端的3D位置位于重建股骨表面上的约束下改进了股骨的3D重建。该系统可以基于改进的股骨重建来验证先前计算的子植入物长度。如果更新的长度偏离先前计算的螺钉长度(可能考虑到子植入物的可用长度增量)，则系统会通知使用者。

14、基于股骨和植入物之间已知的空间关系(由于图像配准和股骨重建)，系统计算钻头尖端和植入物之间的空间关系。

15、如果钻头轨迹穿过钉孔，则系统发出开始钻孔的指令，使用者开始钻孔并在钻孔后插入子植入物，然后来到步骤19。在钻孔过程中的任意时刻，使用者都可以按照以下示例工作流程验证钻孔轨迹。

16、如果钻头轨迹没有穿过钉孔，则系统会给出移动钻头尖端和/或旋转钻头的指令。使用者遵循指令并获取新的X射线图像。

17、系统评估观察方向是否发生了变化(例如，通过图像差异分析)。如果观察方向没有变化，则系统可以使用上一个图像的大多数结果，但会定位钻头。如果观察方向或任何其他相关图像内容(例如，通过图像模糊效果、遮挡等)发生了变化，则系统可以使用此信息来改善图像配准(例如，通过使用当前图像的附加观察方向)。该系统定位植入物(如果已经考虑与它们的进入点有关的可用信息通过定位已插入的子植入物而对植入物有可用优化)和钻头，检测股骨轮廓，并将重建的股骨拟合到当前图像中。

18、使用者返回步骤14。

19、如果使用者想要锁定更多孔，则系统显示所有钉孔的进入点(由股骨的3D重建与植入曲线的交点给出，以获得理想的锁定位置)，并给出如何移动钻头尖端以到达进入点的指令。图32描绘了一个示例。使用者将钻头尖端放在计算出的进入点(标记为EP)上并返回步骤17。

如果在任意时刻，使用者决定检查孔的锁定是否成功，他可以获取成像方向偏离锁孔轨迹小于8度的图像，系统将自动评估锁定是否成功。如果最后一个孔已被锁定，或者如果系统具有需要验证已执行锁定过程的信息，则系统可以引导使用者到达相对于锁定孔轨迹的C臂位置上方。

为了支持在正确的位点进行皮肤切口以将钻头定位在建议的进入点上，系统可以基于植入曲线和骨骼上的进入点通过估计皮肤和骨骼之间的距离来投影皮肤进入点。

用于验证和校正钻孔轨迹的可能的工作流程示例，参见图37：

1、使用者从当前成像方向获取X射线图像。

2、系统配准钻头和钉子，即根据获取的X射线来确定它们的相对3D位置和定向。可以通过考虑将钻头轴线穿过进入点(即钻孔的起点)的先验信息来解决2D-3D匹配的模糊性，该进入点相对于钉子的3D坐标先前已在图35或图36的工作流程中确定。下面对此进行进一步的解释。

3、如果相对于钉子的当前钻头位置和定向表明：如果钻头继续沿其当前路径向前，那么钻头将错过锁定孔，系统会给出使用者利用旋转钻头钻子来将电动工具倾斜指定角度的指令。通过这样做，钻头钻子横向穿过海绵骨，从而回到正确的轨迹。该指令中提供的角度可以考虑到当遵循指令时钻头可能会在骨骼内部弯曲，其中弯曲量可能取决于钻头的插入深度、骨密度以及钻头的刚度和直径。

4、使用者可以返回步骤1或恢复钻孔。对于近实时的导向指导，可以持续进行步骤1到步骤4的循环。

步骤2中2D-3D匹配模糊性的解决办法如图38和图39所示。图38示出了3D空间中三个不同的钻头位置(标记为DR1、DR2和DR3)，它们都会在图39中产生相同的2D投影DRP。但是，通过考虑将钻头轴线穿过进入点EP的先验信息，可以解决钻头相对于钉子N的3D位置和定向的任何模糊性。

需要指出的是，一旦钻头靠近钉子，那么在步骤1中获取的图像可能就不再能够解决2D-3D匹配模糊性，因为钻头尖端在X射线图像中与钉子重叠。在这种情况下，可能的补救措施是从不同的成像方向获取附加的X射线图像，该附加的X射线图像显示钻头尖端(和钉子)。在附加的X射线图像中，还可以定位钉子，因此该附加的X射线图像可以与原始X射线图像配准。在该附加的X射线图像中，可以检测到钻头尖端。该附加的X射线图像中检测到的钻头尖端所定义的点定义了一条核线。可以在原始X射线图像中可以检测工具的轴线并定义核平面。核平面和核线之间的交点定义了尖端在3D空间中相对于钉子的位置。

Claims (15)

1.一种设备，其具有被配置成处理X射线图像的处理单元，其中，软件程序被所述处理单元执行以执行以下步骤：

接收第一X射线图像，所述第一X射线图像是至少部分可见的物体的投影图像，

接收所述物体的模型，并应用所述模型以在所述第一X射线图像中定位所述物体，

在所述第一X射线图像中识别点，其中所述点相对于所述物体的3D位置是已知的，

接收第二X射线图像，所述第二X射线图像是至少部分可见的工具和所述至少部分可见的物体共同的投影图像，

应用所述物体的模型以在所述第二X射线图像中定位所述物体，

定义与所述工具有固定关系的坐标系，

在所述坐标系中确定并识别轴线，以及

基于以下项确定所述工具相对于所述物体的3D位置和定向：

(i)所述第二X射线图像，

(ii)所述工具的3D模型，

(iii)所定位的物体，

(iv)当生成所述第一X射线图像时以及当生成所述第二X射线图像时所述点相对于所述物体的3D位置是相同的这一认知，以及

(v)关于所述点和所述轴线之间距离的认知。

2.根据权利要求1所述的设备，其中，所述物体包括带孔的植入物，并且其中，所述点相对于所述物体的3D位置是基于所述植入物中所述孔的轴线来确定的。

3.根据权利要求1所述的设备，其中，所述工具在所述第一X射线图像中至少部分可见，并且其中，被识别的点是所述工具处的点，并且其中，所述工具在生成所述第一X射线图像和生成所述第二X射线图像之间相对于所述物体移动。

4.根据权利要求1至3中任一项所述的设备，其中，所述点相对于所述物体的3D位置是基于i)关于骨骼表面的位置的认知和ii)所述点位于所述骨骼表面处的认知来确定的。

5.根据权利要求1至4中任一项所述的设备，其中，所述点相对于所述物体的3D位置是基于来自另一观察方向的另一X射线图像来确定的。

6.根据权利要求3至5中任一项所述的设备，其中，所述点相对于所述物体的3D位置是基于所述工具相对于所述物体的3D位置和定向的确定而确定的，所述工具相对于所述物体的3D位置和定向的确定基于所述第一X射线图像。

7.根据权利要求1至6中任一项所述的设备，其中，所述工具的尖端在所述第二X射线图像中是可见的，并且其中，所述工具相对于所述物体的3D位置和定向的确定还基于定义了另一点的所述工具的尖端。

8.根据权利要求1至7中任一项所述的设备，其中，所述工具是在生成X射线图像中的至少一个的期间旋转的钻头。

9.根据权利要求1至7中任一项所述的设备，其中，所述工具的在X射线图像中可见的部分是旋转对称的。

10.根据权利要求1至9中任一项所述的设备，其中，所述工具的延伸到所述第二X射线图像中的部分被部分遮挡。

11.根据权利要求8至10中任一项所述的设备，其中，所述软件程序被所述处理单元执行以执行另一步骤：接收从另一观察方向生成的第三X射线图像，并且其中，所述工具相对于所述物体的3D位置和定向的确定还基于第三图像。

12.根据权利要求1至11中任一项所述的设备，其中，所述工具是钻头，其中，所述软件程序被所述处理单元执行以执行以下其他步骤：考虑已经执行的钻孔深度、所述物体的密度、所述钻头的直径和所述钻头的刚度组成的群组中的至少一个方面，来向使用者提供指令。

13.根据权利要求1至12中任一项所述的设备，其中，所述软件程序被所述处理单元执行以执行以下其它步骤：

接收一系列X射线图像，其中所述X射线图像中的每一个都是所述至少部分可见的物体和所述至少部分可见的工具的投影图像，以及

当所述工具相对于所述物体移动时，对所述工具相对于所述物体的3D位置和定向提供近实时的连续确定。

14.一种辅助肌肉骨骼手术的方法，所述方法包括以下步骤：

接收第一X射线图像，所述第一X射线图像是至少部分可见的物体的投影图像，

接收所述物体的模型，并应用所述模型以在所述第一X射线图像中定位所述物体，

在所述第一X射线图像中识别点，其中所述点相对于所述物体的3D位置是已知的，

接收第二X射线图像，所述第二X射线图像是至少部分可见的工具和所述至少部分可见的物体共同的投影图像，

应用所述物体的模型以在所述第二X射线图像中定位所述物体，

定义与所述工具有固定关系的坐标系，

在所述坐标系中确定并识别轴线，

基于以下项确定所述工具相对于所述物体的3D位置和定向：

(vi)所述第二X射线图像，

(vii)所述工具的3D模型，

(viii)所定位的物体，

(ix)当生成所述第一X射线图像时以及当生成所述第二X射线图像时所述点相对于所述物体的3D位置是相同的这一认知，以及

(x)关于所述点和所述轴线之间距离的认知。

15.根据权利要求14所述的方法，其中，所述方法还包括以下步骤：

接收一系列X射线图像，其中所述X射线图像中的每一个都是所述至少部分可见的物体和所述至少部分可见的工具的投影图像，以及

当所述工具相对于所述物体移动时，对所述工具相对于所述物体提供近实时的连续3D配准。