CN117580526A - 用于使用摄影测量来创建用于矫形手术的患者专用引导件的系统和方法 - Google Patents

Abstract

用于生成患者专用外科引导件的系统和方法包括：使用射线照相成像技术在不同的参考帧中捕获矫形元件的第一图像和第二图像，使用神经网络检测定义该矫形元件上或该矫形元件中的解剖标志的空间数据，将掩模应用于由解剖标志定义的该矫形元件，对来自该第一图像和该第二图像的该空间数据进行投影以定义体积数据，将该神经网络应用于该体积数据以生成该矫形元件的经重建三维(“3D”)模型；以及计算被配置为邻接该矫形元件的患者专用外科引导件的维度。

Description

用于使用摄影测量来创建用于矫形手术的患者专用引导件的 系统和方法

背景技术

1.相关申请的引用

本申请要求于2021年7月20日提交的美国临时申请63/223,844号的权益。这一相关申请的公开内容在此全部并入本公开中。

2.技术领域

本公开整体涉及矫形关节置换手术领域，并且更具体地，涉及使用摄影测量和三维(“3D”)重建技术来辅助外科医生和技术人员规划并执行矫形手术。

3.相关领域

关节置换手术的新兴目标是恢复患病前关节的自然对准和旋转轴。然而，这一目标在实践中可能难以实现，因为关节不仅包括关节骨，还包括辅助支撑骨和各种软组织，包括软骨、韧带、肌肉和肌腱。过去，外科医生会避免完全恢复自然对准，或者会基于从人群样本中得出的平均值来估计对准角度和其他维度。然而，这些平均值通常无法考虑到特定患者的解剖结构的自然变化，尤其是当患者患有骨关节炎等慢性骨变形疾病时。

为了解决这一问题，一些护理人员开始使用计算机断层成像(“CT”)扫描和磁共振成像(“MRI”)技术来检查患者的内部解剖结构，以便帮助规划矫形手术。来自这些CT扫描和MRI的数据甚至已用于以数字形式创建三维(“3D”)模型。这些模型可被发送给专业人员，以设计并生产用于所述手术的患者专用器械(诸如定制外科切除引导件)。可以使用增材制造技术(例如，3D打印)和其他常规生产技术来构造适合患者特定解剖结构的物理器械。

然而，获得CT扫描和MRI可能是复杂、耗时并且昂贵的。CT扫描还往往会使患者在每次治疗中暴露于比使用其他非侵入性成像技术诸如传统射线照相或超声波的情况下患者可能另外经历的辐射更高水平的辐射。此外，安排方面的考虑有时会将CT扫描或MRI检查安排在实际手术前一个月或更早时间。逐渐将矫形外科手术转移到门诊日间手术中心(“ASC”)的趋势可能会加剧这种延迟。ASC往往是较小的设施，通常缺乏昂贵的现场CT扫描仪和MRI机器。这通常会迫使患者在医院安排检查预约。

检查预约与手术之间的时间延长会增加患者的骨骼和软组织解剖结构在正常使用或疾病进展下进一步恶化或改变的风险。进一步恶化不仅会引起患者额外的不适，还可能会对检查数据对手术团队的有用性产生负面影响。这对于根据过时数据创建的患者专用引导件，以及对于尝试基于患病前关节的自然对准来恢复运动范围的手术技术而言可能尤其成问题。此外，术前检查预约与手术之间的时间延长会增加外部事件对数据产生负面影响的可能性。例如，引起在规划的手术区域发生脱臼或骨折的意外事件通常会破坏先前检查数据的有用性。这种风险在特别活跃或特别虚弱的个体中可能更高。

另外，并非所有患者都能进行CT扫描或MRI以创建患者专用器械。这可能部分是由于进行以下操作所需的时间量：获取数据，将数据发送给医疗装置设计专家，产生所需解剖结构的3D模型，基于数据或模型创建患者专用器械设计，生产患者专用器械，跟踪所述患者专用器械并将其运送到手术中心，以及在手术前对所述器械进行消毒。缺乏可用性也可能与患者的医疗保险和疾病类型有关。

因此，这些技术与准确术前数据的问题和可用性相结合，可能损害人造关节线与自然的患病前关节线的准确对准。反复研究表明，改变患病前关节的自然旋转轴的人工关节往往会导致功能不良、植入物过早磨损和患者不适。

发明内容

因此，长期以来一直被认识到但尚未解决的需要是增强术前和术中成像技术，用以在规划和执行矫形手术时准确地对手术关节(包括骨结构、骨丢失、软组织)和其他生理机能进行建模。

对常规术前CT和MRI成像技术的使用受限的问题、由于骨和软骨在术前成像与外科手术之间的时间内的恶化而导致的数据准确性的问题，以及使用当前可用术中工具和技术确定患病前关节的自然关节线的局限性的问题可通过用于生成患者专用外科钻头或切除引导件的示例性系统和方法得到缓解，该示例性系统和方法包括：使用深度学习网络来识别矫形元件并对其建模，以及使用深度学习网络来根据受试者矫形元件的至少两个独立的二维(“2D”)输入图像的输入来计算被配置为邻接矫形元件的患者专用外科引导件的维度，其中至少两个独立的2D输入图像中的第一图像是从第一横向定位处捕获的，并且其中至少两个独立的2D输入图像中的第二图像是从与第一横向定位偏置某一偏置角度的第二横向定位处捕获的。

射线照片允许体内分析，该体内分析可考虑到被动软组织结构和膝部周围发生的动态力的外部总和，包括韧带约束、承重力和肌肉活动的影响。

创建患者专用外科计划和器械通常使用来自软骨和骨解剖结构(诸如膝部轮廓)的数据，但是也可以使用来自软组织结构的数据。

附图说明

前述内容将从本公开的示例性实施方案的以下更具体描述中显而易见，如附图中所示。附图不一定按比例绘制，而是强调示出所公开的实施方案。

图1是示出示例性方法的步骤的流程图。

图2是示出另一示例性方法的步骤的流程图。

图3是简化的示例性左膝关节的前视图。

图4是针孔相机模型的示意图，该针孔相机模型用于说明可如何使用核面几何原理根据从校准图像检测器的不同参考帧获取的两个2D图像确定3D空间中一个点的定位。

图5A是从前-后(“A-P”)定位获取的受试者矫形元件的图像，其示出了示例性校准夹具。

图5B是从内侧-外侧(“M-L”)定位获取的图5A的受试者矫形元件的图像，其示出了示例性校准夹具。

图6是系统的示意图，该系统使用深度学习网络来识别受试者矫形元件的特征(例如，解剖标志)以生成受试者矫形元件的3D模型。

图7是系统的示意图，该系统被配置为生成矫形元件的模型并通过使用两个或更多个穿透组织的展平的输入图像来计算患者专用外科引导件的维度，该患者专用外科引导件被配置为邻接矫形元件，该展平的输入图像是从校准检测器以偏置角度对同一受试者矫形元件拍摄的。

图8是描绘可如何使用CNN型深度学习网络来识别特征(例如，解剖标志)的示意图，该特征包括受试者矫形元件的表面。

图9是示例性系统的示意图。

图10是描绘示例性方法的步骤的流程图。

图11是根据本文所公开的任何示例性方法创建的示例性患者专用外科引导件的下侧的视图。

图12是根据本文所公开的任何示例性方法创建的另一个示例性患者专用外科引导件的下侧的视图。

图13描绘了牢固地接合到患者的股骨远端的示例性患者专用股骨切除引导件安装架和牢固地固定到患者的胫骨近端的示例性患者专用胫骨切除引导件安装架。

具体实施方式

以下优选实施方案的详细描述仅出于说明和描述目的而呈现，并且不意图是详尽的或限制本发明的范围和精神。选择和描述实施方案以最好地解释本发明的原理及其实际应用。本领域的普通技术人员将认识到，可在不脱离本发明的范围和精神的情况下对本说明书中公开的发明进行许多变化。

除非另有说明，否则类似的参考符号贯穿若干视图指示对应部分。尽管附图表示根据本公开的各种特征和部件的实施方案，但附图不一定按比例绘制并且某些特征可能被放大以便更好地示出本公开的实施方案，并且此类示例不应被解释为限制本公开的范围。

除非本文中另外明确规定，否则以下解释规则适用于本说明书：(a)本文中使用的所有词语应解释为具有此类情况所需的词性或数字(单数或复数)；(b)除非上下文另外明确规定，否则在本说明书和所附权利要求书中使用的单数术语“一”、“一个”和“该”包括复数引用；(c)应用于所叙述范围或值的先前术语“约”表示关于本领域中已知或预期的范围或值与测量值的偏差的近似；(d)除非另外说明，否则“本文中”、“在此”、“此处”、“此前”和“此后”等词语以及类似含义的词语均指本说明书的全文，而不是指任何特定段落、权利要求或其他分段；(e)描述性标题仅为方便起见，并且不应控制或影响本说明书的部分的构造含义；以及(f)“或”和“任何”不是排他性的，并且“包括”不是限制性的。此外，术语“包括”、“具有”和“包含”应解释为开放式术语(即，意味着“包括但不限于”)。

说明书中对“一个实施方案”、“实施方案”、“示例性实施方案”等的提及指示所描述的实施方案可包括特定特征、结构或特性，但每个实施方案可能不一定包括特定特征、结构或特性。此外，此类短语不一定是指同一实施方案。此外，当结合实施方案描述特定特征、结构或特性时，应认为，无论是否明确描述，结合其他实施方案影响该特征、结构或特性都在本领域的技术人员的知识范围内。

在提供描述性支持所必需的程度上，所附权利要求的主题和/或文本全文以引用方式并入本文。

除非本文另外明确规定，否则本文中值范围的叙述仅旨在用作单独指代落在其间的任何子范围的范围内的每个单独值的简写方法。在所叙述范围内的每个单独的值都并入说明书或权利要求书中，如同本文中单独叙述每个单独值一样。在提供特定值范围的情况下，应理解，除非上下文另外明确规定，否则每个中间值，至该范围的上限与下限之间的下限单位的十分之一或更小，与其子范围的该所陈述范围中的任何其他所陈述值或中间值包括在本文中。所有子范围也包括在本文中。这些较小范围的上限和下限也包括在其中，受所陈述范围中的任何特定并且明确排除的限制的影响。

应注意，本文中使用的一些术语是相对术语。例如，术语“上部”和“下部”在位置上彼此相对，即上部部件在每个取向上都定位在比下部部件更高的高度处，但如果取向颠倒，则这些术语可改变。

术语“水平”和“竖直”用于指示相对于绝对参考(即，地平面)的方向。然而，这些术语不应被解释为要求结构彼此绝对平行或彼此绝对垂直。例如，第一竖直结构和第二竖直结构不一定彼此平行。术语“顶部”和“底部”或“基部”用于指顶部相对于绝对参考(即，地球表面)始终高于底部或基部的位置或表面。术语“向上”和“向下”也相对于绝对参考；向上流动始终抵抗着地球的重力。

矫形手术经常涉及对患者的关节进行手术。应当理解，关节通常包括多个矫形元件。还应当理解，本文所述的示例性方法和系统可应用于多种矫形元件。出于说明目的，参考图3、图5A和图5B描述的示例涉及示例性膝关节。应了解，贯穿本公开所引用的“矫形元件”100不限于膝关节的解剖结构，而是可包括任何骨架结构和相关联的软组织，例如肌腱、韧带、软骨和肌肉。示例矫形元件100的非限制性列表包括来自身体的任何部分或完整的骨，包括但不限于股骨、胫骨、骨盆、椎骨、肱骨、尺骨、桡骨、肩胛骨、颅骨、腓骨、锁骨、下颌骨、肋骨、腕骨、掌骨、跗骨、跖骨、指骨或任何相关联的肌腱、韧带、皮肤、软骨或肌肉。应了解，示例性手术区域170可包括若干受试者矫形元件100。

图3是处于伸展状态的简化的左膝关节100(即，示例性关节手术区域170)的前-后视图。示例性膝关节100包括多个矫形元件，包括股骨105、胫骨110、腓骨111、髌骨(未描绘)、经切除的胫骨平台112、股骨关节软骨123、在内侧M上将股骨远端105接合到胫骨近端110的内侧副韧带(“MCL”)113、以及在外侧L上将股骨远端105接合到腓骨111的外侧副韧带(“LCL”)122。股骨关节软骨123具有厚度T，并且股骨关节软骨123接合到股骨远端105的骨表面106。股骨远端还包括内侧髁107和外侧髁103(统称为“股骨髁”)。股骨远端105通过股骨胫骨间隙120与胫骨近端110分离。图3的透视图是使用射线照相成像技术在第一参考帧中捕获矫形元件的第一图像的示例(尽管在图3中，描绘了多个矫形元件，即，股骨105、胫骨110、腓骨111、关节软骨123、MCL 113和LCL 122)(还参见图5A，其描绘了从第一参考帧拍摄的受试者矫形元件，其中第一参考帧捕获处于A-P定位的受试者矫形元件)。

图5B描绘了第二参考帧中的同一受试者矫形元件，其中第二参考帧捕获M-L定位中的受试者矫形元件。

近年来，已经可以使用2D图像，诸如X射线照片，来创建手术区域的3D模型。这些模型可在手术前用以规划手术，使其更接近实际手术的日期。此外，这些术前3D模型作为原始模型起作用，外科器械本身可从该原始模型被配置为精确地配合。

然而，由于对图像分辨率和准确性的担忧，X射线照片先前通常不用作3D模型的输入。X射线照片是3D空间的2D表示。因此，2D X射线照片必然会使图像切除引导架相对于三维中存在的实际对象发生扭曲。此外，当X射线从X射线源(通常是X射线机的阳极)行进到X射线检测器(通过非限制性示例可能包括，X射线图像增强器、磷材料、平板检测器“FPD”(包括间接转换FPD和直接转换FPD)或任何数目的数字或模拟X射线传感器或X射线胶片)时，X射线所通过的对线可使X射线路径偏转。X射线机本身或其校准中的缺陷也可能会破坏X射线摄影测量和3D模型重建的有用性。另外，发射的X射线光子具有不同的能量。当X射线与放置在X射线源与检测器之间的物质相互作用时，可能会产生噪声和伪影，部分原因是康普顿和瑞利散射、光电效应、环境中的外在变量或X射线生成单元中的内在变量、X射线检测器和/或处理单元或显示器。

此外，在单个2D图像中，实际受试者的3D数据丢失。因此，计算机无法从单个2D图像中使用任何数据来重建实际3D对象的3D模型。出于这个原因，保留三维数据的CT扫描、MRI和其他成像技艺通常是重建一个或多个受试者矫形元件的模型的首选输入(即，从实际3D数据重建3D模型通常会产生更准确、分辨率更高的模型)。然而，下文讨论的本公开的某些示例性实施方案通过使用深度学习网络提高从X射线输入图形生成的经重建3D模型的准确性来克服这些问题。

举例来说，诸如卷积神经网络之类的深度学习算法可用于从患者的手术区域的一组至少两个2D射线照相图像生成3D模型。在这样的方法中，深度学习算法可从来自相应2D图像的投影几何数据生成模型。深度学习算法可以具有以下优点：能够在手术区域中生成不同矫形元件(例如，骨、软组织等)的掩模，以及能够计算经成像或受试者矫形元件100的体积。

图1是概述用于生成患者专用外科引导件(例如，患者专用钻孔引导件或患者专用切除引导件)的示例性方法的步骤的流程图。该方法包括：步骤1a校准射线照相成像机1800以确定射线照相图像点和对应空间坐标之间的映射关系以定义空间数据43，步骤2a使用射线照相成像技术捕获矫形元件100的第一图像30，其中第一图像30定义第一参考帧30a，步骤3a使用射线照相成像技术捕获矫形元件100的第二图像50，其中第二图像50定义第二参考帧50a，并且其中第一参考帧30a以偏置角度θ与第二参考帧50a偏置，步骤4a对来自受试者矫形元件100的第一射线照相图像30的空间数据43和来自受试者矫形元件100的第二射线照相图像50的空间数据43进行投影以定义体积数据75，步骤5a使用深度学习网络使用空间数据43来检测受试者矫形元件100，该空间数据43定义受试者矫形元件100上或该受试者矫形元件中的解剖标志，步骤6a使用深度学习网络将掩模应用于由解剖标志定义的受试者矫形元件100，其中包括设置在第一图像30或第二图像50的经掩模区域内的图像点的空间数据43被赋予第一值，并且其中包括设置在第一图像30和第二图像50两者的经掩模区域外的图像点的空间数据43被赋予第二值，其中第二值不同于第一值，步骤7a计算被配置为邻接矫形元件的患者专用外科引导件500的维度。

在示例性实施方案中，示例性方法还可以包括步骤8b将深度学习网络应用于体积数据75以生成矫形元件的经重建3D模型。在其他示例性实施方案中，步骤5a或5b可以包括使用深度学习网络检测定义矫形元件100上或该矫形元件中的解剖标志的空间数据43(参见图2)。

以上示例出于说明性目的而提供，并且绝不意图限制本公开的范围。用于从相同受试者的从至少两个横向定位拍摄的2D射线照相图像生成3D模型的所有方法被认为在本公开的范围内。

图4和图6示出了可如何组合第一输入图像30和第二输入图像50以创建包括体积数据75的体积61(图6)。图4示出了可用于将来自相应输入图像30、50的空间数据43转换成体积数据75的基本核面几何原理。应理解，空间数据43由映射到给定输入图像30、50的对应空间坐标(例如，x坐标和y坐标)的图像点(例如，X_L、X_R)的集合定义。

图4是由针孔相机模型描述的透视投影的简化示意图。图4传达了与计算机立体视差有关的基本概念，但它绝不是可用以根据2D立体图像重建3D模型的唯一方法。在这一简化模型中，射线从光学中心(即，透镜内的点)发出，假设来自受试者对象的电磁辐射射线(例如，可见光、X射线等)在该光学中心处在成像机的传感器或检测器阵列33(图9)内交叉。光学中心在图4中由点O_L、O_R表示。实际上，图像平面(参见30a、50a)通常在光学中心(例如，O_L、O_R)之后，并且实际光学中心作为点投影到检测器阵列33上，但此处呈现虚拟图像平面(参见30a、50a)以便更简单地说明原理。

第一输入图像30是从第一参考帧30a获取的，而第二输入图像50是从不同于第一参考帧30a的第二参考帧50a获取的。每个图像包括像素值矩阵。第一参考帧30a和第二参考帧50a有利地彼此偏置偏置角度θ。偏置角度θ可表示第一参考帧30a的x轴相对于第二参考帧50a的x轴之间的角度。换句话说，矫形元件在第一图像中的取向与矫形元件在第二图像中的取向之间的角度可称为“偏置角度”。

点e_L是第二输入图像的光学中心O_R在第一输入图像30上的位置。点e_R是第一输入图像的光学中心O_L在第二输入图像50上的位置。点e_L和e_R被称为“核点”或核面点，并且位于线O_L–O_R上。点X、O_L、O_R定义核线平面。

由于实际光学中心是来自受试者对象的入射电磁辐射射线在检测器透镜内交叉的假设点，因此在这一模型中，电磁辐射射线实际上可想象为从光学中心O_L、O_R发出，以便可视化如何根据从已知相对定位的检测器33捕获的两个或更多个输入图像30、50确定3D空间中3D点X的定位。如果第一输入图像30的每个点(例如，X_L)对应于3D空间中的一条线，则如果在第二输入图像中可找到对应点(例如，X_R)，那么这些对应点(例如，X_L、X_R)必须是共同3D点X的投影。因此，由对应图像点(例如，X_L、X_R)生成的线必须在3D点X处相交。通常，如果针对两个或更多个输入图像30、50中的每个对应图像点(例如，X_L、X_R)计算X的值，则可从两个或更多个输入图像30、50再现包括体积数据75的3D体积61。可以各种方式对任何给定的3D点X的值进行三角测量。示例计算方法的非限制性列表包括中点法、直接线性变换法、基本矩阵法、线-线相交法、光束平差法。

应当理解，本文所述的“图像点”(例如，X_L、X_R)可指空间中的点、像素、像素的一部分或相邻像素的集合。还应理解，如本文所使用的3D点X可表示3D空间中的点。在某些示例性应用中，3D点X可表示为体素、体素的一部分或相邻体素的集合。

然而，在可应用核面几何原理之前，必须确定每个图像检测器33相对于其他图像检测器33的定位(或者必须在获取第一图像30的时间点确定唯一图像检测器33的定位，以及应在获取第二图像50的时间点得知唯一图像检测器33的经调节定位)。还期望确定成像机1800的焦距和光学中心。为了实际上确定这一点，首先校准图像检测器33(或多个图像检测器)。图5A和图5B描绘了相对于受试者矫形元件100的校准夹具973A、973B。在这些附图中，示例矫形元件100是股骨远端方面105和包括膝关节的胫骨近端方面110。腓骨近端111是在图5A和图5B中成像的另一矫形元件100。膝盖骨901是图5B所示的另一矫形元件100。

图5A是示例性矫形元件100的前-后视图(即，图5A表示从第一参考帧30a(例如，第一横向定位)获取的第一图像30)。第一校准夹具973A附接到第一保持组件974A。第一保持组件974A可包括接合到第一条带977A的第一保护支撑件971A。第一保护支撑件971A经由第一条带977A在外部附接到患者的大腿。第一保持组件974A支撑第一校准夹具973A，该第一校准夹具有利地取向成平行于第一参考帧30a(即，正交于检测器33)。同样，可提供附接到第二保持组件974B的第二校准夹具973B。第二保持组件974B可包括接合到第二条带977B的第二保护支撑件971B。第二保护支撑件971B经由第二条带977B在外部附接到患者的小腿。第二保持组件974B支撑第二校准夹具973B，该第二校准夹具有利地平行于第一参考帧30a(即，正交于检测器33)。校准夹具973A、973B有利地定位成距受试者矫形元件100足够远，使得校准夹具973A、973B不与任何受试者矫形元件100重叠。

图5B是示例矫形元件100的内侧-外侧视图(即，图5B表示从第二参考帧50a(例如，第二横向定位)获取的第二图像50)。在所描绘的示例中，内侧-外侧参考帧50a从前后第一参考帧30a旋转或“偏置”90°。该第一校准夹具973A附接到该第一保持组件974A。第一保持组件974A可包括接合到第一条带977A的第一保护支撑件971A。第一保护支撑件971A经由第一条带977A在外部附接到患者的大腿。第一保持组件974A支撑第一校准夹具973A，该第一校准夹具有利地平行于第二参考帧50a(即，正交于检测器33)。同样，可提供附接到第二保持组件974B的第二校准夹具973B。第二保持组件974B可包括接合到第二条带977B的第二保护支撑件971B。第二保护支撑件971B经由第二条带977B在外部附接到患者的小腿。第二保持组件974B支撑第二校准夹具973B，该第二校准夹具有利地平行于第二参考帧50a(即，正交于检测器33)。校准夹具973A、973B有利地定位成距受试者矫形元件100足够远，使得校准夹具973A、973B不与任何受试者矫形元件100重叠。

由于膝关节在该取向上是稳定的，因此患者可有利地处于站立定位(即，腿处于伸展状态)(参见图9)。优选地，在采集输入图像30、50期间不应改变患者相对于成像机的距离。第一图像30和第二图像50不需要捕获整个腿，而是图像可聚焦于将成为手术区域170的受试者的关节。

应当了解，根据要成像并建模的受试者矫形元件100，可仅使用单个校准夹具973。同样，如果要对矫形元件100的特别长的集合进行成像和建模，则可使用两个以上的校准夹具。

每个校准夹具973A、973B有利地具有已知尺寸。每个校准夹具973A、973B有利地具有分布在各处的至少四个或更多个校准点978。校准点978以已知模式分布，其中一个点978相对于其他点的距离是已知的。校准夹具973距矫形元件100的距离也可有利地已知。对于X射线摄影测量系统的校准，可有利地由校准夹具973上的金属结构定义校准点978。金属通常吸收接触金属的大多数X射线束。因此，相对于吸收较少X射线的材料(例如气腔或脂肪组织)，金属通常显得非常明亮。定义校准点的共同示例结构包括刻有十字准星的(reseau)十字、圆、三角形、锥体和球体。

这些校准点978可存在于校准夹具973的2D表面上，或者3D校准点978可被捕获为来自给定图像参考帧的2D投影。在任一情况下，对于图像中捕获的所有校准点978，3D坐标(通常指定为z坐标)可被设定为等于零。每个校准点978之间的距离是已知的。这些已知距离可表示为图像传感器/检测器33上的x、y坐标。为了将3D空间中的点映射到传感器33上的2D坐标像素，可使用检测器的校准矩阵、外在矩阵和实际3D点的同源坐标矢量的点积。这允许相对于校准夹具973映射3D空间中的点的真实世界坐标。换句话说，这通常允许将3D空间中的实点的x、y坐标准确地转换成图像检测器的传感器33的2D坐标平面，以定义空间数据43(参见图4)。

提供以上校准方法作为示例。应了解，适用于校准X射线摄影测量系统的所有方法都被认为在本公开的范围内。其他X射线摄影测量系统校准方法的非限制性列表包括使用刻有十字准星的板、Zhang方法、光束平差法、直接线性变换法、最大似然估计法、k最邻近回归法(“kNN”)、其他深度学习方法或它们的组合。

图6示出了当沿着已知偏置角度θ取向时，可如何将经校准输入图像30、50反投影到包括两个通道65、66的3D体积61中。第一通道65包含第一输入图像30的所有图像点(例如，X_L等)，并且第二通道66包含第二输入图像50的所有图像点(例如，X_R等)。也就是说，每个图像点(例如，像素)在其相关联的反投影3D射线上复制。接着，可使用核面几何生成经成像手术区域170的体积61，该体积包括来自这些反投影2D输入图像30、50的体积数据75。

参考图6，第一图像30和第二图像50有利地具有已知图像维度。该维度可以是像素。例如，第一图像30可具有128×128像素的维度。第二图像50可具有128×128像素的维度。在特定计算中使用的输入图像30、50的维度有利地具有一致的维度。一致的维度对于稍后定义规则体积61的立方体工作区域(例如，128×128×128立方体)可能是有利的。如图4所见，偏置角度θ有利地为90°。然而，在其他示例性实施方案中可以使用其他偏置角度θ。

在所描绘的示例中，128×128像素输入图像30、50中的每个像素输入图像在相邻输入图像的长度上复制128次，以创建具有128×128×128像素的维度的体积61。即，第一图像30被复制并以每个像素一次复制的方式在其后堆叠128个像素，而第二图像50被复制并在其后堆叠128个像素，使得堆叠的图像重叠从而创建体积61。这样，可认为体积61包括两个通道65、66，其中第一通道65包括在第二图像50的长度(即，第二图像50的x轴)上复制n次的第一图像30，并且第二通道66包括在第一图像30的长度(即，第一图像30的x轴)上复制m次的第二图像50，其中“n”和“m”是所指示图像的长度，表示为包括所指示图像的长度的像素(或其他示例性实施方案中的其他维度)的数目。如果已知偏置角度θ，则体积61的每个横向切片(也被一些放射科医生称为“轴向切片”)创建包括从包括两条核线的像素反投影的体素的核线平面。这样，对来自受试者矫形元件100的第一图像30的空间数据43和来自受试者矫形元件100的第二图像50的空间数据43进行投影定义体积数据75。使用这一体积数据75，3D表示可使用如上所论述的核线几何原理来重建；3D表示与输入图像30、50中的信息在几何上一致。

在用于使用深度学习网络生成患者专用外科引导件500的示例性系统和方法中，其中深度学习网络是CNN，提供了可如何结构化和训练CNN的详细示例。CNN的所有架构都被认为在本公开的范围内。常见的CNN架构以举例的方式包括LeNet、GoogLeNet、AlexNet、ZFNet、ResNet和VGGNet。

图11是根据本文所公开的任何示例性方法创建的患者专用外科引导件500的下侧的视图。在图13中，患者专用外科引导件500牢固地接合到矫形元件100(其在所描绘的示例中为股骨105)。患者专用外科引导件500可由弹性聚合物材料形成。图11中描绘的患者专用外科引导件500是患者专用股骨切除引导件安装架500a，该患者专用股骨切除引导件安装架被配置为牢固地接合患者的专用手术股骨105的髁107、103。所描绘的示例性患者专用股骨切除引导件安装架500a包括主体42以及分叉髁轭25和引导件接收器24，该主体具有横向延伸穿过主体42的切除狭槽52。分叉髁轭25包括从主体42向外突出的一对间隔开的臂31、41。第一臂31具有第一配合表面36，该第一配合表面与患者的自然骨的选定区域(例如，患者的股骨远端髁中的一者)的解剖表面特征互补。同样，第二臂41具有第二配合表面40，该第二配合表面与患者的自然骨的选定区域(例如，患者的股骨远端髁中的另一者)的解剖表面特征互补。通孔38可以任选地延伸穿过每个间隔开的臂31、41。销可任选地插入穿过通孔38中的每一者，以进一步将所描绘的患者专用外科引导件500固定到患者的自然骨。

在示例性实施方案中，当患者专用外科引导件500邻接患者的自然暴露骨的表面形貌(参见106，图3)时，患者专用外科引导件500的弯曲主体42可储存势能。这样，与患者的自然暴露骨的表面形貌相匹配的弯曲主体42和互补配合表面36、40可允许患者专用外科引导件500在期望位置处被“压配合”(即，通过摩擦被固定)到患者的暴露股骨髁。

一旦患者专用外科引导件500在期望位置邻接并且牢固地接合到患者的暴露骨的互补部分，外科医生就可以将外科锯插入穿过切除狭槽52以在期望位置处切除患者的股骨远端105，从而为植入物定尺寸和装配做准备。可以设想到以与本公开一致的方式制造定制外科引导件500可允许比先前可能的情况更准确和精确地并且在时间上更接近地放置外科锯并且使用更少的能量。

图12是根据本文所公开的任何示例性方法创建的另一个示例性患者专用外科引导件500的下侧的视图。在图12中，患者专用外科引导件500是胫骨切除引导件安装架500b。

所描绘的示例性患者专用胫骨切除引导件安装架500b包括主体79以及分叉髁轭64和引导件接收器24，该主体具有横向延伸穿过主体79的切除狭槽51。分叉髁轭64包括从主体79向外突出的一对间隔开的臂62、63。第一臂62具有第一配合表面53，该第一配合表面与患者的自然骨的选定区域(例如，患者的胫骨近端半平台髁中的一者)的解剖表面特征互补。同样，第二臂63具有第二配合表面54，该第二配合表面与患者的自然骨的选定区域(例如，患者的胫骨近端半平台髁中的另一者)的解剖表面特征互补。通孔38可以任选地延伸穿过主体79。销可任选地插入穿过通孔38中的每一者，以进一步将所描绘的患者专用胫骨切除引导件安装架500b固定到患者的自然骨。

在实施方案中，患者专用胫骨切除引导件安装架500b的第一配合表面53和第二配合表面54可允许患者专用胫骨切除引导件安装架500b经由摩擦被固定到患者的胫骨近端的精确位置。一旦适当地安置和固定，外科医生可以将外科锯插入穿过胫骨切除狭槽51以切除胫骨近端的平台。

图13描绘了牢固地接合到患者的股骨远端105的患者专用股骨切除引导件安装架500a以及牢固地固定到患者的胫骨近端110的患者专用胫骨切除引导件安装架500b。

因为患者专用外科引导件500是使用从3D空间数据导出的技术规范来设计和制造的，该3D空间数据继而是从拍摄自不同参考帧的矫形元件100的两个射线照相图像导出的，所以患者专用外科引导件500按照术前计划精确地配合矫形元件100。此外，因为射线照相通常比CT或MRI扫描更有效且更容易获得，所以可以设想到，术前规划可更接近于所安排的外科手术的日期进行，并且由此减轻术前规划与外科手术当天的实际解剖结构之间的改变的可能性。

可以进一步设想到，术前规划甚至可以与安排的手术在同一天进行，特别是在增材制造机器(例如，3D打印机)或减材制造机器(例如，CNC机器)现场或本地存在的情况下。例如，患者可以在早晨进行术前成像和规划，并且在下午进行手术安排。

优选地，本文所公开的方法可在具有硬件(诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口)的计算机平台上实现(参见图7)。

在再一些实施方案中，可以计算矫形元件的体积。应当理解，任何公开的计算或任何此类计算的结果可以任选地显示在显示器上。

可以进一步设想到，本文所公开的示例性方法可用于植入物放置和作用的术前规划、术中规划或执行或者术后评估。

参考图9，用于计算被配置为邻接或牢固地接合到受试者矫形元件100的患者专用外科引导件500的维度的示例性系统可包括：射线照相成像机1800，该射线照相成像机包括发射器21和检测器33(图9)，其中射线照相成像机1800的检测器33在第一横向定位30a(图4和图5A)捕获第一图像30(图4和图5A)并且在第二横向定位50a(图4和图5B)捕获第二图像50(图4和图5B)，其中第一横向定位30a与第二横向定位50a偏置偏置角度θ(图4)；传输器29(图9)；以及计算机器1600(针对进一步细节，参见图7)，其中传输器29将第一图像30和第二图像50从检测器33传输到计算机器1600，并且其中计算机器1600被配置为计算受试者矫形元件100的表面形貌。在某些示例性实施方案中，计算机器1600可被配置为计算患者专用外科引导件500的配合表面的维度，该维度与受试者矫形元件100的一部分的表面形貌互补。

在某些示例性实施方案中，示例性系统可进一步包括显示器19。

在某些示例性实施方案中，示例性系统可进一步包括制造机器18。在包括制造机18的示例性实施方案中，制造机器18可以是增材制造机器。在此类实施方案中，增材制造机器可用于制造受试者矫形元件1100的3D模型或患者专用外科引导件500的物理3D模型。举例来说，3D制造技术可以包括但不限于立体光刻和激光烧结。

图9是包括射线照相成像机1800的示例性系统的示意图，该射线照相成像机包括例如X射线管的X射线源21、滤波器26、准直器27和检测器33。在图9中，自上而下地示出射线照相成像机1800。患者1设置在X射线源21与检测器33之间。射线照相成像机1800可安装在能够旋转的机架28上。射线照相成像机1800可从第一参考帧30a获取患者1的射线照相图像。机架28然后可使射线照相成像机1800旋转某一偏置角度(优选地90°)。射线照相成像机1800然后可从第二参考帧50a获取第二射线照相图像50。应了解，其他示例性实施方案可包括使用以多个偏置角度θ获取的多个输入图像。在此类实施方案中，偏置角度可在相邻输入图像之间小于或大于90°。

应当理解，在每个实施方案中，偏置角度不需要精确地为90度。具有在正或负45度范围内的值的偏置角度被认为是足够的。在其他示例性实施方案中，操作者可以使用射线照相成像技术拍摄矫形元件的多于两个图像。可以设想到，第二图像之后的每个后续图像可定义后续图像参考帧。例如，第三图像可以定义第三参考帧，第四图像可以定义第四参考帧，第n图像可以定义第n参考帧等。

在包括三个输入图像和三个不同参考帧的示例性实施方案中，三个输入图像中的每个输入图像期望地相对于彼此具有约60度的偏置角度θ。在包括四个输入图像和四个不同参考帧的示例性实施方案中，偏置角度θ理想地与相邻参考帧成45度。在包括五个输入图像和五个不同参考帧的示例性实施方案中，偏置角度θ理想地与相邻参考帧成约36度。在包括n个图像和n个不同参考帧的示例性实施方案中，偏置角度θ理想地为180/n度。

可以进一步设想到，涉及多个图像、特别是多于两个图像的实施方案不一定必须具有规则且一致的偏置角度。例如，涉及四个图像和四个不同参考帧的示例性实施方案可以具有85度的第一偏置角度、75度的第二偏置角度、93度的第三偏置角度和107度的第四偏置角度。

然后，传输器29将第一图像30和第二图像50传输到计算机器1600。计算机器1600可以应用深度学习网络来计算患者专用外科引导件500的配合表面的维度，该维度以与本公开一致的任何方式与受试者矫形元件100的一部分的表面形貌互补。图9进一步描绘了计算机器1600的传输到制造机器18的输出。制造机器18可以是增材制造机器，诸如3D打印机(例如，立体光刻或激光烧结制造设备)，或者制造机器可以是减材制造机器，诸如计算机数字控制(“CNC”)机器。在另一示例性实施方案中，制造机器18可以是铸件模具。制造机器18可使用来自计算机器1600的输出数据来产生受试者矫形元件1100的一个或多个3D模型的物理模型。这样，可认为制造机器18“被配置为产生”矫形元件100的所识别的表面的至少部分物理模型。在实施方案中，制造机器可用于产生患者专用外科引导件500的物理3D模型。

图9还描绘了其中来自计算机器1600的输出数据传输到显示器19的另一实施方案。第一显示器19a描绘了患者专用外科引导件500的虚拟3D模型。第二显示器19b描绘了所识别的受试者矫形元件1100的虚拟3D模型。

该显示器19可采取屏幕的形式。在其他示例性实施方案中，显示器19可包括由外科医生或手术室中的其他人佩戴或持有的玻璃或塑料表面。这种显示器19可包括增强现实装置的一部分，使得显示器除了显示承载者的视野之外还显示3D模型。在某些实施方案中，这种3D模型可叠加在实际手术关节上。在另一示例性实施方案中，3D模型可“锁定”到手术矫形元件100的一个或多个特征，从而维持3D模型相对于手术矫形元件100的一个或多个特征的虚拟定位，而不依赖于显示器19的移动。仍进一步设想的是，显示器19可包括虚拟现实系统的一部分，在该虚拟现实系统中模拟整个视野。

尽管可能期望来自X射线成像系统的X射线照片，因为X射线照片与CT扫描相比相对廉价，并且某些X射线成像系统(例如，荧光透视系统)的设备通常足够紧凑、可以在术中使用，但除非另外明确声明，否则本公开中的任何内容都不会将2D图像的用途限于X射线照片，并且本公开中的任何内容也不会将成像系统的类型限于X射线成像系统。其他2D图像可以举例的方式包括：CT图像、CT荧光透视图像、荧光透视图像、超声图像、正电子发射断层显像(“PET”)图像和MRI图像。其他成像系统可以举例的方式包括：CT、CT-荧光透视、荧光透视、超声、PET和MRI系统。

优选地，示例性方法可在具有硬件的计算机平台(例如，计算机器1600)上实现，该硬件例如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口。下文参考图7提供了用于示例计算机器1600的架构的示例。

图7大体上描绘了根据一些示例性实施方案的可在其上执行本文所讨论的一种或多种方法的示例性计算机器1600的框图。在某些示例性实施方案中，计算机器1600可在单个机器上操作。在其他示例性实施方案中，计算机器1600可包括已连接(例如，联网)机器。可包括示例性计算机器1600的联网机器的示例以举例的方式包括云计算配置、分布式主机配置和其他计算机集群配置。在联网配置中，计算机器1600的一个或多个机器可以客户端机器、服务器机器或服务器-客户端机器两者的能力操作。在示例性实施方案中，计算机器1600可驻留在个人计算机(“PC”)、移动电话、平板PC、web设备、个人数字助理(“PDA”)、网络路由器、网桥、交换机或能够执行指令的任何机器上，这些指令规定由所述机器或受所述机器控制的第二机器采取的行动。

可包括示例性计算机器1600的示例机器可以举例的方式包括能够执行逻辑功能的部件、模块或类似机制。此类机器可包括能够在操作时执行规定操作的有形实体(例如，硬件)。例如，硬件可以硬连线(例如，具体配置)以执行特定操作。举例来说，此类硬件可具有可配置的执行介质(例如，电路、晶体管、逻辑门等)和具有指令的计算机可读介质，其中指令将执行介质配置为在操作时执行特定操作。配置可经由加载机制进行，也可在执行介质的指导下进行。当机器正在操作时，执行介质选择性地与计算机可读介质通信。举例来说，当机器正在操作时，可通过第一组指令将执行介质配置为在第一时间点执行第一动作或动作集，然后通过第二组指令在第二时间点将执行介质重新配置为执行第二动作或动作集。

示例性计算机器1600可包括硬件处理器1697(例如，CPU、图形处理单元(“GPU”)、硬件处理器内核或它们的任何组合)、主存储器1696和静态存储器1695，硬件处理器、主存储器和静态存储器中的部分或全部可经由互连(例如，总线)1694彼此通信。计算机器1600可进一步包括显示单元1698、输入装置1691(优选地字母数字或字符数字输入装置，例如键盘)和用户界面(“UI”)导航装置1699(例如，鼠标或触笔)。在示例性实施方案中，输入装置1691、显示单元1698和UI导航装置1699可以是触摸屏显示器。在示例性实施方案中，显示单元1698可包括全息透镜、眼镜、护目镜、其他眼镜或其他AR或VR显示部件。例如，显示单元1698可以佩戴在用户的头部上，并且可向用户提供平视显示。输入装置1691可包括虚拟键盘(例如，以虚拟现实(“VR”)或增强现实(“AR”)设定虚拟地显示的键盘)或其他虚拟输入界面。

计算机器1600可进一步包括存储装置(例如，驱动单元)1692、信号发生器1689(例如，扬声器)、网络接口装置1688以及一个或多个传感器1687，例如全球定位系统(“GPS”)传感器、加速度计、指南针或其他传感器。计算机器1600可包括输出控制器1684，例如串行(例如，通用串行总线(“USB”))、并行或其他有线或无线(例如，红外(“IR”)近场通信(“NFC”)、无线电等)连接，以与一个或多个辅助装置通信或控制一个或多个辅助装置。

存储装置1692可包括机器可读介质1683，该机器可读介质是非暂态的，其上存储了体现本文所述的一个或多个功能或方法或由本文所述的一个或多个功能或方法利用的一组或多组数据结构或指令1682(例如，软件)。指令1682在由计算机器1600执行期间可完全或至少部分地驻留在主存储器1696、静态存储器1695、或硬件处理器1697内。举例来说，硬件处理器1697、主存储器1696、静态存储器1695或存储装置1692的一个或任意组合可构成机器可读介质。

尽管机器可读介质1683示为单个介质，但术语“机器可读介质”可包括被配置为存储一个或多个指令1682的单个介质或多个介质(例如，分布式或集中式数据库，或相关联的高速缓冲存储器和服务器)。

术语“机器可读介质”可包括能够存储、编码或携带以供计算机器1600执行的指令，并使计算机器1600执行本公开的任何一种或多种方法，或能够存储、编码、或携带此类指令使用的或与之相关联的数据结构的任何介质。机器可读介质的非限制性示例列表可包括磁性介质、光学介质、固态存储器、非易失性存储器诸如半导体存储器装置(例如，电可擦可编程只读存储器(“EEPROM”)、电可编程只读存储器(“EPROM”))以及磁盘诸如内部硬盘和可移动磁盘，快闪存储装置、磁光盘、CD-ROM和DVD-ROM光盘。

指令1682可进一步在通信网络1681上使用传输介质经由网络接口装置1688利用多种传输协议(例如，互联网协议(“IP”)、用户数据报协议(“UDP”)、帧中继、传输控制协议(“TCP”)、超文本传输协议(“HTTP”)等)中的任一种来进行传输和接收。示例通信网络可包括广域网(“WAN”)、普通传统电话(“POTS”)网络、局域网(“LAN”)、分组数据网络、移动电话网络、无线数据网络和对等(“P2P”)网络。举例来说，网络接口装置1688可包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线，以连接到通信网络1681。

举例来说，网络接口装置1688可包括多个天线，以使用单输入多输出(“SIMO”)或多输入单输出(“MISO”)方法中的至少一种进行无线通信。短语“传输介质”包括能够存储、编码或携带指令以供计算机器1600执行的任何无形介质，并且包括用以促进此类软件的通信的模拟或数字通信信号或其他无形介质。

根据本公开的示例性方法可至少部分地由机器或计算机实施。一些示例可包括编码有指令的计算机可读介质或机器可读介质，这些指令可操作为将电子装置配置为执行本文所述的示例性方法。此类示例性方法的示例实施方式可包括代码，例如汇编语言代码、微代码、高级语言代码或其他代码。此类代码可包括用于执行各种方法的计算机可读指令。代码可形成计算机程序产品的部分。另外，在示例中，代码可有形地存储在易失性、非暂态性或非易失性有形计算机可读介质上或存储在易失性、非暂态性或非易失性有形计算机可读介质中，例如在执行期间或其他时间。这些有形计算机可读介质的示例可包括但不限于可移动光盘(例如，压缩盘和数字视频光盘)、硬盘驱动器、可移动磁盘、存储卡或记忆棒——包括可移动快闪驱动器、磁带盒、随机存取存储器(RAM)、只读存储器(ROM)，以及其他介质。

存在用以从2D术前或术中图像生成3D模型的多种方法。举例来说，一种此类方法可包括：利用射线照相成像系统接收患者的手术区域170的一组2D射线照相图像；使用核面几何原理利用射线照相成像系统的坐标系和来自相应2D图像的投影几何数据计算第一3D模型(参见图4和图5A和图5B)。这种示例性方法可进一步包括将第一3D模型投影在2D射线照相图像上，接着通过利用图像到图像配准技术将第一射线照相图像30和第二射线照相图像50配准在第一3D模型上来调节初始3D模型。一旦应用了图像到图像配准技术，就可生成经修改3D模型。这一过程可重复，直到实现期望的清晰度。

作为另一示例，深度学习网络(也称为“深度神经网络”(“DNN”))，例如卷积神经网络(“CNN”)、递归神经网络(“RNN”)、模块化神经网络或序列到序列模型，可用于从患者的手术区域170的一组至少两个2D图像生成受试者矫形元件1100的3D模型和/或患者专用外科引导件500的3D模型。2D图像30、50有利地是穿透组织的图像，例如射线照相图像(例如，X射线或荧光透视图像)。在这种方法中，深度学习网络可从来自各个2D图像的投影几何数据(即，空间数据43或体积数据75)生成模型。深度学习网络可具有能够在手术区域170中生成不同受试者矫形元件100(例如，骨、软组织等)的掩模以及能够计算一个或多个经成像矫形元件100的体积(参见61，图6)的优点。

图8是CNN的示意图，其示出了可如何使用CNN来识别受试者矫形元件100的表面形貌。在不受理论束缚的情况下，可设想CNN可有利地用于减小体积数据75的尺寸，而不丢失识别期望的矫形元件100或期望的表面形貌所必需的特征。多个反投影输入图像30、50的体积数据75是可称为“输入张量”的多维阵列。此输入张量包括用于第一卷积的输入数据(在此示例中为体积数据75)。滤波器(也称为内核69)示出为设置在体积数据75中。内核69是定义滤波器或函数(此滤波器或函数有时被称为赋予内核的“权重”)的张量(即，多维阵列)。在所描绘的实施方案中，内核张量69是三维的。包括内核69的滤波器或函数可手动编程或通过CNN、RNN或其他深度学习网络学习。在所描绘的实施方案中，内核69是3x3x3张量，但所有张量尺寸和维度被认为在本公开的范围内，前提条件是内核张量尺寸小于输入张量的尺寸。

内核69的每个小区或体素具有某一数值。这些值定义内核69的滤波器或函数。在两个张量之间执行卷积或互相关性运算。在图8中，由路径76表示卷积。内核69所遵循的路径76是数学运算的可视化。遵循此路径76，内核69最终且相继地遍历输入张量的整个体积61(例如，体积数据75)。此运算的目标是从输入张量提取特征。

卷积层72通常包括以下运算中的一者或多者：卷积级67、检测器级68和池化级58。尽管在图8中的第一卷积层72a中可视地表示这些相应运算，但应了解，后续的卷积层72b、72c等也可包括卷积级67、检测器级68和池化层58运算中的一者或多者或全部，或它们的组合或排列。此外，尽管图8描绘各种分辨率的五个卷积层72a、72b、72c、72d、72e，但应了解，在其他示例性实施方案中可使用更多或更少的卷积层。

在卷积级67中，内核69相继地乘以输入数据(即，所描绘示例中的体积数据75)中的像素的多个补丁。从数据提取的像素的补丁被称为感受野。内核69和感受野的相乘包括感受野和内核69的每个像素之间的逐元素相乘。在相乘之后，对结果求和以形成卷积输出的一个元素。然后，该内核69偏移到相邻的感受野，并且逐元素乘法运算和求和继续进行，直到输入张量的所有像素都进行过该运算。

直到该阶段，输入张量的输入数据(例如，体积数据75)一直是线性的。为了将非线性引入该数据，随后使用非线性激活函数。使用这种非线性函数标志着检测器级68的开始。常见的非线性激活函数是整流线性单元函数(“ReLU”)，其由以下函数给定：

当与偏置一起使用时，非线性激活函数用作检测由内核69提取的特征是否存在的阈值。例如，在输入张量与内核69之间应用卷积或互相关性运算，其中内核69包括卷积级67中的低层级边缘滤波器，从而产生卷积输出张量。然后，将带有偏置的非线性激活函数应用于卷积输出张量将返回特征映射输出张量。将偏置相继地添加到卷积输出张量的每个小区。对于给定小区，如果总和大于或等于0(假设本示例中使用ReLU)，则将在特征映射输出张量的对应小区中返回总和。同样，如果对于给定小区总和小于0，则将特征映射输出张量的对应小区设定为0。因此，将非线性激活函数应用于卷积输出的作用类似于确定卷积输出是否与内核69的给定滤波器匹配以及它们的匹配程度的阈值。这样，非线性激活函数从输入数据(例如，本示例中的体积数据75)检测所需特征是否存在。

所有非线性激活函数都被认为在本公开的范围内。其他示例包括Sigmoid、TanH、泄露ReLU、参数ReLU、Softmax和切换激活函数。

然而，这种方法的缺点在于这一第一卷积层72a的特征映射输出记录所需特征(在上述示例中为边缘)的精确定位。因此，输入数据中的特征的小移动将引起不同的特征映射。为了解决这一问题并降低计算能力，使用下采样来降低输入数据的分辨率，同时仍保留重要的结构元素。可通过改变卷积沿着输入张量的步长来实现下采样。还通过使用池化层58来实现下采样。

与输入张量(参见72a)相比，可应用有效填充来减小卷积张量(参见72b)的维度。有利地应用池化层58来减小卷积数据的空间尺寸，这降低了处理数据所需的计算能力。可使用常见的池化技术，包括最大池化和平均池化。最大池化返回内核69覆盖的输入张量部分的最大值，而平均池化返回内核69覆盖的输入张量部分的所有值的平均值。可使用最大池化来减少图像噪声。

在某些示例性实施方案中，可在最终卷积层72e之后添加全连接层，以学习由卷积层的输出表示的高层级特征(例如，经成像胫骨近端110或矫形元件的表面拓扑的轮廓)的非线性组合。

图8的上半部分表示输入体积数据75的压缩，而下半部分表示解压缩直到达到输入体积数据75的原始大小。每个卷积层72a、72b、72c等的输出特征映射用作以下卷积层72b、72c等的输入，以实现逐渐更复杂的特征提取。例如，第一内核69可检测边缘，第一卷积层72b中的内核可检测处于所需取向的边缘集合，第三卷积层72c中的内核可检测处于所需取向的较长边缘集合等。这一过程可持续，直到下游卷积层72检测到股骨远端内侧髁的整个轮廓。

图8的下半部分进行上采样(即，扩展较低分辨率特征映射的空间支持)。执行去卷积操作，以便增加下一下游卷积层(参见72c、72d、72e)的输入的尺寸。对于最终卷积层72e，可利用1×1×1内核69进行卷积，以产生与输入体积61尺寸相同的多通道输出体积59。多通道输出体积59的每个通道可表示所需的所提取高层级特征。在这以后可进行Softmax激活函数，以检测所需矫形元件100。例如，所描绘的实施方案可包括编号为0、1、2、3、4、5的六个输出通道，其中通道0表示所识别的背景体积，通道1表示所识别的股骨远端105，通道2表示所识别的胫骨近端110，通道3表示所识别的腓骨近端111，通道4表示所识别的膝盖骨901，并且通道5表示受试者矫形元件100的所识别的表面形貌。

在示例性实施方案中，包括期望的矫形元件100的输出体积数据59的选择输出通道可用于创建受试者矫形元件1100的3D模型。例如，来自通道的表示受试者矫形元件100的所识别的表面形貌的数据可被映射和复制为患者专用外科引导件500上的一个或多个配合表面(参见图11中的40和36以及图12中的53和54)，以创建患者专用外科引导件500，该患者专用外科引导件被配置为牢固地接合到受试者矫形元件100。经由制造技术产生物理患者专用外科引导件500并且对所述患者专用外科引导件500进行灭菌可以允许外科医生直接在手术区域170中安装和使用患者专用外科引导件500。这样，可认为患者专用外科引导件500“被配置为抵靠”所识别的表面上的矫形元件100。同样，这样，可认为以这种或相关方式使用深度学习网络来隔离单独矫形元件100或矫形元件的部分(例如，受试者矫形元件100的表面形貌)的计算机器1600“被配置为识别”实际受试者矫形元件100上或受试者矫形元件1100的3D模型上的表面形貌以定义所识别的表面。

尽管上述示例描述了使用三维张量内核69来对输入体积数据75进行卷积，但应当理解，上文描述的一般模型可与分别来自第一校准输入图像30和第二校准输入图像50的2D空间数据43一起使用。在其他示例性实施方案中，可在校准成像机之后但在2D与3D重建之前使用机器学习算法(即，深度学习网络(例如，CNN))。即，CNN可用于从相应2D输入图像30、50的第一参考帧30a和第二参考帧50a检测受试者矫形元件100的特征(例如，解剖标志)。在示例性实施方案中，CNN可用于从2D输入图像30、50识别高层级矫形元件(例如，股骨远端105和受试者矫形元件100的表面拓扑的一部分)。然后，CNN可任选地将掩模或轮廓施加到检测到的矫形元件100或受试者矫形元件100的表面形貌。可以设想到，如果对成像机1800进行校准，并且如果CNN识别两个输入图像30、50之间的特征的多个对应图像点(例如，X_L、X_R)，则可使用受试者矫形元件100的参考帧30a、50a之间的变换矩阵来对准3D空间中的多个对应图像点。

在包括使用深度学习网络将掩模或轮廓添加到来自相应输入图像30、50的检测到的2D矫形元件100的某些示例性实施方案中，仅所识别的矫形元件100或所识别的矫形元件100的表面形貌的2D掩模或轮廓可以以上文参考图4和图6所描述的方式相继地进行反投影，以定义所识别的矫形元件100的体积61。以这种示例性方式，可创建受试者矫形元件1100的3D模型。

在其中第一图像30和第二图像50是射线照相X射线图像的实施方案中，训练CNN可能会呈现若干挑战。相比之下，CT扫描通常产生一系列所需体积的图像。可将包括典型CT扫描的每个CT图像想象为经成像体积的片段。从这些片段，可通过添加所需元素的区域相对容易地创建3D模型，因为该元素在每个连续的CT图像中都被描绘。然后可将经建模元素与CT扫描中的数据进行比较，以确保准确性。

相比之下，射线照相成像系统通常不生成捕获经成像体积的不同片段的顺序图像；相反，图像的所有信息在2D平面上展平。另外，由于单个射线照相图像30固有地缺乏3D数据，因此难以用目标矫形元件100的实际几何形状检查通过上述核面几何重建技术生成的模型。为了解决这一问题，可利用CT图像，例如数字重建射线照相(“DRR”)图像，来训练CNN。通过以这种方式训练深度学习网络，深度学习网络可为内核69开发其自身的权重(例如，滤波器)，以识别期望的矫形元件100或受试者矫形元件100的表面形貌。由于X射线照相具有与DRR不同的外观，因此可执行图像到图像平移以使输入的X射线图像具有DRR样式的外观。示例图像到图像平移方法是循环GAN图像平移技术。在其中使用图像到图像样式转移方法的实施方案中，有利地在将数据输入到深度学习网络用于特征检测之前使用该样式转移方法。

以上示例出于说明性目的而提供，并且绝不意图限制本公开的范围。用于根据从至少两个横向定位拍摄的同一受试者矫形元件100的2D射线照相图像(例如，30a、50a)生成受试者矫形元件1100的3D模型的所有方法均被认为在本公开的范围内。

图10是概述示例性方法的步骤的流程图，该示例性方法使用深度学习网络以使用从偏置角度θ拍摄的两个展平的输入图像(30、50，图4和图5A和图5B)来计算邻接矫形元件100的患者专用外科引导件500的维度。示例性方法包括：步骤1c校准成像机1800(图9)以确定图像点(参见X_L、e_L、X_R、e_R，图4)与对应空间坐标(例如，x、y平面上的笛卡尔坐标)之间的映射关系，从而定义空间数据43。成像机1800有利地是能够产生X射线图像(“X射线图像”可被理解为包括荧光镜图像)的射线照相成像机，但所有医疗成像机被认为在本公开的范围内。

步骤2c包括使用成像技术(例如，X射线成像技术、CT成像技术、MRI成像技术或超声成像技术)捕获受试者矫形元件100的第一图像30(图5A)，其中第一图像30定义第一参考帧30a(例如，第一横向定位)。在步骤3c中，使用成像技术来捕获受试者矫形元件100的第二图像50(图5B)，其中第二图像50定义第二参考帧50a(例如，第二横向定位)，并且其中第一参考帧30a以偏置角度θ与第二参考帧50a偏置。第一图像30和第二图像50是可自其提取数据(包括空间数据43)的输入图像。应理解，在其他示例性实施方案中，可使用超过两个图像。在此类实施方案中，每个输入图像有利地与其他输入图像分离偏置角度θ。步骤4c包括对来自受试者矫形元件100的第一图像30的空间数据43和来自受试者矫形元件100的第二图像50的空间数据43进行投影，以使用核面几何定义体积数据75(图6)。

步骤5c包括使用深度学习网络从体积数据75检测矫形元件100。步骤6c包括使用深度学习网络从受试者矫形元件100的体积数据75检测其他特征(例如，解剖标志)，以定义受试者矫形元件1100的3D模型，包括受试者矫形元件100的表面形貌。步骤7c包括计算患者专用外科引导件500的维度。在此类实施方案中，患者专用外科引导件500的配合表面的维度可与受试者矫形元件100的一部分的表面形貌互补。这样，患者专用外科引导件500可被配置为邻接并且牢固地接合到矫形元件100。

在某些示例性实施方案中，从体积数据75检测受试者矫形元件100的解剖标志的深度学习网络可以是与从受试者矫形元件100的体积数据75检测其他特征(诸如受试者矫形元件的表面形貌)的相同深度学习网络。在其他示例性实施方案中，从体积数据75检测受试者矫形元件100的解剖标志的深度学习网络可以不同于从受试者矫形元件100的体积数据75检测其他特征(诸如受试者矫形元件的表面形貌)的深度学习网络。

在某些示例性实施方案中，第一图像30可描绘处于侧向横向定位的受试者矫形元件100(即，第一图像30是矫形元件100的侧视图)。在其他示例性实施方案中，第二图像50可描绘处于前后(“AP”)横向定位的矫形元件100(即，第二图像50是矫形元件100的AP视图)。在另一示例性实施方案中，第一图像30可描绘处于AP横向定位的矫形元件100。在又一示例性实施方案中，第二图像50可描绘处于侧向横向定位的矫形元件100。在再一示例性实施方案中，第一图像30或第二图像50都不能描绘处于AP横向定位或侧向横向定位的矫形元件100，前提条件是第一图像30与第二图像50偏置偏置角度θ。计算机器1600可根据包括校准夹具(参见973，图5A和图5B)的输入图像30、50来计算偏置角度θ。第一图像30和第二图像50可统称为“输入图像”或单独称为“输入图像”。这些输入图像30、50有利地从不同角度描绘同一受试者矫形元件100。这些输入图像30、50可沿着受试者矫形元件100的横向平面获取。

某些示例性系统或方法还可包括使用例如Cycle-GAN的样式转移深度学习网络。使用样式转移深度学习网络的系统或方法可从射线照相输入图像(例如，30)开始，并且使用样式转移深度学习网络将输入图像的样式转移到DRR型图像。又一示例性方法可包括使用深度学习网络来识别受试者矫形元件100(其可以包括受试者矫形元件100的表面拓扑的一部分)的特征(例如，解剖标志)，以便为每个受试者矫形元件100提供分割掩模。

在不受理论约束的情况下，可以设想到，与从CT输入图像或MRI输入图像产生的3D模型相比，利用射线照相输入图像的实施方案可能能够在矫形元件的3D模型上提供更平滑的表面。CT扫描通常以1mm的增量扫描受试者矫形元件。第一CT段扫描和相邻CT段扫描之间的表面形貌的变化可能导致传统CT系统的输出中的信息损失，因为间隔小于1mm的表面形貌细节未被以1mm增量递增地扫描受试者矫形元件的CT系统捕获。因此，技术人员通常必须手动地拉平CT 3D模型的表面形貌，以便创建能够在手术中与实际受试者矫形元件配合的外科引导件。因为从来没有捕获到实际受试者矫形元件的小于1mm的形貌数据，所以这种手动平滑处理往往是不精确的并且可能导致不太完美的配合。根据本公开的某些实施方案可以避免这个问题，因为射线照相X射线图像可以被表示为像素值的阵列。像素密度变化，但举例来说，如果第一输入图像和第二输入图像具有96点每英寸(“dpi”)(像素密度的单位)的分辨率，则在该英寸中存在25.4mm，或每毫米3.78像素。换句话说，与传统的CT扫描相比，在该示例中存在每毫米额外3.78像素的信息。与不使用深度学习网络的系统和方法相比，更高的像素密度将同样导致表面形貌的甚至更高的分辨率，同时如本文所述的深度学习网络的使用可以减少计算机器的计算负荷。

可以进一步设想到，在某些示例性实施方案中，示例性系统和/或方法可考虑外科医生输入和偏好。例如，如果外科医生期望将股骨远端的远侧切除平面取向在三度内翻处，则示例性患者专用股骨切除引导件安装架500a可根据本公开产生并且切除狭槽52可相对于主体42而制造，使得当患者专用外科引导件500安装在股骨远端105上时切除狭槽52取向为三度内翻角。在示例性实施方案中，切除狭槽52的取向可被进一步修改以适应对手术区域170的有限接近或阻塞，这在微创手术中可能是常见的。

用于生成患者专用外科引导件的示例性方法包括：校准射线照相成像机以确定图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获矫形元件的第一图像，其中第一图像定义第一参考帧；使用射线照相成像技术捕获矫形元件的第二图像，其中第二图像定义第二参考帧，并且其中第一参考帧以某一偏置角度与第二参考帧偏置；使用深度学习网络以便使用空间数据来检测矫形元件，该空间数据定义矫形元件上或该矫形元件中的解剖标志；使用深度学习网络以便将掩模应用于由解剖标志定义的矫形元件；对来自期望的矫形元件的第一图像的空间数据和来自期望的矫形元件的第二图像的空间数据进行投影以定义体积数据，其中包括设置在第一图像或第二图像的经掩模区域内的图像点的空间数据具有第一值，并且其中包括设置在第一图像或第二图像的经掩模区域外的图像点的空间数据具有第二值，其中第一值不同于第二值；将深度学习网络应用于体积数据以便生成矫形元件的经重建3D模型；以及计算被配置为邻接矫形元件的患者专用外科引导件的维度。

用于生成患者专用外科引导件的示例性方法包括：校准射线照相成像机以确定图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获矫形元件的第一图像，其中第一图像定义第一参考帧；使用射线照相成像技术捕获矫形元件的第二图像，其中第二图像定义第二参考帧，并且其中第一参考帧以某一偏置角度与第二参考帧偏置；使用深度学习网络以便使用空间数据来检测矫形元件，该空间数据定义矫形元件上或该矫形元件中的解剖标志；使用深度学习网络以便将掩模应用于由解剖标志定义的矫形元件；对来自期望的矫形元件的第一图像的空间数据和来自期望的矫形元件的第二图像的空间数据进行投影以定义体积数据，其中包括设置在第一图像或第二图像的经掩模区域内的图像点的空间数据具有正值，并且其中包括设置在第一图像或第二图像的经掩模区域外的图像点的空间数据具有负值；将深度学习网络应用于体积数据以便生成矫形元件的3D模型；以及计算被配置为牢固地接合到矫形元件的患者专用外科引导件的维度。

在示例性实施方案中，该方法还包括使用深度学习网络来对第一图像和第二图像执行样式转移。

在示例性实施方案中，样式转移将来自射线照相成像技术的空间数据转换成动态数字射线照相数据。

在示例性实施方案中，第一值是正值。

在示例性实施方案中，第二值是负值。

在示例性实施方案中，该方法还包括在显示器上投影经重建3D模型。

在示例性实施方案中，深度学习网络包括深度学习算法。

示例性系统包括：包括手术区域的矫形元件3D模型，该3D模型是从至少两个2D射线照相图像生成的，其中至少第一射线照相图像是在第一定位处捕获的，并且其中至少第二射线照相图像是在第二定位处捕获的，并且其中该第一定位不同于该第二定位；计算机器，该计算机器被配置为识别矫形元件的3D模型上的表面形貌以定义所识别的表面，并且被进一步配置为计算患者专用外科引导件的维度，该患者专用外科引导件被配置为在所识别的表面上邻接矫形元件。

示例性系统还可包括显示器，其中矫形元件的3D模型显示在显示器上。在示例性系统中，该显示器可以是增强现实装置或虚拟现实装置。示例性系统还可包括X射线成像机。

示例性系统还可包括制造装置，其中该制造装置被配置为产生患者专用外科引导件的物理模型。

在包括制造装置的示例性系统中，制造装置可被配置为产生矫形元件的所识别的表面的至少部分物理模型。制造装置可以是增材制造装置。

在示例性系统中，患者专用外科引导件的物理模型可包括医疗级聚酰胺。

患者专用外科引导件通过示例性方法产生，该示例性方法可以包括：校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获受试者矫形元件的第一射线照相图像，其中该第一射线照相图像定义第一参考帧；使用该射线照相成像技术捕获该受试者矫形元件的第二射线照相图像，其中该第二射线照相图像定义第二参考帧，并且其中该第一参考帧以某一偏置角度与该第二参考帧偏置；对来自该受试者矫形元件的该第一射线照相图像的空间数据和来自该受试者矫形元件的该第二射线照相图像的空间数据进行投影以定义体积数据；使用深度学习网络以便使用该体积数据来检测该受试者矫形元件，该体积数据定义该受试者矫形元件上或该受试者矫形元件中的解剖标志；使用深度学习网络来识别矫形元件上的表面，以使用体积数据来定义所识别的表面；以及将深度学习网络应用于体积数据以计算患者专用外科引导件的维度，该患者专用外科引导件被配置为在所识别的表面上邻接矫形元件。

通过该方法的示例性产生方法还可包括使用制造技术来产生患者专用外科引导件的物理3D模型。在此类实施方案中，患者专用外科引导件的物理3D模型可包括与矫形元件上的所识别的表面配合的配合表面。

对于通过该方法的示例性产生方法，患者专用外科引导件的物理3D模型可包括配合表面，并且配合表面还可包括突起部。

示例性患者专用外科引导件可通过示例性方法产生，该示例性方法包括：校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获受试者矫形元件的第一射线照相图像，其中该第一射线照相图像定义第一参考帧；使用该射线照相成像技术捕获该受试者矫形元件的第二射线照相图像，其中该第二射线照相图像定义第二参考帧，并且其中该第一参考帧以某一偏置角度与该第二参考帧偏置；对来自该受试者矫形元件的该第一射线照相图像的空间数据和来自该受试者矫形元件的该第二射线照相图像的空间数据进行投影；使用深度学习网络以便使用该空间数据来检测该受试者矫形元件，该空间数据定义该受试者矫形元件上或该受试者矫形元件中的解剖标志；使用深度学习网络来检测识别矫形元件上的表面，以使用空间数据来定义所识别的表面；以及将深度学习网络应用于空间数据以计算患者专用外科引导件的维度，该患者专用外科引导件被配置为在所识别的表面上邻接矫形元件。

应理解，本发明决不限于本文公开或在附图中示出的特定构造和方法步骤，而是还包括在本领域中已知的权利要求书的范围内的任何修改或等效物。本领域的技术人员应理解，本文公开的装置和方法将具有实用性。

Claims (16)

1.一种系统，包括：

包括手术区域的矫形元件3D模型，所述3D模型是从至少两个2D射线照相图像生成的，其中至少第一射线照相图像是在第一定位处捕获的，并且其中至少第二射线照相图像是在第二定位处捕获的，并且其中所述第一定位不同于所述第二定位；

计算机器，所述计算机器被配置为识别所述矫形元件的所述3D模型上的表面以定义所识别的表面，并且被进一步配置为计算患者专用外科引导件的维度，所述患者专用外科引导件被配置为在所识别的表面上邻接所述矫形元件。

2.根据权利要求1所述的系统，还包括显示器，其中所述矫形元件的所述3D模型显示在所述显示器上。

3.根据权利要求2所述的系统，其中所述显示器是增强现实装置或虚拟现实装置。

4.根据权利要求1至3中任一项所述的系统，还包括X射线成像机。

5.根据权利要求1至4中任一项所述的系统，还包括制造装置，其中所述制造装置被配置为产生患者专用外科引导件的物理模型。

6.根据权利要求5所述的系统，其中所述制造装置被配置为产生所述矫形元件的所识别的表面的至少部分物理模型。

7.根据权利要求5至6中任一项所述的系统，其中所述制造装置是增材制造装置。

8.根据权利要求5至7中任一项所述的系统，其中所述患者专用外科引导件的所述物理模型包括医疗级聚酰胺。

9.一种通过包括以下各项的方法产生的患者专用外科引导件：

校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据；

使用射线照相成像技术捕获受试者矫形元件的第一射线照相图像，其中所述第一射线照相图像定义第一参考帧；

使用所述射线照相成像技术捕获所述受试者矫形元件的第二射线照相图像，其中所述第二射线照相图像定义第二参考帧，并且其中所述第一参考帧以某一偏置角度与所述第二参考帧偏置；

对来自所述受试者矫形元件的所述第一射线照相图像的空间数据和来自所述受试者矫形元件的所述第二射线照相图像的空间数据进行投影以定义体积数据；

使用深度学习网络以便使用所述体积数据来检测所述受试者矫形元件，所述体积数据定义所述受试者矫形元件上或所述受试者矫形元件中的解剖标志；

使用所述深度学习网络来识别所述矫形元件上的表面，以使用所述体积数据来定义所识别的表面；以及

将所述深度学习网络应用于所述体积数据以计算患者专用外科引导件的维度，所述患者专用外科引导件被配置为在所识别的表面上邻接所述矫形元件。

10.根据权利要求9所述的产生方法，还包括使用制造技术来产生所述患者专用外科引导件的物理3D模型。

11.根据权利要求9至10中任一项所述的产生方法，其中所述患者专用外科引导件的所述物理3D模型包括与所述矫形元件上的所识别的表面配合的配合表面。

12.根据权利要求9至12中任一项所述的产生方法，其中所述患者专用外科引导件的所述物理3D模型包括配合表面，并且其中所述配合表面还包括突起部。

13.一种通过包括以下各项的方法产生的患者专用外科引导件：

校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据；

使用射线照相成像技术捕获受试者矫形元件的第一射线照相图像，其中所述第一射线照相图像定义第一参考帧；

使用所述射线照相成像技术捕获所述受试者矫形元件的第二射线照相图像，其中所述第二射线照相图像定义第二参考帧，并且其中所述第一参考帧以某一偏置角度与所述第二参考帧偏置；

对来自所述受试者矫形元件的所述第一射线照相图像的空间数据和来自所述受试者矫形元件的所述第二射线照相图像的空间数据进行投影；

使用深度学习网络以便使用所述空间数据来检测所述受试者矫形元件，所述空间数据定义所述受试者矫形元件上或所述受试者矫形元件中的解剖标志；

使用所述深度学习网络来识别所述矫形元件上的表面，以使用所述空间数据来定义所识别的表面；以及

将所述深度学习网络应用于所述空间数据以计算患者专用外科引导件的维度，所述患者专用外科引导件被配置为在所识别的表面上邻接所述矫形元件。

14.根据权利要求13所述的产生方法，还包括使用制造技术来产生所述患者专用外科引导件的物理3D模型。

15.根据权利要求13至14中任一项所述的产生方法，其中所述患者专用外科引导件包括与所述矫形元件的所识别的表面配合的配合表面。

16.根据权利要求13至15中任一项所述的产生方法，其中所述患者专用外科引导件包括配合表面，并且其中所述配合表面还包括突起部。