CN108498075B - 骨骼健康的个性化评估 - Google Patents

Abstract

一种用于对对象的骨骼健康进行个性化评估的计算机实现方法，该方法包括从非侵入式对象数据、对象的医学图像以及对象特定的骨转换标志物值提取多个感兴趣的特征。使用代理模型和多个感兴趣的特征来预测与骨骼健康有关的一个或多个对象特定的感兴趣的度量。然后，生成与骨骼健康有关的一个或多个对象特定的感兴趣的度量的可视化。

Description

骨骼健康的个性化评估

技术领域

本发明一般涉及用于对骨骼健康进行个性化评估的方法、系统和装置。所公开的技术可以被应用于例如预测与骨质疏松症——诸如骨质疏松症/骨量减少的存在/严重程度、骨折风险和感兴趣的生物力学特性——有关的感兴趣的度量（measure）。

背景技术

骨质疏松症是一种骨骼疾病，其导致骨骼质量损失并且降低骨骼强度（以密度和质量为特征），并且因此导致增加的骨折风险。骨骼损失通常由于绝经后的女性缺乏雌性激素或者由于其他年龄相关的机制（例如，继发性甲状腺旁腺机能亢进、机械负荷减少等）而出现。由于有效的药物治疗是可获得的，因此至关重要的是正确地诊断骨质疏松症的发生以使得将未来骨折的风险最小化。

大于50岁的大约22.1%的女性人口和6.6%的男性人口受骨质疏松症的影响，并且该百分比随年龄上升。在由骨质疏松症引起的骨折中，髋部骨折通常对于患者和社会而言都是最具破坏性的骨折：绝大多数患者需要住院和手术。文献报道已经展示出，在髋部骨折的情况下，第一年的死亡率增加了8-36%。特别地，20%的患者在一年内死亡，而另外20%的患者需要终身的疗养院护理。

在2000年，估计有总共370万骨质疏松性骨折，而大约24%表现为髋部骨折。至关重要地，医疗成本估计在362亿欧元的水平，而髋部骨折引起该开支的三分之二。此外，到2050年，骨质疏松症相关的医疗成本预计为大于两倍至760亿欧元左右，因为到2050年，仅髋部骨折的估计数量就预计要增加到630万。通常，椎骨骨折导致更少并发症，但是它们也更频繁，并且先前的临床数据表明，椎骨骨折中仅有30%左右被诊断出来。重要地，一旦患者遭受椎骨骨折，后续骨折的风险成十倍地增加。除了髋部骨折和椎骨骨折，腕部骨折是最常见的骨质疏松性骨折，但是由于骨质疏松症是一种影响整体骨骼的状态，因此对于人体中的几乎任何骨都存在增加的骨折风险。

此外，已经展示出的是，患有骨质疏松症的女性遭受骨骼强度每年4%的下降。因此，如上文所提到的，骨折风险随着年龄增加，这是一个通过年龄相关的增加在跌倒风险上被放大的方面。基于体积定量计算机断层扫描和有限元分析来执行纵向研究，以确定骨骼强度的变化。考虑了正常负荷状况和与跌倒相关的负荷状况两者。在五年的平均时间间隔上，取决于性别和负荷状况，aBMD下降了4%，并且骨骼强度下降了4%到12%（对于女性和对于与跌倒相关的负荷状况具有更显著的下降）。

骨骼是可以再生的活的材料，并且其结构和密度由于作用于其上的机械力而适应。特别地，骨架被优化以便利用可能的最小材料量来抵抗力。

当描述处于负荷状况下的骨骼的力学时，两个重要的特征是应变（描述与骨骼的初始状态相比骨骼的变形）和应力（描述骨骼的内力）。根据这两个量的值，骨骼处于屈服前状态、屈服后状态或最终状态中。在屈服前状态中，变形是纯弹性的；也就是说，任何变形都是临时的，并且一旦移除负荷就达到骨骼的初始状态。对于该状态最重要的材料属性是杨氏模量（刚度或弹性模量）。它是应力-应变曲线的斜率，并且表示作用于骨骼以获得一定变形所需要的压力。一旦超过屈服点，弹性变形就变为塑性变形，并且结果是永久变形。该屈服点以屈服应变、屈服应力和屈服强度为特征。有时也使用骨骼韧性，并且所述骨骼韧性表示骨骼通过屈服点之前可以吸收的总能量。最终状态由最终应变、最终应力和最终强度来描述。

骨骼材料在人体中要么作为皮质骨/致密骨要么作为网状骨/松质骨被遇到。平均而言，骨骼质量的80%是皮质的，并且骨骼的这些区域确保其稳定性。网状骨通常处于由皮质骨形成的框架内部并且具有海绵状外观。网状骨的密度比皮质骨的密度小得多。

用于估计骨折风险的例行临床工作流程目前依赖于双能X线吸收测定法（DXA）。由DXA提取的主要量是区域骨矿物质密度（aBMD），所述aBMD与髋部骨折的风险增加有关。然而，BMD只是对增加的脆弱性负责的一个方面。研究已经展示出，由DXA确定的降低的骨矿物质密度（BMD）与种族背景、性别或年龄无关地与髋部骨折的风险增加有关。然而DXA具有一系列缺点。例如，因为DXA是二维的，因此DXA不能正确地区分皮质骨和网状骨的差异性变化。已经展示出的是，在许多骨质疏松性骨折的情况下，骨骼并没有被DXA扫描表征为是骨质疏松性的。特别地，基于DXA的决策制定的灵敏性太低。骨矿物质含量（BMC）有时被用作BMD的替代品。

最近的研究已经证明，基于有限元分析（FEA）的生物力学建模技术具有改善临床决策制定过程的巨大潜力。这些技术将从医疗成像中提取的几何信息（结构属性、解剖形状）与患者的背景知识（例如，人口统计资料）和患者特定信息（例如，负荷）进行组合，被编码在由仅可数字求解的偏微分方程所组成的复杂数学固体力学模型中。该方法导致大量代数方程，使其在计算上要求很高。通常，对于表示完整的三维空间的高保真度模型，这些模型的解决方案需要从几分钟到几小时的时间范围。

由于FEA分析通常基于CT成像数据，因此该FEA分析有时也被称为生物力学CT（BCT）。当执行BCT时，CT DICOM图像中的灰度体素被转换成BMD的校准值。根据数据对骨骼进行分割并且将其用来创建有限元模型（FEM）。通过应用FEM解算机，可以执行应力分析来确定与骨骼的强度有关的感兴趣的度量。可以从包括以下各项的这种分析来得出若干感兴趣的度量：全骨强度、负荷-强度比、骨折的类型、平均应力、平均应变以及刚度。

在尸体骨骼上执行的体外（in-vitro）研究已经证明，与基于DXA的aBMD相比，BCT提供对椎骨和股骨强度的更优异的估计。由两个不同的研究组以双盲方式对12个尸体股骨执行患者特定的FEA来确定数值错误，但是也确定如从体外实验中所确定的关于实验发现的错误。数值结果表明计算是稳健的并且与实验发现匹配良好。

在第一临床研究之一中展示出，与用于对骨质疏松性骨折风险进行评估的BMD相比，由应力评估的椎骨强度是更优异的。最近，BCT的效用在患者群中得到确认，对于该患者群aBMD不能在患有骨折与未患有骨折的患者之间进行区分。这一发现也在聚焦于股骨的研究中得到确认。

已经得出结论，FEM可以比其他方法更精确地预测股骨骨折负荷。另一方面，FEA精确度取决于建模方法学，并且需要进一步的标准化。

由于在FEA模拟期间，应变可增加超过骨材料的屈服应变，所以通常采用冯·米塞斯（von Mises）应变标准：将小的杨氏模量（例如，0.01 MPa）分配到具有比屈服应变更大的应变的所有有限元。

在1110个个体上进行的、采用基于骨骼强度评估的FEA的回顾性研究表明，可以通过将股骨强度与股骨颈区域BMD结合来对女性执行骨折预测。

最近在对尸体骨骼的研究中估计了扫描仪设置对FEA结果的影响：考虑了低分辨率和高分辨率扫描仪设置二者。根据利用这两个成像设置所获取的数据估计的强度值和刚度值不同，表明需要提高该方法的鲁棒性。

在最近的研究中，对在脊柱区段的压缩和屈曲期间获取的微计算机断层摄影图像的数字体积相关分析被用来测量位移，所述位移然后与FEA结果作比较。这些计算结果能够部分地捕获椎骨失效模式，但是需要进一步的工作来从FEA获得失效机制的精确预测。

此外，可以采用BCT通过改变解剖模型和/或其属性并且重新运行FEA来获得对骨机构的进一步了解。例如，可以移除骨骼的外层来确定骨骼强度上的变化。

缺点之一是BCT需要CT，与DXA扫描相比CT与更高的成本和辐射联系在一起。然而，可以基于在先前的CT扫描期间所获取的图像或者在对不同范围所执行的CT扫描（肺癌筛查、用于排除冠状动脉疾病的心脏CT、腹部/骨盆区域等等）期间所获取的图像来应用BCT。考虑到每年执行几百万例CT扫描，所以BCT具有巨大的潜力，并且实际上会比DXA扫描更方便。最近展示出，针对结肠成像所获取的CT图像适合于执行基于FE的BCT分析，而不需要成像协议的改变。

然而，中央定量CT目前不是用于基于BMD来诊断患者是骨量减少或骨质疏松的已确立的成像方法。尽管如此，可以采用体积专用的网状BMD来评估疗法。目前，在下列情况下推荐定量CT作为DXA的替换方案：（i）个体非常大或非常小，（ii）个体预计患有腰椎中的晚期退行性疾病，以及（iii）需要监视代谢骨变化。

重要的是，针对脊柱和髋部的BCT分析的临床潜力最近已经被国际临床密度测量协会承认。已经注意到的是，BCT在日常的临床实践中的使用仍必须克服一些涉及FE软件的可用性和在临床工作流程中集成的挑战。如上文所描述的，一个显著的机会是CT扫描用于骨折风险的评估和骨质疏松症诊断的二次使用（使用原本针对胸部、腹部和骨盆区域执行的CT扫描）。替换地，已经展示出的是，股骨微架构的3-T MRI还可以被用于基于FEA来评估骨骼的强度。FEA的主要缺点是需要至少几个小时来执行详细的分析，这对于日常的临床工作流程而言可能表示太大的时间范围。

世界卫生组织（WHO）已经介绍了骨折风险评估工具（FRAX）作为诊断工具来估计10年时间段上的骨折风险。FRAX基于在股骨颈处评估的BMD和针对髋部或针对其他骨质疏松症相关的位置（脊柱、前臂、肩部）所估计的骨折概率。这一工具进一步整合了有关年龄、种族、性别、体重、身高、骨折史、吸烟、酒精、糖皮质激素和类风湿性关节炎的信息。FRAX分数的精确度已经被展示为是有限的，具有0.56到0.69的曲线下面积（AUC）。

在FRAX之前，专门针对骨质疏松性椎骨骨折开发了分级系统，其中ISCD、国际骨质疏松基金会和欧洲骨折放射学会推荐了该分级系统。该系统将椎骨骨折定义为大于20%的垂直变形和10-20%的高度范围的减少，并且定义三个不同的骨折等级（轻度、中度和重度）。在若干临床研究中对该方法进行了测试。

文献中提出的一个替换方案是3D统计的形状和外观建模。它使用3D骨骼图像的数据库，并且基于平均形状和密度分布以及它们的主要变化模式。为了确定新的患者特定骨骼的形状和密度，仅需要确定主要模式对当前骨骼的分布和形状的贡献。因此，可以使用通过DXA获取的2D图像，然后使用输出贡献的权重的2D-3D匹配算法。这一方法学避免了使用量化计算机断层扫描（QCT）和图像分段。FE分析可以基于所得到的3D模型来执行。

最近，采用基于机器学习（ML）的方法学来预测从FEA所提取的感兴趣的度量（即，应力）。使用89个股骨的数据库，并且特征基于统计的形状模型和形态测定以及密度信息。预测应力的分布具有0.98的相关性。

DXA / BCT在骨骼材料分析方面的另一个重要应用是对基于药物的治疗关于其疗效的早期估计，特别是在患有骨质疏松症的女性中。如在骨折风险估计的情况下，aBMD不能够全面地评估基于药物的治疗的疗效，并且BCT已经展示出提供更优异的有区别的能力。BCT导致提高的统计能力以及改善了的对治疗效果的理解。

aBMD与BCT之间的差异的一个原因是，对于一些治疗计划而言，皮质骨密度上升同时松质骨密度下降，这导致整体近似恒定的aBMD值。然而，从生物力学角度来看，骨骼强度在这些情况下增加。

用于骨质疏松症患者的一种可能的药物治疗采用特立帕肽（teriparatide）：皮质骨体积增加，因此改善了骨骼的结构，并且皮质层的厚度也增加。阿伦膦酸钠（alendronate）是用来治疗骨质疏松症患者的另一药物：研究已经展示出其导致与特立帕肽类似的股骨强度改善。在最近的另一项研究中展示出，如由基于量化的CT扫描所执行的FEA评估的那样，特立帕肽增加了椎骨强度和股骨强度两者。

BCT还可以被用来评估治疗计划中的改变的效果。先前的研究已经展示出，在治疗计划基于阿伦膦酸钠或雷洛昔芬（raloxifene）的情况下，添加或转换到特立帕肽导致了与通过aBMD进行评估不同的结果。在最近的研究中，采用BCT来进一步估计这两个策略，并且另外还计算来自量化CT的vBMD（体积BMD）。展示出的是，在患有骨质疏松症的女性中，添加和转换到特立帕肽导致对于脊柱强度而言类似的结果。至于髋骨强度，其在特立帕肽添加组中增加更多。

在另一研究中，使用BCT分析来估计基于狄诺塞麦（denosumab）的不同的药物治疗计划。展示出，松质骨和皮质骨二者的强度都如通过FEA评估的那样得到及时改善。

罗莫索塞麦（Romosozumab）是又一种给具有高骨折风险的患者使用的药物：其促进骨骼形成并且抑制骨骼吸收。最近，在基于罗莫索塞麦的治疗计划的纵向研究中采用线性FEA来评估骨骼刚度：在给药3个月之后，整个骼骨刚度显著并快速地增加。

在过去的几年中，针对骨骼强度和骨折风险的评估而言，生物标志物已经受到了越来越多的关注。通常这些标志物被称为骨转换标志物（BTM）。这些是基于对在骨骼形成和骨骼吸收的过程期间生成的蛋白质和酶的估计。通常使用的骨骼形成标志物包括血清总碱性磷酸酶、血清骨特异性碱性磷酸酶、血清骨钙素和血清1型前胶原（C端/N端）。通常使用的骨骼吸收标志物是尿羟脯氨酸、尿总吡啶啉（PYD）、尿游离脱氧吡啶林（DPD）、尿胶原1型交联N末端肽（NTX）、尿或血清胶原1型交联C末端肽（CTX）、骨涎蛋白（BSP）以及抗酒石酸酸性磷酸酶5b。

BMT目前没有被用在日常的对骨质疏松症的评估中；然而若干研究已经展示出这些标志物的平均值在骨质疏松症患者与健康对象的组之间相异。此外，已经展示出的是，生物标志物还可以被用于评估骨骼强度：最近的研究证实，如从FEA确定的，生物标志物P1NP（I型胶原的氨基末端前肽）是骨骼强度的良好预测符。

可以从不同成像技术（像超声）提取要被用作生物标志物的其他度量：宽带超声衰减（BUA）、声速（SOS）以及所得到的刚度值和量化超声测量（QUS）指数。

总之，三种不同类别的标志物已经展示出与骨折风险相关联：BMD（面积、体积等等）、基于FEA的标志物以及BTM。

发明内容

本发明的实施例通过提供与骨骼健康的个性化评估有关的方法、系统和装置解决并且克服了上述短处和缺点中的一个或多个。更具体地，本文中所描述的技术利用ML算法来预测对骨骼健康感兴趣的度量（全骨强度、负荷-强度比、预期的骨折类型、局域/平均应力、局域/平均应变、局域/全局刚度；药物治疗的效果（例如，骨骼强度随时间增加）；疾病演化（例如，骨骼强度随时间降低）等）。该预测基于从非侵入式患者数据、医学成像（侵入式和非侵入式、灌注）、侵入式测量、血液生物标志物等等中所提取的各种特征。此外，所公开的技术还可以被应用于预测未来事件的风险。

根据一些实施例，用于对对象的骨骼健康进行个性化评估的计算机实现的方法包括：从非侵入式对象数据、对象的医学图像以及对象特定的骨转换标志物值中提取感兴趣的特征。代理模型和所述感兴趣的特征被用来预测与骨骼健康有关的一个或多个对象特定的感兴趣度量。然后，生成与骨骼健康有关的所述一个或多个对象特定的感兴趣度量的可视化。

前述方法的一些实施例进一步包括：从数据库检索包括（i）骨解剖模型和（ii）体外模型中的一个或多个的训练数据，并且使用所述骨解剖模型执行基于FEM的计算或者使用所述体外模型执行应力实验来得出FEM结果。接下来，从所述FEM结果提取感兴趣的度量，并且从所述骨解剖模型提取几何特征。训练所述代理模型以使用机器学习算法基于所述几何特征来预测所述一个或多个感兴趣的度量。在一个实施例中，所述感兴趣的度量包括应力和应力应变中的一个或多个。在另一其他实施例中，所述训练数据中的至少一部分包括合成数据。可以例如通过生成一个或多个基线模型并且随机地或系统地扰动所述基线模型以获得合成模型来生成所述合成数据，所述合成模型包括（i）合成骨解剖模型和（ii）合成体外模型中的一个或多个。在一个实施例中，这些基线模型是对象特定的解剖模型。在一个实施例中，所述合成数据包括根据规则集使用一个或多个被随机地或系统地扰动的参数值生成的（i）合成骨解剖模型和（ii）合成体外模型中的一个或多个。

在前述方法的一些实施例中，所述一个或多个对象特定的感兴趣度量中的每一个与对象图像上的点相关联。显示所述对象图像，并且响应于接收到所述对象图像上的选定点的用户选择，显示对应于所述选定点的特别的对象特定的感兴趣度量。在一些实施例中，将所述一个或多个对象特定的感兴趣度量中的每个与对象图像上的点相关联。然后，显示基于所述对象特定的感兴趣度量的值被编码的图像颜色。

根据本发明的另一方面，用于对对象的骨骼健康进行个性化评估的第二计算机实现方法包括：从医学图像提取对象特定的几何数据，以及基于所述对象特定的几何数据提取骨解剖模型的几何特征。使用一个或多个第一机器学习模型来基于所述骨解剖模型的几何特征预测一个或多个对象特定的感兴趣的生物力学特性。从附加的对象测量数据提取对象特定的特征。然后，使用第二机器学习模型和所述对象特定的特征来（i）预测与骨骼健康有关的对象特定的感兴趣度量；（ii）调整所述对象特定的感兴趣的生物力学度量；或（iii）预测与骨骼健康有关的治疗计划的效果。

可以对本发明的不同实施例中的前述第二方法做出各种增强、改进或其他修改。例如，在一个实施例中，所述对象特定的特征包括以下各项中的一项或多项：年龄、种族、性别、体重、身高、骨折史、家族史、吸烟、酒精、糖皮质激素和类风湿性关节炎、aBMD、vBMD、骨转换标志物以及基于超声的测量。在另一实施例中，所述第一机器学习模型在合成数据上训练。可以进一步训练所述第二机器学习模型以基于与治疗计划效果相关的纵向数据和对象特定的特征来预测与骨骼健康相关的所述治疗计划的效果。例如，在一个实施例中，所述治疗计划的效果包括与不同治疗药物、治疗药物的不同组合、治疗计划中的变化相对应的效果和/或特定于先前已经经受一次或多次骨折的对象的效果。

根据本发明的其他实施例，并行处理计算系统包括：主计算机，其被配置成从非侵入式对象数据、对象的医学图像以及对象特定的骨转换标志物值中提取感兴趣的特征。该系统进一步包括：设备计算机，其被配置成使用代理模型和所述感兴趣的特征来预测与骨骼健康相关的一个或多个对象特定的感兴趣的度量。

本发明的附加特征和优点将从以下参考附图对说明性实施例进行的详细描述中变得显而易见。

附图说明

结合附图阅读下文详细的描述来最好地理解本发明的前述和其他方面。出于说明本发明的目的，在附图中示出当前优选的实施例，然而要理解的是本发明不限于所公开的特定手段。附图中包括下图：

图1图示了根据一些实施例的用来预测患有骨质疏松症的患者的感兴趣度量的通用工作流程；

图2描绘了根据一些实施例的用来训练一个或多个数据驱动的代理模型以用于预测患有骨质疏松症的患者的感兴趣度量的通用工作流程；

图3示出了根据一些实施例的用于训练一个或多个数据驱动的代理模型以用于预测感兴趣的生物力学特性的工作流程；

图4图示了股骨形态测定特征；

图5描绘了网状骨区段的3D切片；

图6示出了网状骨区段的3D解剖模型；

图7A图示了根据一些实施例的用于生成二维合成股骨解剖模型的三步方法的第一步骤；

图7B图示了根据一些实施例的用于生成二维合成股骨解剖模型的三步方法的第二步骤；

图7C图示了根据一些实施例的用于生成二维合成股骨解剖模型的三步方法的第三步骤；

图8描绘了根据一些实施例的在应用后处理算法之前和之后的合成数据的2D切片；

图9示出了根据一些实施例的用于使用机器学习算法来估计感兴趣的生物力学度量的不确定性的工作流程；

图10图示了可以被用在一些实施例中的级联式机器学习方法；

图11描绘了可以被用在一些实施例中的用于预测校正的级联式机器学习方法；

图12示出了根据一些实施例的利用患者特定数据的数据库的级联式机器学习算法；

图13图示了根据一些实施例的用于预测治疗计划的效果的基于机器学习的工作流程；

图14描绘了根据一些实施例的用于指向和点击图像上的点的工具的示例，其中该系统将感兴趣的点和相关联的值可视化；

图15示出了在执行针对人类股骨的器官级负荷模拟之后获得的应力结果；

图16A图示了由针对在合成数据上执行的交叉验证和针对患者特定数据的ML算法所预测的应变与基于FEM计算的应变的比较；

图16B图示了由针对在患者特定数据上执行的交叉验证的ML算法所预测的应变与基于FEM计算的应变的比较；

图17描绘了使用上文所描述的技术所收集的混淆矩阵和对应的诊断统计；以及

图18提供了根据本发明的一些实施例的并行处理存储器架构的示例，所述并行处理存储器架构可以被用来执行与此处讨论的各种工作流程的执行有关的计算。

具体实施方式

以下的公开内容根据针对与骨骼健康的个性化评估有关的方法、系统和装置的若干实施例描述本发明。在本文中利用针对骨质疏松症的示例来描述这一技术；然而，应当理解的是，所公开的技术也可以被一般地应用于对其他骨骼健康状况的评估。

本文中所描述的技术指的是用于预测与骨质疏松症有关的感兴趣的度量的机器学习（ML）算法的使用：骨质疏松症/骨量减少的存在/严重程度；骨折风险（分数、百分比）；感兴趣的生物力学特性，如通常从有限元分析提取的那样：全骨强度、负荷-强度比、预期的骨折类型、局域/平均应力、局域/平均应变、局域/全局刚度；药物治疗的效果，例如骨骼强度随时间增加；疾病演化，例如骨骼强度随时间降低。该预测可以基于从非侵入式患者数据、医学成像数据（DXA、CT、MRI等）以及骨转换标志物所提取的各种特征。所提议的基于ML的工作流程的一个主要优点是可以对来自异构源的数据集成以执行全面的评估。本文中所描述的技术还可以使用先前针对不同范围（例如，CT扫描：肺癌筛查、用于排除冠状动脉疾病的心脏CT、腹部/骨盆区域等）所获取的成像数据；也就是说，所述技术提供了二次使用扫描来评估骨折风险和骨质疏松症诊断的机会。此外，在线预测阶段是极快的，其几乎实时输出结果，并且可以在现场工作站上直接运行。

图1显示了根据一些实施例的可以被用于预测患有骨质疏松症的患者的感兴趣的度量的一般工作流程100。该工作流程的核心元素由一个或多个经训练的ML算法来表示，所述经训练的ML算法使用针对该预测的特征集。下文将这一工作流程描述为一系列步骤；然而，应当理解的是，这些步骤的描述不应暗示顺序。例如，可以以任意顺序执行获取步骤105-115，以及可以并行执行多个获取步骤。

在步骤105处，接收非侵入式患者数据，诸如例如人口统计资料和患者历史（例如，年龄、种族、性别、体重、身高、骨折史、家族史、吸烟、酒精、糖皮质激素、类风湿性关节炎等等）。即使BMD在正常值的范围中，低影响的脆性骨折也可以表示骨质疏松症的重要指标。在步骤110处接收患者的非侵入式/侵入式医学图像。一般可以从包括例如DXA、CT、MRI和/或超声的任意源接收这些图像。在步骤110处也接收非医学成像数据，包括但不限制于常规成像、立体成像、深度成像、范围成像等。该数据可以被用于评估患者的外部特征，像姿势（在站着不动期间）或步态（在走路或跑步期间）。

在步骤115处，接收患者特定的骨转换标志物。这些标志物可以包括但不限于血清总碱性磷酸酶、血清骨特定碱性磷酸酶、血清骨钙素、血清1型前胶原（C端/N端）：C1NP或P1NP、尿羟脯氨酸、尿总吡啶啉（PYD）、尿游离脱氧吡啶林（DPD）、尿胶原1型交联N末端肽（NTX）、尿或血清胶原1型交联C末端肽（CTX）、骨涎蛋白（BSP）、抗酒石酸酸性磷酸酶5b。

在步骤105-115处获取的信息可以在单个时间点或者在不同时间点获取。例如，从在骨折事件之前几个月执行的DXS扫描所提取的特征和在骨折事件之后立即执行的CT检查都可以被用于预测感兴趣的度量。类似地，骨转换生物标志物（相同的或不同的）可能已经在不同的时间点获得并且被用作ML算法的特征。

在步骤120处，例如使用本领域一般已知的特征提取技术，从在步骤105-115处获取的患者数据中提取感兴趣的特征。如本文中所使用的术语“提取”指的是从一个或多个数据源中检索数据以用于进一步处理或存储的动作或过程。该提取数据的动作可以包括识别数据源中的数据。例如，在提取期间，可以从数据中识别和检索来自图像的相关特征（例如，通过剪切）。替换地，特征提取过程可以采用这样的识别作为输入，并且仅执行与检索相关联的步骤。

返回图1，在步骤125处，一个或多个经训练的ML算法被用来预测/估计一个或多个感兴趣的度量，包括但不限于：骨质疏松症/骨量减少的存在/严重程度；骨折风险（分数、百分比等等）；感兴趣的生物力学特性，如通常从FEA提取的：全骨强度、负荷-强度比、预期的骨折类型、局域/平均应力、局域/平均应变、局域/全局刚度；药物治疗的效果（例如，骨骼强度随时间的增加）；以及疾病演化（例如，骨骼强度随时间的下降）。一个或多个ML算法可以被用在级联式或并行工作流程中，并且可以在在体外（in vitro）或经由计算机模拟（insilico）生成的患者特定的数据和/或合成数据上受训练。通常，可以应用本领域已知的任何ML算法，包括例如基于人工神经网络（ANN）、深度学习或学习分类器/回归系统的算法。

继续参照图1，在步骤130处，基于ML算法的输出将患者特定的预测可视化。例如，在一些实施例中，将数据以数字（例如，表格式的）形式呈现给临床医生。在其他实施例中，数据以图形化的方式来表示（例如，叠覆在医学图像上）并且被呈现给临床医生。

图1中示出的基于ML的工作流程在常规的骨质疏松症评估技术中提供若干优点。例如，可以对来自异构源的数据集成以执行全面的评估。附加地，这些技术可以使用先前针对不同范围（例如，CT扫描：肺癌筛查、用于排除冠状动脉疾病的心脏CT、腹部/骨盆区域等）所获取的成像数据。也就是说，这些技术提供了二次使用扫描来评估骨折风险和骨质疏松症诊断的机会。此外，在线预测阶段可以使用极快的、近乎实时输出结果的架构来实现。因此，这些算法可以在现场工作站上直接运行。

图1中显示的工作流程在在线执行的预测阶段期间使用。为了能够使用一个或多个机器学习算法，这些算法必须先被离线地训练。图2显示了训练阶段的一般工作流程，因为其可以应用在一些实施例中。对于该训练阶段最重要的方面是大数据库205的存在，该大数据库205包括针对骨质疏松症的患者特定的信息（非侵入式数据、医学图像、骨转换标志物）和患者特定的感兴趣的结果度量（例如，骨折发生、骨折严重程度、从生物力学FEA提取的量等等）。一旦创建了该数据库，则在步骤210和215处，从患者特定的数据提取特征并且提取感兴趣的结果度量。然后在步骤220处，所提取的数据被用来训练数据驱动的代理模型以用于使用ML算法来预测所述感兴趣的结果度量。

与在线预测阶段期间相比，在训练阶段期间可以有更多的特征可用。可以基于训练数据库中类似的数据集对在预测阶段期间丢失的特征进行估计（例如，通过采用针对该目的特别训练的单独的机器学习算法）。

图3图示了一个示例使用情况，其中要由机器学习模型预测的感兴去的度量是从基于FEM的模拟或体外实验中确定的生物力学特性。在步骤310处，针对基于来自数据库305的数据的体外模型来执行用于骨解剖模型或应力实验的基于FEM的计算。在步骤315处（在步骤310之前、期间或之后执行），骨解剖模型的几何特征或感兴趣的其他特征使用来自数据库305的数据来提取。

在步骤320处，从FEM计算/应力实验中提取感兴趣的度量。所述感兴趣的度量可以例如是全骨强度、负荷-强度比、平均/局域应力、平均/局域应变、刚度等等。除了医学图像之外，还采用非侵入式患者数据，因为这种类型的信息被用来生成针对FEM模拟/用于经由计算机模拟的负荷状况/体外实验（例如，患者的体重）的边界条件，并且因此还在特征向量中要求这种类型的信息。然后在步骤325处，使用来自步骤310-320的信息来训练数据驱动代理模型以预测感兴趣的度量。

在工作流程基于FEM模拟的情况下，可以从从患者获取的医学图像中生成解剖骨骼模型。替换地，可以生成合成解剖模型，并且可以通过相关联的算法来生成对应的非侵入式数据，如相关联的体重。该解剖模型可以指整个骨骼（例如，股骨或椎骨）或者仅指骨骼的一部分（例如，骨骼的网状体积）。FEM模拟可以是二维或三维的。替换地，可以采用合成模型和患者特定模型的混合数据库。

在使用体外实验来生成训练数据库的情况下，本领域一般已知的技术可以被用来执行实验以及确定对应的感兴趣的结果度量。并且，如上文所提到的，可以利用整个骨骼或者利用骨骼的某些部分来执行实验。

被用来描述解剖模型的特征可以是基于骨骼的各种测量的形态测定特征。如在图4中图示的，针对股骨的股骨形态测定特征包括但不限于：股骨头（head）直径、大转子直径、踝直径、骨长度、骨颈（neck）长度、骨干（shaft）宽度、皮质厚度、踝尺寸、小转子位置、骨颈角度以及骨干曲线直径。取决于可用的医学成像数据，可以从3D数据或者从一个或多个2D视图中提取这些特征。该特征提取可以是手动的或自动的。

附加地，由于人体中像股骨之类的若干骨骼具有轻微的弯曲度，因此可以定义附加的特征来描述该特性。例如，如果骨骼的中心线被定义为由3D点组成的离散曲线，则可以首先执行样条内插（spline interpolation）来确定连续曲线C(x(t), y(t), z(t))，其中t取t0与t1之间的值。接下来，计算下面的度量：

弧长（Arc length）：

弦长（Chord length）：

曲率：

，其中

，以及

总曲率：

，其中s是沿着曲线的弧长变量

总平方曲率：

基于这些度量，可以定义若干特征，其中的一些特征由以下公式给出：

，

，

，

，

，

，

，

。

此外，可以采用统计形状和外观建模来提取其他类型的特征。可以在一些实施例中采用像活动的形状模型或者分层的形状模型的高级技术。只有这些统计模型中的顶级模型可以用作特征，以便覆盖数据集中例如95%的变化。

在仅对骨的一部分进行分析的情况下，例如骨的网状体积，则需要定义其他类型的特征。可以例如基于微型CT数据（如在图5中示出的网状骨区段的2D切片）来生成这些解剖模型，而原始图像中的每个体素都被标记为骨体素或者空白空间（基于对体素密度值进行平均和设阈值）。在应用一系列后处理技术（例如，排除孤立岛）之后，可以获得像在图6中示出的示例那样的3D模型。

可以用于这种类型的解剖模型的样本特征包括但不限于：在二元矩阵中呈现的骨体素的总数、紧挨着该骨体素沿正和/或负Ox/Oy/Oz方向也具有骨体素的骨体素的总数、紧挨这该骨体素针对Ox轴和Oy轴两者（沿正向和/或负向）也具有骨体素的骨体素的总数、紧挨着该骨体素针对Ox轴和Oz轴两者（沿正向/或负向）也具有骨体素的骨体素的总数、紧挨着该骨体素针对Oy轴和Oz轴两者（沿正向/或负向）也具有骨体素的骨体素的总数量、以及紧挨这该骨体素在Ox轴、Oy轴和Oz轴上（沿正向/或负向）也具有骨体素的骨体素的总数量。这些属性包含有关网状结构中的体素连接性的信息。特别地，这些值越高，连接性越好，并且解剖模型在结构上越坚固。

在一些实施例中，合成数据被用来训练本文中所讨论的ML算法。在训练数据库中代替患者特定模型而使用合成模型具有若干优点：例如，可以自动地生成非常大量的案例，因此导致大规模数据库。此外，可以生成复杂的病理学配置：小/大皮质厚度、小/大网状密度等等。由于合成的经由计算机模拟的几何结构的生成可以是完全自动化的，所以生成大数据库的成本被降低。可以对稀有的病理学案例进行更好的采样，并且可以将合成方法容易地扩展到不同的人群。此外，可以以全局方式或场地特定的方式来执行该训练。这允许系统将基于患者人口统计资料和流行病学的解剖趋势纳入考虑。该训练也可以利用更多数据或利用对特征的更好表示来反复改进。

为了生成合成骨模型数据库，可以使用不同方式（这些经由计算机模拟的模型可以是三维的或者是二维的）。例如，可以生成一个或多个基线模型，所述基线模型的属性然后被随机地或系统地扰动以获得大量模型。如果有一些真实的患者解剖模型可用，则可以通过随机地扰动患者特定的模型的特征来构建进一步的合成模型。替换地，可以通过遵循规则集并且通过随机地或系统地扰动这些规则的参数值来单独地生成每个模型。在第一种情况下，可以由健康人口平均骨解剖模型来表示基线模型。在第二种情况下，缩放法则和地图集可以被用于生成逼真的合成模型。

此外，合成数据的生成可以包括：生成合成图像，类似于从不同成像模式（DXA、CT、MRI等等）中获得的合成图像。而且，在该情况中，可以应用上述两种方式（创建一个或多个基线图像并且扰动它们；或者利用基于随机生成的参数的规则集单独地生成每个图像）。然后可以使用与患者特定图像的情况相同的技术来从这些合成图像中提取合成几何结构。

图7A-7C图示了用于生成二维合成股骨解剖模型的三步方法。在第一步中（在图7A中示出），通过指定骨干长度、骨颈长度、骨颈角度以及骨干曲率来生成股骨的一维骨架。在第二步（在图7B中示出）期间，规定各种直径（踝、股骨头和大转子直径）和骨干宽度。一旦完成第二步，则可以基于这些参数通过内插来生成股骨的外轮廓。在第三步（在图7C中示出）期间，通过指定在每个位置处的皮质骨和网状骨的宽度来确定骨骼的内部属性。通过应用这种三步算法，可以生成不限数量的股骨几何结构。

为了生成在图7A-7C中所描绘类型的合成数据，可以选择以下工作流程。首先，选择域的尺寸（在每个方向上的体素数量），例如32x32x32。第二，生成在范围（0,1）中均匀分布的随机数的所选尺寸的3D矩阵。选择用于将体素分类成骨体素或空体素的阈值（例如，在0.63与0.67之间）。接下来，应用滤波器来移除矩阵的除了最大的岛之外的所有岛，并且还要丢弃任何连接不良的体素。然后，执行后处理来改善结构的统计属性，以便与患者特定的网状数据相似。该后处理算法搜索体素结构中的某些空隙并且填充这些空隙。例如，如果同一行/列上的两个体素被空隙隔开，则对应的体素就被转变成骨体素。这一算法被应用于不同平面取向（即，平行于xOy，xOz，yOz平面）和/或Oz轴上的切片级别。后处理步骤改善了体素连接性。这在结构的稳健性上具有积极效果。图8显示了后处理之前和之后的3D矩阵的切片的示例。

图9图示了根据一些实施例的可以被用于使用机器学习算法来估计感兴趣的生物力学度量尺度的不确定性的工作流程。单独的机器学习算法可以被附加地用于为与骨质疏松症有关的感兴趣的生物力学度量进行估计提供置信区间。由于这样的ML算法需要大的数据库，因此该示例特别地指数据库由合成数据组成的用例，但是同样可以使用包含合成数据和/或患者特定数据的数据库。

在步骤905处开始，生成FEM模拟所需的合成骨解剖模型和相关联的输入数据。在步骤910处，指定输入不确定性（几何结构、皮质属性、网状属性等等）。在步骤925处使用这些输入不确定性来提取骨解剖模型的几何特征和其他感兴趣的特征。另外，在步骤915处使用输入不确定性来执行针对经由计算机模拟的模型的FEM模拟（使用不确定输入变量）。在FEM模拟之后，在步骤916处确定感兴趣的生物力学度量的置信区间。接下来，在步骤918处训练数据驱动的代理模型以使用ML方法来预测感兴趣的生物力学度量的置信区间。因此，有效地，通过基于所提取特征的ML学习了不确定性。

继续参照图9，在步骤930处，提取患者特定的骨解剖模型（例如，DXA、CT、MRI等等）。这一模型被用来在步骤935处自动地或者根据用户输入来估计输入数据的不确定性。在步骤940处，提取患者特定的骨解剖模型的几何特征和其他感兴趣的特征。最后，在步骤920处，使用代理模型来基于在步骤940处提取的数据预测感兴趣的生物力学度量的置信区间。

图10显示了根据一些实施例的利用级联式ML方法的工作流程1000的示例。在步骤1005处开始，从医学图像和非侵入式患者数据中提取患者特定的几何信息。接下来，在步骤1010处，提取骨解剖模型的几何特征和其他感兴趣的特征。然后，在步骤1015处，纯粹基于合成数据训练的第一机器学习算法被用来预测感兴趣的生物力学特性。

继续参照图10，在步骤1020处，从感兴趣的生物力学特性中提取附加的患者特定的特征。这些附加的特征可以包括例如年龄、性别、BMI、骨折史、骨转换标志物、来自其他医学/非医学的成像形式的测量等等。在步骤1025处，第二ML算法将由第一算法在步骤1015处预测的结果与在步骤1020处提取的其他患者特定的特征一起用作特征，以便获得对与骨质疏松症有关的感兴趣度量的最终预测（例如，骨折风险）。

在一些实施例中，第二机器学习模型可以预测与第一机器学习相同的量，但是第一机器学习模型可以仅使用合成数据，并且第二机器学习模型可以附加地包括患者特定的数据，并且因此充当由第一ML模型生成的预测的校正器。图11显示了根据一些实施例的这样的方法的示例。步骤1105和步骤1110基本上类似于上文参照图11所讨论的步骤1005和1010。在步骤1115处，使用基于合成数据训练的第一机器学习算法来预测感兴趣的生物力学特性。步骤1120以类似于图10中的步骤1020的方式来基于所述感兴趣的生物力学特性来提取患者特定的特征。最后，在步骤1125处，使用第二机器学习算法调整第一ML算法的预测。

另一可能性是建立具有先前病例的患者特定数据的数据库，并且在连续ML方法期间使用该数据库，如在图12中所示。图12的阴影部分基本上类似于关于图11的技术。如之前描述的，在第一步骤期间，基于合成数据学习的ML算法被用来生成感兴趣度量的第一预测。在第二步骤期间，使用针对患者特定数据提取的特征来在患者数据库中找到类似的病例，并且应用第二机器学习算法来预测感兴趣度量的最终值。在该情况下，从数据库1205检索数据并且将该数据用在步骤1210处以训练ML算法，以用于改善对感兴趣的生物力学特性的预测。从数据库1205检索的数据可以包括例如特征（几何的、患者数据等等）和/或关于所预测的感兴趣的生物力学特性的数据。

在临床骨质疏松症管理情境下的一个重要的应用是疗法计划。如在图13中示出的示例工作流程中图示的那样，可以使用基于ML的工作流程来估计不同治疗计划的效果，并且为每个患者选择最好的可能治疗计划。简而言之，在步骤1305处从医学/非医学图像、非侵入式患者数据和骨转换标志物提取患者特定的几何结构。在步骤1310处，提取骨解剖模型的几何特征和其他感兴趣的特征。然后在步骤1315处，使用ML模型来预测治疗计划的效果。

图13中示出的工作流程1300的关键要素是数据库1320的存在和使用，所述数据库1320包括与针对各种患者的不同治疗计划有关的纵向数据。基于该数据库1320中的数据，可以针对不同药物（特立帕肽、阿仑膦酸钠、狄诺塞麦、罗莫索塞麦、雷洛昔芬）、药物的不同组合、评估治疗计划中的变化的效果以及已经经受骨折的患者和没有骨折的患者在步骤1325处训练ML模型。

使用工作流程1300，由ML模型预测的感兴趣的结果度量可以是：最佳治疗计划（哪种药物、哪种量）、某段时间之后骨骼强度的改进、骨折风险分数的降低等等。另外，可以如先前部分中所描述的使用级联式ML方法：第一ML模型聚焦于对感兴趣的生物力学特性的预测并且第二ML模型聚焦于对治疗计划的效果的预测。

可以在扫描仪或诸如成像工作站的其他设备上将计算结果可视化。在感兴趣的度量是生物力学特性的情况下，可以针对感兴趣的度量的关联值来查询（点&点击）图像上的任意点，并且对应的值叠覆图像地示出。作为示例，可以选择股骨中的感兴趣的点，并且如在图14中展示的那样在图像中示出对应的应力值。替换地，用户可以激活“不点击”模式，在该情况下感兴趣的值仅通过将光标定位在感兴趣的位置上来以与该光标对应的方式被显示。

替换地（或附加地），系统可以提供使得能够实现与感兴趣的解剖学对象（手势旋转、缩放、平移）交互的触摸屏。指向和触摸使系统在触摸点处显示感兴趣的值。此外，骨解剖模型可以基于感兴趣度量的值而被颜色编码（为此目的可以使用连续的或离散的颜色图）。上文所提到的方法可以用于3D或2D可视化，其可以基于平面上的结果投影。在一些实施例中，感兴趣的度量也可以在骨骼的骨架上可视化。此外，可以交互地显示感兴趣的度量以适应特征集中的变化。如果用户选择更改任何特征的值，则其可以立即反映在所计算的度量的值中。

在使用不同模态或者来自相同模态的不同获取（一个用于特征提取、另一个用于可视化）的情况下，图像和特征（空间的和时间的）的配准是重要的先决条件。这可以例如通过指定图像系统的信息（如果所述图像系统被注册）、在图像上运行算法或者手动地由用户通过选择地标来完成。在检查和可视化期间使用相同扫描仪的情况中，特征可以是表位置、测角等等。如果感兴趣的度量是表示整个解剖模型（例如，全骨强度）的值，则可以将该值与相关范围一起显示在屏幕上，该相关范围为正常值、低风险值和高风险值、被颜色编码的或没有被颜色编码的。

以下表示针对上文所描述的工作流程的特定变量的样本实现方式所获得的结果。为了进行FEM模拟，创建合成的网状几何结构并且将其网格化（mesh）。在所有有限元上计算平均应变。提取网状结构的特征并且将其用作针对训练神经网络的特征，以便预测平均应变。平均应变是负荷对结构变形的效果的指示。如果平均应变接近屈服应变，则超过那个点将发生塑性变形。因此，可以基于所分析的骨骼结构（即，椎骨、股骨）的位置和表观密度来计算屈服应变，即，典型的网状压缩屈服应变将会是0.84%。

预测精确度对于在合成几何结构上执行的交叉验证是91.9%并且对于网状组织的患者特定结构是95%。精确度如下计算：针对由神经网络做出的每个应变预测，确定绝对相关误差。用1减去平均误差（在所有测试条目上）以及将最后结果乘以100来给出以百分比表示的精确度。

上文描述了合成数据生成算法。将所得到的二元矩阵网格化，并且创建有限元模型。在二元矩阵中的每个“1”被网格化为边长等于0.15936 mm的立方体（假设杨氏模量是17GPa以及泊松比是0.3）。作为边界条件，节点的底层完全受到限制。计算针对顶层节点的Oz轴上的组合负荷，以使得整个结构将会支撑规定的重量。这一重量是从股骨的器官级模拟中得到的（见图15）：使用本文所描述的边界条件，股骨（被建模为各向同性材料）负载90kg。选择在下图中（在股骨颈中）被可视化的切片并且标记对应的应力‘S’。通过用面积为32的‘S’乘以32个体素切片来计算用于多孔FEM模拟的规定重量。

在网状模型上实行有限元分析，并且在所有有限元上计算平均（正常）应变。用来训练和测试机器学习预测符的特征是（i）在二元矩阵中呈现的骨体素的总数；（ii）紧挨着该骨体素沿正Oz方向也具有骨体素的骨体素的总数；（iii）紧挨着该骨体素沿正Oy方向也具有骨体素的骨体素的总数；（iv）紧挨着该骨体素沿正Ox方向也具有骨体素的骨体素的总数；（v）紧挨着该骨体素针对Ox轴和Oy轴两者（沿正向和负向）也具有骨体素的骨体素的总数；（vi）紧挨着该骨体素针对Ox轴和Oz轴两者（沿正向和负向）也具有骨体素的骨体素的总数量；以及（vii）紧挨着该骨体素针对Oy轴和Oz轴两者（沿正向和负向）也具有骨体素的骨体素的总数量。

使用上文所描述的工作流程来创建训练数据集接触4000几何结构，并且该几何结构被用来训练神经网络。如下获得患者特定的测试数据集：两个二元矩阵（从患者数据获得）被置换（翻转，即坐标系的取向被改变），以便获得六个实际几何结构（针对每个初始几何结构有三个）。而且，对于六个产生的几何结构中的每一个都创建围绕Oz轴（其是被施加重量的轴）旋转90度的几何结构。取决于旋转的方向，该旋转具有交换一些特征之间的值的效果。这被用来测试预测的应变对于基坐标系中的结构的Oz角位置是否是不变的（即，即使对象被旋转，该对象也将会表现得一样，因为负荷方向和材料结构本身并没有发生变化）。这在患者特定的测试集中得出总共12个条目。

神经网络使用七个特征预测了应变（针对规定的重量以及针对等于17 GPa的杨氏模量）。因为FEM模拟是线性的，将负荷缩放x%也将应变缩放了x%。因此，对于特定的负荷，可以通过将预测的值进行缩放来计算最后得到的应变。并且，通过用ems缩放E（杨氏模量），所得到的应变可以被缩放（1/ems）。对于针对小应变的多数材料而言，线性模拟是有效的。

神经网络仅由一个具有一个神经元的隐藏层组成。这种拓扑取得了良好的效果，并且也避免了训练数据的过拟合。 针对交叉验证（合成训练数据集）的精确度为91.9％，并且针对患者特定测试数据的精确度为95％。 初始尝试仅使用前四个统计属性作为学习特征，并且针对实际数据仅取得90%的精确度。图16A和图16B提供了对基于FEM的计算的应变与由ML算法所预测的应变进行得比较，以用于基于合成数据（图16A）和针对患者特定数据（图16B）所执行的交叉验证。地面实况与ML预测之间的关联（皮尔逊（Pearson）乘积矩系数）对于交叉验证是0.845，并且对于患者特定数据是0.911。几何结构绕Oz旋转90度对结果没有影响，表明ML预测在这方面是稳健的。

为了测试ML预测符的骨折/非骨折分类能力，使用以下合成设置：使用随机分割将合成数据集划分成两个部分。第一部分由所有条目的74%左右组成并且表示训练集。第二部分被用作测试集。选择阈值应变值，以使得合成数据集中的70%的条目在该阈值应变值之下，并且剩下的30%在该阈值应变值之上。这个阈值应变值被视为代表骨折出现（即屈服应变）的临界值。该临界值被应用于针对FEM和ML预测应变两者的测试集。对预测性模型的分类能力（骨折/非骨折）进行确定。在图17中显示混淆矩阵和对应的诊断统计结果。

总之，可以采用本文中所讨论的各种工作流程来估计患者特定的骨折风险：（i）获取网状骨体积的医学图像（例如，使用微CT）；（ii）基于图像数据集创建对应的二元矩阵；（iii）从二元矩阵提取特征并且估计表观密度；以及（ii）将该特征馈送给经训练的神经网络，该神经网络反过来将预测针对恒定的规定力以及针对隐式杨氏模量的应变。

本文中所讨论的工作流程可以被用于根据患者体重和活动水平来缩放预测的应变。该预测的应变对应于股骨上90 kg的负荷。例如，如果患者具有100 kg的体重，则应变将被缩放100/90=1.11。并且，如果患者从事将使负荷达到例如150 kg的峰值的活动，则将该应变缩放150/90=1.66。附加地，可以从表观密度来估计杨氏模量。在前面的步骤期间计算的应变缩放了E / estimated_E（E/估计的_E），其中E=17 GPa是在线性FEM模拟中使用的隐式杨氏模量值。例如，幂律关系可以被用来估计杨氏模量，如下式所示：

，其中对于下股骨远端a = 16.1 GPa且b = 1.37，BMAD是骨矿物质表观密度。基于骨矿物质密度的类似公式已经在椎骨和股骨中以及针对椎骨和股骨进行了介绍。另外，所述工作流程可以被用来比较所得到的应变与位置特定的屈服应变（其也是表观密度的函数）。骨折风险（以百分比表示的）可以被定义为结果_应变/屈服_应变* 100。

替换地，如果非线性FEM模型被应用于生成训练数据集，则负荷和杨氏模量二者都可以被用作预测符的特征，并且这两个属性可以在生成训练数据集时在大范围的值上变化，以便于在将预测符应用于患者特定数据时覆盖可能遇到的所有可能值。

可以将各种附加的特征、扩展和变化添加到本文中所描述的技巧和技术中。例如，在仅2D图像可用的情况下，可以采用2D-3D匹配算法来生成要被用在生物力学分析和预测中的3D解剖模型。如果ML模型被用来预测感兴趣的生物力学特性，则可以针对骨骼的单独部分采用单独的ML模型：例如，对于股骨，单独的模型可以被用于股骨头和股骨颈区域以及用于骨干，或者用于皮质体积和网状体积。在一些实施例中，由ML模型使用的特征可以基于一个骨骼，并且预测可以针对另一骨骼来执行：例如，可以针对股骨来提取特征，并且可以针对椎骨来执行预测。

上文所描述的方法基于稳态FEA。替换地，可以执行瞬态FEA并且可以由ML模型来预测感兴趣的其他生物力学特性，所述感兴趣的其他生物力学特性与非静止的骨骼行为有关。例如，在对跌倒状况进行模拟的情况下，为了预测结果，正确地考虑特定负荷状况的持续时间和斜率可能是重要的。

在一些实施例中，可穿戴传感器系统/移动设备可以被用来在日常活动期间测量患者的不同负荷状况。这些负荷状况可以被用于为基于FEM的计算指定不同的边界条件集，并且也可以用作用于对各种感兴趣度量进行预测的特征。

本文中所描述的技术还可以具有与上文所描述的那些不同的附加的临床应用。例如，与本文中所描述的方法类似的方法可以被用于为患有骨折的患者确定最优的治疗计划，所述骨折可能涉及或可能不涉及骨质疏松症：例如，使用金属板、棒、石膏等等。附加地（或替换地），与本文中所描述的方法类似的方法可以被用于评估患有以下骨病中的一种的患者：缺血性坏死或骨坏死、骨刺（骨赘）、进行性骨化性纤维发育不良、骨纤维结构发育不良、方疾病（Fong Disease）或甲髌综合征、骨巨细胞瘤、青枝骨折、低磷酸脂酶症、遗传性多发性外生骨疣、先天性颈椎缺少或融合（Klippel-Feil）综合征、代谢性骨病、多发性骨髓瘤、骨关节炎、畸形性骨炎（或骨佩吉特氏病）、囊性纤维性骨炎（或纤维性骨炎，或VonRecklinghausen氏骨病）、耻骨骨炎、致密性骨炎（或骨炎致密）、剥脱性骨软骨炎、骨软骨瘤（骨肿瘤）、成骨不全、骨软化症、骨髓炎、骨硬化症、多孔性骨肥厚、原发性甲状旁腺功能亢进症、肾性骨营养不良、索尔特-哈里斯骨折（Salter-Harris fracture）。

ML算法的优点是在线预测极快：其几乎同时输出结果（在几秒之内）。因此，所述ML算法可以在现场工作站上直接运行。然而，可能存在需要混合的现场-离场处理工作流程的情形。例如，离场处理可以提供可能在现场不可用的更详细的信息或附加信息，这是通过在处理时间上不那么严格的要求来实现的。这样的场景的示例包括：采用离场可用但现场不可用的不同的计算模型（例如，基于FEM）、提供与现场处理相比不同的分析或选项（例如，疗法规划可能仅在离场可用）；或者离场运行多个计算模型；以及以组合的方式报告所述多个计算模型的结果；或者访问仅离场可用的计算模型或者训练数据库的更新版本。

在获取医学图像时，现场评估可能不可用。这可能是由于例如成像工作站的限制（不兼容的硬件或软件配置）、或者提供处理功能的工作站的不可用性。在该情况下，可以提供离场处理作为替换方案，以产生与现场对应部分相同的结果，或者具有选择不同分析或选项的可能性。

由于预测符的限制（例如，被处理的数据集具有在训练集中所考虑的范围之外的特征），现场评估可能是非决定性的或者是不确定的。在该情况下，离场处理可以包括再训练机器学习算法，以使得新案例的特征值处于训练数据集的那些特征值内。替换地，可以在离场处理步骤中使用不同的方法，诸如不具有相同限制的计算建模。

由于感兴趣的量的内在不确定性（例如，计算的骨骼强度接近很可能骨折的临界值），现场评估可能是非决定性的或者是不确定的。在该情况下，离场处理可以包括咨询医学专家（人或数据库）来例如基于以前具有类似特性的临床病例来找到最好的行动方针。

在另一场景中，现场评估提供感兴趣的量的第一近似（例如，不是所有的图像特征都可以被放心地提取）；在该情况下，离场处理可以包括进一步图像处理以提取更多图像特征或者具有更大置信度/更少不确定性。离场处理还可以包括对更大的特征集（例如，非图像特征，诸如患者的临床病史、骨折的风险因素等等）进行估计，该更大的特征集可以被结合到预测符中以改善评估。

如果相同类型的数据在不同时间点可用（例如，DXA）：在当前时间点获取的数据在现场分析，并且然后离场发送以用于与先前的获取进行比较分析。这可以被用来确定病理学/患者的演化，以便提出最佳的治疗策略。

在离场处理的位置处，并行处理系统可以被用来将算法的整体处理最小化。当然，如果这样的系统可用的话，该系统也可以替换地在现场应用。

图18提供了根据本发明的一些实施例的并行处理存储器架构1800的示例，该架构1800可以被用来执行与执行本文中所讨论的各种工作流程有关的计算。这一架构1800可以被用在使用NVIDIA™ CUDA（或类似的并行计算平台）的本发明的实施例中。该架构包括经由总线1815（例如，PCIe总线）连接的主计算单元（“主机”）1805和图形处理单元（GPU）设备（“设备”）1810。主机1805包括中央处理单元或者“CPU”（在图18中未示出），和对于CPU可访问的主存储器1825。设备1810包括图形处理单元（GPU）及其相关联的存储器1820，本文中被称为设备存储器。设备存储器1820可以包括各种类型的存储器，每个针对不同的存储器使用而被优化。例如，在一些实施例中，设备存储器包括全局存储器、常量存储器和纹理存储器。

可以将深度学习应用的并行部分在架构1800上执行为“设备核”或简单的“核”。核包括被配置成执行特定功能的参数化代码。并行计算平台被配置成基于由用户提供的参数、设置和其他选择跨架构1800地以最优方式来执行这些核。另外，在一些实施例中，并行计算平台可以包括附加的功能来允许利用由用户提供的最小输入以最优方式进行核的自动处理。

通过线程块的网格来执行每个核所需的处理（在下文更详细地描述）。使用并发核执行、流以及与轻量级事件的同步，图18的架构1800（或类似的架构）可以被用来将深度神经网络的训练并行化。例如，在一些实施例中，模拟平台的操作可以被分区，以使得多个核同时执行模拟的不同配置（例如，不同视点、照明、纹理、材料、效果等等）。在其他实施例中，深度学习网络自身可以被实现为使得与网络的训练和使用一起执行的各种操作被并行地完成。

设备1810包括一个或多个线程块1830，所述线程块表示设备1810的计算单元。术语线程块指的是可以经由共享存储器协作并且将它们的执行同步以协调存储器访问的线程组。例如，在图18中，线程1840、1845和1850在线程块1830中操作，并且访问共享存储器1835。取决于所使用的并行计算平台，可以将线程块组织在网格结构中。然后可以将计算或计算系列映射到该网格上。例如，在利用CUDA的实施例中，可以将计算映射在一维网格、二维网格或三维网格上。每个网格包含多个线程块，并且每个线程块包含多个线程。例如，在图18中，将线程块1830组织在具有m+1行和n+1列的二维网格结构中。通常，在同一网格的不同线程块中的线程不能彼此进行通信或合成。然而，在同一网格中的线程块可以同时在GPU内的同一多处理器上运行。可以通过硬件或软件约束来限制每个线程块中线程的数量。为了解决该限制，可以以各种方式来配置工作流程操作以优化并行计算平台的使用。例如，在一些实施例中，可以并行执行特征提取的各种阶段。附加地（或替换地），可以选择本文中所描述的在各种预测阶段期间使用的ML算法，并且基于要被并行化的算法的能力对该ML算法进行调整。因此，例如，某些神经网络算法可能是优选的，其中可以并行执行与感兴趣度量的预测相关联的操作。

继续参照图18，寄存器1855、1860和1865表示对于线程块1830可用的快速存储器。每个寄存器仅可由单个线程访问。因此例如，寄存器1855仅可由线程1840访问。相反地，每个线程块都分配了共享存储器，所以块中的所有线程都具有对同一共享存储器的访问。因此，共享存储器1835被设计成由线程块1830中的每个线程1840、1845和1850进行并行访问。线程可以通过同一线程块（例如，线程块1830）内的其他线程来访问从设备存储器1820加载的共享存储器1835中的数据。设备存储器1820被网格的所有块访问，并且可以使用例如动态随机存取存储器（DRAM）来实现。

每个线程可以具有一级或多级存储器访问。例如，在图18的架构1800中，每个线程可以具有三级储存器访问。首先，每个线程1840、1845、1850可以对其对应的寄存器1855、1860和1865进行读取和写入。寄存器提供对线程的最快存储器访问，因为不存在同步问题，并且寄存器通常被定位得靠近处理该线程的多处理器。第二，线程块1830中的每个线程1840、1845、1850可以向对应于该块1830的共享存储器1835进行读取和写入数据。通常，线程访问共享存储器所需要的时间超过寄存器访问的时间，这是由于需要在线程块中所有线程之间同步访问。然而，像线程块中的寄存器那样，共享存储器通常被定位得靠近执行线程的多处理器。第三级存储器访问允许设备1810上的所有线程对设备存储器进行读取和/或写入。设备存储器需要最长的时间来访问，因为访问必须跨在设备上操作的线程块地进行同步。因此，在一些实施例中，将每个种子点的处理编码，以使得所述处理主要利用寄存器和共享存储器并且仅在必要时利用设备存储器来将数据从线程块移进或移出。

本公开的实施例可以利用硬件和软件的任意组合来实现。例如，除了图18中表示的并行处理架构以外，标准计算平台（例如，服务器、台式计算机等等）可以被特别配置成执行本文中所描述的技术。此外，可以将本公开的实施例包括在具有例如计算机可读的非临时介质的制造物品（例如，一个或多个计算机程序产品）中。所述介质可以具有体现于其中的计算机可读程序代码以用于提供和促进本公开的实施例的机制。可以将所述制造物品包括为计算机系统的部分或者将其单独出售。

由于在本文中已经公开了各种方面和实施例，其他方面和实施例将对本领域的技术人员是显而易见的。本文公开的各个方面和实施例是为了说明的目的，而并不意图是限制性的，真正的范围和精神由下面的权利要求指出。

本文中所使用的可执行应用包括：代码或机器可读指令，以用于将处理器调节成例如响应于用户命令或输入来实现预定功能，诸如操作系统、上下文数据获取系统或其他信息处理系统中的那些功能。可执行过程是代码或机器可读指令、子例程的区段，或者是代码的其他不同部分或用于实行一个或多个特定过程的可执行应用的部分。这些过程可以包括接收输入数据和/或参数、在所接收到的输入数据上执行操作，和/或响应于所接收到的输入参数执行功能，以及提供所得到的输出数据和/或参数。

本文中所使用的图形用户接口（GUI）包括一个或多个显示图像，其由显示处理器生成并且使得能够实现与处理器或其他设备的用户交互以及相关联的数据获取和处理功能。GUI还包括可执行过程或可执行应用。该可执行过程或可执行应用将显示处理器调节成生成表示GUI显示图像的信号。这些信号被提供给显示设备，该显示设备显示用于由用户查看的图像。受可执行过程或可执行应用控制的处理器响应于从输入设备接收到的信号来操纵GUI显示图像。以这种方式，用户可以使用输入设备来与显示图像交互，使得能够实现用户与处理器或其他设备的交互。

本文中的功能和处理步骤可以自动地或全部或部分响应于用户命令而被执行。在没有用户直接发起活动的情况下，响应于一个或多个可执行指令或设备操作来执行自动执行的活动（包括步骤）。

附图的系统和过程不是排他的。可以根据本发明的原理得出其他系统、过程和菜单以实现相同的目标。虽然已经参照特定实施例描述了本发明，但应当理解的是，本文中所示出和描述的实施例和变型仅出于说明的目的。可以由本领域技术人员在不偏离本发明的范围的情况下来实现对当前设计的修改。如本文中所描述的，可以使用硬件部件、软件部件和/或它们的组合来实现各种系统、子系统、代理、管理和过程。本文中的权利要求元素不应在35 U.S.C. 112第六款的规定下进行解释，除非使用短语“用于……的装置”明确记载该元素。

Claims (19)

1.一种非临时性计算机可读介质，包括机器可读指令，所述机器可读指令在被处理器执行时使得所述处理器实现用于对对象的骨骼健康进行个性化评估的计算机实现的方法，所述方法包括：

从非侵入式对象数据、所述对象的医学图像以及对象特定的骨转换标志物值提取多个感兴趣的特征；

使用代理模型和所述多个感兴趣的特征来预测与骨骼健康有关的一个或多个对象特定的感兴趣的度量；以及

生成所述与骨骼健康有关的所述一个或多个对象特定的感兴趣的度量的可视化，

其中所述代理模型通过过程训练，所述过程包括：

检索训练数据，所述训练数据包括以下各项中的一项或多项：（i）多个骨解剖模型以及（ii）来自数据库的多个体外模型；

使用所述多个骨解剖模型执行基于FEM的计算或者使用所述多个体外模型执行应力实验来得出FEM结果；

从所述FEM结果提取一个或多个感兴趣的度量；

从所述多个骨解剖模型提取多个几何特征；

训练所述代理模型以使用机器学习算法基于所述多个几何特征来预测所述一个或多个感兴趣的度量。

2.根据权利要求1所述的非临时性计算机可读介质，其中所述感兴趣的度量包括应力和应力应变中的一个或多个。

3.根据权利要求1所述的非临时性计算机可读介质，其中所述训练数据的至少一部分包括合成数据。

4.根据权利要求3所述的非临时性计算机可读介质，其中所述合成数据通过以下步骤生成：

生成一个或多个基线模型；

随机地或系统地扰动所述基线模型来获得多个合成模型，所述合成模型包括以下各项中的一项或多项：（a）合成骨解剖模型以及（ii）合成体外模型。

5.根据权利要求4所述的非临时性计算机可读介质，其中所述基线模型是对象特定的解剖模型。

6.根据权利要求3所述的非临时性计算机可读介质，其中所述合成数据包括使用一个或多个被随机地或系统地扰动的参数值根据规则集生成的（i）合成骨解剖模型以及（ii）合成体外模型中的一个或多个。

7.根据权利要求1所述的非临时性计算机可读介质，进一步包括：

将所述一个或多个对象特定的感兴趣的度量中的每个与对象图像上的点相关联；以及

显示所述对象图像；以及

响应于接收到所述对象图像上的选定点的用户选择，显示对应于所述选定点的特别的对象特定的感兴趣的度量。

8.根据权利要求1所述的非临时性计算机可读介质，进一步包括：

将所述一个或多个对象特定的感兴趣的度量中的每个与对象图像上的点相关联；以及

显示基于所述对象特定的感兴趣的度量的值被编码的对象图像颜色。

9.一种非临时性计算机可读介质，包括机器可读指令，所述机器可读指令在被处理器执行时使得所述处理器实现用于对对象的骨骼健康进行个性化评估的方法，所述方法包括：

从多个医学图像提取对象特定的几何数据；

基于所述对象特定的几何数据提取骨解剖模型的几何特征；

使用一个或多个第一机器学习模型来基于所述骨解剖模型的几何特征预测一个或多个对象特定的感兴趣的生物力学特性；

从附加的对象测量数据提取多个对象特定的特征；以及

使用一个或多个第二机器学习模型和所述多个对象特定的特征来（i）预测与骨骼健康有关的一个或多个对象特定的感兴趣的度量；（ii）调整所述一个或多个对象特定的感兴趣的生物力学特性；或（iii）预测与骨骼健康有关的治疗计划的效果。

10.根据权利要求9所述的非临时性计算机可读介质，其中所述多个对象特定的特征包括以下各项中的一项或多项：年龄、种族、性别、体重、身高、骨折史、家族历史、吸烟、酒精、糖皮质激素和类风湿性关节炎、aBMD、vBMD、骨转换标志物以及基于超声的测量。

11.根据权利要求9所述的非临时性计算机可读介质，其中所述第一机器学习模型基于合成数据受训练。

12.根据权利要求9所述的非临时性计算机可读介质，其中所述第二机器学习模型进一步受训练来基于对象特定的特征和与治疗计划效果有关的纵向数据预测与骨骼健康有关的所述治疗计划的效果。

13.根据权利要求12所述的非临时性计算机可读介质，其中所述治疗计划的效果包括对应于不同治疗药物的效果。

14.根据权利要求12所述的非临时性计算机可读介质，其中所述治疗计划的效果包括对应于治疗药物的不同组合的效果。

15.根据权利要求12所述的非临时性计算机可读介质，其中所述治疗计划的效果包括对应于治疗计划中的变化的效果。

16.根据权利要求12所述的非临时性计算机可读介质，其中所述治疗计划的效果包括特定于先前已经经受一次或多次骨折的对象的效果。

17.根据权利要求9所述的非临时性计算机可读介质，进一步包括：

将所述一个或多个对象特定的感兴趣的度量中的每个与对象图像上的点相关联；以及

显示所述对象图像；以及

响应于接收到所述对象图像上的选定点的用户选择，显示对应于所述选定点的特别的对象特定的感兴趣的度量。

18.根据权利要求9所述的非临时性计算机可读介质，进一步包括：

将所述一个或多个对象特定的感兴趣的度量中的每个与对象图像上的点相关联；以及

显示基于所述对象特定的感兴趣的度量的值被编码的对象图像颜色。

19.一种并行处理计算系统，包括：

主计算机，其被配置成从非侵入式对象数据、对象的医学图像以及对象特定的骨转换标志物值提取多个感兴趣的特征；以及

设备计算机，其被配置成使用代理模型和所述多个感兴趣的特征来预测与骨骼健康有关的一个或多个对象特定的感兴趣的度量，

其中所述代理模型通过过程训练，所述过程包括：

检索训练数据，所述训练数据包括以下各项中的一项或多项：（i）多个骨解剖模型以及（ii）来自数据库的多个体外模型；

使用所述多个骨解剖模型执行基于FEM的计算或者使用所述多个体外模型执行应力实验来得出FEM结果；

从所述FEM结果提取一个或多个感兴趣的度量；

从所述多个骨解剖模型提取多个几何特征；

训练所述代理模型以使用机器学习算法基于所述多个几何特征来预测所述一个或多个感兴趣的度量。

Images