CN113614781A - 用于标识图像中物体的系统和方法 - Google Patents

Abstract

公开了一种图像分割系统和显示器。该系统可以被操作或配置为从图像生成构件的分割。可以显示所述图像和/或所述分割以供使用者查看。

Description

用于标识图像中物体的系统和方法

技术领域

本公开总体上涉及一种用于确定构件在空间中相对于受试者的定位(包含位置和朝向)以及标识图像中的特征的系统和方法。

背景技术

此部分提供与本公开相关的背景信息，其不一定是现有技术。

对受试者(例如人类受试者)执行的程序可以包括在受试者内放置元件。然而，在各种程序中，受试者的整个部分的打开查看或容易进出是不切实际的或不可能的。因此，在各种情况下，获取受试者的图像数据，例如X射线图像数据或其他图像数据。使用者可以查看图像数据以尝试分析和确定放置的物品在受试者内的定位。查看图像可以包括查看已经定位在受试者内的植入物和关于受试者本身的图像数据。然而，在各种情况下，可能会引入失真和/或可能发生可成像部分的重叠。因此，分析图像可能需要分析图像以识别与被定位的构件相关的部分和受试者的其余部分。为了帮助执行程序，可以使用跟踪系统。跟踪系统可以包括或产生可以用多个线圈(如三个正交放置的线圈)来产生的电磁场。各种发射器或现场生成系统包含由在科罗拉多州路易斯维尔市(Louisville,Colorado)设有营业地点的美敦力导航有限公司(Medtronic Navigation,Inc.)销售的AxiEM^TM电磁导航系统。AxiEM^TM电磁导航系统可以包含用于产生由跟踪装置感测到的电磁场的多个线圈，所述多个线圈可以是传感器线圈，以允许使用如

外科手术导航系统等导航系统来跟踪和/或展示所跟踪的器械的定位。

跟踪系统还可以或可替代地包含光学跟踪系统。光学跟踪系统包含如

跟踪系统等跟踪系统。光学跟踪系统包含一组具有视场的相机，以对器械的定位进行三角测量。

发明内容

此部分提供对本公开的整体概述，并且并不是对其全部范围或所有其特征的全面公开。

公开了一种辅助执行程序和/或分析程序的系统。程序可以对活体受试者(诸如动物、人或其它选定的患者)执行。程序也可以包含任何其他适当类型的程序，如对无生命的物体(例如，封闭的结构、机身、底盘等)执行的程序。然而，可以使用导航系统来执行程序，其中，跟踪系统能够跟踪选定的一个或多个项目。

该程序可以包括将植入物放置在受试者内，例如在人类受试者内。在各种实施例中，构件或植入物可以是椎弓根螺钉、脊柱杆、关节植入物或其他选定的植入物。在执行植入手术时，构件或植入物被定位在受试者内并且被选择以放置在适当的或选定的位置。然而，在植入物植入之后，可能需要确认植入物的定位或手术后位置匹配或达到选定结果。

在各种实施例中，确定植入物的放置可能需要接近或观察受试者的不在受试者的切口或割口的视野内的部分。这里，如上所述，人类受试者的各种特征也可能阻挡或阻碍内部部分的视觉观察。因此，可以例如使用x射线或其他成像系统获取包括定位的植入构件的受试者的图像。然而，由于成像方式，相对于受试者的其他部分确定植入物可以包括分析图像数据。根据各种实施例，各种自动技术可用于识别植入物和/或受试者的部分以执行植入物位置的分析。例如，可以选择将植入物与图像的其他部分分割以确认或确定植入物在受试者内的放置。

在下文的附图和描述中阐述本公开的一个或多个方面的细节。本公开中所描述的技术的其它特征、目标和优点将从描述和图式且从权利要求书而显而易见。

根据本文所提供的描述，其他应用领域将变得显而易见。本发明内容中的描述和特定实例旨在仅用于例示的目的而不旨在限制本公开的范围。

附图说明

本文中所描述的附图仅是为了说明所选实施例而不是所有可能实施方式的目的，并且不旨在限制本公开的范围。

图1是导航系统的环境视图；

图2是根据各种实施例的构件的三维(3D)模型的视图；

图3A和图3B是根据各种实施例的图2模型的生成模拟图像的替代视图；

图4是根据各种实施例的生成用于生成训练数据集的模拟训练图像的模拟图示；

图5A和图5B是模拟训练图像的替代视图；

图6是示出根据各种实施例的生成训练数据集的方法的流程图；

图7是训练的人工神经网络用于分割的示例性使用的流程图；和

图8是训练的人工神经网络用于分割的可视化说明。

对应附图标记在整个附图的若干视图中指示对应零件。

具体实施方式

现在将参考附图更全面地对示例性实施方案进行描述。

参考图1，图示了具有可与导航系统24一起使用的成像系统20的手术室的环境视图。成像系统20可用于对受试者28成像。成像系统20可以在手术期间的选定时间获取受试者28的图像。在各种实施例中，成像系统20可以获取图像数据以显示和/或生成受试者28的图像30以供显示设备32显示。

导航系统24可以由一个或多个使用者(如使用者36)用于各种目的或程序。导航系统24可以用于确定或跟踪器械40(动力工具、植入物等)在容积中的定位。位置可包括三维X、Y、Z位置和定向两者。定向可包括一个或多个自由度，如三个自由度。然而，应理解的是，可以确定和/或将任何适当的自由度定位信息(如小于六自由度定位信息)呈现给使用者36。

跟踪器械40的位置可以帮助使用者36确定器械40的位置，即使使用者36不能直接看到器械40。各种程序可能阻挡使用者36的视线，例如执行修理或组装无生命系统(例如机器人系统、组装飞机机身或汽车的部分)等。各种其它手术可包括外科手术，如在活体受试者上执行的脊柱手术、神经手术、定位深脑模拟探针或其它外科手术。在各种实施例中，例如，活体受试者可为人类受试者28并且手术可在人类受试者28上执行。然而，应理解的是，对于任何适当的程序，器械40可以相对于任何受试者来跟踪和/或导航。在人类或活体受试者上跟踪或导航用于手术如外科手术的器械仅仅为示例性的。

然而，在各个实施例中，如本文进一步讨论的，外科手术导航系统24可以并入各种部分或系统，如在美国专利第RE44,305号；第7,697,972号；第8,644,907号；和第8,842,893号；以及美国专利申请公开案第2004/0199072号中公开的部分或系统，所有专利通过引用并入本文中。各种组件或系统可以与导航系统24结合使用或合并使用，例如成像系统20。然而，应当理解，成像系统20可以独立于导航系统24使用。

可操作以对受试者28成像的成像系统20可包括，例如

成像系统、磁共振成像(MRI)系统、计算机断层扫描系统等。受试者支撑件44可用于在成像期间和/或在程序期间支撑或固持受试者28。相同或不同支撑件可用于手术的不同部分。

在各个实施例中，成像系统20可以包括源46。源46可以发射和/或生成X射线。X射线可以形成撞击在受试者28上如在锥束中的锥体46c。X射线中的一些穿过受试者28，而另一些被所述受试者衰减。成像系统20还可以包括检测器50，以检测未被受试者28完全衰减或阻挡的X射线。因此，图像数据可以包括X射线图像数据。进一步地，图像数据可以是二维(2D)图像数据。

图像数据可以在手术程序期间、手术程序之前或程序之后，如通过上文讨论的成像系统20中的一个或多个获取，以在显示装置32上显示图像30。在各个实施方式中，即使图像数据是2D图像数据，所获取的图像数据也可以用于形成或重构选定类型的图像数据，如三维容积。在各种实施例中，如本文所讨论的，图像数据可以包括在图像30内的各个部分(例如器械40)。如本文所讨论的，所选择的处理器系统可用于从图像30内的其他部分分割器械40，如本文所讨论的。

可以通过一个或多个跟踪系统以可跟踪的体积或导航体积来跟踪器械40。跟踪系统可以包括以相同的方式或多种和/或不同的方式或模式操作的一个或多个跟踪系统。例如，跟踪系统可以包含电磁(EM)定位器54，如图1所展示的。在各个实施例中，本领域的技术人员应理解的是，可以使用其它适当的跟踪系统，包含光学(包括光学或照相机定位器58)、雷达、超声等。本文讨论的EM定位器54和跟踪系统仅是可与导航系统24一起操作的示例性跟踪系统。可以在跟踪体积中相对于受试者28跟踪器械40的定位，并且然后使用显示装置32将其展示为图形表示或图形重叠，也被称为图标40i。在各种实施例中，图标40i可叠加在图像30上和/或在图像30附近。如本文所讨论的，导航系统24可以并入显示装置30且操作以从所选图像数据中渲染图像30、显示图像30、确定器械16的位置、确定图标40i的位置等。

参考图1，EM定位器54可操作以使用包含的发射线圈阵列(TCA)生成电磁场，该阵列包括并入到定位器54中的一个或多个发射传导线圈60。定位器54可以包括一个或多个线圈组或阵列。在各种实施例中，包括多于一个群组并且分组中的每一个可包括三个线圈，还被称作三重体或三联体。可通过驱动电流通过线圈分组的线圈来为线圈提供动力以生成或形成电磁场。当电流被驱动通过线圈时，所生成的电磁场将延伸远离定位器54并形成导航域或容积66，如包围头部、脊柱椎骨28v或其它适当的部分的全部或一部分。可以通过TCA控制器和/或电源68为线圈供电。然而，应当理解的是，可以提供EM定位器54中的多于一个EM定位器，并且每个EM定位器可以放置在不同且选定的位置。

导航域或体积66通常限定导航空间或患者空间。如本领域中通常所理解的，可以使用器械跟踪装置70相对于患者或受试者28在由导航域所限定的导航空间中跟踪如钻子、导线、植入物(如螺钉)等的器械40。例如，器械40可以如由使用者36相对于动态参考框架(DRF)或患者参考框架跟踪器74可自由移动，所述患者参考框架跟踪器相对于受试者28是固定的。跟踪装置70、74两者都可以包含使用适当的跟踪系统进行跟踪的跟踪部分，如感测并用于测量磁场强度的感测线圈(例如，形成于或放置在线圈中的导电材料)、光学反射器、超声发射器等。由于器械跟踪装置70相对于DRF 74与器械16连接或相关联，因此导航系统24可以用于跟踪器械40相对于DRF 74的定位。

可以将导航体积或患者空间配准到由受试者28的图像30限定的图像空间，并且表示器械40的图标40i可以使用显示装置32在导航的(例如，所确定的)和所跟踪的定位处展示，如叠加在图像30上。可以如本领域中通常已知的那样执行患者空间到图像空间的配准并确定跟踪装置(如跟踪装置70)相对于DRF(如DRF 74)的定位，包含如美国专利第RE44,305号；第7,697,972号；第8,644,907号；和第8,842,893号；以及美国专利申请公开案第2004/0199072号中公开的部分或系统，所有专利通过引用并入本文中。

导航系统24可以进一步包括导航处理器系统80。导航处理器系统80可以包括显示装置32、定位器54、TCA控制器68以及其它部分和/或到其的连接件。例如，可以在TCA控制器68和导航处理单元84之间提供有线连接。另外，导航处理器系统80可具有例如键盘86的一个或多个使用者控制输入，和/或具有例如来自经集成或经由通信系统与一个或多个导航存储器系统88通信的额外输入。还可以访问附加和/或替代存储器系统92，其包括分析存储器，该分析存储器可以包括图像存储器、模型(例如具有尺寸和材料的计算机辅助绘图(CAD)模型、已知组件(例如相对于材料信息的x射线衰减))等等。根据各种实施例，导航处理器系统80可以包含在美国专利第RE44,305号；第7,697,972号；第8,644,907号；和第8,842,893号；以及美国专利申请公开案第2004/0199072号中公开的导航处理器系统，所有专利通过引用并入本文中，或者还可以包含可商购获得的由在科罗拉多州路易斯维尔市设有营业地点的美敦力导航有限公司销售的

或Fusion^TM外科手术导航系统。

可以经由通信系统(如TCA控制器68，还可以是跟踪装置控制器)将跟踪信息(包括与由跟踪装置70、74感测到的电磁场相关的信息)传递给包括导航处理器84的导航处理器系统80。因此，器械40的跟踪位置可以被绘示为相对于图像30的图标40i。各种其它存储器和处理系统还可提供有处理器系统80和/或与其通信，包括与导航处理器84和/或成像处理单元96通信的存储器系统88。

图像处理单元96可并入到成像系统20中，如

成像系统，如上文所讨论的。成像系统20可包括各种附加部分，例如台架100，源46和x射线检测器50可在其中移动。还可用跟踪装置104跟踪成像系统20。然而，应理解，在跟踪包括器械跟踪装置40的跟踪装置时，成像系统20不需要存在。此外，成像系统20不需要存在于操作室或手术室中。包括成像系统20的图示仅用于本公开，并且应当理解，成像系统20和/或受试者28可以在所选程序之前、之后或期间为了所选图像采集程序而移动。此外，成像系统20可为包括MRI、CT等的任何适当的成像系统。

利用显示装置32显示的图像30可以基于以各种方式从受试者28获取的图像数据。例如，成像系统24可以用于获取用于生成图像30的图像数据。然而，应当理解的是，可以使用其它适当的成像系统来使用利用选定的成像系统获取的图像数据来生成图像30。成像系统可以包括磁共振成像器、计算机断层扫描成像器和其它适当的成像系统。进一步地，所获取的图像数据可以是二维或三维数据，并且可以具有随时间变化的分量，如在心律和/或呼吸周期期间对患者成像。

在各个实施例中，图像数据是利用锥束生成的2D图像数据。用于生成2D图像数据的锥束可以是成像系统(如

成像系统)的一部分。然后，可以将2D图像数据用于重构成像受试者(如受试者28)的3D图像或模型。可以显示重构的3D图像和/或基于2D图像数据的图像。因此，本领域的技术人员应理解的是，可以使用选定的图像数据(例如来自成像系统20)来生成图像30。

另外，出于各种目的，包括本文中进一步讨论的目的，可以对图像30进行分割。图像30的分割可以用于确定和/或界定图像30中的物体或部分。界定可以包含或被制成在显示器32上表示的掩模。该表示可以显示在显示器上，例如具有图形表示或掩模的图形覆盖。图像30的分割，如本领域技术人员通常理解的，可以是标记或识别图像内的物体

在各个实施方式中，也称为界定的分割可以用于标识图像30内的各个部分的边界，如受试者28和/或放置至受试者28的植入物如器械40的一个或多个结构的边界。如上所述，器械40可包括植入物，例如螺钉。如图2所示，在各种实施例中，螺钉可以包括诸如CD

Fenestrated Screws或CD

Spinal System Screws的螺钉，二者均由Medtronic,Inc.出售，其营业地点位于美国明尼苏达州。然而，应当理解，其他合适的植入物也可以植入受试者28中并且也可以被成像，包括关节置换植入物、深部脑刺激探针等。这里对椎弓根螺钉150的讨论仅为本公开的示例。

图像30是从用成像系统20获取的受试者28的图像数据生成的。在各种实施例中，用于生成图像30的图像数据可以包括螺钉150的图像数据。例如，螺钉150可以植入受试者28中。如本领域技术人员所理解的，可以在将螺钉150或多于一个螺钉150放置在受试者28中之后获取或生成受试者28的图像。在放置螺钉150之后获取的受试者的图像数据可以用于确认和/或评估螺钉150在受试者28中的位置。在各种实施例中，本领域技术人员理解，图像数据和/或得到的或生成的图像30可用于确认任何适当构件或物品的放置，包括机身、汽车、桥梁跨度等中的螺钉或梁。因此，螺钉150仅仅是示例性的。

因此，图像30可以包括椎骨28v的第一椎骨28vi图像。此外，图像30可以包括植入物或螺钉图像150i(其可以是器械40，如上所述)。螺钉图像150i可以被进一步描绘或分割，如本文所讨论的，并且螺钉图形表示150i'可以相对于图像30显示，如图3所示。螺钉图形表示150i'可由使用者36用于各种目的，如本文中所讨论的。

根据各个实施例，可以以基本上自动的方式对图像30进行分割。在各个实施例中，自动分割可以并入到神经网络中。神经网络可以被设计为学习或确定选择的权重以激活网络中的不同神经元以识别特征，以及诸如分割图像中物品的应用。神经网络包括各种类型的网络，例如卷积神经网络(CNN)。根据各个实施例，可以教导或使CNN学会如用概率或预测来确定图像30中的各种特征(和/或用于产生图像30的图像数据)。各种特征可以包括诸如螺钉150之类的物体和/或其部分，例如具有这些物体或部分的分割或边界。选择的分割可以包括识别图像中螺钉150的分割，并且可以进一步包括分割螺钉150的单独部分。

如图2所示，螺钉150可以包括两个或更多个部分。螺钉150可包括具有螺纹156的杆部154。杆部154可沿长轴线154a延伸。选择杆部156放置在椎骨28v内。螺钉150还可包括头部或花瓣部分160。头部160通常沿长轴线160a延伸。头部160被配置为在植入螺钉150之前或之后相对于杆部154移动，从而改变或选择轴线154a、160a的取向。头部160可以相对于杆部154旋转和/或成角度。头部160包括第一侧162和第二侧164，其间具有通道或槽168。帽或锁定部分(未示出)可以放置在第一侧162和第二侧164之间以将杆锁定在槽内。杆可以定位在受试者28内的两个或更多个螺钉150之间。

包括杆部154和头部160的螺钉150也可以由不同的材料形成。例如，杆部154可以由第一选择的金属或金属合金形成并且头部160可以由相同或不同的材料形成，例如第二不同的金属或金属合金。在各种实施例中，杆部154和头部160可以由相同的材料形成，但是还应当理解，杆部154和头部160可以由不同的材料形成。例如，杆部154可以由钛或钛合金形成并且头部160可以由钢合金例如不锈钢合金形成。

不管形成螺钉150的材料是什么，这些材料在各种成像方式中都可以具有特定的或已知的衰减特性(例如吸收或散射)。例如，由选定材料(例如钛)形成的杆部154可具有关于特定或选定X射线带的已知衰减特性。此外，头部160还可以包括已知的衰减特性。因此，螺钉150可以具有已知的成像特性，例如x射线衰减特性。各种已知的或预定的特性可以包括螺钉150的成像质量的已知组成部分。用于识别所选材料的效果的所选已知技术在美国专利申请公开号2017/0316561中描述，通过引用并入本文。材料与X射线的各种相互作用可以通过X射线散射和束硬化等技术来描述。

此外，螺钉150可包括选定的或已知的几何形状、尺寸和构造。例如，杆部154可以具有已知的长度或尺寸172。此外，杆部154可以包括已知的宽度或直径尺寸176。螺纹156的绝对尺寸和相对于杆部154的尺寸也可以是已知的。杆部154的几何形状，包括长度172、宽度176和螺纹尺寸，可以保存为模型例如螺钉150的计算机辅助设计(CAD)模型的一部分。此外，头部160可以包括尺寸，例如高度或长度178和宽度184。头部尺寸178、184也可以是已知的或保存在CAD模型中，例如相对于杆部154。模型可以包括头部160相对于杆部154的一种或多种特定或已知的取向。因此，模型可以包括螺钉150的尺寸和几何形状，包括杆部154和头部160的相应几何形状以及头部160相对于杆部154的已知或可能的取向。然而，应当理解，模型可以包括特征，例如螺钉150的可能的多种材料、螺钉150的柔性或其他特征。

螺钉150的几何形状和螺钉150的材料的组合可以结合到模型中。因此，模型可用于生成模拟图像，该模拟图像是螺钉置于X射线束中并且在螺钉位于X射线束中的情况下X射线由检测器检测时的已知或预期图像。生成的图像是螺钉150(或任何合适的构件)的模拟图像，如本文所讨论的，其将模拟一种类型的成像方式(例如，X射线成像、磁共振成像等)。然后，可以将生成的模拟图像并入以相似或相同方式捕获的图像中。换句话说，生成的模拟x射线图像的模拟图像可以叠加在用使用x射线方式的成像系统采集的x射线图像上。

如图2所示，螺钉150可包括各种部分和特征。这些部分和特征可以包括螺钉150的模型中可以包括的部件或已知部件。螺钉150的模型可以包括螺钉150的CAD模型或其他计算机或数字模型。构件例如螺钉150的模型可用于生成模拟图像或表示，如图3A和图3B所示。表示200可以基于用选定的成像技术模拟获得的螺钉150的图像的技术来生成。例如，表示200可以基于螺钉150模型的已知部件以及这些部件将如何与X射线成像系统相互作用以生成表示200来生成。各种X射线模拟技术，例如使用蒙特卡罗技术的那些，可用于计算X射线与选定材料的相互作用和衰减。各种相互作用可以包括X射线散射和束硬化，以及本领域技术人员所理解的其他相互作用。X射线相互作用技术可用于生成螺钉150的表示200。

根据各种实施例，螺钉150的杆部154可以由第一材料形成并且可以被示出或用于生成杆部表示204。如上讨论，头部160可以由不同的材料形成，并且已知的相互作用可以用于生成头部表示208。然而，本领域技术人员可以理解，头部和杆部可以由相同的材料形成并且可以在生成的图像中以相同或相似的方式表示。

表示200可以包括杆部表示204和头部表示208两者以及杆部204和头部208相对于彼此的几何形状和配置。然而，应当理解，如上所述，表示200还可以包括各种几何形状，例如槽212的图示或表示，槽212是上述螺钉150的槽168的表示。此外，如上所述，杆部154可以包括一个或多个孔，也称为洞或开窗158，并且还可以在表示200中表示为开窗214。槽表示212可以相对于图3A中的螺钉表示200中的开窗表示214以选定的几何形状示出。

在各种实施例中，螺钉150可以不同于图3A中所示的取向，如图3B中所示，其包括头部相对于杆部154的取向。例如，如图3B所示，头部表示218的槽表示212可以相对于杆部表示204旋转或成角度。如图3B所示，槽表示212可以相对于杆部表示204旋转，使得当沿着槽212观察时孔214是不可见的。因此，应当理解，螺钉150的模型可以被操纵以改变头部160相对于杆部154的位置并且因此生成彼此不同的表示，例如第一表示200(图3A)或第二表示230(图3B)。

然而，还应理解，表示200、230仅仅是示例性的。螺钉150的表示也可以用模型和各种成像技术建模方法生成，如本领域中通常所理解的。螺钉150的几何形状，例如杆部154的长度172、杆部176的宽度和其他尺寸也可以在螺钉150的模型中改变。当基于螺钉150生成图像时，改变这些尺寸可以改变该螺钉的表示。因此，螺钉表示200、230仅为当前讨论的示例。

然而，螺钉150的表示200、230可用于模拟螺钉150的成像技术，例如X射线图像采集。基于螺钉150的CAD模型，表示200、230可以被理解为基于成像技术的螺钉150的基本理想的表示。因此，表示200、230可用于训练人工神经网络(ANN)，如上文和本文进一步讨论的，以识别(例如分割)图像中的螺钉150。

训练图像可以被合并到训练数据集中，其中训练数据集可以包括多个训练图像。为了生成训练图像，根据各种实施例，可以在图像中标记表示或者可以标记整个图像。标记的图像可以是被识别为包括选定构件(例如螺钉)或训练的标记图像的预分割部分的图像。标记的图像用于训练或允许ANN训练和学习选定的参数，例如权重和偏差和/或其他参数特征，以识别图像内的元件或部分。然而，在某些情况下，例如在受试者中定位植入物、获取或标记训练数据集可以通过生成具有上述表示200、230或适当表示的图像来获得。

参考图4，受试者的预先获取的图像，例如尸体的图像、未知人类受试者的图像等，可以用作预先获取的图像250。预先获取的图像250可能已经在其上覆盖或叠加了螺钉150的表示200。表示200可以包括各种部分，如上所述，包括头部表示208和杆部表示204。这些表示可以覆盖在预先获取的图像250上。其上覆盖有表示200的预先获取的图像250然后可以用作训练图像260。如上所述，多个预先获取的图像250可以包括一个或多个表示200和/或表示230，或其他适当的表示，以形成训练数据集。可以理解的是，预先获取的图像250可能已经在不同位置、不同方向和不同深度处覆盖了多个表示。

构件的表示200、230的每个不同的覆盖位置和/或位置可以用作不同的训练集。因此，多个预先获取的图像可以被保存为具有选定数量的训练图像260n的训练数据集270，其具有选定数量的预先获得的图像250n，其中覆盖有诸如表示200的表示。然后可以使用训练数据集270来训练ANN，如本文进一步讨论的。训练数据集270可以被标记，训练图像260至260n中的每一个被识别为包括螺钉150，例如通过用表示200表示。此外，基于表示200的预定和已知的位置，螺钉200的具体身份和位置在每个表示中都是已知的。

训练数据集270可以包括各种质量。例如，使用者(例如，包括外科医生的专家)可以为选定的手术定位表示200和/或对表示200的位置进行分级。例如，训练图像260可用于将螺钉150的表示200放置在选择的位置以执行或增强脊柱融合。螺钉150可以定位在多个位置和多于一个椎骨中以允许将杆定位在它们之间。因此，外科医生可以根据基于螺钉150的位置的表示200的位置对训练图像260进行分级。此外，在各种实施例中，专家(例如，使用者36)可以将表示200放置在所选程序的理想位置。因此，训练图像260和基于其的训练数据集不仅可以包括用于识别螺钉150的表示200的标记图像，而且还可以包括与用于选定程序的螺钉150的等级或理想位置有关的信息。

继续参考图4并另外参考图5A和图5B，示出了训练数据集中的训练图像的各种实例，其分别包括训练图像260a和训练图像260b。如图5A所示，训练图像260a包括图示第一椎骨300和第二椎骨304的预先获取的图像250a。螺钉150的第一表示200a被图示为定位在第二椎骨304中。表示200a可以示出沿椎骨300、304的轴线308基本上轴向定位的螺钉150。因此，杆部表示204a可以基本上定位在轴线308上。

如果图像在用作训练图像之前由使用者36评级或分析，则使用者可以识别训练图像260a中的表示200a并进一步提供等级，例如在0和5之间的等级尺度内，其中0是不太可能提供阳性结果，5是极有可能提供阳性结果。使用者36可以在查看训练图像260a时提供输入320a并且训练图像260a可以被包括在训练集270中并且输入320a可以与训练图像260a一起包括。因此，训练数据集270可以包括训练图像260a和训练专家输入320a。

以类似方式，训练图像260b可以包括预先获取的图像350b，该图像可以包括两个椎骨300、304的图像，其中螺钉150的表示200b位于第二个椎骨304内。表示200b可以包括相对于轴线308以相当大的角度定位的杆部204b。图像250中构件200的表示的位置(例如定位和取向)可以相对于第一或先前训练图像260a而改变。

在包括训练图像260b的进一步训练图像中，使用者36可以查看包括表示200b的训练图像260b并且为训练图像260b提供训练输入，例如训练输入320b。再次，使用者36可以识别训练图像260b包括螺钉150的表示200b并且提供关于螺钉位置的等级，同样以与上面讨论的相同的尺度。此后，训练数据集270然后可以包括训练图像260b和相关的训练输入320b。

上面讨论的训练数据集270然后可以包括训练图像260a和与其相关的训练输入320a以及训练图像260b和训练输入320bm，或任何适当或选定数量的训练图像和训练等级(如果选择)。因此，训练数据集270可以包括标记的图像，例如训练图像260a和260b，以及进一步的相关数据，例如其分级。因此，如本文进一步讨论的，可以训练ANN来确定或识别用于各种目的的图像，例如基于训练表示200和训练图像260分割所选特征，例如螺钉150，并且还有助于基于与相应训练图像相关联的训练输入320来识别或分级表示的位置或计划位置。

如上所述，训练数据集270可以包括多个训练图像的生成，如图5A和图5B所示。一个或多个训练图像可以保存在选定的存储器中，以便在选定的时间访问以训练ANN。训练数据集270可以包括生成的训练图像260和/或分级320，如上所述。在各种实施例中，用于生成和存储训练图像的过程可以被合并到如图6所示的流程图360所示的过程中。

过程360开始于开始框364，包括访问可在框370中制作的构件模型。在各种实施例中，模型可以是构件的二维模型(2D)和/或三维(3D)模型。此外，可以访问和/或创建多个2D模型图像中的构件的多个视图。类似地，可以旋转3D模型以生成多个视图。因此，这里讨论的访问3D模型旨在用于本讨论而不是限制本文的公开。

模型可以包括可以知道和访问的构件的各种参数。如上所述，螺钉150的模型可以包括在计算机辅助绘图(CAD)模型中，该模型包括各种几何形状、尺寸、特征等，如上所述。例如，长度、直径、角度等可以包括在构件的模型中。还应理解，构件可以是任何合适的构件，并且这里对螺钉150的讨论仅是示例性的。

此外，3D模型可以包括模型的部分和材料和/或部分的各种参数。再次，如上所述，螺钉150可包括各种零件或可移动构件，例如柄部154和头部160。如上所述，柄部154可由与头部160不同的材料形成。在各种成像方式中，例如X射线成像，不同的材料可以以不同的方式与X射线相互作用，以在探测器网格或胶片上产生特定的成像或检测。不同材料与X射线的相互作用可以被保存或确定为与材料的已知或预定相互作用。因此，3D模型可以结合已知的与X射线或任何适当成像方式的相互作用，包括与构件的各个部分的相互作用。如本领域公知的，可以基于x射线束谱、部件材料和检测器灵敏度来确定相互作用。

因此，构件的模型可用于基于方框378中的模型生成一个或多个模拟图像。在框378中生成模拟图像可以包括模拟X射线通过模型的投影并基于此模拟检测到的图像。在如本文所讨论的各种实施例中，模拟图像可以包括通过模型的投影，例如如果模型是3D模型。模拟图像可以是基于通过3D模型的投影的2D图像。替代地或除此之外，当模型是2D模型时，生成的图像可以是基于模型的2D图像。

在各种实施例中，基于包括各种部分(例如已知特征)的3D模型的模拟图像可以以任何适当的方式生成，例如应用X射线与从方框370保存或合并到3D模型中的几何形状和尺寸的已知相互作用，以在方框378中生成模拟图像。因此，通常在框378中生成模拟图像结合了从框370访问的3D模型和在3D模型中成像方式(例如X射线)与构件的材料和/或构件的几何形状的预定或已知的相互作用。

在方框370中生成的构件的模拟图像可以包括单个图像和/或在生成的模拟图像的不同取向、角位置等处的多个图像。生成的图像或其多个图像可以是3D或2D的。对于单个三维模拟图像，三维模拟图像可以在不同的训练图像之间改变其位置和方向。作为替代方案，或除此之外，可以在框378中制作多个模拟图像，并且每个不同的模拟图像可以叠加在一个或多个获取的图像上，使得生成的图像被单独放置和/或多次放置在访问的图像中，如本文进一步讨论的。类似地，可以生成多个2D图像来模拟构件在空间中的不同取向和位置。

可以在方框384中访问图像数据或图像。来自框384的受访问的图像和来自框378的生成的模拟图像可用于在框390中的位置(例如，第一位置或第一已知位置“n”)处将模拟图像覆盖在受访问的图像上。如图5B所示，模拟图像在受访问图像上的覆盖可以包括将表示200b覆盖在受访问图像或患者图像250b上。生成的模拟图像可以叠加在单个位置或定位处，包括相对于受访问图像的三维位置和取向(例如，包括至少三个取向自由度)。在各种实施例中，如上所述，这可以包括相对于椎骨定位所生成的图像或螺钉150的表示，例如访问图像250b中的第二椎骨204b，如图5B所示。

在方框390中将模拟图像覆盖在访问的图像上之后，执行在方框396中将覆盖的图像作为(例如第一)训练图像输出。输出覆盖的图像作为训练图像可以包括训练图像260b和/或260a，如上所述。如上面进一步讨论的和这里进一步讨论的，可以制作多个训练图像。因此，方框396中的训练图像输出可包括图5A中所示的图像260a或图5B中所示的图像260b。无论如何，输出的覆盖图像可以是如上所述的训练图像。

如上所述，输出训练图像可以可选地包括分级数据或信息。因此，可以可选地执行方框400中具有输出训练图像的等级的输入。如上所述，等级的输入可以基于使用者36对生成的图像相对于在方框396中输出的访问图像的覆盖位置的观察。使用者36可以对覆盖的生成图像的位置进行评级并且可以输入该评级或者输入随后与特定输出训练图像相关的评级。输入等级可以在框400中被接收。

然后可以在框410中保存输出的覆盖训练图像。如果执行了可选的输入分级，则在方框410中还可以将输入分级与特定图像一起保存。因此，训练数据集270可以由输出的覆盖的第一图像初始化或开始，第一图像可以可选地包括分级，该分级被存储以供以后访问。

在方框410中保存来自方框396的训练图像之后，无论有没有来自方框400的等级输入，在方框414中做出是否选择更多训练图像的确定框。是否选择附加或更多训练图像的确定可以基于选定数量的训练图像来训练ANN。训练数据集的图像数量可以基于为ANN在确定或分割图像中的特征时选择的准确度、分割速度或其他合适的参数。

然而，如果选择了附加图像，则可以遵循“是”路径418以在方框422中改变覆盖构件相对于来自先前输出训练图像的访问图像的位置。如上所述，改变覆盖构件的位置可包括将覆盖构件定位在相对于椎骨(例如第二椎骨204a、204b)的不同位置和/或取向中，改变构件在先前选择的位置或取向处的几何形状，(例如，改变头部表示相对于杆部表示的取向、定位不同尺寸的构件等)。此外，改变覆盖构件的位置可以包括选择不同的位置和/或取向，例如第一椎骨300，如上所述，选择解剖结构的不同部分或所选图像的其他部分等。此外，通用训练模型可以在具有受试者例如人类受试者的多个部分的多个构件上进行训练，因此可以选择不同的访问3D模型(即与螺钉150不同的构件)来改变构件的覆盖位置，例如选择股骨植入物、胫骨植入物等。

在方框422中改变覆盖构件的位置之后，可以发生方框396中覆盖训练图像的输出，与上面讨论的类似。如果被选中，可以在方框400中对输出图像进行分级。然后在方框410中可以将输出图像保存为训练图像，也如上所述。因此，方法360可以通过在方框422中将覆盖构件的位置改变为与先前位置不同的位置、在方框396中重新输出覆盖图像并在方框410中保存图像，为训练数据集，例如上面讨论的训练数据集270，生成多个或选定数量的训练图像。因此，应当理解，在方框410中可以将多个训练图像保存到合适的存储介质，例如固态存储器、磁介质或其他合适的存储系统。根据选定的和已知的协议，可以在本地和/或通过选定的网络(有线或无线)访问保存的图像。

在方框410中保存图像之后，可以进入是否选择更多训练图像的确定或决定框414。如果在方框410中已经保存了适当数量的训练图像，则可以遵循“否”路径430以在方框434中结束训练数据集生成方法360。因此，训练图像数据集生成方法360可用于生成一个或多个图像以训练选定的系统，例如ANN。训练图像数据集方法360可用于生成适当数量的图像以生成上文讨论的训练数据集270，其可用于训练ANN识别和/或分割选定特征，例如植入构件，包括在其中成像的椎弓根螺钉150。

如本领域中所理解的，方法360可以被包括在由选定处理器执行的可执行指令和/或并入到专用处理器或集成电路中的指令中。然而，方法360可用于高效且有效地生成用于训练选定ANN例如卷积神经网络(CNN)的多个训练图像，以帮助分割或识别稍后获取或访问的图像中的特征，如在此进一步讨论的。因此，方法360可以作为指令被包括在算法中，该指令由处理器执行，该处理器访问图像数据，将基于3D模型的物品生成的模拟图像叠加在所访问的图像上，然后在方框410中将该图像保存为训练图像。可以迭代该算法以利用训练数据集创建多个训练图像。

因此，可以执行方法360以生成多个图像而不需要获取受试者的实际图像。受试者的实际图像可以包括具有标记的选定构件(例如螺钉150)的受试者。方法360可用于通过基于构件的已知3D模型生成训练图像并将其覆盖在访问的图像上以生成训练图像，然后改变覆盖的构件以生成多个训练图像，消除对图像的这种手动识别和标记。

一旦根据方法360生成训练图像，训练数据集270可用于训练ANN，如本文进一步讨论的。训练的神经网络或机器学习过程可用于帮助识别选定构件，例如训练数据集中使用的构件，以帮助识别和/或分割稍后获取的图像中的构件。

训练的ANN可以用于分割在训练之后获取的图像的一部分，如上所述。例如，参考图7，在流程图300中展示了一种用于标识图像的一部分的过程或方法，也被称为分割图像。流程图300是一般流程图，并且将在本文中进一步地详细地讨论更具体的过程，如CNN。然而，一般而言，分割过程开始于图像数据的输入，例如用于在显示器32上生成图像30的图像数据。图像数据可以包含任何适当的图像数据，如计算的断层扫描图像数据、磁共振图像数据、X射线锥束图像数据。进一步地，成像数据可以是用任何适当的成像器生成，如

成像系统，如本文讨论的。

成像系统可以被配置成获取受试者周围360度的图像数据，并且包含2D图像数据和/或基于2D图像数据的3D重构。进一步地，

成像系统可以利用X射线锥束生成图像。

过程300可以在方框304中开始。过程300然后可以包括在方框308中访问或索取或获取图像数据。在框308中，图像数据可以包含2D图像数据或从2D图像数据重构的3D模型。2D图像数据或重构的3D图像数据可以来自如成像系统20等成像系统。如上文所讨论的，成像系统20可以包含

成像系统。成像系统20可以生成多个二维图像数据，所述多个二维图像数据可以用于重构包含椎骨28v中的一个或多个椎骨的受试者28的三维模型。在方框308获取的图像数据也可以在任何适当的时间获取，如在诊断或计划阶段期间，而不是在手术室中，如图1具体地所展示的。在各种实施例中，在方框308中访问的图像数据可以包括手术期间的图像数据，例如在螺钉150的放置或植入之后。因此，在框308中获取或访问的图像数据可以包括定位在受试者28内的螺钉150的图像数据。

使用成像系统20获取的图像数据可以具有选定的图像质量，所述图像质量使得可能难以标识如椎骨28v等图像部分的各个边界。当在图像数据中时，图像数据还可用于查看螺钉150的位置和取向。因此，如本文进一步讨论的，神经网络可以用于自动标识成像部分例如螺钉150的边界以对图像数据进行分割。

在方框312中，来自方框308的图像数据可以用机器学习系统或过程例如ANN来处理或分析。人工神经网络(ANN)可以是选定的适当类型的ANN，如卷积神经网络(CNN)。可以教导或使CNN学会分析来自框308的输入图像数据，以对图像数据的选定部分进行分割。例如，如上所述，方框312中的CNN可用于识别构件的边界，例如包括螺钉150的植入构件。如上文所讨论的，可以确定和图示边界，例如单独地和/或与图像30组合地在显示装置32上显示。

因此，在方框316中，分析的图像数据可以作为分割的图像数据输出。来自方框316的输出分割数据可以在方框318中用显示设备32显示，在方框320中存储，或者除上述之外或作为上述的替代，进一步分析或处理。在方框320，可以将输出的分割的数据存储在选定的存储器系统中，如导航存储器88或图像存储器192(参见图1)。出于各种目的，输出的分割的图像数据可以对选定部分进行分割，如上文所讨论的螺钉150。在各种实施例中，过程300可以在方框结束

因此，流程图300可以在框304中开始，并且然后在框308中访问或输入图像数据以在框316中输出分割的图像数据(和/或分割的掩模)，并在框318中显示分割和/或在框320中存储分割的图像数据。然后，可以在框324中结束过程300和/或允许进行进一步的处理或工作流程，如本文进一步讨论的。然而，应当理解的是，流程图或过程300的选定部分除了上文讨论的步骤之外还可以包含多个另外的步骤。例如，可以开发并且然后教导CNN以允许对从框308访问或输入的图像数据的选定部分进行高效的和/或快速的分割。分割可以是特定的(如标识椎骨)，也可以是一般的(如标识图像数据中的选定边界或变化的对比度)。

可以开发和教导可用于在框312中分析访问的图像数据的CNN，如上文简要讨论的，并在本文中进一步详细讨论。CNN基于众所周知的卷积神经网络技术，如

Ahmed Abdulkadir、Soeren S.Lienkamp、Thomas Brox、Olaf Ronneberger,“3D U-Net:从稀疏注释中学习密集的体积分割(3D U-Net:Learning Dense Volumetric Segmentationfrom Sparse Annotation)”,国际医学图像计算和计算机辅助干预会议,Springer,Cham,第424-432页(2016)(https://arxiv.org/pdf/1606.06650.pdf(2016))，通过引用并入本文中。

可以开发CNN，以通过分析图像数据并引起人工神经元的激发来高效地标识图像的选定部分。CNN中神经元的激发可以基于确定和“学习”的权重和各种参数。因此，激发可以模拟新输入中所选学习部分的判断或计算，例如在方框308中访问的图像数据。因此，在框312中，基于对CNN的教导，可以使用CNN来分析或处理来自框308的输入图像数据，如本文对训练数据集270进一步讨论的。

在各种实施例中，如本领域技术人员通常理解的，CNN通常允许教导CNN来标识图像数据中的图像特征，如框308中所访问的图像数据。例如，可以由CNN先前限定和/或学习的选定尺寸(例如3x3像素)的内核(也称为滤波器)。然后可以逐步方式将滤波器应用于访问图像数据308中的访问图像，如一次将滤波器移动一个像素或一个体素。滤波器是CNN中的单个组件或参数，所述单个组件可以由成百上千个布置成层的互连滤波器组成。第一层滤波器对图像进行操作，下一层上的滤波器对先前层的输出进行操作。换言之，可以在整个图像中将选定大小的滤波器逐步移动选定尺寸，如一个像素或体素。可以使滤波器进行学习并将其用于标识图像的选定部分或“所关注的”部分。

在各种实施例中，滤波器(K)被应用于图像(例如二维图像)。然后可以将乘积或乘积的总和(如滤波器K和图像I的部分的点积)作为卷积乘积矩阵I^*K保存或存储以供另一层使用。考虑到滤波器的大小和选定的跨步(图像I中滤波器的移动量)，乘积矩阵的大小将小于输入的大小。以二维方式求和由等式1(Eq.1)说明或定义：

Eq.1包含选定阵列中的图像数据I(即，包含像素或体素)。K表示内核或滤波器，其中滤波器具有高度和宽度(即，在与二维图像数据有关的二维内核中)，并且卷积矩阵的输出I^*K是根据等式1的输入图像I与内核K的图像的求和点积。

CNN包括卷积，该卷积包含在输入图像上移动滤波器以生成激活图，其中I^*K是一部分。通过将每个滤波器和滤波器的层应用于图像来形成激活图层。可以由CNN学习的多个滤波器然后可以堆叠以产生生成输入图像数据的分割(例如，三维图像数据)的输出体积。因此，CNN可以输出包含图像数据的分割或作为图像数据的分割的三维(3D)输出图像或模型。

可以将各种特征并入到CNN中，包含如本领域中已知的特征和/或另外的特征，以辅助确定和创建选定图像的高效的分割。例如，连接量可以包含与选定的滤波器大小的连接等效的本地连接。应当理解的是，可以基于输入图像的分辨率、选定的处理速度等来选择滤波器大小。在各个实施例中，可以将滤波器大小选择为约3×3×3的大小，如像素大小。然而，应当理解的是，可以选择不同的内核大小。

输出的大小也可以取决于选定的来选择输出体积的各种参数。例如，各种参数可以包含深度、跨步和零填充或任何适当的填充。深度包含在一层中卷积的多个不同滤波器。例如，滤波器包含卷积运算的选定阵列(即，一和零的阵列)。应当理解的是，可以将多个不同的滤波器应用于CNN中的每一层，其中滤波器包含不同的操作阵列。跨步是指确定滤波器在输入体积内每步移动的量的元素(例如，像素、体素或其它选定的图像元素)的数量。可以进一步在任何特定层中将填充添加到输入图像，以解决由于图像内的内核的跨步而导致输出图像侧减少。例如，以等于一个像素的跨步移动滤波器将使输出矩阵减少两个像素尺寸(例如，输入内核为3x3，跨步为1的7x7将输出5x5矩阵)。填充输入以包含零图像数据或像素可以使输出大小保持等于体积或图像的输入大小。

在CNN中，除了如上文所讨论的包含滤波器的大小和滤波器的特征的卷积，还可能发生另外的操作。例如，在CNN中，可以添加池化层以对输出进行下采样。例如，如最大池化等池化操作可以尝试减少参数的数量并减少或控制过度拟合。最大池化可以标识或选择用于输出的滤波器大小内的仅最大体积(例如，最大像素值或体素值)。例如，最大池化滤波器可以包含沿选定尺寸以两个跨步应用的2x2滤波器，如二维图像的二维图像。最大池化将从滤波器区域到输出仅占用最大值的像素。

另外的操作也可以包含批归一化，如Sergey Ioffe、Christian Szegedy,“批归一化：通过减少内部协变量偏移来加速深度网络训练(Batch Normalization:AcceleratingDeep Network Training by Reducing Internal Covariate Shift)”,ICML,2015(https://arxiv.org/abs/1502.03167(2015))所描述的，其通过引用并入本文中。批归一化可以应用于CNN中选定的点或层，如初始层或在每个卷积层之后。批归一化可以引起或将引起整个CNN的激活，以在训练的选定点(如训练的起点)处实现选定分布，如单位高斯分布。批归一化允许增加网络的深度，加速训练，并增强初始化的鲁棒性。

ANN(如CNN)可在网络中包含一个或多个神经元。来自层中的神经元的输出可以包含计算加权总和，并且将偏差添加到激活函数，然后将其应用于输入和偏差以产生输出。可以进一步分析来自神经元或层输出的权重或将其并入到CNN中。以实现选定的输出的来自神经元的输出可以具有加权损失函数，以辅助激活或减少神经元的选定的激活函数的影响。加权损失函数基于某些属性(例如，物体的边界与非边界)赋予不同标记不同的重要性。标签可以是在图像中识别的和/或包括在滤波器中的特征。

神经元的输出包括本领域通常理解的激活函数。本领域技术人员将理解，可以采用用于选定神经元的各种激活函数。修正线性单元函数是通常定义为f(x)＝max(0,x)的函数。因此，当修正线性单元激活函数大于选定的阈值时，修正线性单元函数可以提供CNN中的神经元的激活。在修正函数中，仅将函数的正分量与阈值进行比较。在输出层中，如果输出概率图高于选定的阈值概率(如35％)，则确定输入图像的选定部分的掩模或界定被标识为选定的物体(也被称为标记，例如，椎骨或其一部分)。在各个实施例中，被标识为选定的物体的输入图像的一部分的掩模或界定是具有与选定阈值或仅与选择的阈值相反的最高概率的标记。

三维图像中的滤波器可以包含高度、宽度和深度。然而，滤波器也可以包括仅包括两个维度(例如高度和宽度)的2D图像。在训练CNN和使用CNN期间，然后可以使滤波器通过图像数据或与图像数据进行比较，例如用于生成图像30(其可以显示在显示设备32或注释上)以确定神经元是否被激活并基于激活的存在或不存在生成激活或特征图，如上所述。可以基于选定特征(如边缘或其它标识的部分)来确定或制定滤波器以进行激活。CNN可以包括用于分割的CNN的各种已知层，如本领域公知的。因此，CNN可以包括卷积层、下采样层、去卷积层等。反卷积层可以用于以原始图像的分辨率对最终分割图进行上采样。在各个实施例中，去卷积层可以使稀疏激活致密。去卷积层也可以被称为转置卷积，如深度学习的卷积算法指南,V Dumoulin,F Visin-arXiv preprint arXiv:1603.07285,arxiv.org(2016)中所描述的，其通过引用并入本文中。

如本领域技术人员所理解的，利用训练数据集270训练CNN可以包括各种特定特征，例如通过包括其中的每幅图像来重采样到选定大小、重采样选定体素大小、添加选定的填充量或其他特征。通常，在训练期间，然后使用图像数据的归一化以及使用归一化数据的CNN的应用或训练。可以用训练数据集270训练CNN以在CNN的每个神经元中生成多个权重和偏置以在稍后获取的图像中执行任务，例如螺钉150的分割。然后可以使用训练数据集来训练CNN或任何适当的ANN，以帮助在稍后访问的数据中识别和分割螺钉(或其他适当的构件)。

在训练CNN之后，训练后的CNN可用于基于CNN中确定的权重和偏差对稍后访问或获取的图像进行分割。例如，参考图8，示出了CNN应用于图像的示例性示意图。如上所述，关于过程300，图像32可以是方框308中的访问图像。然后可以将CNN应用于图像以在分析方框312中用CNN分析图像。如上所述，CNN可以包括一个或多个滤波器，这些滤波器应用于图像以生成特征或激活图340。CNN可包括对图像应用一个或多个滤波器，并且特征图可包括基于已识别输入图像32内的各种特征的滤波器的一个或多个图。

在CNN的多个层中，如本领域所理解的，可以在训练期间确定各种附加滤波器和/或神经元权重和偏差并进行计算，以确定神经元是否被激活以生成子采样数据集350，并最终生成全连接或分析连接360。因此，如在框312中执行或描述的，CNN可以包括各种特征以基于训练的CNN来分割图像32。如上所述，训练数据集270用于训练CNN以帮助从训练数据集识别或分割构件，例如螺钉150。

基于训练的CNN，螺钉150可以在图像32内被分割，如果存在的话，并且可以包括螺钉投影150i和150ii。在各种实施例中，例如如果图像包括具有放置在受试者中的两个螺钉的受试者的图像，则可以基于方框312中CNN的应用和分析来分割两个螺钉以生成输出316。如上所述，输出可包括分割的螺杆，例如150s和150ss。图像中螺丝150的分割，包括分割150s和150ss，都是基于训练的CNN。因此，训练的CNN中神经元的激活允许将图像32内的螺钉150的各种边界和部分识别为螺钉150i、150ii的图像。如上所述，基于训练数据集270的CNN的训练是基于多个图像与模拟图像的生成，该模拟图像是基于CAD模型生成的螺钉，该模型可以包括各种特征，例如已知组件。

可以包括分割的螺钉150s和150ss的输出316可以被存储以供以后使用以及分析和/或显示在显示器32上，例如如图1所示的显示器32。因此，使用者36可以查看在过程312中由CNN分割的分割的螺钉。如果选择，使用者36可以在初始或CNN分割之后细化螺钉的分割，例如使用稍后或细化的手动分割。然而，应当理解，使用者36可以在有或没有手动细化的情况下查看初始分割和/或可以基于在方框312中自动分割以及图像分析来了解螺钉的位置。

从图像32中自动分割螺钉允许使用者有效地了解螺钉的位置，而无需从图像32中手动分割螺钉。此外，使用者36可以查看自动分割以帮助确定程序的效率或完成和/或确定随后的或进一步的步骤。然而，过程300可用于分割螺钉150s和150ss，如图8所示，以用于选择的程序和/或使用者36查看和了解。螺钉150s、150ss的分割位于不在训练数据集270内的图像内。通常，由CNN分割的图像是使用者36在程序的选定部分之后和在训练CNN之后获取的受试者28的图像。

如上所述，用训练数据集270训练的CNN还可以包括螺钉150在患者体内的所选位置的等级，这可以基于分割的螺钉150s、150ss确定。因此，方框316中的输出还可以包括基于关于螺钉相对于彼此和/或图像32中的其他特征的分割位置的训练的CNN的等级。可以理解，可以训练CNN来确定图像32内的特征，例如骨结构。骨结构(例如椎骨)的分割可包括选定的已知方法。因此，训练在方框312中分析图像32的CNN的训练数据集270也可以用图像中的该螺钉的位置等级来训练。因此，螺钉图像150i、150ii的分割的输出316可以包括基于训练数据集270的分割的螺钉150s、150ss的等级。然而，使用者36可以基于对图像32的CNN分析再次了解等级，并且可以基于使用者36的知识和理解进一步对等级应用手动等级或增强。

如上所述，可以包括生成训练数据集270的螺钉150的构件可以是可以为其制作生成的模拟图像的任何合适的构件。因此，生成的模拟图像可以基于任何适当的模型，例如髋关节植入物、膝关节植入物，或任何其他适当的植入物或可以适当建模和/或因此包括已知组件的构件。因此，训练数据集270的生成可以基于在任何适当构件处生成的模拟图像并且因此螺钉150s的分割不限于螺钉，而是可以是用于生成训练数据集270的任何适当构件的分割。因此，输出318可以包括根据类似过程对任何适当构件的分割，如上所述。

提供示例实施例使得本公开全面，并且将范围全面地传达给本领域的技术人员。阐述许多特定细节，如特定部件、装置和方法的实例，以提供对本公开的实施例的透彻理解。本领域的技术人员将明白，不必采用特定细节，实例实施例可按许多不同形式实施，并且不应解释为限制本公开的范围。在一些实例实施例中，没有详细描述众所周知的方法、众所周知的装置结构和众所周知的技术。

前述对实施例的描述是出于说明和描述的目的提供的。其并不旨在是穷尽的或限制本公开。具体实施例的个别元件或特征通常不限于具体实施例，但在适用时为可互换的，并且可用于选择的实施例中(即使未特别示出或描述)。具体实施例的个别元件或特征还可以多种方式变化。这类变化不应视为脱离本公开，并且所有这类修改都旨在包括在本公开的范围内。

应当理解，本文公开的各个方面可以与说明书和附图中具体呈现的组合不同的组合进行组合。还应当理解，视示例而定，本文所描述的任何过程或方法的某些动作或事件可以以不同顺序执行，可以添加、合并或完全省略(例如，所有描述的动作或事件对于执行技术可能不是必需的)。另外，尽管为了清楚起见，将本公开的某些方面描述为由单个模块或单元来执行，但是应当理解，本公开的技术可以由与例如医疗装置相关联的单元或模块的组合来执行。

在一个或多个实例中，所描述的技术可以在硬件、软件、固件或其任何组合中实施。如果以软件实施，则可以将功能以一个或多个指令或代码的形式存储在计算机可读介质上并且可以由基于硬件的处理单元执行。计算机可读介质可以包含非暂时性计算机可读介质，其对应于有形介质，如数据存储介质(例如，RAM、ROM、EEPROM、闪存或可以用于存储呈指令或数据结构形式的期望程序代码并且可以由计算机访问的任何其它介质)。

指令可以由一个或多个处理器执行，如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路系统。因此，如本文中所使用的术语“处理器”可以指任何前述结构或适合于实施所描述技术的任何其它物理结构。而且，所述技术可完全实施于一个或多个电路或逻辑元件中。

Claims (24)

1.一种训练用于从图像中识别所述图像内的物理构件的系统的方法，包括：

生成训练数据集，其包括：

根据选定的成像方式生成所述物理构件的图像，其中所述图像是至少一个图像；

将生成的所述物理构件的图像覆盖在预先采集的图像上，其中所述预先采集的图像是通过所述选定的成像方式采集的；

保存训练图像，该训练图像包括所述预先采集的图像，其中具有生成的所述物理构件的图像；和

访问所述预先采集的图像上覆盖的生成的所述物理构件的图像的位置等级；

用生成的训练图像数据集训练输入的神经网络；和

基于使用生成的训练数据集训练的所述神经网络输出训练模型。

2.根据权利要求1所述的方法，其进一步包括：

存储所述训练模型。

3.根据权利要求1或2中任一项所述的方法，其进一步包括：

访问受试者图像数据；

用所输入的神经网络和所述训练模型分析所访问的图像数据；

基于所述分析对所述受试者图像数据中表示的所述物理构件进行分割；和

至少输出所述物理构件的分割的图形表示。

4.根据权利要求3所述的方法，其中分割包括基于所述分析确定在所述图像数据中表示的物理元件的边缘。

5.根据权利要求3所述的方法，其进一步包括：

基于分割的物理构件，输出所述物理构件在所述受试者图像数据中的确定位置的建议等级。

6.根据权利要求5所述的方法，其中所述分割的物理构件包括相对于所述受试者图像数据中的至少一个其他特征的位置。

7.根据权利要求5所述的方法，其进一步包括：

基于所述分割和建议的等级显示所述物理构件的图形表示。

8.根据权利要求1至7中任一项所述的方法，其进一步包括：

创建所述神经网络；以及

保存所创建的神经网络。

9.根据权利要求8所述的方法，其中所述神经网络是卷积神经网络。

10.根据权利要求1到9中任一项所述的方法，其进一步包括：

保存输出的训练模型以便访问以分析受试者图像数据。

11.根据权利要求1至10中任一项所述的方法，其中生成所述训练数据集还包括：

生成所述物理构件的多个图像；

访问多个预先采集的图像；

通过将生成的所述物理构件的多个图像中所述物理构件的至少一个生成图像定位在访问的多个预先采集的图像的每个预先采集的图像内，生成多个训练图像；

为所述多个训练图像中的每个训练图像访问所述物理构件的覆盖的生成图像的位置等级；和

保存生成的多个训练图像中的至少次多个所述训练图像。

12.根据权利要求1至11中任一项所述的方法，其中访问所述物理构件的覆盖的生成图像的位置等级还包括：

显示所述物理构件的覆盖的生成图像的位置；和

接收与显示的位置有关的使用者的输入。

13.根据权利要求12所述的方法，其中访问所述物理构件的覆盖的生成图像的位置等级还包括：

预先确定所述物理构件的覆盖的生成图像的位置；

预先确定所预先确定的位置的等级；和

将预先确定的等级与生成的训练图像数据集包括在一起，用于用生成的训练图像数据集训练输入的神经网络。

14.根据权利要求1至13中任一项所述的方法，其中生成所述图像包括生成多个图像。

15.根据权利要求1至13中任一项所述的方法，其中生成所述图像包括从多个视点生成多个2D图像。

16.根据权利要求1至13中任一项所述的方法，其中生成所述图像包括生成3D图像。

17.一种训练用于从图像中识别所述图像内的物理构件的系统的方法，包括：

生成训练数据集，其包括：

根据选定的成像方式生成所述物理构件的图像，其中生成的图像包括至少一个图像，该至少一个图像是2D图像或3D图像中的至少一个；

将生成的所述物理构件的图像在第一位置覆盖在预先采集的图像上，其中所述预先采集的图像是通过所述选定的成像方式采集的；

保存训练图像，该训练图像包括所述预先采集的图像，其中在所述第一个位置具有生成的所述物理构件的图像；和

接收所述预先采集的图像上覆盖的生成的所述物理构件的图像的所述第一位置的等级的输入；

用生成的训练图像数据集训练输入的神经网络；和

基于使用生成的训练数据集训练的所述神经网络输出训练模型。

18.根据权利要求17所述的方法，其中生成所述训练数据集还包括：

将生成的所述物理构件的图像在多个位置覆盖在所述预先采集的图像上，其中所述预先采集的图像是通过所述选定的成像方式采集的；

保存多个训练图像，其中每个训练图像包括预先采集的图像，其中在所述多个位置中的一个位置处具有生成的所述物理构件的图像；和

为所述多个训练图像中的每个训练图像接收等级的输入。

19.根据权利要求17所述的方法，其中生成所述训练数据集还包括：

访问多个预先采集的图像；

将生成的所述物理构件的图像覆盖在每个预先采集的图像上，其中每个预先采集的图像是通过所述选定的成像方式采集的；

保存多个训练图像，其中每个训练图像包括所采集的多个预先采集的图像之一，其具有生成的所述物理构件的图像；和

为所述多个训练图像中的每个训练图像接收等级的输入。

20.根据权利要求17至19中任一项所述的方法，其进一步包含：

访问与在所述受试者图像内具有构件的所述预先采集的图像分开的受试者的过程图像；

基于使用生成的训练数据集训练的神经网络访问输出的训练模型；和

基于访问的输出的训练模型输出所述受试者图像内所述构件的分割位置的等级。

21.根据权利要求20所述的方法，其进一步包括：

从所述受试者的访问过程图像中分割所述构件；和

用显示设备显示分割的构件。

22.一种从图像中分割所述图像内的物理构件的系统，包括：

被配置为存储神经网络的存储系统；

使用者可访问以输入等级的输入系统；

处理器系统，其可操作以通过执行指令生成训练数据集，所述指令包括：

在第一位置处将生成的所述物理构件的图像覆盖在预先采集的图像上，其中所述预先采集的图像和生成的所述物理构件的图像以选定的成像方式形成；

生成训练图像，该训练图像包括所述预先采集的图像，其中在所述第一个位置具有生成的所述物理构件的图像；和

从所述输入系统接收所述训练图像中覆盖的生成的所述物理构件的图像的第一位置的等级的输入；

用生成的训练图像数据集训练存储的神经网络；和

基于使用生成的训练数据集训练的所述神经网络输出训练模型。

23.根据权利要求22所述的系统，其中所述处理器系统进一步能够生成执行指令，该指令包括：

访问受试者图像数据；

访问存储的神经网络；和

基于访问的存储的神经网络从所述受试者图像数据中分割所述构件；和

基于访问的存储的神经网络输出所分割构件的等级。

24.根据权利要求22或23中任一项所述的系统，其中所述处理器系统还能够执行包括根据所述选定的成像方式生成所述物理构件的图像的指令。

Images