CN117957566A - 用于分割解剖图像数据的系统、设备和方法 - Google Patents

Abstract

本文描述了用于分割患者解剖结构的系统、设备和方法。一种方法可以包括接收包括患者解剖结构的3D区域的一组图像的三维(3D)扫描体积。患者解剖结构的3D区域可以包括一组解剖结构。该方法还可以包括使用3D扫描体积生成一组二维(2D)射线照片。该组2D射线照片中的每个2D射线照片可以包括从3D扫描体积提取的3D图像数据。该方法还可以包括使用该组2D射线照片来训练分割模型分割2D射线照片，从而识别一个或更多个感兴趣的解剖部位。

Description

用于分割解剖图像数据的系统、设备和方法

相关申请的交叉引用

本申请要求2021年5月12日提交的第63/187,777号美国临时申请的权益，该美国临时申请的内容通过引用以其整体并入本文。

技术领域

本公开总体上涉及用于分割解剖图像数据的系统、设备和方法，并且具体地涉及使用机器学习模型对三维(3D)解剖图像的分割。

背景

图像引导或计算机辅助手术可用于帮助医生在外科手术过程中导航到感兴趣的目标区域和/或对感兴趣的目标区域进行操作。实施图像引导的外科手术的系统和设备可以使用患者解剖结构的图像数据和与患者解剖结构和/或外科手术工具和植入物相关联的跟踪数据，以在外科手术操作期间向医生提供引导。图像引导的外科手术可以使用通过一个或更多个成像系统获取的患者解剖结构的图像数据，该一个或更多个成像系统包括例如计算机断层扫描(CT)系统、磁共振成像(MRI)系统、X射线(X-Ray)系统、超声波系统和荧光透视系统。还可以通过解释从一个或更多个成像系统获得的医学图像来执行各种医学诊断。

传统的X射线和CT是获取患者解剖结构(包括例如患者的脊柱)信息的常用方法。传统的X射线涉及将高能电磁辐射导向患者的身体，并在胶片或板上捕获由此产生的二维(2D)X射线轮廓。然而，X射线成像会使患者经受高水平的辐射。基于医生的培训和经验，对X射线的分析也可能是主观的。目前，这些都不是客观分析X射线的自主方式。因此，对X射线进行必要的测量需要时间，并且可能会受到用户误差的影响。缺乏分析X射线的自主方法也使得很难客观地比较患者的X射线随时间的变化，例如，以跟踪患者的进展。由于这些限制，目前不可能基于X射线成像来可靠地预测某些结果。目前也不可能以自主和/或一致的方式获得必要的测量结果，这些方式确保这些测量结果的可靠性和再现性。

CT涉及使用受控量的X射线辐射来获得患者解剖结构的3D图像数据。现有的CT系统可以包括旋转机架，该旋转机架具有安装在一侧上的X射线管和安装在相对侧上的弧形检测器。当旋转框架使X射线管和检测器围绕患者转动时，X射线束可以以扇形发射。每当X射线管和检测器进行360°旋转并且X射线穿过患者身体时，可以获取患者解剖结构的薄截面的图像。在每次旋转过程中，检测器可以记录扩展的X射线束的大约1000幅图像或轮廓。然后，每个轮廓可以由专用计算机重建为被扫描的截面的3D图像。因此，CT系统使用多个2DCT扫描或X射线的集合来构建患者解剖结构的3D图像。机架旋转的速度以及切片厚度影响最终图像的准确性和/或有用性。通常使用的术中CT成像系统具有允许控制辐射剂量的各种设置。在某些情况下，可以选择高剂量设置来确保解剖结构的充分可视化。不利的一面是增加了患者的辐射暴露。诊断性CT手术的有效剂量通常被估计在1毫西弗(mSv)至10毫西弗的范围内。如此高的剂量会导致癌症和其他健康状况的风险增加。因此，尽可能选择低剂量设置进行CT扫描，以使辐射暴露和相关的癌症发展风险最小化。然而，低剂量设置可能会对外科医生可用的图像数据的质量产生影响。

MRI成像系统通过在要被成像的区域周围形成强磁场来操作。在大多数医学应用中，含有水分子的组织中的质子(例如氢原子)产生信号，该信号被处理以形成身体的图像。首先，来自振荡磁场的能量以适当的共振频率短暂地被施加到患者身上。被激发的氢原子发射射频(RF)信号，该射频信号由RF系统测量。可以通过使用梯度线圈改变主磁场来使RF信号对位置信息进行编码。当这些线圈被快速地被接通和关断时，它们产生MRI扫描特有的重复噪声。不同组织之间的对比度可以根据受激发的原子返回其平衡状态的速率来确定。在一些情况下，外源性造影剂可以通过静脉、口服或关节内给药，来进一步促进不同组织之间的区分。MRI成像系统的主要部件是使组织极化的主磁体、用于校正主磁场中的不均匀性的匀场线圈(shim coil)、用于定位磁共振(MR)信号的梯度系统和激发组织并检测产生的信号的RF系统。对于MRI成像，可以使用不同的磁场强度。最常见的强度是0.3T、1.5T和3T。强度越高，图像质量越高。例如，0.3T磁场强度将导致比1.5T磁场强度质量更低的成像。

目前，还没有客观分析MRI图像的自主方式，而这些图像的分析依赖于医生的培训和经验。此外，由于技术限制，诊断性MRI方案提供有限数量的目标区域切片，这使得医生不得不从患者解剖结构的可用轴向、矢状和/或冠状扫描中拼凑解剖信息。现有系统也缺乏可靠的方式来容易地和自主地将患者的MRI图像与较大的MRI图像数据库进行比较。这样的比较可以允许医生获得关于患者病情严重程度的额外信息。现有系统还缺乏自主地将患者当前的MRI图像与该患者过去的图像进行比较的能力。此外，当前还不可能针对脊髓压迫、骨折、肿瘤、感染等病情来对患者的MRI图像进行筛查。这些局限性使得很难(如果不是不可能的话)基于患者MRI图像提出将导致治疗结果的高可信度的治疗建议。

由于图像质量低，缺乏可靠和/或可再现的图像分析，现有系统对医生提出了诊断挑战。这些局限性会使充分识别关键标志和进行测量变得困难，从而这又导致治疗的准确性和有效性下降。在图像引导的外科手术应用中，现有图像分析工具的局限性会导致外科手术计划的复杂性，包括将工具和植入物导航到必要位点的困难。由于这些原因，可能希望具有用于传送高质量图像和用于一致且准确地评估图像数据的系统。

概述

本文描述的系统、设备和方法通常涉及对患者解剖结构的分割。在一些实施例中，一种方法可以包括：接收包括患者解剖结构的3D区域的一组图像的三维(3D)扫描体积，该患者解剖结构的3D区域包括一组解剖结构；使用该3D扫描体积生成一组二维(2D)射线照片，该组2D射线照片中的每张2D射线照片包括从3D扫描体积提取的3D图像数据；以及使用该组2D射线照片来训练分割模型分割2D射线照片，从而识别一个或更多个感兴趣的解剖部位。

在一些实施例中，一种方法可以包括：接收三维(3D)扫描体积，该三维扫描体积包括患者解剖结构的3D区域的一组磁共振成像(MRI)图像，该患者解剖结构的3D区域包括一组解剖结构，MRI图像包括在第一解剖平面中的图像和在不同于第一平面的第二解剖平面中的图像；使用分割模型处理该组MRI图像，其中该分割模型接收该组MRI图像作为输入，并处理在第一解剖平面和第二解剖平面中的图像；响应于使用分割模型处理该组MRI图像而生成分割输出；以及基于分割输出识别3D扫描体积中的一个或更多个感兴趣的解剖部位。

在一些实施例中，一种方法可以包括：接收三维(3D)扫描体积，该三维扫描体积包括患者解剖结构的3D区域的一组二维(2D)图像。患者解剖结构的3D区域可以包括一组解剖结构。该方法还可以包括使用分割模型处理该组2D图像，其中该分割模型接收该组2D图像作为输入，响应于使用分割模型处理该组2D图像而生成分割输出，以及基于该分割输出识别3D扫描体积中的一个或更多个椎间盘。

在一些实施例中，一种装置可以包括存储器和可操作地耦合到存储器的处理器。处理器可以被配置成接收包括患者解剖结构的3D区域的一组磁共振成像(MRI)图像的三维(3D)扫描体积。患者解剖结构的3D区域可以包括一组解剖结构。MRI图像可以包括在第一解剖平面中的图像和在不同于第一解剖平面的第二解剖平面中的图像。处理器还可以被配置成使用分割模型来处理该组MRI图像，其中分割模型接收该组MRI图像作为输入，并处理在第一解剖平面和第二解剖平面中的图像，响应于使用分割模型处理该组MRI图像而生成分割输出，以及基于该分割输出识别3D扫描体积中的一个或更多个感兴趣的解剖部位。

在一些实施例中，一种装置可以包括存储器和可操作地耦合到存储器的处理器。处理器可以被配置成接收包括患者解剖结构的3D区域的一组二维(2D)图像的三维(3D)扫描体积。患者解剖结构的3D区域可以包括一组解剖结构。处理器还可以被配置成使用分割模型处理该组2D图像，其中分割模型接收该组2D图像作为输入，响应于使用分割模型处理该组2D图像而生成分割输出，以及基于分割模型识别3D扫描体积中的一个或更多个椎间盘。

附图简述

图1是根据一些实施例示出用于分割图像的系统的配置的框图。

图2是根据一些实施例示出用于分割图像的设备的配置的框图。

图3A是根据一些实施例示出对卷积神经网络进行去噪的示意图。

图3B是根据一些实施例示出分割卷积神经网络的示意图。

图4A是根据一些实施例示出用于训练分割模型的过程的流程图。

图4B是根据一些实施例示出训练神经网络的流程图。

图5是根据一些实施例示出分割患者解剖结构的过程的流程图。

图6是根据一些实施例示出用于训练分割模型的过程的流程图。

图7是根据一些实施例示出分割患者解剖结构的过程的流程图。

图8A是根据一些实施例对患者脊柱的示例2D扫描。图8B是图8A的图像的分割输出的示例。

图8C是根据一些实施例的基于一组分割图像的3D模型的透视图，该组分割图像包括图8A的图像。

图9A是根据一些实施例对患者脊柱的示例2D扫描。图9B是图9A的图像的分割输出的示例。图9C是图9A图像的组合的图像数据和分割输出的示例。

图10A-图10B是根据一些实施例的、从患者解剖结构的多维数据中选择的多维区域的视图。

图11A-图11B是根据一些实施例的、从患者解剖结构的多维数据中选择的多维区域的视图。

图12是根据一些实施例示出用于生成用于X射线分割模型的训练数据的过程的流程图。

图13A是根据一些实施例的患者解剖结构的3D体积图像数据。图13B是根据一些实施例的、基于图13A的3D体积图像数据的2D射线照片的数字重建。

图14A根据一些实施例描绘了与图13B的2D射线照片相关联的标记。

图15A是根据一些实施例的、基于3D图像数据生成的数字重建的2D射线照片。图15B是根据一些实施例的、基于经变换的3D图像数据生成的数字重建的2D射线照片的图像。

图16A是根据一些实施例的X射线的图像。图16B根据一些实施例描绘了图16A的X射线的分割输出。

图17A是根据一些实施例的、关于难以视觉辨别的解剖部位的X射线的图像。图17B是根据一些实施例的图17A的X射线的分割输出的图像，该分割输出识别解剖部位。

图18A、图18C和图18E是根据一些实施例的使用MRI产生的患者解剖结构的图像。图18B、图18D和图18F是根据一些实施例的、分别对应于图18A、图18C和图18E的MRI图像的标记的解剖部位的图像。

图19是根据一些实施例的患者解剖结构的组合的MRI和CT图像数据的示例渲染。

图20A-图20B是根据一些实施例示出在患者解剖结构的2D图像上的椎间盘的分割的图像。

详细描述

1.系统概述

本文描述的系统、设备和方法涉及对包括脊柱在内的患者解剖结构的处理。虽然本文给出的某些示例通常可能涉及对脊柱的图像数据的处理，但是本领域普通技术人员可以理解，这些系统、设备和方法可以用于处理患者解剖结构的其他部分的图像数据，包括例如血管、神经、骨和靠近大脑、心脏或患者解剖结构的其他区域的其他软组织和硬组织的图像数据。

本文描述的系统、设备和方法可以适于处理几种不同类型的图像数据，包括X射线、CT、MRI、荧光透视、超声波等图像数据。在一些实施例中，这样的系统、设备和方法可以处理单一图像类型，而在其他实施例中，这样的系统、设备和方法可以处理多种图像类型。在一些实施例中，可以组合多种图像类型来提供关于患者解剖结构的更丰富的数据。

本文描述的系统、设备和方法可以实现机器学习模型来处理和/或分析关于患者解剖结构的图像数据。这样的机器学习模型可以被配置成识别和区分解剖结构内的不同解剖部位。在一些实施例中，本文描述的机器学习模型可以包括神经网络，包括在输入层和输出层之间具有多层的深度神经网络。例如，一个或更多个卷积神经网络(CNN)可用于处理患者图像数据，并产生对图像数据内的不同对象进行分类的输出。虽然本文描述的某些示例采用CNN，但是可以理解，其他类型的机器学习算法可以用于处理患者图像数据，这些算法包括例如支持向量机(SVM)、决策树、k-最近邻和人工神经网络(ANN)。

图1是根据一些实施例示出用于处理患者解剖结构的图像数据并在外科手术过程中向医生提供图像引导的系统100的高级框图。系统100可以包括计算设备110、成像设备160且可选地包括外科手术导航系统170。在一些实施例中，计算设备110可以与一个或更多个成像设备160和外科手术导航系统170通信，以执行对患者解剖结构的分割，并在外科手术过程中向外科医生提供数字引导。

计算设备110可以被配置成执行对解剖图像数据的分割以识别感兴趣的解剖部位。计算设备110可被配置成生成识别不同的感兴趣解剖部位的分割输出。附加地，计算设备110可以被配置成标记不同的解剖部位和/或生成患者解剖结构和/或手术器械的虚拟表示，以在外科手术过程中向外科医生提供图像引导。计算设备110可以被实现为单个计算设备，或者被实现为跨彼此连接和/或连接到网络150的多个计算设备。例如，计算设备110可以包括一个或更多个计算设备，例如服务器、台式计算机、膝上型计算机、便携式设备、数据库等。不同的计算设备可以包括远离其他计算设备、位于其他计算设备附近的场所内和/或与其他计算设备集成在一起的部件。

在一些实施例中，计算设备110可以位于远离一个或更多个成像设备160和/或外科手术导航系统170的服务器上。例如，成像设备160和外科手术导航系统170可以位于具有患者180的外科手术室中，而计算设备110可以位于远程位置，但是可操作地(例如，经由网络150)耦合到成像设备160和外科手术导航系统170。在一些实施例中，计算设备110可以被集成到成像设备160和外科手术导航系统170中的一者或两者中。在一些实施例中，系统100包括单个设备，该单个设备具有计算设备110、一个或更多个成像设备160和一个或更多个外科手术导航系统170的功能，如本文进一步所述。

在一些实施例中，计算设备110可以位于医院或医疗设施内。计算设备110可以可操作地耦合到与医院相关联的一个或更多个数据库，例如用于存储患者信息的医院数据库等。在一些实施例中，计算设备110可供医生(例如外科医生)使用，以用于执行对患者解剖数据(包括例如本文所描述的分割数据)的评估、患者解剖数据的可视化、诊断和/或外科手术的计划。在一些实施例中，计算设备110可以可操作地耦合到医院内的一个或更多个其他计算设备(例如，医生工作站)，并且可以(例如，经由网络150)向这些计算设备发送分割输出和/或其他图像处理输出，以用于执行对患者解剖数据的评估、患者解剖数据的可视化、诊断和/或外科手术的计划。

网络150可以是被实现为有线网络和/或无线网络并被用于可操作地耦合计算设备(包括系统100)的任何类型的网络(例如，局域网(LAN)、广域网(WAN)、虚拟网络、电信网络)。如图1所示，可以在计算设备110与成像设备160、外科手术导航系统170和/或其他计算设备(例如，数据库、服务器等)中的任何一个之间定义连接。在一些实施例中，计算设备110可以经由中间网络和/或备用网络(图1中未示出)与成像设备160和/或外科手术导航系统170通信(例如，向这些设备发送数据和/或从这些设备接收数据)，并与网络150通信。这样的中间网络和/或备用网络可以是与网络150相同类型和/或不同类型的网络。计算设备110、成像设备160和外科手术导航系统170中的每一个可以是被配置成通过网络150发送数据以向一个或更多个其他设备发送数据和/或从一个或更多个其他设备接收数据的任何类型的设备。

在一些实施例中，成像设备160可以指被配置成对患者180的解剖结构成像的任何设备。在一些实施例中，成像设备160可以包括一个或更多个传感器，以用于测量通过各种成像技术产生的信号。成像设备160可以采用非侵入性技术来对患者的解剖结构成像。成像设备的非限制性示例包括CT扫描仪、MRI扫描仪、X射线设备、超声波设备及它们的组合等。由成像设备160生成的图像数据可以被传输到连接到网络150的任何设备，包括例如计算设备110。在一些实施例中，由成像设备160生成的图像数据可以包括解剖结构的2D图像。在一些实施例中，由成像设备160生成的图像数据可以包括多个2D图像扫描，该多个2D图像扫描一起提供3D体积的图像数据。成像设备160可以将图像数据传输到计算设备110，使得计算设备110可以执行对患者解剖结构的分割和/或标记患者解剖结构中不同的感兴趣的解剖部位。附加地，成像设备160可以向外科手术导航系统170提供图像数据，使得外科手术导航系统可以生成患者解剖结构的一个或更多个虚拟表示，例如用于图像引导的外科手术。

外科手术导航系统170可被配置成例如在外科手术操作期间提供图像引导的外科手术。例如，外科手术导航系统170可以在外科手术期间促进计划、可视化和引导中的一者或更多者。在一些实施例中，外科手术导航系统170可以包括用于跟踪患者解剖结构、外科手术工具、植入物或外科手术领域内的其他对象的跟踪系统。在一些实施例中，外科手术导航系统170可以包括图像生成器，该图像生成器用于生成患者解剖结构和/或外科手术工具、植入物或外科手术领域内的其他对象的一个或更多个虚拟表示，并将这些虚拟表示显示给医生或其他医疗保健提供者(例如，外科医生)。在一些实施例中，外科手术导航系统170可以被配置成例如经由3D可穿戴设备和/或3D投影仪或屏幕呈现3D显示。在一些实施例中，外科手术导航系统170可以被配置成显示一个或更多个手术器械和植入物相对于患者解剖结构的术前或术中医学图像数据的位置和/或取向。图像数据可以例如由成像设备160提供，并且外科手术导航系统170可以使用图像数据来生成感兴趣的一个或更多个解剖部位的虚拟表示以及与外科手术设备相关联的位置和/或取向数据。外科手术导航系统的合适示例在公布于2019年2月21日的、公开号为2019/0053851的美国专利申请中进行了描述，并且该美国专利申请通过引用并入本文。

图2根据一些实施例示意性地示出了用于执行分割的示例计算设备210。计算设备210可以在结构上和/或功能上类似于计算设备110。虽然示意性地描绘了单个计算设备210，但是可以理解，计算设备210可以被实现为一个或更多个计算设备。在一些实施例中，计算设备210可以被配置成分割患者(例如，患者180)的解剖图像数据。计算设备210包括处理器220、存储器230和一个或更多个输入/输出接口250。

存储器230可以是例如随机存取存储器(RAM)、存储器缓冲器、硬盘驱动器、数据库、可擦除可编程只读存储器(EPROM)、电可擦除只读存储器(EEPROM)、只读存储器(ROM)，等等。在一些实施例中，存储器230存储使处理器220执行与分割222和解剖部位识别224相关联的模块、过程和/或功能的指令。存储器230可以存储一个或更多个分割模型232、解剖部位数据240和/或图像数据242。

分割模型232可以是机器学习模型，诸如，例如CNN模型、SVM模型等。分割模型232可以由处理器220实现以执行分割222。在一些实施例中，分割模型232可以是特定解剖区域(例如脊柱解剖结构、心脏解剖结构等)所独有的。在一些实施例中，分割模型232可以是特定图像类型所独有的。例如，分割模型232可以包括用于分割X射线图像数据的X射线模型234、用于分割CT图像数据的CT模型236和/或用于分割MRI图像数据的MRI模型238。解剖部位数据240可以包括与患者的解剖部位相关的信息。例如，解剖部位数据240可以包括识别、表征和/或量化一个或更多个解剖部位的不同特征(诸如，例如解剖部位的位置、颜色、形状、几何结构或其他方面)的信息。解剖部位数据240可以使处理器220能够基于患者图像数据执行解剖部位识别224。图像数据242可以包括与一个或更多个患者相关联的图像数据和/或关于不同图像设备的信息，例如不同图像设备(例如，图像设备160)的不同设置以及这些设置可以如何影响使用这些设备捕获的图像。

处理器220可以是被配置成运行和/或执行本文描述的任何功能的任何合适的处理设备。在一些实施例中，处理器220可以是通用处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)、专用图形处理单元(GPU)等。在一些实施例中，处理器220可以被配置成执行分割222和解剖部位识别224中的一者或更多者。分割222和解剖部位识别224可以被实现为绑定到硬件部件(例如，处理器220、存储器230、输入/输出接口250)的一个或更多个程序和/或应用。在一些实施例中，系统总线(未示出)可以被配置成使处理器220、存储器230、输入/输出接口250和/或计算设备210的其他部件能够彼此通信。

输入/输出接口250可以包括被配置成接收输入并向其他设备(例如，成像设备160、外科手术导航系统170等)发送输出的一个或更多个部件。在一些实施例中，输入/输出接口250可以包括用户界面，该用户界面可以包括被配置成接收输入和/或向用户呈现输出的一个或更多个部件。例如，输入/输出接口250可以包括显示设备(例如，显示器、触摸屏等)、音频设备(例如，麦克风、扬声器)、键盘和/或用于从用户接收信息和/或向用户呈现信息的其他接口。在一些实施例中，输入/输出接口250可以包括用于与其他设备通信的通信接口，并且可以包括用于使用标准通信协议(例如Wi-Fi、等)进行数据通信的传统电子器件。

2.分割模型的概述

本文描述的系统、设备和方法可以使用基于神经网络和深度学习的方法来分割患者解剖结构和/或识别感兴趣的解剖部位。如上所述，用于执行分割和解剖部位识别的计算设备(例如，计算设备110、210)可以实现一个或更多个机器学习模型。可以使用训练数据集来训练机器学习模型，该训练数据集包括输入图像数据和表示期望输出的标记。机器学习模型可以使用训练数据集来学习图像数据中的不同特征与输出标记之间的关系。

在一些实施例中，本文描述的系统、设备和方法可以在执行分割和/或解剖部位识别之前执行图像数据的预处理。在许多情况下，使用传统成像技术收集的图像数据可能具有低质量。例如，为了避免将患者暴露于高水平辐射的风险，可以在较低剂量设置下使用CT成像设备来捕获患者解剖结构的图像。类似地，使用较低功率的MRI成像设备可用于捕获患者解剖结构的图像。这种低剂量或低功率图像可具有含有较高噪声量的图像。本文描述的计算设备(例如，计算设备110、210)可以可选地预处理图像，以在执行分割和/或解剖部位识别之前去除这种噪声。

图3A示意性地描绘了用于对图像数据去噪的CNN模型300的架构。在一些实施例中，本文描述的系统、设备和方法可以可选地执行去噪，而在其他实施例中，如下文所述，在执行分割之前可能不需要这种去噪。CNN 300包括卷积层310(具有修正线性激活函数(ReLU)激活)和去卷积层320(具有ReLU激活)。CNN 300可以是完全卷积的并且具有跳层连接(layer skip connection)。根据应用的要求，层数和层内滤波器的数量可能会发生变化。具有更多滤波器的更深的网络可以给出质量更好的结果，但是增加层/滤波器的数量会显著增加计算时间，且因此对于某些应用来说是不切实际的。使用CNN 300对图像数据进行去噪可以提供对标准去噪技术(诸如，例如滤波、平滑等)的改进。例如，CNN 300可以被校准以去除与一种类型的成像设备(例如，CT、MRI、X射线)、特定成像设备和/或不同成像设备的不同设置相关联的特定噪声。CNN 300可以使用包括低质量图像和相对应的高质量图像的训练数据集来训练。可以使用训练数据集来训练CNN 300，以识别相比于高质量图像被添加到低质量图像的噪声分量。

图3B示意性地描绘了CNN模型350的架构，该CNN模型350可用于执行分割(例如，语义分割和二进制分割)。CNN模型350的架构可以是完全卷积的并且具有跳层连接。CNN模型350可以使用编码器-解码器架构来执行像素级类别分配。CNN模型350可以将由成像设备(例如，成像设备160)生成的原始图像和/或由成像设备在(例如，使用用于去噪的CNN模型(例如，CNN模型300))去噪后生成的图像作为输入。

CNN模型350的左侧是收缩路径(编码器)，该收缩路径包括一个或更多个卷积层360和/或池化层362。一个或更多个图像(例如，原始图像或去噪图像)可以被呈现给CNN模型350的输入层，并且CNN模型350可以经由一系列卷积层360和/或池化层362从图像数据中提取特征。图像数据可以包括单个图像(例如，X射线图像或单个图像扫描)或2D扫描的一组图像，这组图像一起形成局部体积表示。卷积层360可以是标准类型、扩张类型或其组合，附接有ReLU或泄漏ReLU(leaky ReLU)激活。

CNN模型350的右侧是扩展路径(解码器)，该扩展路径包括上采样或转置卷积层370和卷积层372，卷积层372产生输出层380。上采样或去卷积层370可以是标准类型、扩张类型或其组合，附接有ReLU或泄漏ReLU激活。输出层380可以表示具有用于将输出分数转换成归一化概率分布的Softmax或Sigmoid激活的卷积层。

CNN模型350的编码-解码架构可以用具有相对应的大小(例如，分辨率)的层的附加跳跃连接来补充，这可以通过信息合并来提高性能。

CNN模型350可以被配置成通过调整层的大小(例如，分辨率)来处理不同大小的图像。根据特定应用的要求，层数和/或层内滤波器的数量也可以被调整。例如，具有更大数量的层和/或滤波器的更深的网络可以给出质量更好的结果，但是增加层和/或滤波器的数量会显著增加计算时间并降低CNN模型350泛化的能力。因此，对于某些应用来说，更大数量的层和/或滤波器可能是不切实际的。

在一些实施例中，CNN模型350可用于执行对患者解剖结构的分割。例如，CNN模型350可以被配置成将图像的部分(例如，每个像素或像素的分组)分类成两个不同的类别，例如，骨骼和非骨骼。在一些实施例中，CNN模型350可以被配置成将图像的部分分类成多个类别，例如，骨骼、神经、椎骨体、椎弓根、突起等。在一些实施例中，第一CNN模型可以被配置成执行第一分类(例如，骨骼和非骨骼)，并且该第一CNN模型350的输出可以被组合并输入到一个或更多个附加CNN模型350中，该一个或更多个附加CNN模型350被配置成执行一个或更多个附加分类(例如，神经或非神经、椎间盘或非椎间盘等)。在一些实施例中，可以使用包括具有标记的解剖部位的图像的训练数据集训练CNN模型350来分割患者解剖结构。

被配置用于执行分割的CNN模型350的合适示例在以下文献中进行了描述：2019年11月11日公布的公开号为2019/0105009的美国专利；2020年5月14日公布的公开号为2020/0151507的美国专利；和2020年12月31日公布的公开号为2020/0410687的美国专利，这些美国专利中的每个专利的内容通过引用并入本文。

CNN模型的训练和使用的进一步细节参照图4A-图7中描绘的流程图进行了讨论。图4A-图7中描绘的方法可以由参照图1和图2描述的一个或更多个设备来实现，这些设备包括例如计算设备110、210。

图4A是训练分割模型(例如，CNN模型350)的方法400的流程图。方法400可以包括在410，从训练数据集读取图像数据。训练数据集可以包括解剖结构的输入图像和解剖结构的对应输出图像，输出图像具有被施加于解剖结构的不同部位的标记。图像可以被分组成用于训练分割模型的多个批次。一个批次内的每个图像可以包括表示解剖结构的3D体积的一系列切片的图像。每个输出图像可以包括至少一个标记，该至少一个标记将该图像的一部分识别为对应于特定的解剖部位。在一些实施例中，每个输出图像可以包括多个标记，其中该多个标记指示患者解剖结构的不同部位。计算设备(例如，计算设备110、210)可以通过将一批或更多批图像加载到阵列中用于进一步处理来读取图像数据。

可选地，在420，可以调整从训练数据集读取的图像的大小。例如，由不同成像设备捕获的图像在大小上可以变化，且因此可以确定用于输入到分割模型中的基本大小。不符合基本大小的图像可以例如使用调整大小功能来调整大小。

在430，可以增强图像数据。可以对图像数据执行数据增强，以创建一组更多样化的图像。每个输入图像及其对应的输出图像可以经受相同的数据增强，并且得到的输入图像和输出图像可以作为新图像存储在训练数据集中。数据增强可以包括对图像应用一个或更多个变换或其他数据处理技术。这些变换或处理技术可以包括：旋转、缩放、移动、水平翻转、高斯和/或泊松分布的加性噪声以及高斯模糊等。可以对任何图像类型(包括例如X射线、CT扫描和/或MRI扫描)执行数据增强。在一些实施例中，可以对3D图像数据(例如，包括3D体积的2D扫描的3D CT图像数据)执行数据增强，并且经增强的3D图像数据可以被用于构建2D图像。例如，如参照图12进一步描述的，3D图像数据可以经受一个或更多个增强变换，并且得到的3D图像数据可以被用于构建2D射线照片，以用于训练用于分割X射线图像的CNN模型。

在440，可以使用训练数据集来训练分割模型，该训练数据集包括原始图像数据和/或经增强的图像数据。在一些实施例中，训练可以被监督。训练可以包括将输入图像输入到分割模型中，以及最小化分割模型的输出与对应于输入图像的输出图像(包括标记)之间的差异。在一些实施例中，分割模型可以是CNN模型，由此可以调整函数的一个或更多个权重，以更好地近似输入图像和输出图像之间的关系。参照图4B描述了训练CNN模型的进一步细节。在一些实施例中，训练可以是无监督的，例如，分割模型依赖于特征向量之间的距离来对未知数据点进行分类。

验证数据集可用于评估经训练的分割模型的一个或更多个性能度量。类似于训练数据集，验证数据集可以包括解剖结构的输入图像和包括解剖结构内的经标记的解剖部位的输出图像。验证数据集可用于检查经训练的分割模型是否满足某些性能度量或者是否需要进一步训练分割模型。在450，验证数据集的输入图像可以通过经训练的分割模型运行以获得输出。在460，可以基于验证数据集的输出来计算一个或更多个性能度量。例如，可以将验证数据集的输出与对应于输入图像的输出图像进行比较，并且可以在定性和/或定量尺度上评估模型的输出与输出图像之间的差异。可以基于模型的输出与对应于输入图像的输出图像之间的差异来计算不同的性能度量。例如，可以确定被正确或不正确分类的像素(或像素分组)的数量或百分比。

在470，计算设备可以确定训练是否完成(例如，经训练的分割模型的性能足够和/或已经满足特定数量的训练迭代)或者是否需要进一步的训练。在一些实施例中，计算设备可以继续循环通过训练迭代(即，返回到410-460)，直到经训练模型的性能不再提高预定量(即，后续训练迭代410-460的性能度量与早前训练迭代410-460的性能度量没有相差预定义的阈值或百分比)。如果模型没有改进，则分割模型可能会过度拟合(overfitting)训练数据。在一些实施例中，计算设备可以继续循环通过训练迭代(即，返回到410-460)，直到训练迭代410-460的性能度量达到指示足够性能的特定预定义阈值。在一些实施例中，计算设备可以继续循环通过训练迭代(即，返回到410-460)，直到已经满足预定义数量的迭代(即，分割模型已经被训练了预定义次数)。

一旦分割模型已经被充分训练(470：是)，在480，分割模型可以被存储在例如存储器(例如，存储器230)中。经存储的分割模型可以由计算设备在推理过程中使用，例如，以对患者的新图像数据执行分割。

图4B是训练分割模型的方法400的流程图，该分割模型被实现为神经网络，诸如，例如CNN。可以训练神经网络模型以调节神经网络模型的参数，从而能够基于从图像数据的不同部分提取的特征对这些部分进行分类。被训练后的神经网络可以被用于分割多个图像，例如患者解剖结构的2D扫描，并组合这些图像以形成解剖结构的3D模型。

方法400可以包括在431，从训练数据集中读取一批图像数据。如上所述，训练数据集可以包括患者解剖结构的输入图像和经标记的(例如，预分割的)患者解剖结构的相对应的输出图像。可以从训练数据集中一次读取多批(batches of)图像，并使用神经网络进行处理。在一些实施例中，该多批图像可以包括经增强的图像，如上所述。例如，特定输入图像和输出图像可以经受一个或更多个变换或其他增强技术，并且经变换或增强的图像可以被包括在用于训练神经网络的训练数据集中。

在432，一批图像可以以标准的前向传递(forward pass)通过神经网络的层。在434，前向传递可以返回输出或结果，这些输出或结果可以用于计算损失函数值。损失函数或目标函数表示用于评估期望输出(如对应于输入图像的输出图像中所反映的期望输出)与神经网络输出之间的差异的函数。损失函数的值可以指示期望输出与神经网络输出之间的该差异的度量。在一些实施例中，差异可以使用相似性度量来表示，相似性度量包括例如均方误差、平均误差或分类交叉熵(categorical cross-entropy)。在436，损失函数的值可用于计算误差梯度，误差梯度又可用于更新神经网络的一个或更多个权重。在随后通过神经网络时，可以更新权重以减小损失函数的值。

在438，计算设备可以确定训练是否已经循环通过完整的训练数据集，即，该轮次是否完成。如果该轮次已经完成，则该过程可以继续到450，在450，验证数据集被用于评估经训练的分割模型的性能度量。否则，该过程可以返回到431，在431读取下一批图像。

图5是根据一些实施例的使用经训练的分割模型的推理过程的方法500的流程图。方法500可以包括在510，从患者图像数据中读取一批图像。这些图像可以是所获取的患者解剖结构的新图像。图像可以是例如解剖结构的3D体积的2D扫描。在一些实施例中，图像可以包括CT图像、MRI图像和/或X射线图像。

可选地，在520，可以预处理一个或更多个图像。例如，如上文参照图3A所述，可以使用用于对图像数据进行去噪的模型来对一个或更多个图像去噪。可替代地或附加地，可以使用其他技术(例如，滤波、平滑、裁剪、归一化、调整大小等)来处理一个或更多个图像。如上文参照图4A和图4B所述，可以使用与在训练过程中用于处理图像相同的参数来预处理一个或更多个图像。在一些实施例中，推理时间失真(inference-time distortion)可以被施加到一个或更多个图像，为每个输入图像创建预定义数量的失真图像。这些失真的图像可以创建对于亮度、对比度、取向等的微小变化稳健的推理结果。

在530，图像数据(例如，经处理和/或失真的图像)可以被输入到分割模型中。在分割模型被实现为CNN的情况下，输入图像可以被传递通过CNN的层。分割模型可以返回关于图像数据的输出。可选地，在540，分割模型的输出可以被后处理，例如使用线性滤波(例如，高斯滤波)、非线性滤波、中值滤波或形态学开闭运算(morphological opening orclosing)进行后处理。

在一些实施例中，分割模型的输出可以包括图像数据中的每个图像的每个像素(或像素组)的每个类别的概率。例如，分割模型可以被配置成将图像数据分类成多个类别中的一个类别。因此，分割模型可以被配置成对于图像中的每个像素或像素组，生成该像素或像素组属于多个类别中的任何一个类别的概率。该多个类别可以对应于解剖结构的多个解剖部位。可选地，在550，可以基于每个类别的概率为多个类别中的每个类别生成概率图。

在560，如果需要处理更多批图像数据，则方法500可以返回到510并读取另一批图像数据。可替代地，如果已经处理了所有批次(即，已经对所有批次执行了推理)，则在570，可以例如基于分割模型的输出(诸如，例如图像的概率图和/或每个类别的概率)，生成患者解剖结构的3D解剖模型。

在580，3D解剖模型和/或分割模型的输出可以被存储在存储器(例如，存储器230)中。在一些实施例中，3D解剖模型可以被转换或被用于生成患者解剖结构的虚拟表示，诸如，例如多边形网格表示。虚拟表示(例如，体积和/或网格表示)的参数可以在颜色、不透明度、网格抽取(mesh decimation)等方面进行调整，以向用户(例如，外科医生)提供患者解剖结构的不同视图。在590，3D解剖模型的2D或3D图像可以例如在外科手术导航系统(例如，外科手术导航系统170)的显示系统上可视化。

虽然在图5中没有描绘，但经分割的图像数据可以被处理以分析患者的解剖结构的一个或更多个特征。例如，可以分析经分割的解剖结构以执行识别(例如，脊柱的不同水平的水平识别)、几何测量和/或评估、和/或尺寸测量和/或评估。脊柱解剖结构的水平识别的示例在公布于2020年10月15日、公开号为2020/0327721的美国专利申请中进行了描述，该美国专利申请的内容通过引用并入本文。

在一些实施例中，本文描述的系统和设备可以使用解剖结构的先前获得的分割数据和/或手动分割数据来训练分割模型。在一些实施例中，本文描述的系统和设备可以训练第一分割模型，并随后使用第一分割模型来生成可用于训练第二分割模型的分割数据。第一分割模型和第二分割模型在被训练后可以在推理过程中被用于分割患者解剖结构的不同部位。例如，第一分割模型可以被用于分割第一类型的解剖结构(例如，骨骼结构)，并且第二分割模型可以被用于分割第二类型的解剖结构。在一些实施例中，本文描述的分割模型可以被训练以处理多维(例如，3D)解剖数据。参照图书6和图7描述这种分割和推理过程的进一步细节。

图6是根据一些实施例的训练分割模型的方法600的流程图。方法600可以类似于上述方法400，但是可以包括涉及相邻解剖结构的初始分割和图像数据的多维(例如，3D)区域的处理的步骤。

方法600可以包括例如从数据库或存储器(例如，存储器230)读取来自训练数据集的一组图像。该组图像可以是从诸如CT或MRI扫描仪的术前或术中成像设备获得的DICOM(医学中的数字成像和通信)图像。图像可以表示3D解剖结构的连续切片(即，2D图像)，并且可以以图像的3D扫描体积的形式被接收。该组图像可以与包括与3D解剖结构的不同解剖部位相关联的标记的输出图像配对。输出图像可以表示经训练的分割模型的期望输出。

图像可以被标记或分割。在一些实施例中，在640，图像可以可选地由人类操作者(例如，技术人员、医生、放射科医师等)分割。例如，人类操作者可以在3D扫描体积中手动标出一个或更多个解剖部位。人类操作者可以使用不同的颜色或标志来指示不同的感兴趣的解剖部位。在一些实施例中，在620，图像可以可选地由经训练的分割模型处理，以执行对相邻解剖部位或结构的分割。例如，经训练的分割模型可以被训练成将图像数据分类成表示相邻解剖部位或结构的一个或更多个类别。相邻解剖部位可以是与一个或更多个感兴趣的解剖部位或结构相邻(例如，靠近)的部位。例如，经训练的分割模型可用于识别与一个或更多个感兴趣的软组织结构(例如，神经、椎间盘等)相邻的骨骼结构(例如，椎骨体、椎弓根、横突、椎板和/或棘突)。在630，由经训练的分割模型输出的分割数据可以可选地与3D扫描体积组合。在一些实施例中，分割数据可以例如手动地或自主地与3D扫描体积合并。在一些实施例中，可以基于分割模型的输出来修改3D扫描体积，例如，以采取颜色编码的3D体积或(例如，使用不同的颜色、图案、标志等)经标记的3D体积的形式。在一些实施例中，分割数据和来自3D扫描体积的图像数据可以保持分离，并且这两者可以一起被输入到分割模型中以用于进一步处理。例如，分割模型(例如，神经网络或其他算法)可以接收单独的3D扫描体积图像和分割数据图像，并自动地将两者关联在一起，以产生具有更高维度的经处理的3D扫描体积。

在650，可以定义训练数据的一个或更多个区域。在一些实施例中，可以使用预定义的参数(诸如，例如区域的大小、多维步幅的值等)来定义或选择图像数据的连续多维(例如3D)区域。图像数据的多维区域可以从3D扫描体积中提取，3D扫描体积可以具有手动和/或自主分割数据。在脊柱分割的情况下，图像数据的每个多维区域可以包括每个椎骨水平的体积及其周围组织的部位，包括例如神经系统组成部分、肌肉、血管、韧带、椎间盘、关节、脑脊液等。图像数据的区域可以包括(1)关于沿着多维轴(例如，X轴、Y轴和X轴)的体素分布的信息、(2)关于一个或更多个解剖部位的外观信息以及(3)指示相邻解剖部位的分类的分割数据。

可选地，在660，图像数据的区域可以被调整大小，例如，以实现用于训练分割模型的预定义的大小。在一些实施例中，图像数据的区域可以被调整大小以实现图像数据的所有区域的相同大小。在670，可以增强训练数据集。训练数据集的增强可以类似于参照图4A中的430所描述的训练数据集的增强。例如，图像数据的每个多维区域及其相对应的图像数据的输出多维区域可以经受相同的增强技术，例如以下中的一种或更多种：旋转、平移、缩放、剪切、水平或竖直翻转、多维网格变形、高斯和/或泊松分布的加性噪声和高斯模糊、亮度或对比度校正等。这些增强技术可以重新映射多维区域中的体素位置，并改变解剖结构的外观。类似地，与图像数据的多维区域相关联的手动和/或自主分割数据可以被重新映射以匹配新的解剖结构的形状。在增强过程中，可以使用插值算法(例如，双三次、多项式、样条、最近邻或任何其他插值算法)，针对包含关于解剖结构外观的信息的体素的新位置，重新计算每个体素的值。图像数据的增强区域可以被包括作为训练数据集的一部分。

在680，训练数据集可以被用于训练分割模型以识别一个或更多个感兴趣的解剖部位。感兴趣的解剖部分可以不同于在620处先前分割的解剖部位，但与该先前分割的解剖部位相邻或靠近。例如，如果相邻解剖结构是脊柱的骨骼结构，感兴趣的解剖部位可以是神经、椎间盘或脊柱区域中的其他解剖结构。分割模型的训练可以类似于参照图4A中的440所描述的训练。例如，训练可以包括将图像数据的多维区域输入到分割模型中，并且最小化分割模型的输出与对应于图像数据的输入区域的图像数据的输出区域(包括标记)之间的差异。在一些实施例中，分割模型可以是CNN模型，并且CNN模型可以根据图4B中描绘的示例过程来训练。在一些实施例中，选择-参加-转移(SAT)门或生成式对抗网络(GAN)可用于提高分割模型输出的质量。

虽然在图6中没有描绘，但是方法600可以可选地包括，例如，通过应用计数器来对训练迭代的数量进行计数，和/或通过评估一个或更多个性能度量，确定分割模型何时被充分训练。这些步骤在上文参照图4A进行了描述。在690，一旦分割模型的训练完成，分割模型可以在690存储在例如存储器(例如，存储器230)中。经存储的分割模型可以由计算设备(例如，计算设备110、210)在推理过程中使用，例如，以对患者的新图像数据执行感兴趣的解剖部位的分割。

图7是根据一些实施例的使用经训练的分割模型的推理过程的方法700的流程图。方法700可以类似于上述方法400，但是可以包括涉及相邻解剖结构的初始分割和图像数据的多维(例如，3D)区域的处理的步骤。

在710，方法700可以包括例如从数据库或存储器(例如，存储器230)读取患者解剖结构的一组图像。在一些实施例中，图像可以表示3D解剖结构的连续切片(即，2D图像)，并且可以以图像的3D扫描体积的形式被接收。在一些实施例中，来自不同源(例如，不同成像设备160)的图像数据可以被合并或被组合在一起，以提供患者解剖结构的更全面的图像数据。参照图19描述了关于组合来自不同成像设备的图像数据的进一步细节。在一些实施例中，图像数据可以包括以下中的一个或更多个：CT数据、MRI数据和X射线数据以及它们的组合等。

可选地，在720，与感兴趣的解剖结构相邻(例如，靠近)的解剖结构可以使用初始分割模型进行分割。例如，用于分割骨骼结构的分割模型可用于对3D扫描体积执行分割，以识别骨骼结构内的解剖部位(例如，椎骨体、椎弓根、横突、椎板和/或棘突)。虽然在图7中没有描绘，但是可以理解，3D扫描体积的图像可以在被输入到用于分割相邻解剖结构的分割中之前被调整大小或处理(例如，去噪)。

在730，分割模型的输出可以可选地与3D扫描体积组合(例如，合并)。将提供关于解剖结构的外观的信息的3D扫描体积与来自相邻解剖结构的分割模型的输出组合，可以增加用于分割感兴趣的解剖部位或结构的后续推理过程中使用的信息量。这种组合可以扩展输入数据的维度，并且可以容易进行对感兴趣的解剖部位或结构的分割。计算设备(例如，计算设备110、210)可以通过基于输出分割数据修改输入图像数据(例如，以采取颜色编码的3D体积的形式)和/或通过将3D扫描体积和分割数据分别引入另一个分割模型(例如，神经网络)来组合3D扫描体积和输出分割数据，从而在模型内内部地产生更高维度的信息。附加地或可替代地，在执行对感兴趣的解剖部位或结构的后续分割之前，不在感兴趣的解剖部位或结构内的经分割的相邻结构可以从感兴趣的区域中被排除。这可以减少计算工作量和/或提高感兴趣的解剖部位或结构的后续分割的效率。

在740，可以基于预定义的参数(例如，区域的大小或多维步幅)来定义在患者3D扫描体积中的多维(例如，3D)感兴趣区域(ROI)。在一些实施例中，可以定义重叠的ROI，而在其他实施例中，可以定义非重叠的ROI。根据应用要求和/或输入图像数据的大小或类型，可以调整预定义的参数。多维ROI的维数可以依赖于在执行对感兴趣的解剖部位或结构的分割之前从不同源获得的信息的量。例如，来自医学成像源(例如，成像设备160)的3D信息可以与(例如，来自用于分割相邻解剖部位或结构的分割模型、来自另一成像源等的)其他3D信息组合，以产生可以被输入到用于分割感兴趣的解剖部位或结构的分割模型中的更高维度的信息(例如，四维信息)。在一些实施例中，来自医学成像源的信息可以随时间收集并被组合以产生更高维度的信息。在一些实施例中，来自不同成像源(例如，CT、MRI、X射线)的信息可以被组合以产生更高维度的信息。

可选地，在750，可以调整ROI的大小，使得它们具有适合于由用于分割感兴趣的解剖部位或结构的分割模型处理的预定义的大小。分割模型可能已经使用具有预定义大小的图像数据的区域进行了训练(参见图6的660，如上所述)，且因此，为了使分割模型执行对感兴趣的解剖部位或结构的分割，可能需要调整来自患者3D扫描体积的ROI的大小。在760，多维ROI可以由经训练的分割模型处理，以分割感兴趣的解剖部位或结构。计算设备可以被配置成将ROI输入到分割模型中，使得分割模型产生定义或指示感兴趣的解剖部位或结构的3D大小和形状的输出。在一些实施例中，可以使用多个分割模型来处理ROI以产生分割数据，这些分割数据可以如下文参照780所述进行组合。例如，用于分割MRI图像数据的分割模型可以被用于分割一批MRI扫描，并且用于分割CT图像数据的不同分割模型可以被用于分割一批CT扫描，并且如下所述，可以组合由这两个分割模型输出的分割数据。

如果还存在未被处理的另外批次的图像数据(770：否)，则该过程可以返回到710以读取另一批图像数据并对新的一批图像数据执行分割。可替代地，如果已经处理了所有批次的图像数据(770：是)，则该过程可以进行到780。在780，例如通过确定3D分割数据中的局部重叠体素并组合与这些体素相关联的分割数据，可以可选地组合(例如，在重叠ROI上获得的)单独的分割输出。在一些实施例中，计算设备可以实现提升算法(boostingalgorithm)来组合用于重叠体素的分割数据。在一些实施例中，计算设备可以实现引导聚集或装袋算法，以组合用于重叠体素的分割数据。在一些实施例中，计算设备可以实现任意数量的模型平均方法，例如均值或中值函数等。通过组合关于同一体素(或体素组)的多个分割输出，其中每个分割输出与不同的预测条件(例如，输入、模型权重、参数等)相关联，本文描述的系统和设备可以产生更高质量的分割输出，该分割输出更准确地预测正确的体素分类。

可选地，在782，分割输出(例如，单独的或组合的分割输出)可以被后处理，例如通过用预定义的一组滤波器和/或参数滤波，以用于加强经分割的感兴趣的解剖部位或结构的适当形状、位置、大小和连续性。在784，可以分析分割输出以针对每个体素或体素组从表示感兴趣的解剖部位或结构的多个类别中识别类别。在790，可以基于所识别的感兴趣的解剖部位或结构来生成3D解剖模型。虽然在图7中没有描绘，但是3D解剖模型可以被存储在存储器(例如，存储器230)中和/或用于(例如，在外科手术导航系统170中)生成用于可视化的患者解剖结构的虚拟表示。参照图5中的580-590描述了这些步骤。

本文描述的分割模型可用于处理几种不同类型的图像数据，包括例如CT图像数据、X射线图像数据和MRI图像数据。以下部分描述了对这些图像类型中的每种图像类型执行分割的示例。

3.CT分割

如上所述，CT成像设备通常用于非侵入性地捕获解剖结构的图像，以用于诊断目的。CT成像设备使用X射线源产生扇形光束，这些光束被用于照射患者身体的截面。成像设备内的检测器可以记录离开被照射的患者身体截面的X射线，并且可以获取患者身体的薄截面的图像。图像可以表示患者身体的连续2D扫描，这些2D扫描可以被组合在一起以提供患者身体的3D体积的图像数据。

本文描述的系统、设备和方法可以被配置成执行对CT图像或扫描的分割。例如，计算设备(例如，计算设备110、210)可以被配置成使用分割模型来处理一个或更多个CT扫描，以对CT扫描的每个像素(或像素组)进行分类。这种分类可用于识别感兴趣的不同解剖部位和/或结构。

图8A描绘了患者脊柱的CT扫描800的示例。CT扫描800可以是患者解剖结构的去噪图像。如上所述，计算设备(例如110、210)可以接收患者解剖结构的原始CT扫描，并使用去噪模型(例如去噪模型300)从原始CT扫描中去除噪声。在一些实施例中，去噪模型可以是CNN模型，该CNN模型被训练成识别使用特定成像设备产生的图像所特有的噪声。例如，可以调节CNN模型以去除特定CT成像系统、特定品牌的CT成像系统和/或具有特定设置的CT成像系统所特有的噪声。CT扫描800可以包括对患者的椎骨的扫描。

CT扫描800可以例如参照图5所述，使用分割模型(例如，分割模型350)来处理，并且可以产生输出810。分割模型可以被训练成将椎骨的骨骼结构分割成一个或更多个解剖部位。特别地，分割模型可以被配置成将CT扫描800的每个像素或像素组分类成多个类别中的一个类别。多个类别可以与多个解剖部位(包括例如棘突811、椎板812、关节突813、横突814、椎弓根815和/或椎骨体816)相关联。如图8B所描绘的，分割模型的输出810可以包括使用不同视觉特征(例如，不同的颜色、图案或其他特征)表示的不同解剖部位。

在一些实施例中，CT扫描800可以是患者解剖结构的3D区域的3D扫描体积的一部分。例如，CT扫描800可以是整个椎骨的3D扫描体积的一部分。可以使用被训练成识别椎骨的不同解剖部位的分割模型(例如，分割模型350)来处理椎骨的CT扫描。分割模型的输出可以被用于生成椎骨的3D模型820，包括不同解剖部位的分割信息。参照图5描述了分割3D图像数据和生成3D解剖模型的进一步的细节。

在一些实施例中，包括一系列CT扫描的3D扫描体积可以首先使用第一分割模型来分割，以识别相邻的解剖部位和/或结构，并且然后与分割模型的输出组合，以增加被提供给第二分割模型的信息，例如以用于训练或推理目的。参照图6和图7描述了这些过程。例如，图9A描绘了示例CT扫描910，其表示患者的脊柱周围区域的切片。CT扫描910可以属于患者的脊柱周围区域的3D扫描体积。计算设备(例如，计算设备110、210)可以读取一组图像，包括CT扫描910。计算设备可以例如使用用于分割相邻解剖部位和/或结构的经训练的分割模型，对该组图像执行初始分割，并获得针对该组图像中的每个图像的输出。图9B描绘了关于CT扫描910的这种输出(输出920)的示例。

相邻解剖部位和/或结构可以表示与一个或更多个感兴趣的解剖部位和/或结构相邻(例如，靠近)的那些部位和/或结构。例如，在一些情况下，感兴趣的解剖结构可以包括软组织结构，例如神经、椎间盘、肌肉等，而相邻的解剖结构可以包括与神经、椎间盘、肌肉等相邻的骨骼结构。因此，被训练成分割骨骼结构的第一分割模型可用于处理一组图像(包括例如CT扫描910)中的每个图像，并针对该组图像中的每个图像产生表示对应于骨骼结构的不同部位的单独区域的输出(包括例如对应于CT扫描910的输出920)。如图9B所描绘的，对应于CT扫描910的输出920可以包括不同的着色、图案、标志或表示骨骼结构的不同部位(例如椎骨体926、椎弓根925、横突924、椎板923和/或棘突921)的其他视觉特征。

在一些实施例中，来自CT扫描910的信息和来自分割模型的输出920的分割数据可以被组合(例如，合并)成示例图像930，如图9C所描绘的。合并的图像930可以是颜色编码的CT扫描(DICOM)图像或基于其他视觉特征(例如，图案、标志等)的编码的CT扫描图像的形式。参照方法600和700，分别在630和730处描述了合并CT图像数据和分割数据的进一步的细节。合并图像930然后可用于训练过程或推理过程，如图6和图7中所述。在一些实施例中，CT扫描910和输出920可以被保存为单独的图像，这些图像可以一起输入到后续的分割模型中，后续的分割模型可以使用来自CT扫描910和输出920的信息来训练推理。

在一些实施例中，图像数据的多个多维区域可以在例如使用CT成像系统(或其他成像系统)捕获的3D图像数据中进行定义。图像数据的多维区域可用于训练过程或推理过程，如图6和图7所述。例如，图像数据的多维区域可以被输入到分割模型中，并使用分割模型进行处理，以识别一个或更多个感兴趣的解剖部位和/或结构。图像数据的多维区域可以包括取自包括在3D扫描体积中的CT扫描的信息和/或由被训练以识别感兴趣的解剖部位和/或结构的相邻解剖部位和/或结构的分割模型所输出的分割数据。在一些实施例中，图像数据的多维区域可以彼此相邻而不重叠地连续定义，如图10A和图10B中用区域1001、1002、1003所描绘的。在一些实施例中，图像数据的多维区域可以用重叠部分来定义，如图11A和图11B中用区域1101、1102、1103所描绘的。每个区域的大小和多维步幅可以确定图像数据的区域是否重叠。例如，在图10A和图10B中，步幅等于图像数据的区域的一个维度，且因此区域1001、1002、1003不重叠。可替代地，在图11A和图11B中，步幅小于图像数据的区域的一个维度，且因此区域1101、1102、1103与它们的相邻区域重叠。

在一些实施例中，多个多维区域可以被传递到分割模型的输入层，以执行训练过程或推理过程，如参照图6和图7所述。

在一些实施例中，经分割的CT图像可用于生成患者解剖结构的3D模型，该3D模型可以被用于选择性地可视化患者解剖结构的不同部位。在一些实施例中，可以处理经分割的CT图像数据以分析患者解剖结构的一个或更多个特征。例如，可以分析经分割的解剖结构以执行识别(例如，脊柱的不同水平的水平识别)、几何测量和/或评估、和/或尺寸测量和/或评估。

4.X射线分割

X射线成像可以提供关于患者解剖结构中骨骼结构的详细信息。例如，X射线成像可用于分析脊柱，包括对脊柱内的各种骨骼结构执行测量。传统上，X射线图像由放射科医师解释。放射科医师可以解释扫描以评估脊柱的特定区域(例如，颈椎、胸椎、腰椎等)。这些评估可以例如根据特定放射科医师的专业知识和他们对X射线图像的主观分析而不同。相反，本文描述的系统、设备和方法可以提供用于从X射线图像中提取关于脊柱(或其他患者解剖结构)的不同部分的信息的自主方法。例如，如上所述，计算设备(例如，计算设备110、210)可以使用一个或更多个分割模型来处理X射线图像，以分割图像的不同部分(例如，将图像的每个像素或像素组分类成对应于不同解剖部位的多个类别中的一个类别)。

本文描述的系统、设备和方法也可以适用于处理大批量的X射线图像，从而提供评估X射线图像中包含的信息的更有效和更稳健的方法。在一些实施例中，X射线图像可以与其他类型的图像(例如，CT扫描、MRI扫描)组合，以产生更高维度的数据，这可以导致对患者解剖结构内的不同解剖部位进行更准确的分割和/或识别。本文描述的系统、设备和方法可以被设计成加速诊断过程并降低人为错误和/或主观性的风险。

如上文参照图5所述，计算设备(例如，计算设备110、210)可以被配置成根据2D X射线成像执行分割。与其他类型的成像数据(其中体积3D图像数据可以在一系列扫描中获得)相反，X射线图像在展平的2D图像中提供人体解剖结构的体积信息。因此，被配置成分割X射线图像的分割模型必须适于确定X射线图像的每个像素的多个重叠组织。

可以使用包括展平的3D图像数据的输入图像来训练用于分割X射线图像的分割模型。在一些实施例中，可以使用患者解剖结构的X射线图像来进行训练，其中每个X射线图像与多维标记图相关联。多维标记图可以识别X射线图像中不同的、重叠的解剖部位。在一些实施例中，可以使用数字重建或数字生成的X射线图像来进行训练，其中每个重建的X射线图像可以与多维标记图相关联。重建的X射线图像可以对应于例如矢状视图和冠状视图中的一个或更多个。

图12是生成用于训练X射线分割模型的训练图像的方法1200的流程图。方法1200可以包括在1220，从例如使用CT成像和/或MRI成像捕获的3D图像数据生成数字重建的2D X射线图像或射线照片。例如，3D体积CT扫描可以被展平以形成包括重叠组织的数字重建的2D射线照片(例如，人工X射线)。在一些实施例中，可以从一组3D扫描体积生成一个或更多个矢状面和冠状面的数字重建的2D射线照片。重建的2D射线照片可以与将标记施加于不同的重叠组织的多维标记图相关联。

出于说明的目的，图13A描绘了患者解剖结构的3D图像1310的示例。3D图像1310可以表示使用来自一组2D(DICOM)CT扫描的射线投射渲染的3D CT图像。在一些实施例中，3D图像1310内的信息可以沿着选定的轴平均，以创建数字重建的2D平均图像。在一些实施例中，计算设备可以采用射线投射(例如，带加法或平均投影)来以正交方式组合来自3D体积的信息，但是模拟X射线图像失真。传统的X射线是从源点生成的，源点发出(bean)射线以穿过组织到达X射线接收板。从源点到板的效果可以通过射线投射来模拟。这种技术可以为训练分割模型提供更具代表性或更准确的数字重建的2D射线照片。图13B描绘了使用图13A的3D图像1310生成的重建的2D射线照片1320的示例。数字重建的2D射线照片1320可以对应于例如沿着选定的轴平均的3D图像1310的展平版本。

重建的2D射线照片1320可以与多维标记图相关联。例如，计算设备可以基于3D图像体积中提供的信息生成多维标记图。图14描绘了对应于图13B中描绘的2D射线照片1320的多维标记图1410的示例。多维标记图1410可以包括多个标记1412-1422，每个标记与患者解剖结构内的不同解剖部位相关联。每个标记1412-1422可以在单独的2D图像(例如，阵列)中提供。每个标记1412-1422可以包括解剖部位的名称、位置、尺寸和时间戳中的一个或更多个。

返回参照图12，例如，可以通过在1230变换3D图像数据来增强训练数据，并且在1240使用经变换的3D图像数据来生成附加的重建的2D射线照片。例如，可以使用一种或更多种增强技术来变换3D体积CT图像数据，例如，以模拟不同的旋转、姿势、取向等。增强技术可以包括体积修改技术，诸如，例如旋转、相机光圈角度、窗位校正(window-levelcorrection)、X射线参数、跃迁(transition)、共享、缩放、亮度和对比度校正、伽马校正、它们的组合等。

在1240，计算设备可以使用经变换的或经增强的3D图像数据来生成附加的数字重建的2D射线照片。图15A和图15B提供了不同的数字重建的2D射线照片的示例。图15A是基于原始3D图像数据生成的数字重建的2D射线照片1510，以及图15B是基于经变换的3D图像数据生成的数字重建的2D射线照片1520。特别地，用于生成2D射线照片1520的3D图像数据通过将原始3D图像数据旋转设定的角度来进行变换。

重建的2D射线照片，例如在1220和/或1240重建的2D射线照片，可以单独被使用或与X射线图像一起被使用，以训练分割模型来分割X射线图像，如参照图4A和图4B所述。例如，在图4A的440，经重建的2D射线照片和/或X射线图像可以被输入到分割模型中，并被分割模型处理以生成输出。例如，可以使用目标函数或损失函数将输出与关联于输入图像的多维标记图(代表期望的输出)进行比较。以及，可以调整分割模型内的一个或更多个权重或参数，以在训练的后续迭代中减小损失函数的值。在一些实施例中，重建的2D射线照片和多维标记图中的一个或更多个可以被用于训练分割CNN模型，如参照图4B所述。

在一些实施例中，被训练成分割X射线图像的分割模型可以被用于产生分割输出1620，如图16B所描绘的。图16A提供了患者脊柱的2D X射线1610的示例。2D X射线1610可以被输入到被训练成处理X射线图像的分割模型中，并且使用分割模型进行处理以产生提供重叠的组织分割的输出1620。例如，输出1620可以包括多个2D阵列或图像，每个2D阵列或图像与不同的解剖部位相关联。2D阵列可以彼此重叠，以从X射线图像提供重叠的组织分割。

本文描述的分割模型可以使用3D体积图像数据来训练，且因此可以被配置成分割解剖结构中可能无法通过视觉检查2D X射线来识别的部位。例如，图17A是具有对于人来说可能难以视觉辨别的重叠的解剖部位的示例X射线图像1710。然而，使用3D图像数据训练的分割模型可以被配置成从2D X射线1710的像素中提取重叠组织的形状和其他特征，以能够分割2D X射线1710内的不同解剖部位。分割模型然后可以返回输出1720，如图17B所描绘的，其中多个重叠标记被施加到2D X射线1710。与人类分析师相比，用大量经标记的X射线(包括从多维图像数据生成的X射线)训练分割模型可以提高标记质量。

在一些实施例中，用于分割X射线图像的分割模型可以是CNN模型，例如参照图3B描述的CNN模型。CNN模型可以具有U-Net架构。通常，当使用CNN执行分割时，CNN包含具有激活函数(例如，Softmax激活函数)的单个输出层，该单个输出层对于为图像数据内的每个像素或体素提供单个结果(即，单个标记)可能是足够的。例如，当分割患者解剖结构的2D扫描和/或3D图像数据时，可以有多个类别或标记(例如，椎骨体、椎弓根、椎板等)并且图像数据中的每个像素或体素可以与代表多个标记之一的单个值相关联。相反，当分割X射线图像时，X射线图像中的单个像素可以表示多个重叠的组织。因此，被训练成分割X射线图像的CNN模型必须被配置成定义针对X射线图像的每个像素的输出，并分别确定每个像素属于多个类别中的每一个类别的概率。在一些实施例中，相同的CNN架构(例如，如图3B所描绘的)可以被用于对X射线图像进行分类，但是激活函数可以从Softmax改变为例如线性或sigmoid。这种模型可能需要分割输出的额外后处理，例如，以确定CNN概率的阈值，超过该阈值可以确定预测的标记是正确的。例如，对于X射线图像的每个像素，具有大于预定义阈值(例如，大约50％)的概率的每个标记或类别可以被确定为正确的，并且因此与该像素相关联。在一些实施例中，可以使用不同的CNN架构，该CNN架构包括具有Softmax激活函数的多个输出层(例如，每个标记或类别一层)。然后，CNN模型可以经由该多个输出层来确定是否将标记分配给2D X射线图像的特定像素。CNN模型可以分别针对每个标记区分当前像素是否属于该标记。

在一些实施例中，经分割的X射线图像可用于生成患者解剖结构的3D模型，该3D模型可用于选择性地可视化患者解剖结构的不同部位。在一些实施例中，可以处理经分割的X射线图像数据以分析患者解剖结构的一个或更多个特征。例如，可以分析经分割的解剖结构以执行识别(例如，脊柱的不同水平的水平识别)、几何测量和/或评估、和/或尺寸测量和/或评估。

5.MRI分割

MRI图像数据可以包括患者解剖结构的2D扫描，该2D扫描通常沿着多个平面，例如轴面和矢状面。对MRI图像的分割和标记可以类似于参照图5和图7描述的方法，但是结合了沿着多个平面(例如，轴面和矢状面)的分割。

在一些实施例中，对MRI图像的分割可以包括分割成比CT图像、X射线图像等更大数量的类别。MRI图像可以包括关于软组织的信息，且因此提供更多信息用于对MRI图像内的像素进行分类和/或标记。在示例实现方式中，MRI分割模型可以将MRI图像内的每个像素(或像素组)分类成十六(15)个类别中的一个：[1]椎骨体(脊柱)、[2]椎弓根(脊柱)、[3]棘突(脊柱)、[4]横突(脊柱)、[5]上关节突(脊柱)、[6]下关节突(脊柱)、[7]椎板(脊柱)、[8]骨盆、[9]肋骨、[10]脊髓(神经)、[11]脊神经(神经)、[12]脂肪(神经)、[13]韧带(神经)、[14]纤维环(椎间盘)和[15]髓核(椎间盘)。

图18A-图18F提供了MRI图像及其分割输出的示例。如图所描绘的，分割输出可以包括多个类别，如图例1802中详述的。图18A、图18C和图18E是使用MRI成像产生的患者解剖结构的图像。图18B、图18D和图18F是分别对应于图18A、图18C和图18E的MRI图像的经标记的解剖部位的图像。

图18A描绘了可以使用分割模型(例如，模型350)处理的矢状面MRI图像1810，并且图18B描绘了由分割模型响应于处理MRI图像1810而生成的输出1812。输出1812可以是经标记的矢状面图像1812，其具有不同的着色、阴影、图案、标志或描绘患者解剖结构内不同解剖部位的其他特征。图18C和图18E分别描绘了可以使用分割模型处理的轴面MRI图像1820、1830，并且图18D和图18F分别描绘了由分割模型响应于处理图像1820、1830而生成的输出1822、1832。

在一些实施例中，用于分割MRI图像的分割模型可以是使用例如参照图3B所描述的U-Net架构的CNN模型。在一些实施例中，CNN模型可以被配置成同时处理图像数据的两个平面(例如，矢状面和轴面)。通常，当使用CNN执行分割时，CNN将单个平面(例如，轴面)中的图像数据切片作为输入。然而，MRI图像数据通常包括不同的扫描，包括在多个平面(例如，轴面和矢状面)中的视图。因此，为了处理MRI图像数据，可能希望使用能够同时处理沿着多个平面的图像的CNN模型。在实施例中，CNN模型可以包括多个输出层，第一输出层用于轴面图像，而第二输出层用于矢状面图像。在这样的实施例中，如果输入图像是轴向的，则CNN模型可以在第一输出层上产生结果，以及如果输入图像是矢状的，则网络可以在第二输出层上产生结果。这种方法可以提供分割数据，但也提供关于输入图像的平面的信息。

在一些实施例中，经分割的MRI图像可用于生成患者解剖结构的3D模型，该3D模型可用于选择性地可视化患者解剖结构的不同部位。然而，3D体积的MRI图像扫描经常间隔约5mm或更大的距离。这种间隔会使得难以生成用于可视化的解剖结构的3D模型。因此，在一些实施例中，MRI图像数据可以与图像数据的其他源(例如，CT扫描或X射线扫描)组合，以生成患者解剖结构的3D模型。

在一些实施例中，可以处理经分割的MRI图像数据以分析患者解剖结构的一个或更多个特征。例如，可以分析经分割的解剖结构以执行识别(例如，脊柱的不同水平的水平识别)、几何测量和/或评估、和/或尺寸测量和/或评估。

6.组合分割

在一些实施例中，使用多个不同成像技术产生的图像数据可以被组合以生成3D解剖数据和/或分割数据。例如，CT图像数据可以比MRI图像数据更密集。特别地，CT切片之间的距离可能小于3D解剖结构的MRI切片之间的距离。因此，在一些实施例中，可以使用CT图像数据来填充MRI图像数据中的间隙。例如，图19描绘了患者解剖结构的组合MRI和CT图像数据的示例渲染1900。图像1900可以包括与多个轴面MRI图像1920a-1920f组合的CT矢状投影1910。计算设备(例如，计算设备110、210)可以被配置成使用密集CT图像数据1910和MRI图像数据1920a-1920f来生成解剖结构(例如，脊柱)的3D模型。

7.椎间盘分割

在一些实施例中，本文描述的系统、设备和方法可以被配置成分割椎间盘。如上所述，用于分割患者解剖结构的分割模型可以被配置成将图像的部分分类或标记为一个或更多个解剖部位。在一些实施例中，感兴趣的解剖部位可以包括椎间盘。

图20A是包括椎间盘的患者解剖结构的轴面上的2D图像2010(例如，CT或MRI扫描)。计算设备(例如，计算设备110、210)可以使用分割模型(例如本文描述的任何分割模型(包括例如参照图5描述的分割模型))来识别椎间盘2022的形状。分割模型可以生成例如以不同的颜色、图案、标志等识别椎间盘2022的输出2020。

虽然各种发明实施例已经在本文中被描述和示出，但是本领域的普通技术人员将容易设想多种其他的用于执行功能和/或获得在本文中描述的结果和/或一个或更多个优点的手段和/或结构，并且这样的变型和/或修改中的每个都被视为在本文描述的发明实施例的范围内。更一般地，本领域的技术人员将容易地意识到，本文描述的所有的参数、尺寸、材料和配置都打算是示例性的并且实际的参数、尺寸、材料和/或配置将取决于发明教导所应用于的一个或更多个具体的应用。本领域的技术人员将认识到，或者能够仅使用例行实验来断定，本文描述的具体发明实施例的许多等同物。因此要理解的是，前述实施例仅以示例的方式提供并且在所附的权利要求和其等效物的范围内，发明实施例可以以不同于所具体描述和要求保护的内容的方式被实践。本公开的发明实施例针对本文描述的每个单独的特征、系统、制品、材料、试剂盒和/或方法。此外，两个或多于两个这样的特征、系统、制品、材料、试剂盒和/或方法的任何组合——如果这样的特征、系统、制品、材料、试剂盒和/或方法不是相互矛盾的话——也被包括在本公开的发明范围内。

此外，各种发明概念可以被体现为一种或更多种方法，其示例已经被提供。作为方法的一部分所执行的动作可以以任何合适的方式排序。相应地，可以构建这样的实施例，其中动作以不同于示出的顺序来执行，这可以包括同时执行一些动作，即使这些动作在示出的实施例中显示为顺序动作。

如本文所用，当与数值和/或范围结合使用时，术语“大约”和/或“近似”通常指那些接近所述数值和/或范围的数值和/或范围。在某些情况下，术语“大约”和“近似”可能意味着在所述值的±10％以内。例如，在某些情况下，“大约100[单位]”可以表示在100的±10％以内(例如，从90到110)。术语“大约”和“近似”可以互换使用。

在本申请中的任何地方提出的对公开物或其他文件(包括但不限于专利、专利申请、文章、网页、书籍等)的任何引用和所有引用，通过引用以这些公开物或其他文件的整体并入本文。此外，应理解，相对于字典定义、通过引用并入的文件中的定义和/或所定义术语的普通含义，以本文定义和使用的所有定义为准。

本文描述的一些实施例和/或方法可以由(在硬件上执行的)不同的软件、硬件或它们的组合来执行。硬件模块可以包括例如通用处理器、现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。(在硬件上执行的)软件模块可以用多种软件语言(例如，计算机代码)来表达，包括C、C++、Java^TM、Ruby、VisualBasic^TM和/或其他面向对象编程语言、过程编程语言或其他编程语言和开发工具。计算机代码的示例包括但不限于微代码或微指令、诸如由编译器产生的机器指令、用于产生web服务的代码以及包含由计算机使用解释器执行的更高级指令的文件。例如，实施例可以使用命令式编程语言(例如，C、Fortran等)、函数式编程语言(Haskell、Erlang等)、逻辑编程语言(例如，Prolog)、面向对象编程语言(例如，Java、C++等)或其他合适的编程语言和/或开发工具。计算机代码的其他示例包括但不限于控制信号、加密代码和压缩代码。

Claims (29)

1.一种方法，包括：

接收包括患者解剖结构的3D区域的一组图像的三维(3D)扫描体积，所述患者解剖结构的3D区域包括一组解剖结构；

使用所述3D扫描体积生成一组二维(2D)射线照片，所述一组2D射线照片中的每个2D射线照片包括从所述3D扫描体积提取的3D图像数据；以及

使用所述一组2D射线照片来训练分割模型分割2D射线照片，从而识别一个或更多个感兴趣的解剖部位。

2.根据权利要求1所述的方法，还包括：

针对所述一组2D射线照片中的每个2D射线照片，生成多维标记图，所述多维标记图包括阵列，每个阵列包括多个标记中的一个标记，所述多个标记与所述患者解剖结构内的多个解剖部位相关联，

训练所述分割模型包括：

通过所述分割模型输入和处理所述一组2D射线照片中的2D射线照片；

将所述分割模型响应于处理所述2D射线照片而产生的输出与关联于所述一组2D射线照片的所述多维标记图进行比较；以及

基于所述比较，调整以下中的一个或更多个：所述分割模型的权重、所述分割模型的结构、所述分割模型的参数或所述分割模型的超参数。

3.根据权利要求1所述的方法，其中，所述分割模型是第一分割模型，所述方法还包括：

使用第二分割模型处理所述3D扫描体积的所述一组图像，所述第二分割模型被训练以识别与所述一个或更多个感兴趣的解剖部位相邻的一个或更多个解剖部位，

所述第一分割模型使用所述一组2D射线照片和所述第二分割模型响应于处理所述3D扫描体积的所述一组图像而产生的输出来进行训练。

4.根据权利要求1所述的方法，还包括：

接收包括所述一组解剖结构的2D X射线图像；以及

在训练所述分割模型之后，使用所述分割模型处理所述2D X射线图像，以识别所述一个或更多个感兴趣的解剖部位。

5.根据权利要求4所述的方法，还包括：

可视化所述分割模型响应于处理所述2D X射线图像而产生的输出。

6.根据权利要求4所述的方法，其中，在所述2D X射线图像中，所述一个或更多个感兴趣的解剖部位中的至少一个与所述一个或更多个感兴趣的解剖部位中的另一个重叠。

7.根据权利要求1所述的方法，其中，所述一组是第一组2D射线照片，所述方法还包括：

使用体积修改算法变换所述3D扫描体积；以及

使用经变换的3D扫描体积生成第二组2D射线照片，所述第二组2D射线照片中的每个2D射线照片包括从经变换的3D扫描体积提取并沿选定轴平均的3D图像数据，

所述分割模型使用所述第一组2D射线照片和所述第二组2D射线照片来进行训练。

8.一种方法，包括：

接收包括患者解剖结构的3D区域的一组磁共振成像(MRI)图像的三维(3D)扫描体积，所述患者解剖结构的3D区域包括一组解剖结构，所述MRI图像包括在第一解剖平面中的图像和在不同于所述第一解剖平面的第二解剖平面中的图像；

使用分割模型处理所述一组MRI图像，其中，所述分割模型接收所述一组MRI图像作为输入，并处理在所述第一解剖平面中的图像和在所述第二解剖平面中的图像；

响应于使用所述分割模型处理所述一组MRI图像而生成分割输出；以及

基于所述分割输出，识别所述3D扫描体积中的一个或更多个感兴趣的解剖部位。

9.根据权利要求8所述的方法，其中，所述第一解剖平面是矢状面，并且所述第二解剖平面是轴面。

10.根据权利要求8所述的方法，还包括可视化所述分割输出。

11.根据权利要求8所述的方法，其中，所述一个或更多个感兴趣的解剖部位包括椎间盘。

12.根据权利要求8所述的方法，其中，使用训练数据集来训练所述分割模型，所述训练数据集包括在所述第一解剖平面中的MRI图像和在所述第二解剖平面中的MRI图像。

13.根据权利要求8所述的方法，其中，所述分割模型包括卷积神经网络(CNN)。

14.根据权利要求8所述的方法，所述方法还包括在处理所述一组MRI图像之前，使用所述分割模型对所述一组MRI图像去噪。

15.根据权利要求8所述的方法，其中，生成所述分割输出包括：

对于所述一组MRI图像中的MRI图像中的至少一个像素：

确定所述至少一个像素属于多个类别中的第一类别的概率；以及

基于所述概率，将所述至少一个像素分类为所述第一类别。

16.根据权利要求8所述的方法，还包括将所述三维扫描体积与所述分割输出组合，以生成所述一组解剖结构的更高维度的信息。

17.一种方法，包括：

接收包括患者解剖结构的3D区域的一组二维(2D)图像的三维(3D)扫描体积，所述患者解剖结构的3D区域包括一组解剖结构；

使用分割模型处理所述一组2D图像，其中，所述分割模型接收所述一组2D图像作为输入；

响应于使用所述分割模型处理所述一组2D图像而生成分割输出；以及

基于所述分割输出，识别所述3D扫描体积中的一个或更多个椎间盘。

18.根据权利要求17所述的方法，其中，所述分割模型是第一分割模型，所述方法还包括：

使用第二分割模型处理所述一组2D图像，所述第二分割模型被训练以识别与所述一个或更多个椎间盘相邻的一个或更多个解剖部位，

所述第一分割模型接收所述一组2D图像和所述第二分割模型的分割输出作为输入以生成所述分割输出。

19.一种装置，包括：

存储器；以及

处理器，所述处理器能够操作地耦合到所述存储器，所述处理器被配置成：

接收包括患者解剖结构的3D区域的一组磁共振成像(MRI)图像的三维(3D)扫描体积，所述患者解剖结构的3D区域包括一组解剖结构，所述MRI图像包括在第一解剖平面中的图像和在不同于所述第一解剖平面的第二解剖平面中的图像；

使用分割模型处理所述一组MRI图像，其中，所述分割模型接收所述一组MRI图像作为输入，并处理在所述第一解剖平面中的图像和在所述第二解剖平面中的图像；

响应于使用所述分割模型处理所述一组MRI图像而生成分割输出；以及

基于所述分割输出，识别所述3D扫描体积中的一个或更多个感兴趣的解剖部位。

20.根据权利要求19所述的装置，其中，所述第一解剖平面是矢状面，并且所述第二解剖平面是轴面。

21.根据权利要求19所述的装置，还包括可视化所述分割输出。

22.根据权利要求19所述的装置，其中，所述一个或更多个感兴趣的解剖部位包括椎间盘。

23.根据权利要求19所述的装置，其中，使用训练数据集来训练所述分割模型，所述训练数据集包括在所述第一解剖平面中的MRI图像和在所述第二解剖平面中的MRI图像。

24.根据权利要求19所述的装置，其中，所述分割模型包括卷积神经网络(CNN)。

25.根据权利要求19所述的装置，所述处理器还被配置成在处理所述一组MRI图像之前，使用所述分割模型对所述一组MRI图像进行去噪。

26.根据权利要求19所述的装置，其中，所述处理器还被配置成：

对于所述一组MRI图像中的MRI图像中的至少一个像素：

确定所述至少一个像素属于多个类别中的第一类别的概率；以及

基于所述概率，将所述至少一个像素分类为所述第一类别。

27.根据权利要求19所述的装置，其中，所述处理器还被配置成将所述三维扫描体积与所述分割输出组合，以生成所述一组解剖结构的更高维度的信息。

28.一种装置，包括：

存储器；以及

处理器，所述处理器能够操作地耦合到所述存储器，所述处理器被配置成：

接收包括患者解剖结构的3D区域的一组二维(2D)图像的三维(3D)扫描体积，所述患者解剖结构的3D区域包括一组解剖结构；

使用分割模型处理所述一组2D图像，其中，所述分割模型接收所述一组2D图像作为输入；

响应于使用所述分割模型处理所述一组2D图像而生成分割输出；以及

基于所述分割输出，识别所述3D扫描体积中的一个或更多个椎间盘。

29.根据权利要求28所述的装置，其中，所述分割模型是第一分割模型，所述处理器还被配置成：

使用第二分割模型处理所述一组2D图像，所述第二分割模型被训练以识别与所述一个或更多个椎间盘相邻的一个或更多个解剖部位，

所述第一分割模型接收所述一组2D图像和所述第二分割模型的分割输出作为输入以生成所述分割输出。