CN116457831A - 用于生成虚拟图像的系统和方法 - Google Patents

Abstract

一种生成虚拟MRI图像的方法包括：接收处于第一位置的患者的初始MRI图像，该初始MRI图像描绘该患者的解剖结构的至少一部分；接收处于第二位置的该患者的多个图像，该多个图像中的每个图像描绘该患者的解剖结构的该部分内的至少多个骨元件；接收对应于该患者的解剖结构的该部分内的至少多个软组织元件的软组织信息；分割该初始MRI图像以识别该初始MRI图像内的该多个骨元件中的每个骨元件和该多个软组织元件中的每个软组织元件的描绘；以及基于该MRI图像、该多个图像和该软组织信息来生成虚拟MRI图像。

Description

用于生成虚拟图像的系统和方法

相关申请的交叉引用

本申请要求2020年11月19日提交的名称为“用于生成虚拟图像的系统和方法(Systems and Methods for Generating Virtual Images)”的美国临时申请63/116,003号的优先权和权益。以上列出的申请的全部公开内容通过引用整体并入本文，用于其教导的所有内容和用于所有目的。

技术领域

本技术整体涉及外科成像和规划，并且更具体地涉及生成处于期望位置的患者的虚拟图像。

背景技术

各种成像模态可以用于对患者成像，包括例如磁共振成像(MRI)、计算机断层摄影(CT)、超声波和X射线成像。患者的图像可以在术前或术中拍摄，并且可以用于帮助规划外科手术或更新外科手术的规划。

发明内容

本公开的示例性方面包括：

一种生成虚拟MRI图像的方法，该方法包括：接收处于第一位置的患者的初始MRI图像，该初始MRI图像描绘该患者的解剖结构的至少一部分；接收处于第二位置的该患者的多个图像，该多个图像中的每个图像描绘该患者的解剖结构的该部分内的至少多个骨元件；分割该初始MRI图像以识别该初始MRI图像内的该多个骨元件中的每个骨元件和多个软组织元件中的每个软组织元件的描绘；以及基于该MRI图像、该多个图像和该软组织信息来生成虚拟MRI图像。

本文的方面中的任一个方面，其中生成该虚拟MRI图像包括：将该初始MRI图像中的该多个骨元件中的每个骨元件配准到该多个图像中的每个图像中所描绘的该多个骨元件中的对应一个骨元件。

本文的方面中的任一个方面，其中生成该虚拟MRI图像包括：基于该软组织信息来修改该初始MRI图像内的该多个软组织元件的该描绘。

本文的方面中的任一个方面，还包括接收对应于至少该多个软组织元件的软组织信息。

本文的方面中的任一个方面，其中该软组织信息包括对应于该患者的解剖结构的该部分的生物力学模型，并且进一步地，其中该生物力学模型是通过利用关于该患者的解剖结构的该部分内的该多个软组织元件的一个或多个尺寸的尺寸信息以及关于该患者的解剖结构的该部分内的该多个软组织元件中的至少一个软组织元件的成分的成分信息来更新通用模型而生成的。

本文的方面中的任一个方面，其中该软组织信息包括对应于该患者的解剖结构的该部分中的至少一些的超声信息。

本文的方面中的任一个方面，其中该多个图像提供该患者的解剖结构的该部分的分开至少三十度的视图。

本文的方面中的任一个方面，其中该多个图像提供该患者的解剖结构的该部分的正交视图。

本文的方面中的任一个方面，其中该第一位置是仰卧位，并且该第二位置是站立位。

本文的方面中的任一个方面，其中该第一位置是仰卧位或站立位，并且该第二位置是俯卧位。

本文的方面中的任一个方面，其中该第二位置是屈曲位、伸展位或侧卧位。

本文的方面中的任一个方面，其中该多个图像包括至少一个X射线图像。

本文的方面中的任一个方面，其中该多个图像包括至少一个超声图像。

本文的方面中的任一个方面，其中该多个图像是在术中获得的。

一种用于生成虚拟MRI图像的系统，该系统包括：成像设备，该成像设备能够对硬组织成像；处理器；以及存储器，该存储器存储用于由该处理器执行的指令。这些指令在被执行时使该处理器：接收处于第一位置的患者的第一MRI图像，该第一MRI图像描绘该患者的硬组织和软组织；接收处于不同于该第一位置的第二位置的该患者的多个图像，该多个图像由该成像设备生成；接收对应于该患者的软组织信息；处理该第一MRI图像以识别其中的多个骨元件和多个软组织元件；以及通过将该第一MRI图像中的该多个骨元件中的每个骨元件配准到该多个图像中的对应骨元件，并且通过基于该软组织信息来更新该第一MRI图像中的该多个软组织元件，生成虚拟第二MRI图像。

本文的各方面中的任一方面，其中成像装置利用X射线。

本文的方面中的任一个方面，其中该软组织信息包括超声信息。

本文的方面中的任一个方面，还包括：超声探头；以及机器人臂，该机器人臂被配置为调控该成像设备和该超声探头中的至少一者。

本文的方面中的任一个方面，其中存储在该存储器中的这些指令在被执行时还使该处理器：使该机器人臂将该超声探头移动到多个位置以生成该软组织信息。

本文的方面中的任一个方面，其中该第一位置是仰卧位或站立位。

本文的方面中的任一个方面，其中该第二位置是站立位、俯卧位、侧卧位、屈曲位或伸展位。

本文的方面中的任一个方面，其中该多个骨元件中的每个骨元件是椎骨。

本文的方面中的任一个方面，其中该多个软组织元件包括韧带和椎间盘中的至少一者。

本文的方面中的任一个方面，其中该软组织信息包括生物力学模型。

本文的方面中的任一个方面，其中该生物力学模型反映患者专用尺寸和成分信息。

一种修改图像数据的方法，该方法包括：接收对应于处于第一位置的患者的脊柱的第一图像数据，该第一图像数据包括关于该患者的脊柱的多个骨元件和该患者的脊柱的多个软组织元件的第一信息；接收对应于处于不同于该第一位置的第二位置的该患者的脊柱的至少两个图像的第二图像数据，该第二图像数据包括关于该患者的脊柱的该多个骨元件的第二信息；接收对应于该患者的脊柱的该多个软组织元件的软组织数据；以及通过基于该第二图像数据和该软组织数据来修改该第一图像数据而生成第三图像数据，该修改包括将该第一信息配准到该第二信息。

本文的方面中的任一个方面，其中使用磁共振成像生成该第一图像数据。

本文的方面中的任一个方面，其中使用X射线成像设备生成该第二图像数据。

本文的方面中的任一个方面，其中使用超声成像设备生成该软组织数据。

本文的方面中的任一个方面，其中该至少两个图像偏移至少三十度。

本文的方面中的任一个方面，其中该至少两个图像是正交的。

本文的方面中的任一个方面，其中该第一图像数据呈第一格式，该第二图像数据呈不同于该第一格式的第二格式，并且该第三图像数据对应于处于该第二位置的该患者的脊柱的呈该第一格式的虚拟图像。

一种生成虚拟图像数据的方法，该方法包括：接收对应于处于第一位姿的患者的解剖结构的一部分的第一图像数据，该第一图像数据包括关于该患者的解剖结构的该部分的多个骨元件和多个软组织元件的第一信息；接收对应于处于不同于该第一位姿的第二位姿的该患者的解剖结构的该部分的第二图像数据，该第二图像数据包括关于该患者的解剖结构的该部分的多个骨元件和多个软组织元件的第二信息；根据该第一信息和该第二信息确定该多个骨元件中的一个或多个骨元件或者该多个软组织元件中的一个或多个软组织元件的变形范围；基于所确定的变形范围来更新生物力学模型，以产生更新的生物力学模型；以及基于该第一图像数据、该第二图像数据和该更新的生物力学模型来生成对应于处于不同于该第一位姿和该第二位姿的第三位姿的该患者的解剖结构的该部分的第三图像数据。

本文的方面中的任一个方面，其中使用磁共振成像生成该第一图像数据和该第二图像数据。

本文的方面中的任一个方面，还包括根据该第一信息和该第二信息确定该患者的解剖结构的该部分中的相邻解剖元件之间的移动范围。

本文的方面中的任一个方面，其中更新该生物力学模型还包括基于所确定的移动范围来更新该生物力学模型。

本文的方面中的任一个方面，其中该第三图像数据是虚拟MRI图像数据。

本文的方面中的任一个方面，还包括分割该第一图像数据和该第二图像数据中的一个或多个解剖元件。

本公开的一个或多个方面的细节在以下附图和描述中阐述。根据说明书和附图以及权利要求书，本公开中描述的技术的其他特征、目标和优点将是显而易见的。

短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起，或A、B和C一起。当以上表达中的A、B和C中的每一者是指诸如X、Y和Z的元件或诸如X1-Xn、Y1-Ym和Z1-Zo的元件类时，该短语旨在指选自X、Y和Z的单个元件，选自相同类的元件的组合(例如，X1和X2)，以及选自两个或更多个类的元件的组合(例如，Y1和Zo)。

术语“一(a/an)”实体指所述实体中的一个或多个。如此，术语“一(a/an)”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意，术语“包括(comprising/including)”、和“具有”可以可互换地使用。

前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开和其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不旨在识别本公开的关键或重要要素，也不旨在描绘本公开的范围，而是以简化形式呈现本公开的所选概念，作为对下文呈现的更详细描述的介绍。如应了解，本公开的其他方面、实施方案和配置可能单独或以组合方式利用上文所阐述或下文所详细描述的特征中的一个或多个。

在考虑下文提供的实施方案描述之后，本发明的许多额外特征和优点对于本领域技术人员将变得显而易见。

附图说明

附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何进行和使用本公开的优选和替代性示例，且不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细描述变得显而易见，如通过以下所参考的图式所示出。

图1为根据本公开的至少一个实施方案的系统的框图；

图2为根据本公开的至少一个实施方案的方法的流程图；

图3为根据本公开的至少一个实施方案的方法的流程图；

图4为根据本公开的至少一个实施方案的方法的流程图；

图5为根据本公开的至少一个实施方案的方法的流程图；并且

图6为根据本公开的至少一个实施方案的方法的流程图。

具体实施方式

应当理解，可将本文所公开的各个方面以与说明书和附图中具体给出的组合不同的组合进行组合。还应理解，取决于示例或实施方案，本文中所描述的过程或方法中的任一个的某些动作或事件可以不同的序列执行，和/或可添加、合并或完全省略(例如，根据本公开的不同实施方案，执行所公开技术可能不需要所有描述的动作或事件)。另外，出于清晰的目的，虽然本公开的某些方面被描述为由单个模块或单元执行，但应理解，本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。

在一个或多个示例中，所描述方法、过程和技术可以硬件、软件、固件或它们的任何组合实施。如果在软件中实现，则功能可作为一个或多个指令或代码存储在计算机可读介质上并由基于硬件的处理单元执行。计算机可读介质可包括非暂态计算机可读介质，其对应于有形介质，诸如数据存储介质(例如，RAM、ROM、EEPROM、闪存存储器，或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。

指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如，Intel Core i3、i5、i7或i9处理器；Intel Celeron处理器；Intel Xeon处理器；Intel Pentium处理器；AMD Ryzen处理器；AMD Athlon处理器；AMD Phenom处理器；Apple A10或10X Fusion处理器；Apple A11、A12、A12X、A12Z、A13或A14 Bionic处理器；Apple S系列处理器；Apple T系列处理器；Apple W系列处理器；或任何其它通用微处理器)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路系统。因此，如本文所用的术语“处理器”可指前述结构或适于实现所描述的技术的任何其他物理结构中的任一种。另外，本技术可在一个或多个电路或逻辑元件中完全实现。

在详细地解释本公开的任何实施方案之前，应当理解，本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其它实施方案并且能够以各种方式实践或进行。同样，应理解，本文中所使用的措词和术语是出于描述的目的且不应视为是限制性的。本文中使用“包括(including/comprising)”、或“具有”以及其变化形式意在涵盖其后列出的项目和其等效物以及额外项目。此外，本公开可使用示例来示出其一个或多个方面。除非另有明确说明，否则使用或列出一个或多个示例(其可由“例如(for example)”、“借助于示例”、“例如(e.g.)”、“如”或类似语言指示)不旨在且并不限制本公开的范围。

患者的脊柱的MRI扫描可以在患者处于仰卧位的情况下获得。在该位置中，患者可能是无症状的，并且压迫脊髓或脊神经的元件可能无法被适当地可视化，因为此类元件可能仅在患者站立时才移动到压迫诱导位置中。基于仰卧MRI图像的发现与患者症状的相关性低。这限制了MRI在外科手术引导方面的作用。

允许在竖直位置进行MRI采集的扫描仪开始出现，并且显示出成像发现与患者疾病的更好相关性。但是这些扫描仪不是广泛可用的。

在脊柱疾病的评估期间常规地采集站立X射线图像。X射线图像很好地可视化骨结构(例如，椎骨)，但是不能很好地可视化脊髓或退出神经，或潜在侵占元件(例如，椎间盘、黄韧带)。

例如，本公开描述了利用以下各项生成脊柱的虚拟MRI扫描：(1)处于第一位置(例如，仰卧、站立)的患者的MRI图像；(2)处于第二位置(例如，站立、俯卧、侧卧、屈曲位、伸展位)的患者的X射线图像。这可以例如通过将MRI图像中的骨特征(例如，椎骨)共配准到X射线图像，并且使用生物力学模型或其它软组织信息来更新所得图像的站立骨结构中的软组织而执行。结果是包括来自MRI图像的第一图像数据或信息但是属于处于第二位置(例如，站立位)的患者的虚拟图像。

本公开的实施方案使用广泛可用的图像(例如，站立X射线图像和仰卧MRI图像)提供现今仅在站立MRI扫描(很少可用)中可用的信息。

在其它实施方案中，在患者处于仰卧位的情况下获得原始MRI图像，并且多个术中俯卧X射线图像用于生成处于外科手术位置的虚拟俯卧MRI扫描。该虚拟俯卧MRI扫描可以用于引导机器人或导航操作，诸如减压或椎间盘切除术。

在第三实施方案中，原始MRI是在站立位中拍摄的(这在现今是罕见的，但是在将来可能变得更常见)，并且术中俯卧X射线图像用于生成外科手术位置中的虚拟俯卧MRI扫描。然后该虚拟俯卧MRI扫描可以用于引导例如机器人或导航操作，诸如减压或椎间盘切除术。

如本文所公开的生成的虚拟图像可证明与患者体征和症状的相关性增强，包括与当前标准成像相比。如本文所公开的生成的虚拟图像还可更好地预测在手术期间实现有效且持久减压所需的减压策略。另外，如本文所公开的生成的虚拟图像可以用于修改术前图像以反映外科手术期间患者的位置，从而使得能够结合外科手术使用修改的术前图像。

本公开的实施方案呈现了针对各种技术问题的技术解决方案，这些技术问题包括例如在没有能够扫描站立患者的MRI机器的情况下如何获得处于站立位的患者的MRI图像；在没有能够扫描手术台上的患者的MRI机器的情况下如何获得处于俯卧位的患者的术中图像；在没有能够扫描处于此类位置的患者的MRI机器的情况下，和/或在不需要患者保持此类位置达MRI扫描的持续时间(这可能花费长达三十分钟或一小时)的情况下如何获得处于屈曲或伸展位的患者的MRI图像；如何减少MRI机器的使用(以及相关联的成本)，同时仍然获得处于不同位置的患者的多个MRI图像；以及在没有扫描处于俯卧位的患者的情况下如何获得处于俯卧位的患者的MRI图像，该MRI图像可以用于规划外科手术并且引导机器人成功地进行外科手术。

首先转向图1，示出了根据本公开的至少一个实施方案的系统100的框图。系统100可用于处理图像数据；基于多个图像和/或其它信息来生成虚拟图像；接收处于第一位置的患者的初始MRI图像；使成像设备获得处于第二位置的患者的图像；接收处于第二位置的患者的多个图像；使机器人臂将超声探头移动成多个位置或位姿以生成软组织信息；识别超声探头或其它成像设备的多个位置或位姿，以便帮助将超声探头或其它成像设备手动导航成多个位置或位姿；接收对应于患者的至少多个软组织元件的软组织信息；分割或以其它方式处理初始MRI图像以识别其中的骨元件和软组织元件；生成虚拟MRI图像；将初始MRI图像中的多个骨元件配准到多个图像；基于软组织信息来修改初始MRI图像中的软组织元件的描绘；接收对应于处于第一位置的患者的脊柱的第一图像数据；接收对应于处于第二位置的患者的脊柱的第二图像数据；接收软组织数据；通过基于第二图像数据和软组织数据来修改第一图像数据而生成第三图像数据；基于患者专用尺寸信息、成分信息和/或其它信息来更新通用参数生物力学模型；执行一个或多个图像处理算法120；和/或执行本文所公开的方法中的一个或多个方法的其它方面。系统100包括计算设备102、一个或多个成像设备112、导航系统114、机器人126、数据库130和/或云或其它网络132。根据本公开的其它实施方案的系统可以包括比系统100更多或更少的部件。例如，系统100可以不包括一个或多个成像设备112、导航系统114和/或机器人126。

计算装置102包括处理器104、存储器106、通信接口108和用户界面110。根据本公开的其它实施方案的计算装置可以包括比计算装置102更多或更少的部件。

计算装置102的处理器104可以是本文所述的任何处理器或任何类似的处理器。处理器104可以被配置为执行存储在例如存储器106中的指令(例如，指令124)，这些指令可以使处理器104利用或基于从成像设备112、机器人126、导航系统114、数据库130和/或云132接收的数据来执行一个或多个计算步骤。

存储器106可以是或包括RAM、DRAM、SDRAM、其它固态存储器、本文所述的任何存储器或用于存储计算机可读数据和/或指令的任何其它有形的非暂态存储器。存储器106可以存储用于完成例如本文所述的方法200、300、400、500和/或600的任何步骤的信息或数据。存储器106可以存储例如一个或多个图像处理算法120、一个或多个参数生物力学模型122和/或一个或多个指令124(例如，供处理器104执行)。在一些实施方案中，此类算法、模型和/或指令可以被组织成一个或多个应用、模块、包、层或引擎。算法、模型和/或指令可以使处理器104调控存储在存储器106中的和/或从成像设备112、机器人126、导航系统114、数据库130和/或云132接收的数据。

计算装置102也可以包括通信接口108。通信接口108可以用于从外部源(诸如成像设备112、导航系统114、机器人126、数据库130和/或云132)接收图像数据或其它信息，和/或用于向外部系统或设备(例如，另一计算设备102、导航系统114、成像设备112、机器人126、数据库130和/或云132)传输指令、图像或其它信息。通信接口108可以包括一个或多个有线接口(例如，USB端口、以太网端口、火线端口)和/或一个或多个无线接口(例如，被配置为经由一个或多个无线通信协议(诸如802.11a/b/g/n、蓝牙、NFC、ZigBee等)传输信息)。在一些实施方案中，通信接口108可以用于使计算设备102能够与一个或多个其它处理器104或计算设备102通信，无论是为了减少完成计算密集型任务所需的时间还是出于任何其它原因。

计算装置102也可以包括一个或多个用户界面110。用户界面110可以是或包括键盘、鼠标、轨迹球、显示器、电视、触摸屏、头带式耳机和/或用于从用户接收信息和/或用于向用户提供信息的任何其他装置。在一些实施方案中，用户界面110可以经由语音激活从用户处接收信息和/或命令。在其他实施方案中，用户界面110可以结合增强现实或虚拟现实。可以使用用户界面110来例如接收用户选择或关于本文所述的任何方法的任何步骤或其它方面的其它用户输入。在一些实施方案中，用户界面110可以用于允许外科医生或其它用户创建、检视和/或修改手术规划；选择一个或多个图像处理算法120以结合本文所公开的任何方法使用；选择生物力学模型122以结合本文所公开的任何方法使用；和/或修改生物力学模型122。在一些实施方案中，可以经由用户界面110从外科医生或其它用户接收的任何输入可以另选地由系统100(例如，由处理器104或系统100的另一部件)自动生成或由系统100从系统100外部的源接收。在一些实施方案中，诸如上文描述的用户输入对于本文中描述的系统、装置和方法的操作来说可以是可选的或不需要的。

尽管用户界面110被示出为计算装置102的一部分，但是在一些实施方案中，计算装置102可以利用与计算装置102的一个或多个其余部件分开容纳的用户界面110。在一些实施方案中，用户界面110可以接近计算装置102的一个或多个其它部件定位，而在其它实施方案中，用户界面110可以远离计算机装置102的一个或多个其它部件定位。

成像装置112能够拍摄2D图像或3D图像以生成图像和/或图像数据。如本文所使用的“图像数据”指代由成像装置生成或捕获的数据，包含呈机器可读形式、图形形式和呈任何其他形式的数据。在各种示例中，图像数据可包括与患者的解剖特征或其一部分(例如，脊柱区域)相对应的数据。成像设备112可以是或包括例如CT扫描仪、荧光镜、O型臂、C型臂、G型臂、利用基于X射线成像的任何其它设备、超声探头、光学相干断层摄影扫描仪、内窥镜、望远镜、热成像相机(例如，红外相机)或任何其它适用于获得对应于患者解剖特征的图像或图像数据的成像设备。在一些实施方案中，成像设备可为MRI机器。

在操作期间，导航系统114可以为外科医生和/或手术机器人提供导航。导航系统114可以是任何现在已知的或将来开发的导航系统，包括例如MedtronicStealthStationTM S8外科手术导航系统。导航系统114可包括用于跟踪手术室或进行外科手术的其他房间内的一个或多个参考标记、导航跟踪器或其他物体的照相机或一个或多个其他传感器。在各种实施方案中，导航系统114可用于跟踪成像装置112的位置(或更具体地，直接或间接地与成像装置112成固定关系附接的导航参考标记的位置)和/或机器人126的位置(或更具体地，直接或间接地与机器人126成固定关系附接的导航参考标记的位置)。导航系统114可以包括用于显示来自外部源(例如，计算设备102、成像设备112、数据库130、云132和/或另一源)的一个或多个图像，或来自导航系统114的相机或其它传感器的视频流的显示器。

在一些实施方案中，导航系统114可用于跟踪机器人126的运动，并且可提供关于机器人126的位置或对其确认的反馈。例如，导航系统114可以经由显示器(例如，经由用户界面110)以听觉和/或视觉方式指示机器人126需要被自动地或手动地移动到建议的机器人位姿。导航系统114可在机器人126朝向所建议的机器人位姿移动时监测或跟踪机器人126。导航系统114可以进一步在机器人126已经到达所建议的机器人位姿时指示或警告用户。在其他实施方案中，用户可在将机器人126移动到所建议机器人位姿的同时查看导航系统114的显示，以便确保用户将机器人126移动到正确位姿。在一些实施方案中，系统100可在不使用导航系统114的情况下操作。

机器人126可以是任何外科机器人或外科机器人系统。机器人126可以是或包括例如Mazor XTM隐形版机器人引导系统。机器人126可以包括一个或多个机器人臂128。在一些实施方案中，机器人臂128可包括多个机器人臂，但是机器人126可包括一个机器人臂、两个机器人臂或两个以上机器人臂。机器人臂128可用于选择性地保持和/或操作一个或多个成像装置112和/或任何其他工具或器械。在一些实施方案中，机器人臂128具有至少五个自由度。在其它实施方案中，机器人臂128具有至少六个自由度。在又其它实施方案中，机器人臂128具有少于五个或多于六个自由度。机器人臂128(和/或机器人126的底座)也可以具有三个取向维度。多个自由度和多个取向维度的组合使机器人臂128能够移动到任何位姿。换句话讲，机器人臂128不限于固定区域，并且可以向任何方向移动。另外，在一些实施方案中，机器人126可以在外科手术期间移动以将机器人臂128(并且其中机器人臂128正保持成像设备112，成像设备112)定位在期望位姿中。

机器人臂128可以是准确的机器人臂，使得可以精确地确定机器人臂的位姿(例如，相对于机器人坐标系，或者机器人126被配准到的任何坐标系)。机器人臂的位姿可以例如基于来自作为机器人126和/或机器人臂128的一部分的一个或多个编码器或其它传感器的信息来确定。

参考标记(例如，导航标记)可以放置在机器人126、机器人臂128、成像装置112和/或外科手术空间中的任何其他物体上。参考标记可以由导航系统114跟踪，并且跟踪的结果可以由机器人126和/或由系统100或其任何部件的操作者使用。如上所述，在一些实施方案中，导航系统114可用于跟踪系统100的其他部件(例如，成像装置112)，并且系统100可在不使用机器人126的情况下操作(例如，外科医生手动操控成像装置112)。

数据库130可以存储由一个或多个成像设备112拍摄的一个或多个图像，并且可以被配置为向诸如计算设备102的计算设备提供一个或多个此类图像(以电子方式，以图像数据的形式)。数据库130可以被配置为直接向计算设备102提供图像数据(例如，当计算设备102和数据库130协同定位时，和/或连接到同一局域网时)和/或经由云130向该计算设备提供该图像数据(例如，当计算设备102和数据库130未协同定位或未以其它方式连接到同一局域网时)。在一些实施方案中，数据库130可以是或包括医院图像存储系统的一部分，诸如图片存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输包括图像数据的电子医疗记录的另一系统。

云132可以是或表示互联网或任何其它广域网。计算设备102可以经由有线连接或无线连接通过通信接口108连接到云132。在一些实施方案中，计算设备102可以经由云132与成像设备112、数据库130、一个或多个其它计算设备102和/或计算设备102的一个或多个其它部件(例如，显示器或其它用户界面110)通信。

现在转到图2，本公开的实施方案可以用于例如生成虚拟MRI图像。虚拟MRI图像可以包括与实际MRI图像相当的细节水平和/或信息宽度，但是可以描绘处于除了实际MRI图像中所反映的位置之外的位置的患者的硬组织和软组织。例如，本公开使得能够基于(尤其)示出处于仰卧位的患者的至少一部分的实际MRI图像来生成示出处于站立位的患者的该部分的虚拟MRI图像。作为另一示例，本公开使得能够基于(同样，尤其)示出处于仰卧或站立位的患者的一部分的实际MRI图像来生成示出处于俯卧位的患者的该部分的虚拟MRI图像。本公开的实施方案可以用于生成虚拟MRI图像，该虚拟MRI图像示出处于站立位、俯卧位、侧卧位、屈曲位和伸展位的患者的至少一部分。

图2描绘了用于创建虚拟MRI图像的方法200。方法200(和/或其一个或多个步骤)可以例如由至少一个处理器执行或以其它方式执行。至少一个处理器可以与上文所描述的计算装置102的处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人126)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所述的任何处理器之外的处理器还可以用于执行方法200。至少一个处理器可以通过执行存储在诸如存储器106的存储器中的指令(诸如指令124)来执行方法200。指令可以对应于下文所述的方法200的一个或多个步骤。这些指令可以使处理器执行一种或多种算法，诸如图像处理算法120。这些指令可以使处理器修改生物力学模型122的一个或多个方面以反映患者专用特征或参数。

方法200包括接收处于第一位置的患者的初始MRI图像(步骤204)。初始MRI图像描绘了患者的解剖结构的至少一部分内的硬组织和软组织两者。在一些实施方案中，初始MRI图像可以描绘多个骨元件和多个软组织元件。因此，例如，初始MRI图像可以描绘患者的脊柱或患者的脊柱的一部分，包括椎骨、椎间盘、韧带、脊髓和/或脊柱的或与脊柱相关联的其它解剖特征。初始MRI图像可以另选地描绘患者的解剖结构的任何其它部分。在一些实施方案中，初始MRI图像可以描绘患者的解剖结构的整体。第一位置在一些实施方案中可以是仰卧位，或者在其它实施方案中可以是站立位。

可以例如经由诸如接口108的通信接口来接收初始MRI图像。可以从诸如数据库130的数据库、诸如云132的云或其它网络接收初始MRI图像，或者直接从MRI成像设备接收初始MRI图像。初始MRI图像可以是术前图像，并且可以例如在其接收之前的一天、一周或一个月的任何时间生成。

方法200还包括接收处于第二位置的患者的多个图像(步骤208)。多个图像中的每个图像可以描绘患者的解剖结构的该部分内的至少多个骨元件。此类骨元件也被描绘在初始MRI图像中。因此，例如，在患者的解剖结构的该部分是患者的脊柱(或其部分)的情况下，图像可以各自描绘脊柱的椎骨(或其部分)。或者，在患者的解剖结构的该部分不是患者的脊柱的情况下，图像可以各自描绘该部分内的其它骨元件。

在其它实施方案中，多个图像中的每个图像可以描绘患者的解剖结构的该部分内的至少多个软组织元件。此类软组织元件也被描绘在初始MRI图像中。因此，例如，在患者的解剖结构的该部分是患者的脊柱(或其部分)的情况下，图像可以各自描绘脊柱的一个或多个椎间盘、韧带和/或其它软组织元件。或者，在患者的解剖结构的该部分不是患者的脊柱的情况下，图像可以各自描绘该部分内的其它软组织元件。

多个图像可以是或包括至少一个X射线图像和/或至少一个超声图像。在一些实施方案中，可以从单个成像设备获得多个图像，而在其它实施方案中，可以从多个成像设备获得多个图像。而且，在一些实施方案中，可以从具有至少两种不同成像模态的多个成像设备获得多个图像。换句话讲，多个图像中的至少一个图像可以使用具有第一成像模态的成像设备来生成，并且多个图像中的至少另一图像可以使用具有不同于第一成像模态的第二成像模态的成像设备来生成。可以结合本公开的实施方案使用的成像设备和模态包括例如O型臂、C型臂、G型臂、荧光镜、CT扫描仪和/或利用X射线来生成图像的其它设备；超声探头(包括单个超声换能器和单独的超声发射器和接收器)；光学相干断层摄影相机或其它光学相机；以及红外相机。

其中多个图像是或包括超声图像的本公开的实施方案对于本公开的治疗用途可以是特别有利的，其中患者已经定位在手术台上并且需要关于患者的骨元件中的一个或多个骨元件的非常精确的信息来规划和/或执行外科手术。超声探头可以是例如成像设备112，并且可以由诸如机器人臂128的机器人臂调控。在此类实施方案中，机器人臂128可以将超声探头移动到使超声探头能够获得关于患者的一个或多个骨元件或软组织元件的期望或所需的信息的一个或多个位置。在一些实施方案中，超声探头可以生成关于骨或其它硬组织元件和/或关于软组织元件的信息，该信息比使用诸如X射线成像或CT扫描的其它成像模态可能获得的信息更准确。从超声探头获得的关于一个或多个骨元件的信息可以包括例如关于每个骨元件的位置和/或取向(例如，相对于一个或多个其它硬或软组织元件)的信息、关于每个骨组织元件的一个或多个尺寸的信息和/或其它信息。在一些实施方案中，使用超声探头获得的信息可以用于为患者定制或拟合包括硬组织信息和/或软组织信息的生物力学模型(例如，生物力学模型122)。

在使用超声探头的实施方案中，超声探头可以包括单个超声换能器，或者超声发射器和单独的超声接收器。在使用超声换能器的情况下，单个机器人臂(诸如机器人臂128)可以用于将超声换能器定位在一个或多个位姿中以用于获得多个图像中的一个或多个图像，或者超声换能器可以被手动地保持以用于此类目的。在使用超声发射器和单独的超声接收器的情况下，发射器和接收器中的每一者可以由单独的机器人臂保持。另选地，发射器和接收器中的一者或两者可以被手动保持。在一些实施方案中，使用单独的超声发射器和超声接收器可以有利地使得能够获得比使用单个超声换能器可能获得的更详细和/或更精确的超声图像。

第二位置可以是站立位、俯卧位、侧卧位(例如，在患者侧躺休息的情况下)、屈曲位或伸展位。第二位置可以是站立位、屈曲位或伸展位，例如当健康护理提供者希望评估患者的症状的来源时，或出于其它诊断目的。当例如患者在外科手术之前或期间被定位在手术台上时，第二位置可以是俯卧位或侧卧位，并且外科医生或其它提供者希望结合外科手术利用由MRI图像(例如与X射线图像相对)提供的附加的解剖细节，例如软组织细节。

多个图像提供患者的解剖结构的该部分的分开至少三十度的至少两个不同视图。在一些实施方案中，由多个图像提供的两个不同视图可以是正交视图。在其它实施方案中，两个不同视图可以彼此偏移大于三十度且小于九十度。

可以例如经由诸如接口108的通信接口来接收多个图像。可以从诸如数据库130的数据库、诸如云132的云或其它网络接收初多个图像，或者直接从诸如成像设备112的成像设备接收多个图像。在一些实施方案中，多个图像可以例如在其接收之前的一天、一周或一个月的任何时间生成。在其它实施方案中，多个图像可以在外科手术之前或外科手术期间立即获得。

方法200还包括接收对应于至少多个软组织元件的软问题信息(步骤212)。软组织元件也被描绘在初始MRI图像中。因此，例如，在初始MRI图像描绘患者的脊柱的情况下，软组织信息对应于患者的脊柱的软组织元件，诸如椎间盘、韧带、脊髓和/或脊柱的或与脊柱相关联的其它软组织解剖特征。在初始MRI图像描绘除了脊柱之外的患者的解剖结构的一部分的情况下，软组织信息对应于患者的解剖结构的该部分内的软组织元件。

软组织信息可以是或包括生物力学模型，诸如生物力学模型122。生物力学模型对应于初始MRI图像和多个图像中所描绘的患者的解剖结构的该部分。在一些实施方案中，可以仅使用生物力学模型的一部分。在其它实施方案中，可以使用多个生物力学模型，每个生物力学模型对应于解剖结构的特定软组织元件。例如，在一些实施方案中，在初始MRI图像中所描绘的患者的解剖结构的该部分是患者的脊柱的情况下，可以仅利用生物力学模型的脊柱部分，即使生物力学模型可以包括附加的部分，并且甚至可以是整个人体的模型。在其它实施方案中，一个生物力学模型可以用于表示初始MRI图像中所描绘的一个或多个椎间盘，另一生物力学模型可以用于表示初始MRI图像中所描绘的一个或多个韧带，等等。

生物力学模型可以仅对人体的软组织建模，或者生物力学模型可以对人体的硬组织和软组织两者建模。该模型可以是基于患者专用信息可调节的参数生物力学模型。例如，可以测量患者的韧带、椎间盘和其它软组织元件的尺寸和成分，并且可以将所得测量结果输入到生物力学模型，或者以其它方式用于呈现特定于患者的其它通用生物力学模型。其它参数也可以用于使生物力学模型与患者更紧密地匹配，诸如关于患者的年龄和/或运动范围的信息。

在一些实施方案中，软组织信息可以是或包括使用超声探头获得的信息。此类实施方案对于本公开的治疗用途可以是特别有利的，其中患者已经定位在手术台上并且需要关于患者的软组织元件中的一个或多个软组织元件的非常精确的信息来规划和/或执行外科手术。超声探头可以是例如成像设备112，并且可以由诸如机器人臂128的机器人臂调控。在此类实施方案中，机器人臂128可以将超声探头移动到使超声探头能够获得关于患者的一个或多个软组织元件的期望或所需的信息的一个或多个位置。在一些实施方案中，超声探头可以生成关于软组织元件的信息，该信息比生物力学模型中的信息更准确。例如，出于本公开的目的使用来自生物力学模型的软组织信息可能导致1mm-2mm的误差，而出于本公开的目的使用来自超声探头的软组织信息可能导致小于1mm的误差。从超声探头获得的软组织信息可以包括例如关于每个软组织元件的位置和/或取向(例如，相对于一个或多个其它硬或软组织元件)的信息、关于每个软组织元件的一个或多个尺寸的信息和/或其它信息。在一些实施方案中，使用超声探头获得的信息可以用于为患者定制或拟合生物力学模型。

而且，在一些实施方案中，软组织信息可以从除了超声成像设备之外的成像设备获得。可以结合本公开的实施方案使用以获得软组织信息的成像设备和模态包括例如CT扫描仪；超声探头(包括单个超声换能器和单独的超声发射器和接收器)；光学相干断层摄影相机或其它光学相机；以及红外相机。

在方法200的一些实施方案中，步骤212替代地包括接收对应于至少多个硬组织元件的硬问题信息(步骤212)。硬组织元件被描绘在初始MRI图像中。因此，例如，在初始MRI图像描绘患者的脊柱的情况下，硬组织信息对应于患者的脊柱的硬组织元件，诸如椎骨。在初始MRI图像描绘除了脊柱之外的患者的解剖结构的一部分的情况下，硬组织信息对应于患者的解剖结构的该部分内的硬组织元件。

在此类实施方案中，硬组织信息可以是或包括生物力学模型，诸如生物力学模型122。生物力学模型对应于初始MRI图像和多个图像中所描绘的患者的解剖结构的该部分。在一些实施方案中，可以仅使用生物力学模型的一部分。在其它实施方案中，可以使用多个生物力学模型，每个生物力学模型对应于解剖结构的特定硬组织元件。例如，在一些实施方案中，在初始MRI图像中所描绘的患者的解剖结构的该部分是患者的脊柱的情况下，可以仅利用生物力学模型的脊柱部分，即使生物力学模型可以包括附加的部分，并且甚至可以是整个人体的模型。在其它实施方案中，一个生物力学模型可以用于表示初始MRI图像中所描绘的一个或多个椎骨，另一生物力学模型可以用于表示初始MRI图像中所描绘的其它椎骨，等等。

生物力学模型可以仅对人体的硬组织建模，或者生物力学模型可以对人体的硬组织和软组织两者建模。该模型可以是基于患者专用信息可调节的参数生物力学模型。例如，可以测量患者的椎骨的尺寸和/或成分，并且可以将所得测量结果输入到生物力学模型，或者以其它方式用于呈现特定于患者的其它通用生物力学模型。其它参数也可以用于使生物力学模型与患者更紧密地匹配，诸如关于患者的年龄和/或运动范围的信息。

在一些实施方案中，硬组织信息可以是或包括使用X射线成像器件、超声探头或其它成像设备获得的信息。此类实施方案对于本公开的治疗用途可以是特别有利的，其中患者已经定位在手术台上并且需要关于患者的软组织元件中的一个或多个硬组织元件的非常精确的信息来规划和/或执行外科手术。成像设备可以是例如成像设备112，并且可以由诸如机器人臂128的机器人臂调控。在此类实施方案中，机器人臂128可以将成像设备移动到使成像设备能够获得关于患者的一个或多个硬组织元件的期望或所需的信息的一个或多个位置。在一些实施方案中，成像设备可以生成关于硬组织元件的信息，该信息比生物力学模型中的信息更准确。例如，出于本公开的目的使用来自生物力学模型的硬组织信息可能导致1mm-2mm的误差，而出于本公开的目的使用来自成像设备的硬组织信息可能导致小于1mm的误差。从成像设备获得的硬组织信息可以包括例如关于每个硬组织元件的位置和/或取向(例如，相对于一个或多个其它硬或软组织元件)的信息、关于每个硬组织元件的一个或多个尺寸的信息和/或其它信息。在一些实施方案中，使用成像设备获得的信息可以用于为患者定制或拟合生物力学模型。

方法200还包括分割初始MRI图像以识别MRI图像内的多个骨元件中的每个骨元件和多个软组织元件中的每个软组织元件的描绘(步骤216)。可以使用诸如图像处理算法120的一个或多个图像处理算法来完成分割。图像处理算法可以是或包括使用机器学习或其它人工智能生成的算法，并且可以被配置为基于包括解剖元件的标记图像的训练数据来检测图像中的解剖元件。图像处理算法可以是或包括被配置为检测解剖元件的边缘的边缘检测算法。图像处理算法可以是被配置为检测图像中的一个或多个解剖特征的特征识别算法。任何其它图像处理算法和/或图像处理算法的任何组合可以用于分割多个骨元件和多个软组织元件。

初始MRI图像中的多个骨元件和多个软组织元件的分割使初始MRI图像内的多个骨元件中的每个骨元件和多个软组织元件中的每个软组织元件能够被单独地移动或以其它方式修改，而不必将图像的其余部分改变到相同程度或根本不改变(例如，以反映一些解剖部分已以与其它解剖部分不同的量移动或根本不移动的情况)。因此，例如，一旦初始MRI图像已被分割，图像中所描绘的每个椎骨或其它骨元件的边界是已知的，使得图像中的任何特定骨元件的描绘可以被移动到新的位置和取向(例如，新的位姿)，而不需要初始MRI图像中的解剖部分的剩余部分的相同移动。

方法200还包括生成虚拟MRI图像(步骤220)。使用初始MRI图像、多个图像和软(或硬)组织信息生成虚拟MRI图像。下文结合图3和对应的方法300提供关于配准虚拟MRI图像的更多细节。虚拟MRI图像描绘了处于第二位置的患者的解剖结构的该部分，即使初始MRI图像仅示出了处于第一位置的患者的解剖结构的该部分。结果，在处于特定位置的患者的MRI图像不能直接获得的情况下，不管是因为MRI成像设备不能够获得处于特定位置的患者的图像，还是因为患者不能够在MRI扫描的持续时间内维持特定位置，还是因为能够获得处于特定位置的患者的图像的MRI成像设备不可用或使用过于昂贵，还是因为初始MRI图像已被拍摄(例如，在不同的期望位姿可能被指定之前)，还是因为初始MRI图像需要是处于除了期望位置之外的位置的患者(或其一部分)的图像，本公开可以用于生成虚拟MRI图像，该虚拟MRI图像示出了处于与那些元件被成像在初始MRI图像中的位置不同的位置的患者的被成像部分的各种骨和软组织元件。因此，本公开的这些实施方案有益地使得能够降低成本、向健康护理提供者提供改进的信息(包括否则将不可用或难以获得的信息)、以及减少昂贵资源(诸如MRI成像设备)的使用。

本公开涵盖方法200的实施方案，这些实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

图3描绘了生成虚拟MRI图像或以其它方式生成图像数据的方法300。方法300(和/或其一个或多个步骤)可以例如由至少一个处理器执行或以其它方式执行。至少一个处理器可以与上文所描述的计算装置102的处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人126)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所述的任何处理器之外的处理器还可以用于执行方法300。至少一个处理器可以通过执行存储在存储器(诸如存储器106)中的指令(诸如指令124)来执行方法300。这些指令可以对应于下文所述的方法300的一个或多个步骤。这些指令可以使处理器执行一种或多种算法，诸如图像处理算法120。这些指令可以使处理器修改生物力学模型122的一个或多个方面以反映患者专用特征或参数。

方法300的步骤可以对应于方法200的步骤220、方法400的步骤424(下文描述)、方法500的步骤516(下文也描述)和/或方法600的步骤628(下文也描述)。换句话说，方法200的步骤220、方法400的步骤424、方法500的步骤516和/或方法600的步骤628可以包括完成方法300的一个或多个步骤。

方法300包括将初始MRI图像中的多个骨元件配准到多个图像中的每个图像(步骤304)。初始MRI图像可以与上文结合方法200的步骤204所述的初始MRI图像相同，并且多个图像可以与上文结合方法200的步骤208所述的多个图像相同。初始MRI图像和多个图像两者描绘了患者的解剖结构的一部分的多个骨元件。因此，例如，在患者的解剖结构的该部分是患者的脊柱的情况下，初始MRI图像和多个图像中的每个图像可以描绘多个椎骨。多个骨元件中的每个骨元件被描绘在初始MRI图像和多个图像中的每个图像中。

初始MRI图像描绘了当患者处于第一位置时患者的解剖结构的该部分，并且多个图像描绘了当患者处于不同于第一位置的第二位置时患者的解剖结构的该部分。第一位置可以是例如仰卧或站立位，并且第二位置可以是例如站立位、俯卧位、侧卧位(例如，在患者在他或她的一侧上的情况下)、屈曲位或伸展位。此外，多个图像中的图像从彼此偏移至少三十度的不同角度描绘患者的解剖结构的该部分。这有助于确保多个骨元件中的每个骨元件的三维位姿(在患者处于第二位置的情况下)可以根据多个图像精确地确定。

配准可以包括使用一个或多个算法来将如初始MRI图像中所描绘的多个骨元件中的每个骨元件与如多个图像中所描绘的多个骨元件中的对应骨元件对准。例如，如果在初始MRI图像中以一个位姿(位置和取向)描绘特定椎骨，并且在多个图像中以不同位姿描绘特定椎骨，则配准包括改变如初始MRI图像中所描绘的特定椎骨的位姿以匹配多个图像中的该特定椎骨的位姿。对多个骨元件中的每个骨元件重复这种重新对准或对准。

方法300还包括基于软组织信息来修改初始MRI图像中的软组织元件的描绘(步骤308)。软组织信息可以与上文结合方法200的步骤212所描述的软组织信息相同。软组织信息可以包括初始MRI图像中和多个图像中所描绘的患者的一部分的生物力学模型，和/或关于初始MRI图像中和多个图像中所描绘的患者的该部分的一些或全部的超声信息。具体地，软组织信息可以包括关于患者的该部分中的多个软组织元件的信息，该信息足以使得能够基于对所描绘的多个骨元件的位姿的改变(上文关于步骤304所述)来更新初始MRI图像内的多个软组织元件的描绘。

修改可以包括使用一个或多个算法和/或完成一个或多个计算，以在给定所描绘的多个骨元件的位姿的改变的情况下确定多个软组织元件中的每个软组织元件的更新的位姿。因此，例如，在多个椎骨中的每个椎骨的位姿已改变的情况下(例如，在初始MRI图像中所描绘的多个骨元件配准到多个图像中所描绘的对应的多个骨元件期间)，修改可以包括确定多个椎骨中的两个椎骨的更新的位姿将如何影响多个椎骨中的两个椎骨之间的椎间盘的位姿，并且然后基于该确定的结果来调整初始MRI图像中的椎间盘的描绘。该过程可以对每个软组织元件重复，该软组织元件的位姿受到多个骨元件中的一个或多个骨元件的位姿的影响。

在软组织信息包括生物力学模型的情况下，生物力学模型可以用于在给定软组织元件所连接的一个或多个骨元件的位姿的情况下预测软组织元件的位姿。在软组织信息包括超声数据的情况下，超声数据可以反映软组织元件的实际位姿(在患者处于第二位置的情况下)，使得可以甚至更准确地修改初始MRI图像中的软组织元件的描绘。

方法300产生虚拟MRI图像，该虚拟MRI图像包括MRI图像的细节水平，但是描绘了处于与初始MRI图像的位置不同的位置的患者的原始成像部分。此类位置可以是不能在MRI成像设备中成像的位置(无论是由于适用的尺寸约束、患者在MRI扫描的持续时间内不能采取期望位置、MRI设备的不可用性，还是其它原因)，和/或能够在减少稀有资源消耗的情况下实现更好的诊断或治疗护理的位置(例如，通过减少MRI机器的使用量，包括通过使得能够使用描绘处于第一位置的患者的一部分的单个MRI图像来生成一个或多个虚拟MRI图像，每个虚拟MRI图像描绘处于与第一位置不同的位置的患者的至少该部分)。例如，在患者处于仰卧位的情况下患者的脊柱的初始MRI图像可以用于使用本公开的实施方案创建在患者处于站立位、屈曲位和伸展位的情况下患者的脊柱的虚拟MRI图像。这些虚拟MRI图像然后可以用于更好地诊断患者的背痛或其它症状的来源；分析另选的潜在治疗及其效果；和/或由于在虚拟MRI图像中关于骨组织和软组织两者的更大量的细节，以比否则可能的情况更高的精确度和安全性来规划一个或多个外科手术。

在一些实施方案中，一个或多个虚拟MRI图像可以用于在患者的一个或多个解剖元件上进行有限元分析(例如，使用有限元方法)，这还可以帮助患者的诊断和治疗处理。一个或多个虚拟MRI图像可以用于测量角度或其它尺寸(例如，用于确定患者的状况的程度、和/或外科手术已成功的程度、和/或正在进行的外科手术的完成程度)。

当患者在手术台上时，虚拟MRI图像具有可在术中创建的进一步优点。只要已预先获得初始MRI图像，对于手术室来说常见的成像设备(包括例如X射线成像设备和/或超声成像设备)可以用于获得处于适用于正被执行的外科手术的俯卧或其它位置的患者的图像，并且此类图像可以与初始MRI图像一起用于生成一个或多个虚拟MRI图像以供外科医生或其它健康护理提供者考虑和使用。

在结合方法200的实施方案使用方法300，这些实施方案结合步骤212的另选具体实施(例如，该具体实施包括接收对应于至少多个硬组织元件的硬组织信息)的情况下，步骤304包括将初始MRI图像中的多个软组织元件配准到多个图像，并且步骤308包括基于硬组织信息来修改初始MRI图像中的硬组织元件的描绘。

在结合方法400的步骤424使用方法300的情况下，在方法300的前述描述中对初始MRI图像、多个图像和虚拟MRI图像的参考应当被理解为分别参考第一MRI图像、多个图像和虚拟第二MRI图像，这些图像中的每个图像在下文描述。在结合方法500的步骤516使用方法300的情况下，在方法300的前述描述中对初始MRI图像、多个图像和虚拟MRI图像的参考应当被理解为分别参考第一图像数据、第二图像数据和第三图像数据，这些图像数据中的每个图像数据在下文描述。在结合方法600的步骤628使用方法300的情况下，在方法300的前述描述中对初始MRI图像、多个图像和虚拟MRI图像的参考应当被理解为分别参考第一MRI图像数据、第二MRI图像数据和第三MRI图像数据，这些MRI图像数据中的每个MRI图像数据在下文描述。

本公开涵盖方法300的实施方案，这些实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

图4描绘了生成虚拟MRI图像的方法400。方法400(和/或其一个或多个步骤)可以例如由至少一个处理器执行或以其它方式执行。至少一个处理器可以与上文所描述的计算装置102的处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人126)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所述的任何处理器之外的处理器还可以用于执行方法400。至少一个处理器可以通过执行存储在诸如存储器106的存储器中的指令(诸如指令124)来执行方法400。指令可以对应于下文所述的方法400的一个或多个步骤。这些指令可以使处理器执行一种或多种算法，诸如图像处理算法120。这些指令可以使处理器修改生物力学模型122的一个或多个方面以反映患者专用特征或参数。

方法400包括接收处于第一位置的患者的第一MRI图像(步骤404)。步骤404可以与如上所述的方法200的步骤204相同或基本上类似，反之亦然。具体地，可以从任何源并且经由例如诸如系统100的系统的任何部件接收第一MRI图像。第一MRI图像描绘了患者的硬组织和软组织两者。另外，第一MRI图像可以描绘患者的解剖结构的特定部分，诸如患者的脊柱，或患者的解剖结构的整体。第一位置可以是例如仰卧位、站立位或另一位置。

方法400还包括使成像设备获得处于不同于第一位置的第二位置的患者的多个图像(步骤408)。步骤408的一个或多个方面可以与方法200的步骤208的一个或多个方面相同或基本上类似。多个图像至少描绘了患者的解剖结构的成像部分中的硬组织。在一些实施方案中，多个图像描绘了与第一MRI图像基本上相同的患者的解剖结构的部分。在其它实施方案中，多个图像和第一MRI图像不描绘患者的解剖结构的基本上相同的部分，但是在分别由多个图像和第一MRI图像描绘的患者的解剖结构的部分之间存在至少一些重叠，重叠区域对应于患者的感兴趣区域。

成像设备可以与上述成像设备112相同或类似，并且可以被配置为使用X射线、超声波或足以对骨解剖元件和/或其它硬组织成像的其它成像技术来生成图像。以彼此偏移至少三十度的不同角度获得多个图像中的图像。在一些实施方案中，多个图像中的图像彼此正交。

可以手动定位成像设备以获得多个图像，或者可以自动定位成像设备以获得多个图像。类似地，可以手动地(例如，由外科医生或其它用户)或自动地(例如，没有关于此类位置的人工输入)确定从其拍摄多个图像的位置。在一些实施方案中，成像设备可以由诸如机器人臂128的机器人臂保持，可以手动或自动控制该机器人臂的位置。

多个图像包括至少两个图像，但是也可以包括三个图像、四个图像或多于四个图像。

方法400还包括接收对应于患者的软组织信息(步骤416)。步骤416可以与上文所述的方法200的步骤212相同或基本上类似，反之亦然。软组织信息对应于第一MRI图像中所描绘的软组织中的至少一些软组织。软组织信息可以从诸如成像设备112的成像设备接收，该成像设备可以是例如超声成像设备。在此类实施方案中，超声成像设备可以按与如上所述的用于在步骤412中获得多个图像的成像设备相同的方式定位，包括手动地和/或自动地，无论是否使用诸如机器人臂128的机器人臂。超声探头可以被移动(无论是手动地，还是使用机器人臂，还是以其它方式)到多个位置，以便生成关于一个或多个软组织元件的软组织信息。超声探头被移动到的位置可以由超声探头的用户或由诸如计算设备102的处理器104的处理器来确定。

方法400还包括处理第一MRI图像以识别其中的多个骨元件和多个软组织元件(步骤420)。步骤420可以与上文所描述的方法200的步骤216相同或类似，反之亦然。例如，处理可以包括利用一个或多个图像处理算法，诸如特征识别算法、边缘检测算法和/或分割算法，来识别第一MRI图像内的多个骨元件中的每个骨元件和多个软组织元件中的每个软组织元件的边界。

类似于步骤216，步骤420产生分割的第一MRI图像，该分割使第一MRI图像内的多个骨元件(例如，硬组织元件)中的每个骨元件和多个软组织元件中的每个软组织元件能够被单独地移动或以其它方式修改，而不改变图像的其余部分。这又便于创建虚拟MRI图像，其中第一MRI图像中的各种骨元件已被移动和/或以其它方式修改以匹配多个图像中的对应骨元件，并且第一MRI图像中的各种软组织元件已被移动和/或以其它方式修改以匹配或以其它方式基于软组织信息。

方法400还包括生成虚拟第二MRI图像(步骤424)。通过将第一MRI图像中的多个骨元件中的每个骨元件配准到多个图像中的对应骨元件，并且通过基于软组织信息来更新第一MRI图像中的多个软组织元件，生成虚拟第二MRI图像。步骤424可以与上述方法200的步骤220相同或基本上类似，和/或可以包括上述方法300的一个或多个步骤。

本公开涵盖方法400的实施方案，该实施方案包括比上文所描述的步骤更多或更少的步骤，和/或与上文所描述的步骤不同的一个或多个步骤。

现在转到图5，本公开的实施方案可以用于例如基于患者的解剖结构或其部分的实际图像(并且具有与其相同的格式)生成虚拟图像，但是该虚拟图像示出了处于与实际图像不同的位置的患者的解剖结构或其部分。例如，本公开使得能够基于(尤其)示出处于仰卧位的患者的一部分的相同格式的实际图像来生成示出处于站立位的患者的该部分的虚拟图像。作为另一示例，本公开使得能够基于(同样，尤其)示出处于仰卧或站立位的患者的一部分的相同格式的实际图像来生成示出处于俯卧位的患者的该部分的虚拟图像。本公开的实施方案可以用于生成虚拟图像，该虚拟MRI图像示出处于站立位、俯卧位、侧卧位、屈曲位和伸展位的患者的一部分。可以基于例如图像是否将用于诊断或治疗目的来选择在虚拟图像中示出患者的该部分的特定位置。

图5描绘了生成虚拟图像的方法500。方法500(和/或其一个或多个步骤)可以例如由至少一个处理器执行或以其它方式执行。至少一个处理器可以与上文所描述的计算装置102的处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人126)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所描述的任何处理器之外的处理器还可用于执行方法500。至少一个处理器可以通过执行存储在诸如存储器106的存储器中的指令(诸如指令124)来执行方法500。指令可对应于下文描述的方法500的一个或多个步骤。这些指令可以使处理器执行一种或多种算法，诸如图像处理算法120。这些指令可以使处理器修改生物力学模型122的一个或多个方面以反映患者专用特征或参数。

方法500包括接收对应于处于第一位置的患者的脊柱的第一图像数据(步骤504)。第一图像数据包括关于患者的脊柱的多个骨元件和患者的脊柱的多个软组织元件的第一信息。第一图像数据可以是或对应于MRI图像，或者对应于使用除了MRI之外的成像模态生成的患者的脊柱的图像。第一位置可以是仰卧位、站立位、俯卧位、侧卧位、伸展位或屈曲位。步骤504的一个或多个方面可以与上述方法200的步骤204的一个或多个方面相同或基本上类似，反之亦然。例如，可以按上文结合步骤204中的初始MRI图像的接收所描述的任何方式来接收第一图像数据。

方法500还包括接收对应于处于不同于第一位置的第二位置的患者的脊柱的至少两个图像的第二图像数据(步骤508)。第二图像数据包括关于患者脊柱的多个骨元件的第二信息。可以使用X射线成像设备、超声成像设备或适用于生成包括关于患者的脊柱的骨元件的信息的图像数据的任何其它成像设备来生成第二图像数据。第二位置可以是除了第一位置之外的任何位置，无论是仰卧位、站立位、俯卧位、侧卧位、伸展位，还是屈曲位。患者的脊柱的至少两个图像彼此偏移至少三十度、或至少四十度、或至少五十度、或至少六十度、或至少七十度、或至少八十度、或九十度。步骤508的一个或多个方面可以与上述方法200的步骤208的一个或多个方面相同或基本上类似，反之亦然。

方法500还包括接收对应于患者的脊柱的多个软组织元件的软组织数据(步骤512)。软组织数据可以与本文其它地方所述的软组织信息相同或基本上类似，并且可以包括例如生物力学模型和/或使用超声探头生成的数据。软组织数据可以按本文所述的任何方式接收，包括从或经由数据库130、云或其它网络132、通信接口108、超声探头或其它成像设备112和/或存储器106。

方法500还包括通过基于第二图像数据和软组织数据来修改第一图像数据而生成第三图像数据(步骤516)。修改可以包括以与上述步骤304中将初始MRI图像中的多个骨元件配准到多个图像的方式相同或基本上类似的方式将第一信息配准到第二信息。步骤516还可以包括基于在步骤512中接收的软组织数据来修改第一图像数据。实际上，步骤516可以包括步骤304和/或步骤308的一个或多个方面。

方法500使得能够生成第三图像数据，该第三图像数据例如可以是、包括或对应于虚拟图像，该第三图像数据具有与第一图像数据相同的格式(例如，MRI格式或其它格式)，但是描绘处于除了第一图像数据中所描绘的解剖元件的位置之外的位置的其中的解剖元件。更具体地，第三图像数据中的解剖元件的位置对应于第二图像数据中的解剖元件的位置，该第二图像数据是使用与用于生成第一图像数据的成像模态不同的成像模态生成的。

本公开涵盖方法500的实施方案，这些实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

现在转到图6，本公开的实施方案可以用于例如基于处于不同的第一位姿和第二位姿的患者的实际MRI图像来生成处于第三位姿的患者的虚拟MRI图像。例如，第一位姿和第二位姿可以分别是仰卧位姿和坐姿，而第三位姿可以是俯卧位姿或侧卧位姿。

图6描绘了生成虚拟MRI图像的方法600。方法600(和/或其一个或多个步骤)可以例如由至少一个处理器执行或以其它方式执行。至少一个处理器可以与上文所描述的计算装置102的处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人126)的一部分或导航系统(诸如导航系统114)的一部分。除了本文所述的任何处理器之外的处理器还可以用于执行方法600。至少一个处理器可以通过执行存储在诸如存储器106的存储器中的指令(诸如指令124)来执行方法600。指令可以对应于下文所述的方法600的一个或多个步骤。这些指令可以使处理器执行一种或多种算法，诸如图像处理算法120。这些指令可以使处理器修改生物力学模型122的一个或多个方面以反映患者专用特征或参数。

方法600包括接收对应于处于第一位姿的患者的解剖结构的一部分的第一MRI图像数据(步骤604)。第一MRI图像数据包括关于患者的解剖结构的多个骨元件和患者的解剖结构的多个软组织元件的第一信息。尽管被描述为MRI图像数据，但是第一图像数据可以是或对应于使用除了MRI之外的成像模态生成的患者的解剖结构的图像。第一位姿可以是例如仰卧位姿、站立位姿、坐姿、侧卧位姿、俯卧位姿、伸展位姿或屈曲位姿。步骤604的一个或多个方面可以与上述方法200的步骤204的一个或多个方面相同或基本上类似，反之亦然。例如，可以按上文结合步骤204中的初始MRI图像的接收所描述的任何方式来接收第一MRI图像数据。

方法600还包括接收对应于处于第二位姿的患者的解剖结构的该部分的第二MRI图像数据(步骤608)。第二MRI图像数据包括关于患者的解剖结构的多个骨元件和患者的解剖结构的多个软组织元件的第二信息。此处同样，尽管被描述为MRI图像数据，但是第二图像数据可以是或对应于使用除了MRI之外的成像模态生成的患者的解剖结构的图像。第二位姿可以是除了第一位姿之外的任何位姿，并且在一些实施方案中，可以是与第一位姿不同的位姿，因为在患者的解剖结构的该部分中的多个骨元件和/或软组织元件中的一些或全部自身相对于彼此处于不同的位姿。第二位姿可以是例如仰卧位姿、站立位姿、坐姿、侧卧位姿、俯卧位姿、伸展位姿或屈曲位姿。与步骤604一样，步骤608的一个或多个方面可以与上述方法200的步骤204的一个或多个方面相同或基本上类似，反之亦然。例如，可以按上文结合步骤204中的初始MRI图像的接收所描述的任何方式来接收第一MRI图像数据。

方法600还包括分割第一MRI图像数据和第二MRI图像数据中的每个MRI图像数据中的解剖元件(步骤612)。步骤612包括与关于上述方法200的步骤216阐述的相同或基本上类似的动作。可以分割第一MRI图像数据和第二MRI图像数据中的每个MRI图像数据中所描绘的所有解剖元件，或者可以仅分割每组数据中所描绘的解剖元件的子集。例如，在一些实施方案中，可以仅分割骨解剖元件或仅软组织解剖元件，而在其它实施方案中，可以分割骨解剖元件和软组织解剖元件两者。另选地，可以仅分割每个数据集的特定部分中的解剖元件。例如，可以仅分割在第一MRI图像数据和第二MRI图像数据两者中出现的患者的解剖结构的一部分的解剖元件。

另外，步骤612包括匹配第一MRI图像数据和第二MRI图像数据中的对应解剖元件。换句话讲，如果第一MRI图像数据和第二MRI图像数据中的每个MRI图像数据描绘特定椎骨，则步骤612包括建立第一图像数据中的该椎骨的描绘与第二图像数据中的该椎骨的描绘之间的相关性。匹配可以针对在第一图像数据和第二图像数据两者中出现的每个分割的解剖元件发生，或者仅针对分割的解剖元件的子集发生。在一些实施方案中，可以针对在第一MRI图像数据中或在第二MRI图像数据中出现的每个分割的解剖元件尝试匹配，并且针对被确定为未被描绘在第一MRI图像数据和第二MRI图像数据两者中的那些分割的解剖元件中止匹配。

方法600还包括接收第一MRI图像数据和第二MRI图像数据中所描绘的患者的解剖结构的该部分的生物力学模型(步骤616)。生物力学模型可以是生物力学模型122，和/或可以与本文所述的任何其它生物力学模型相同或相似。例如，生物力学模型可以是参数生物力学模型。生物力学模型可以按本文所述的任何方式接收，包括从存储器106、数据库130、云132和/或经由通信接口108接收。

方法600还包括确定一个或多个解剖元件的变形范围和相邻解剖元件之间的移动范围(步骤620)。确定变形范围可以包括将第一MRI图像数据中的一个或多个解剖元件中的每个解剖元件的位姿与第二MRI图像数据中的一个或多个解剖元件中的每个解剖元件的位姿进行比较，并且测量位姿的差异(无论是在一个或多个角度方面、一个或多个距离方面，还是在其它方面)。例如，在第一MRI图像和第二MRI图像没有示出在给定解剖元件的变形范围的相对端处的给定解剖元件的情况下，确定还可以包括外推法以预测给定解剖元件的全变形范围。

确定相邻元件之间的移动范围可以包括例如识别第一MRI图像数据中的相邻解剖元件对和第二MRI图像数据中的对应解剖元件对，以及比较每对中的解剖元件在每个图像中如何相对于彼此定位/取向。比较可以包括测量该对解剖元件的相对位姿的差异(无论是在一个或多个角度方面、一个或多个距离方面，还是在其它方面)。此处同样，在第一MRI图像和第二MRI图像没有示出在该对的移动范围的相对端处的给定解剖元件对的情况下，确定移动范围还可以包括外推法以预测给定解剖元件对的全变形范围。

方法600还包括基于确定的变形范围和移动范围来更新生物力学模型。更新可以包括将确定的变形范围和移动范围输入到通用参数生物力学模型中，以使生物力学模型呈现为患者专用的。在一些实施方案中，更新还可以包括将一个或多个解剖元件的一个或多个测量结果输入到生物力学模型中，使得生物力学模型在患者的解剖元件的尺寸和位姿方面以及在患者的解剖元件的变形范围和移动范围方面准确地反映患者的解剖结构。更新的结果是生物力学模型，该生物力学模型至少反映确定的变形范围和确定的移动范围，并且还可能反映生物力学模型内所包括的解剖元件的一个或多个其它患者专用方面。

方法600还包括基于第一MRI图像数据、第二MRI图像数据和更新的生物力学模型来生成第三MRI图像数据(步骤516)。第三MRI图像数据是示出处于不同于第一位姿和第二位姿的第三位姿的患者的解剖结构的该部分的虚拟MRI图像数据。第三位姿可以是例如仰卧位姿、站立位姿、坐姿、侧卧位姿、俯卧位姿、伸展位姿或屈曲位姿。

生成可以包括例如调控生物力学模型以反映第三位姿，然后重新布置来自第一MRI图像数据和/或第二MRI图像数据的分割的解剖元件中的一个或多个分割的解剖元件以匹配生物力学模型中所示的对应解剖元件的位姿。第三MRI图像数据的准确性可以取决于例如更新的生物力学模型的准确性，并且更具体地取决于生物力学模型反映一个或多个解剖元件的实际变形范围以及患者的解剖结构的该部分中的相邻解剖元件之间的实际移动范围的准确程度。

本公开涵盖方法600的实施方案，这些实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

如上所述，本公开的实施方案有益地使外科医生和其它医疗专业人员能够受益于改进的诊断和治疗信息，同时通过减少昂贵的成像模态(诸如磁共振成像)的使用来降低患者的成本。本公开的实施方案还有益地使得能够生成反映患者的一个或多个特定位置的详细图像数据，即使当患者不能使用将提供期望的细节水平的成像模态在该位置直接成像时，无论是由于有能力的成像设备的不可用性、与此类成像设备的使用相关联的物理约束和/或患者的物理约束。当患者在手术之前或期间被定位在手术台上并且需要在该位置被成像时尤其如此，此时使用MRI机器对患者的成像至少是不切实际的并且至多是不可能的。然而，使用本公开的实施方案，可以基于MRI图像和一个或多个X射线图像或至少示出患者的骨元件的其它类型的图像来生成虚拟MRI图像。另外，使用本公开的实施方案，可以基于MRI图像和一个或多个超声图像或至少示出患者的软组织元件的其它图像来生成虚拟MRI图像。并且，使用本公开的实施方案，可以基于处于第一位姿的患者的MRI图像和处于不同于第一位姿的第二位姿的患者的MRI图像来生成处于第三位姿的患者的虚拟MRI图像。

如基于前述公开可理解的，本公开涵盖具有比图2、图3、图4、图5和图6中识别的所有步骤少的步骤的方法(以及方法200、300、400、500和600的对应描述)，以及包括除了图2、图3、图4、图5和图6中识别的那些步骤之外的附加的步骤的方法(以及方法200、300、400、500和600的对应描述)。本文描述的方法的一个或多个步骤可以以本文描述它们的顺序以外的顺序执行。

已经出于说明和描述的目的呈现了前述讨论。前述内容并非旨在将本公开限于本文中所公开的一种或多种形式。在前述的具体实施方式中，出于简化本公开的目的，将本公开的例如各种特征在一个或多个方面、实施方案和/或配置中聚集在一起。本公开的方面、实施方案和/或配置的特征可在除上文所论述的那些之外的替代性方面、实施方案和/或配置中组合。不应将本公开内容的方法解释为反映以下意图：权利要求需要比每个权利要求中明确叙述的更多的特征。相反，如以下权利要求书所反映，本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此，将以下权利要求特此并入这个具体实施方式中，其中每个权利要求作为本公开的单独的优选实施方案而独立存在。

此外，尽管描述已经包括对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述，但在理解本公开后，其他变化、组合和修改也在本公开的范围内，例如，如可在本领域的技术人员的技能和知识内。期望获得在准许的范围内包括替代方面、实施方案和/或配置的权利，包括所要求保护的替代、可更换和/或等效的结构、功能、范围或步骤，而无论这些替代、可更换和/或等效的结构、功能、范围或步骤是否在本文中公开，且不期望公开用于任何可获专利的主题。

Claims (20)

1.一种生成虚拟MRI图像的方法，所述方法包括：

接收处于第一位置的患者的初始MRI图像，所述初始MRI图像描绘所述患者的解剖结构的至少一部分；

接收处于第二位置的所述患者的多个图像，所述多个图像中的每个图像描绘所述患者的解剖结构的所述部分内的至少多个骨元件；

分割所述初始MRI图像以识别所述初始MRI图像内的所述多个骨元件中的每个骨元件和多个软组织元件中的每个软组织元件的描绘；以及

基于所述MRI图像、所述多个图像和对应于至少所述多个软组织元件的软组织信息来生成所述虚拟MRI图像。

2.根据权利要求1所述的方法，其中生成所述虚拟MRI图像包括：

将所述初始MRI图像中的所述多个骨元件中的每个骨元件配准到所述多个图像中的每个图像中所描绘的所述多个骨元件中的对应的一个骨元件。

3.根据权利要求1所述的方法，其中生成所述虚拟MRI图像包括：

基于所述软组织信息来修改所述初始MRI图像内的所述多个软组织元件的所述描绘。

4.根据权利要求1所述的方法，其中所述软组织信息包括对应于所述患者的解剖结构的所述部分中的至少一些的超声信息。

5.根据权利要求1所述的方法，其中所述多个图像提供所述患者的解剖结构的所述部分的正交视图。

6.根据权利要求1所述的方法，其中所述第二位置是屈曲位、伸展位或侧卧位。

7.根据权利要求1所述的方法，其中所述多个图像包括至少一个X射线图像。

8.根据权利要求1所述的方法，其中所述多个图像包括至少一个超声图像。

9.根据权利要求1所述的方法，其中所述多个图像是在术中获得的。

10.一种用于生成虚拟MRI图像的系统，所述系统包括：

成像设备，所述成像设备能够对硬组织成像；

处理器；和

存储器，所述存储器存储用于由所述处理器执行的指令，所述指令在被执行时使所述处理器：

接收处于第一位置的患者的第一MRI图像，所述第一MRI图像描绘所述患者的硬组织和软组织；

接收处于不同于所述第一位置的第二位置的所述患者的多个图像，所述多个图像由所述成像设备生成；

接收对应于所述患者的软组织信息；

处理所述第一MRI图像以识别其中的多个骨元件和多个软组织元件；以及

通过将所述第一MRI图像中的所述多个骨元件中的每个骨元件配准到所述多个图像中的对应骨元件，并且通过基于所述软组织信息来更新所述第一MRI图像中的所述多个软组织元件，生成虚拟第二MRI图像。

11.根据权利要求10所述的系统，所述系统还包括：

超声探头；和

机器人臂，所述机器人臂被配置为调控所述成像设备或所述超声探头中的至少一者。

12.根据权利要求11所述的系统，其中存储在所述存储器中的所述指令在被执行时还使所述处理器：

使所述机器人臂将所述超声探头移动到多个位置以生成所述软组织信息。

13.根据权利要求10所述的系统，其中所述多个骨元件中的每个骨元件是椎骨。

14.根据权利要求10所述的系统，其中所述多个软组织元件包括韧带或椎间盘中的至少一者。

15.根据权利要求10所述的系统，其中所述软组织信息包括生物力学模型。

16.一种修改图像数据的方法，所述方法包括：

接收对应于处于第一位置的患者的脊柱的第一图像数据，所述第一图像数据包括关于所述患者的脊柱的多个骨元件和所述患者的脊柱的多个软组织元件的第一信息；

接收对应于处于不同于所述第一位置的第二位置的所述患者的脊柱的至少两个图像的第二图像数据，所述第二图像数据包括关于所述患者的脊柱的所述多个骨元件的第二信息；

接收对应于所述患者的脊柱的所述多个软组织元件的软组织数据；以及

通过基于所述第二图像数据和所述软组织数据来修改所述第一图像数据而生成第三图像数据，所述修改包括将所述第一信息配准到所述第二信息。

17.根据权利要求16所述的方法，其中使用磁共振成像生成所述第一图像数据。

18.根据权利要求16所述的方法，其中所述至少两个图像偏移至少三十度。

19.根据权利要求16所述的方法，其中所述至少两个图像是正交的。

20.根据权利要求16所述的方法，其中所述第一图像数据呈第一格式，所述第二图像数据呈不同于所述第一格式的第二格式，并且所述第三图像数据对应于处于所述第二位置的所述患者的脊柱的呈所述第一格式的虚拟图像。