CN106137249A - 在窄视场情况下进行配准用于多模态医学成像融合 - Google Patents

Abstract

本发明公开在窄视场情况下进行配准用于多模态医学成像融合。在与超声的多模态成像融合中，一个换能器(16)被用于将超声扫描数据与来自另一个模式的扫描数据配准(38)。该配准(38)然后用于将来自不同超声换能器(18)的扫描数据与另一模式的扫描数据对准(44)。对准(44)可以顾及在两个换能器(16、18)之间的位置感测中的差异。

Description

在窄视场情况下进行配准用于多模态医学成像融合

技术领域

本实施例涉及融合成像，特别是使用超声作为模式中的一种的多模态融合成像。

背景技术

超声成像可以与其他成像模式(诸如，计算机X线断层术(computed tomography)或磁共振)融合。为了融合或组合来自不同模态的信息，配准不同模态的坐标系。配准允许使用不同成像模式观察患者内的相同位置。一种用于配准的方案将从不同模式获取的数据进行空间对准。然而，对于一些超声换能器的视场可能是窄的。用于配准的清楚特征或其他信息在窄视场中可能不可获得。在超声数据表示窄视场或小视场的地方，基于扫描数据的配准可能不可靠或足够精确。因此，提供融合成像，但是由于未对准而危及融合图像质量。

发明内容

通过介绍，下面描述的优选实施例包括用于多模态成像融合的方法、系统、指令、和计算机可读介质。一个换能器用于将超声扫描数据与来自另一个模式的扫描数据配准。该配准然后用于将来自不同超声换能器的扫描数据和其他模式的扫描数据对准。该对准可以顾及在两个换能器之间的位置感测中的差异。

在第一个方面中，提供用于多模态医学成像融合的方法。使用不同于超声的模态来获取表示患者的区域的扫描数据。通过第一超声换能器扫描患者的该区域中的至少第一部分。该扫描提供了第一超声数据。传感器在通过第一超声换能器扫描期间检测第一超声换能器的第一位置。第一超声数据与扫描数据空间配准，从而提供空间变换。通过第二超声换能器扫描患者的该区域中的至少第二部分，从而提供第二超声数据。所述传感器或另一传感器在通过第二超声换能器扫描期间检测第二超声换能器的第二位置。第二超声数据与扫描数据根据空间变换与第一和第二位置进行空间配准。从扫描数据和第二超声数据生成多模态融合图像，所述多模态融合图像是空间对准的函数。

在第二个方面中，一种非瞬态计算机可读存储介质在其中已存储数据，该数据表示由编程处理器可执行以进行多模态医学成像融合的指令。存储介质包括用于进行如下各项的指令：使用通过第二超声换能器获取的多模态坐标变换来配准通过第一超声换能器获取的多模态成像信息；以及用通过第一超声换能器获取的信息并且用多模态成像信息的配准来生成多模态图像。

在第三个方面中，提供用于多模态医学成像融合的系统。存储器被配置为存储表示患者的体积的磁共振(MR)或计算机X线断层术(CT)数据。超声系统被配置为通过第一和第二超声换能器扫描患者，第一超声换能器具有比第二超声换能器更宽的视场。处理器配置为使用针对来自第一超声换能器的扫描数据与MR或CT数据的坐标变换矩阵将来自第二超声换能器的扫描数据与MR或CT数据配准。显示器被配置为基于来自第二超声换能器的扫描数据与MR或CT数据的配准来显示多模态图像。

本发明由所附的权利要求书限定，并且该部分中的任何部分不应该视为对这些权利要求的限制。以下结合优选实施例来讨论本发明的进一步方面和优点，所述进一步方面和优点可以以后独立地或组合地请求保护。

附图说明

部件和附图未必成比例，重点反而被放置在图解本发明的原理上。此外，在附图中，贯穿不同的视图，相似参考数字指示对应的部分。

图1是用于多模态医学成像融合的方法的一个实施例的流程图；

图2图解相对于另一个成像模态的扫描区域的示例超声扫描；

图3图解相对于另一个成像模态的扫描区域的另一个示例超声扫描；以及

图4是用于多模态医学成像融合的系统的一个实施例的框图。

具体实施方式

多模态融合设有可容易平移的坐标空间配准。宽视场换能器用于执行交叉模态配准。保留来自该配准的坐标变换矩阵。在切换至用于融合图像获取的窄视场换能器后使用该坐标变换矩阵。通过一个超声换能器(例如，宽视场)获取的多模态坐标配准变换用于提供配准信息，从而实现通过不同超声换能器(例如，窄视场)的多模态融合。随后的配准设有或未设有针对不同换能器(例如，窄视场)的进一步配准微调。

图1示出用于多模态医学成像融合的方法。通常，一个换能器与来自另一个模态的数据的配准用于将通过不同换能器的扫描与来自另一模态的数据对准。这允许以对于配准所期望的特性(例如，宽视场和/或更大穿透深度)扫描的换能器用于对准针对具有对于成像所期望的、对于配准可能不是最佳的特性(例如，窄视场和/或较小穿透深度)的换能器的扫描。

该方法通过图4的系统10或另一个系统来实现。使用不同成像系统获得数据。通过不同换能器顺序地获得超声数据。传感器和对应传感器处理器或电路用于检测换能器位置。处理器或其他成像系统执行配准、对准、和/或图像生成。显示器可以用于成像。类似地，用户接口(例如，输入设备诸如鼠标、轨迹球、或触摸板和显示器)允许手动或半自动的空间配准或对准微调的输入。

以所示次序或其他次序执行动作。例如，动作32和34以交织方式、以任一次序顺序地、或同时地执行。动作36可以在动作34之前、期间、或之后执行。类似地，动作42可以在动作40之前、期间、或之后执行。如所示，动作32-38在动作40-44之前发生。在其他实施例中，动作38可以在动作40和/或动作42之后执行，诸如动作44的部分。

可以提供另外的、不同的、或更少的动作。例如，动作32-44是用于执行动作30的一个示例实施例。不同的动作或顺序可以用于执行动作30。作为另一个示例，提供用于手动或半自动特征检测和/或用户输入的动作。在再有另一个示例中，不提供动作46。来自不同模式的对准扫描数据、和/或来自不同模式的融合图像被存储或发送而不显示为图像。

在动作30中，通过一个超声换能器获取的信息与来自非超声成像模态的信息配准用于多模态成像。该配准使用基于通过不同超声换能器获取的信息的多模态坐标变换。一个换能器用于相对于来自不同模态的术前或扫描数据配准来自探头的扫描数据。该预先配准然后用于将来自不同换能器的扫描数据与来自不同模态的术前或扫描数据对准。在不同换能器共享共同的定位系统的地方，来自一个换能器的配准可以供另一换能器使用。

在动作32中，获取扫描数据。扫描数据是表示患者的数据。从存储器、传送、或扫描获取扫描数据。

扫描数据来自非超声模态。可以使用任何医学成像模态，诸如X射线、血管造影术、单光子发射计算机X线断层术、正电子发射X线断层术、磁共振、或计算机X线断层术。例如，磁共振成像系统获取磁共振扫描数据。作为另一示例，计算机X线断层术系统获取计算机X线断层术数据。扫描数据处于从原始传感器数据至格式化为用于显示的图像的数据的任何处理阶段。在磁共振中，原始传感器数据是k空间数据。在变换后，所接收的MR数据指示对象空间中的强度。不同的脉冲序列可以用于检测扫描区域处的不同的分子和/或特性。在计算机X线断层术中，原始传感器数据是投影数据。通过收集来自不同角度的一系列投影，X线断层术可以用于根据针对患者的区域的位置重建密度或衰减。

模态的扫描数据表示患者的区域。该区域是患者的线、平面、和/或体积。在一个实施例中，来自非超声模态的扫描数据表示患者的躯干或其他体积区域。例如，扫描数据表示N×M×O排列中的体素。替代地，扫描数据表示多个单独切片(例如，三个平行切片)。

图2示出其中扫描数据至少表示患者躯干的横断面50的示例。各个器官和/或特征x包括在该区域中并因此由扫描数据表示。扫描数据可以是针对器官的并且不包括患者的整个横断面。在一个实施例中，扫描数据表示体积，从所述体积可以提取在任何任意定向的横断面用于对与二维超声扫描对应的平面区域成像。

再次参照图1，在动作34中获得超声数据。从存储器、发射、或扫描获取超声数据。针对扫描，超声成像系统声学地扫描患者。可以使用任何类型的扫描、扫描格式、或成像模式。例如，使用B模式、彩色血流模式、频谱多普勒模式、M模式、造影、或其他成像模式。超声成像系统是与用于通过其他模态获取扫描数据相比不同的模态。

超声数据表示患者的点、线、区、或体积。例如，超声系统执行患者内的平面的二维B模式扫描。该平面是与由其他模态的扫描数据表示的相同的平面。替代地，平面内的扫描区域位于由其他模态的扫描数据表示的患者体积内。

超声数据是波束成形的数据或来自超声系统的处理路径中后期的其他数据。针对超声成像，发送超声频率处的波形，并接收回波。声回波变换为电信号并波束成形以表示患者的区域内的采样位置。波束成形的数据可以被滤波或以其他方式处理，诸如隔离信息谐波或基频带。可以处理所发送波形的一个或多个谐波处的回波。

可以检测波束成形的数据，诸如确定强度(B模式)或速度(血流模式)。来自相同位置的回波信号序列可以用于估计速度、方差、和/或能量。序列可还用于检测造影剂。例如，对带有不同相位和/或振幅的发送的响应被添加以隔离来自如与组织或血流相对的造影剂的信息。可以使用根据波束成形数据的其他检测技术。所检测的值可以被滤波和/或被扫描转换为显示格式。扫描转换的数据可以被映射至图像的显示值。

以相同空间分辨率获取来自一种模态的扫描数据和来自另一模态的超声数据。针对超声模态和其他模态的扫描设置被配置以用期望采样分辨率获取。扫描参数设置、扫描转换、内插法、外推法、抽取法、滤波、或其他技术可以用于以期望空间分辨率产生数据。在替代的实施例中，如以不同模式获取的数据具有不同空间分辨率。数据被改变为共同分辨率。提供内插法、外推法、滤波、抽取法、下采样、上采样、或其他转换。替代地，来自非超声模态的扫描数据具有与来自超声模态的超声数据相比不同的空间分辨率。

通过换能器获取超声数据。可以使用任何现在已知的或以后开发的换能器。换能器部分限定用于扫描的视场。例如，弯曲的线性换能器可以具有与线性换能器相比更大的横向广度(extent)或更宽视场。通过由波束成形提供的另外操纵，对于视场可以提供甚至更大的横向广度。不同的换能器在不同频率范围上操作。由于视场深度或范围广度部分依赖于频率，针对较低频率操作的换能器可以比针对更高频率操作的换能器具有更大的范围广度。

图2和3示出比较的示例。在图2中，换能器16是用于低发送和/或接收频率(例如1-4MHz)操作的弯曲的线性换能器，因此具有带有覆盖患者的大部分或全部横断面50的横向广度和范围广度的视场52。视场52与来自其他模态的横断面50重叠，被所述横断面50围绕、与所述横断面50相同、或围绕所述横断面50。可以提供相对于由其他模态扫描的区域的更小或更大的视场。在图3中，换能器18是用于高发送和/或接收频率(例如4-10MHz)操作的线性换能器，因此具有比另一换能器16的视场52的区或体积的1/2、1/3或其他因子更小的视场52。例如，换能器16的视场52在最宽处是10cm宽，但可以提供或多或少的覆盖。换能器18的视场在最宽处是小于2cm宽，但可以提供或多或少的覆盖。类似地，视场52比来自另一模态的扫描数据的横断面50小相同或不同的因子。

为了融合图像，超声成像将与来自另一模态的扫描数据空间配准。在扫描数据和超声数据用于配准的地方，表示患者的较大区域的数据可以导致更精确的配准。因此，与用于融合图像中期望的超声成像的扫描相比，用户选择或被命令来选择以较宽视场和/或较低频率换能器扫描用于配准。例如，选择图2的弯曲的线性阵列以使得超声数据以另外的或更清楚提供的特征、基准点、解剖结构、或用于配准的其他标记来表示较大区域。在图2和3中所表示的实施例中，换能器18的视场52包括一个特征x而换能器16的视场52包括三个特征x。为了获取超声数据用于配准，使用具有较大视场52的换能器16。

再次参照图1，在动作36中检测在通过换能器进行超声数据获取期间的换能器的位置。当扫描具有用于配准的期望特性(例如，宽和/或深视场)的换能器时，测量换能器的位置、和/或定向。该测量在扫描期间、刚好在扫描之前、和/或刚好在扫描之后。可以在针对一幅图像或数据帧的扫描期间多次测量位置和/或定向。选择一种测量或使用测量的组合(例如，平均值)。对于针对随后图像或超声数据帧的相同区域的正在进行的或随后的扫描，做出并使用单独测量。

可以使用任何位置感测。传感器包括与换能器间隔的部件。在一个实施例中，提供磁位置传感器。三个线圈或其他天线连接至换能器或位于换能器内。单独设备生成磁场。从来自三个线圈或天线响应于磁场的信号来检测换能器的位置和定向。替代地，在换能器内或在换能器上的天线生成磁场，并且定位在别处的天线确定换能器的位置。在其他实施例中，光学传感器或摄像机检测换能器的位置和/或定向。可以使用用于三角测量换能器的位置的超声或其他传感器。

传感器固定至换能器或在换能器内。换能器包括外壳。传感器位于外壳内或外壳上并且不能够在没有打开换能器探头和/或使用工具的情况下移除。不同的传感器针对每个换能器被定位，但可以与共同基体单元或远程定位的天线一起使用。在替代的实施例中，传感器可用于不同换能器上。传感器夹住或者以其他方式可释放地附接到换能器或者在换能器中。传感器可以从一个换能器移除并置于另一换能器上。

位置传感器用于确定不同换能器的位置从而来自不同换能器的超声数据定位在相同的参照系内。由波束成形器提供的样本密度将来自一个换能器的超声数据与另一个相关从而假定相同扫描平面和原点。位置传感器提供用于定位至相同扫描平面和原点和/或相对于彼此定位的信息。替代地或另外地，由于用于获取非超声扫描数据的成像模态的坐标空间中的换能器的位置是未知的，位置传感器可以用于换能器相对于患者的粗定位。然后通过用进一步配准来微调视场52与由扫描数据表示的患者的区域的相对位置。

在动作38，超声数据与非超声数据配准。来自两种模态的数据都表示患者的部分。扫描数据可以表示患者的更多，而超声数据表示也由扫描数据表示的部分。在针对非超声模态的成像系统和换能器位置传感器未配准的地方，由两种模式的数据表示的部分是未知的。相对平移、旋转、和/或缩放是未知的。由于不同系统用于获取超声和扫描数据，不同的坐标、样本、像素、或体素可以表示患者内的不同位置。空间配准确定由超声数据和扫描数据两者表示的患者的部分。空间配准发现视场相对于扫描数据的患者表示的位置。数据和数据的对应坐标系被对准以使得表示患者的给定位置的两种数据类型的数据是已知的。确定坐标系的空间关系。

来自不同模态的超声和扫描数据用于空间配准。使用刚体或非刚体变换，确定超声数据到扫描数据的平移、旋转、和/或缩放，或者反之亦然。配准基于整个数据帧。替代地，使用数据子集，诸如感兴趣区域。可以使用针对相同帧的多个区域。在一个示例中，扫描数据被转换以模仿超声数据。合成的超声数据与所获取的超声数据配准。

任何技术可以用于配准。可使用基于斑点或特征的配准。特征是解剖学的，但相反可是基准点或插入的器械。通过将陆标(landmark)特征定位为两个数据集中的点、线、区、和/或体积，确定不同类型数据之间的空间配准。计算用来对准两个数据空间中的特征的空间变换。从特征中发现用于对准或空间配准不同数据的缩放、旋转、和/或平移。在另一个方案中，一个数据集相对于另一个平移、旋转、和/或缩放不同的量。配准使用相关性、绝对差的最小和、或其他的相似度测量来发现与最佳匹配关联的平移、旋转、和/或缩放。

在再有另一个配准技术中，训练的滤波器，诸如机器学习分类器，生成概率响应图。选择不同数据用于滤波或分类以识别具有相似概率响应图的空间配准。可以避免特定陆标的识别。

配准是自动的或手动的。通过用户输入或通过处理器自动地发现特征。处理器发现用于自动机械的空间配准。特征诸如通过机器训练分类器自动地定位。处理器然后从所识别特征来计算空间变换。针对手动配准，用户观察从两种模态生成的图像并改变用于从扫描数据成像的平面以发现对应于超声图像的图像，或反之亦然。可使用半自动方案，诸如用户输入针对来自两种模态的图像的相同特征，并且处理器从用户输入特征确定配准。作为另一个半自动方案，用户在来自两种模态的图像中输入感兴趣的边界盒或区域以引导特征检测。

空间配准提供通过超声换能器的超声扫描与扫描数据(例如，磁共振或计算机X线断层术数据)的多模态坐标变换。确定捕获超声数据相对于另一模态的扫描数据的平移、定向、和/或缩放的坐标变换矩阵。响应于用户指定陆标或特征(x)或者用来将超声和其他模态图像或数据对准的自动或半自动的引导来确定矩阵。

在图2和3的示例中，陆标特征x是解剖学的点、线、区、或体积特征。虽然可以使用仅仅一个体积或区特征，多个任何维度的特征可改进配准。通过定位来自超声数据和自其他模态的扫描数据两者的相同特征x，发现特定位置处通过换能器得到的超声数据相对于来自其他模态的扫描数据的平移、旋转、和/或缩放。宽视场52允许陆标更可能表示在超声数据中以及更容易在超声数据和其他模态的扫描数据之间定位和共配准。更大的视场52的宽度和/或深度可以更可能提供精确配准。

存储或保留空间变换矩阵。在通过相同或不同换能器的其他扫描使用相同位置感测的地方，该保留的矩阵可以用于配准其他扫描而不重复基于数据的配准。基于数据的配准可以重复，但使用由动作38的空间配准确定的初始配准具有增加的处理速度。

在动作40中，具有相同或不同超声成像系统的不同换能器用于扫描患者。患者通过如以上针对动作34所讨论的超声但使用不同的换能器扫描。获取给定时间处表示患者的新的超声数据帧或超声数据集。所表示的患者部分处于与动作34的扫描相同或不同的平面中。动作40的扫描可以具有与针对动作34的相比较浅和/或较窄的视场。所扫描的区和/或体积更小。例如，视场的宽度是原来的1/2或更小。替代地或另外地，视场的深度是原来的2/3或更小。可使用更小的因子。因为较小的视场，所获取的超声数据可以表示患者的较少地方。替代地，视场更大或相同。

用户可能期望由给定换能器提供的空间分辨率或其他成像特性。然而，该换能器可能具有足够小的视场或其他特性以导致较不精确的空间配准。用户首先通过换能器扫描来获取用于空间配准的数据，然后切换至具有较小视场的所期望的成像换能器用于与另一个模态的多模态或融合成像。

在图2和3的示例中，在图3中示出了随后的扫描。例如，使用与图2的弯曲的线性较低频率换能器对比更高频率的线性换能器。在图3中，视场在宽度上较小并具有更有限的穿透深度，从而使得难以定位陆标以实现超声与另一个模态的扫描数据的共配准。有限视场使超声波检查师和/或处理器非常难以发现实时超声集和其他模态的所存储的扫描数据集中的共同定位陆标。然而高频线性阵列提供更好的分辨率。

在动作42中，传感器检测扫描期间、之前或之后的换能器位置。执行以上所讨论的检测，但是针对其他换能器(即，被选择用于生成多模态图像的换能器)执行。例如，磁位置传感器用于检测扫描期间的换能器的位置和定向以在给定时间获取表示患者部分的超声数据帧。

在一个实施例中，与换能器连接的传感器是可释放的，诸如被夹住至换能器或以其他方式闩锁至换能器。移除来自用于产生空间变换矩阵的换能器的传感器并将其添加至用于成像的换能器。一旦被夹上，则传感器用来检测扫描期间换能器的位置和定向。基体单元或远程天线与传感器一起用于检测。在其他实施例中，使用相同的基体单元或远程天线，但不同的传感器附接至成像换能器。使用相同的基体单元或远程天线允许在相同坐标系或参照系中即使通过不同传感器进行的两个换能器的位置和定向检测。

在动作44中，来自动作40扫描的、被获取用于成像的超声数据与来自其他模态的扫描数据空间对准。通过保留的空间变换执行空间对准，而不重复动作38的空间配准或除了重复动作38的空间配准之外。空间变换指示平移、旋转、和/或缩放以将换能器和对应视场的位置相对于来自其他模态的扫描数据等同起来。来自第一换能器与扫描数据的坐标变换用于来自第二换能器的数据。

调节空间变化以顾及不同换能器的位置中的差异。成像换能器可以不处于与用于配准的换能器相同的位置。视场相对于扫描数据的空间对准顾及位置中的这一变化或差异。可以改变空间变换以顾及该差异。替代地，应用平移和/或旋转中的进一步空间变换来顾及不同换能器的位置和定向中的差异。

不同换能器上传感器的位置可以处于相对于元件阵列的不同位置。为了顾及该差异，为超声数据或扫描分配原点。可使用任何原点，诸如阵列表面上的阵列中心或另一个横向和/或深度位置。相同或不同的原点用于扫描中的每个。不同换能器的距离和定向中的差异依赖于探头中定位的传感器的位置以及针对换能器扫描格式的优选坐标空间原点。调节空间变换(例如，改变或应用另外变换)以顾及该差异。调节坐标变换矩阵以顾及不同换能器之间位置传感器相对于超声数据集中原点的位置中的差异。

通过应用空间变换，确定视场相对于由其他模态的扫描数据表示的患者的区域的位置。对准扫描数据和超声数据的坐标系。使用空间变换来识别表示超声扫描的视场中的相同位置的扫描数据或至少表示相同平面或视场的扫描数据。

在另一个实施例中，执行进一步空间配准。来自空间变换的对准是初始或粗对准。发生进一步的对准。识别特征或执行其他空间配准来调节对准。针对用于成像的扫描的超声数据被空间配准以微调对准。替代地，用户手动地调节对准。

在动作46中，生成多模态图像。可以使用任何现在已知的或以后开发的多模态成像。来自两种不同模态(其中一种是超声)的信息被融合用于向用户的组合的呈现。来自动作40的扫描的超声数据和动作32中获得的扫描数据两者都用于成像。

来自两种模态的信息表示患者的相同区域。空间对准用于选择待用于成像的扫描数据。这样，来自非超声模态的图像的部分表示相同平面、体积或其他患者区域。扫描数据可以被选择以与由超声图像表示的部分相比表示更多、相同、或更少。所选择的扫描数据用于生成或再现多模态图像的至少部分。超声数据的所有或选择部分用于生成或再现多模态图像的至少部分。例如，从扫描数据生成针对与针对超声所扫描的相同平面的横断面或平面图像，以及针对该平面中的视场也生成超声图像。

在替代的实施例中，被选择用于成像的扫描数据依靠于用于选择的空间变换，但是具有与由超声数据表示的相比的患者的不同部分。例如，超声图像具有器官中的特别的平面，以及扫描数据被选择用于对一个或多个邻近器官进行成像。空间变换矩阵对准坐标系用于选择扫描数据以进行成像。

在融合图像中可以提供任何类型的融合。在一个实施例中，超声信息覆盖在来自其他模态的信息上。超声信息被不同着色或绘图以区别于来自其他模态的信息。例如，来自其他模态的信息绘图为灰度级，而超声信息绘图为彩色。在针对给定位置提供来自两种模态的信息的地方，则信息被组合(例如，求平均)或来自一种模态的信息被选择(例如，选择超声)。可以使用定阈值化或其他选择标准。

在另一种类型的融合中，由在相同时间处邻近彼此显示的不同模态的单独图像形成融合图像。图像不覆盖在屏幕上，而是一起显示。例如，超声图像靠近患者相同部分的计算机X线断层术或磁共振图像来显示。

所生成的融合图像是一维、二维或三维图像。针对二维成像，扫描数据和/或超声数据内插成针对平面的显示格式。替代地，扫描数据和/或超声数据沿如所获取的平面被格式化。针对三维成像，从观察方向执行投影、表面、或其他再现。相同或不同的观察方向如用于超声数据那样用于扫描数据。来自不同模态的信息组合到相同的一维、二维或三维图像中。

在替代的实施例中，不同图像生成用于不同模态。例如，超声数据被扫描转换并且显示为患者的平面中的视场的二维图像。融合图像还包括来自其他模态的信息，诸如患者的区域的三维再现，所述区域包括该平面或被该平面相交。该平面可以用作用于再现的裁剪表面。

图像是表示给定时间处患者的静态图像。在其他实施例中，实时地或按序列更新图像的超声部分。随着由于动作40的重复而发生新的超声扫描，以最新获取的超声数据更新融合图像的超声部分。在扫描序列区间，换能器可以相对于患者移动。来自位置传感器的对准可以随着换能器的位置改变而更新。

可以提供其他成像。例如，从动作34的扫描生成的一幅或多幅图像被生成。可以生成这些图像以辅助获得表示期望特征的数据帧以进行配准。替代地或另外地，来自动作34的扫描的图像被添加至融合图像以提供进一步的信息。融合图像包括通过两个换能器获取的信息。

图4示出用于多模态医学成像融合的系统10。系统10包括存储器12、超声系统14、换能器16和18、传感器20、处理器26、以及显示器28。可以提供另外的、不同的、或更少的部件。例如，提供网络或网络连接，诸如用于与医学成像网络或数据档案系统联网。作为另一示例，提供用户接口。在再有另一个实施例中，替代存储器12或除了存储器12之外，提供用于以不同模态扫描的系统(例如，磁共振或计算机X线断层术系统)。在一些实施例中可不提供超声系统14，诸如在通过传送或从存储器获取超声数据的地方。

处理器26和显示器28是诸如超声系统14、其他模态系统或其他系统的医学成像系统的部分。替代地，处理器26和显示器28是诸如与医学记录数据库工作站或服务器关联的档案和/或图像处理系统的部分。在其他实施例中，处理器26和显示器28是诸如桌上型电脑或膝上型电脑的个人计算机、工作站、服务器、网络、或它们的组合。

显示器28是监视器、LCD、投影仪、等离子显示器、CRT、打印机、或其他现在已知或以后开发的用于输出视觉信息的设计。显示器28从处理器26、存储器12、或超声系统14接收图像、图形、或其他信息。输出至显示器28的显示缓冲器配置显示器28以显示图像。

显示表示患者的区域的一副或多幅图像。至少部分地从非超声模态确定图像的值中的至少一些，并且至少部分地从超声系统14确定图像的值中的至少一些。例如，超声和磁共振或计算机X线断层术值两者都包括在融合图像中。任何融合或多模态图像可以呈现在显示器28上。通过处理器26使用配准扫描以生成由显示器28输出的多模态图像。

存储器12是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、它们的组合、或其他现在已知的或以后开发的用于存储数据或视频信息的存储器设备。存储器12是成像系统(例如，超声系统14)的部分、与处理器26关联的计算机的部分、数据库的部分、另一个系统的部分、或单独的设备。

存储器12存储数据集(例如，帧)，每个数据集表示三维患者体积或二维患者区。患者体积或区是患者的区域，诸如胸腔、腹部、腿、头、臂、或其组合内的区域。患者区或体积是由超声系统14扫描并由来自另一个模态的扫描数据表示(例如，由磁共振或计算机X线断层术系统扫描)的区域。

可以存储任何类型的数据，诸如医学图像数据(例如，超声和磁共振或计算机X线断层术解剖学数据)。数据表示在一个时间处的患者，或包括表示患者随时间诸如在治疗或其他规程之前或期间的帧。

所存储的数据内插或转换至平均间隔的二维或三维网格或者处于扫描格式。针对不同模态的数据可以变换为在相同网格或格式上。来自不同模态的数据可以被空间配准或可以是空间配准之前的数据。

替代地或另外地，存储器12或其他存储器是非瞬态计算机可读存储介质，其存储表示由编程处理器26可执行用于多模态成像的指令的数据。用于实现在本文中所讨论的过程、方法和/或技术的指令提供在计算机可读存储介质或存储器诸如高速缓存、缓冲器、RAM、可移动介质、硬驱动器、或其他计算机可读存储介质上。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。附图中所图解的或本文中所描述的功能、动作或任务响应于存储在计算机可读存储介质中或上的一个或多个指令集来执行。功能、动作或任务独立于指令集、存储介质、处理器或处理策略的特别的类型并可通过单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。类似地，处理策略可包括多重处理、多任务处理、并行处理等。

在一个实施例中，指令存储在可移动介质设备上用于由本地或远程系统读取。在其他实施例中，指令存储在远程位置中用于通过计算机网络或通过电话线传送。在再有其他实施例中，指令存储在给定的计算机、CPU、GPU、或系统中。

超声系统14是任何现在已知或以后开发的超声成像系统。例如，超声系统14包括用于在声能和电能之间转换的两个或更多换能器16、18。换能器16、18连接至超声系统14上的不同端口或在不同时间可释放地连接至相同端口。

换能器16、18是一维、二维、或多维压电或电容膜元件阵列。在一个实施例中，换能器16是弯曲的线性或相控阵列，而另一换能器18是线性阵列。可以使用换能器类型的其他组合。不同换能器16、18具有不同视场，诸如一个具有较宽视场而另一个具有窄视场。替代地，两个换能器16、18都具有相同或类似的视场的横向广度。不同换能器16、18以不同频带诸如完全不同的带或重叠带(但具有不同的上限或下限)操作。作为操作的频带的结果，不同换能器具有针对视场的不同深度广度。替代地，换能器16、18具有相同或类似的操作的频率范围和对应的穿透深度。

换能器16、18用于通过超声扫描患者。发送和接收波束成形器相对延迟并使针对换能器16、18的不同元件的信号变迹(apodize)。声能用于扫描平面和/或体积。例如，通过顺序地扫描多个邻近平面来扫描体积。可以使用任何格式或扫描技术。所扫描的体积可以与患者体积中的所有相交或包括患者体积中的所有。对波束成形信号执行B模式、多普勒、或其他检测。可以提供扫描转换器、存储器、三维成像处理器、和/或其他部件。以极坐标或扫描转换的笛卡尔坐标格式输出超声数据。

超声系统14通过软件、硬件或二者来配置以获取表示患者的超声数据的一个或多个帧。通过不同换能器16、18获取不同的超声数据。例如，一个换能器16用于成像以及空间配准。另一个换能器18使用来自所述一个换能器16的空间配准以用融合或多模态格式成像。

位置传感器20是磁位置传感器、摄像机、超声三角测量系统、陀螺仪、或其他位置和/或定向传感器。在一个实施例中，传感器20包括换能器16、18上的天线或目标以及远离换能器16、18的另一天线或目标。远程部分提供用于检测换能器16、18上传感器20的位置和/或定向的共同参照系。

单独的传感器20提供在每个换能器16、18上，但使用共同远程部分。在替代的实施例中，传感器20在换能器16、18的外部并可释放地与换能器16、18连接。用夹持或其他暂时可附着的传感器20允许相同传感器20在不同时间用于不同换能器16、18上。当换能器16、18中的一个用于扫描时，传感器20连接至换能器16、18或在换能器16、18中连接。在另一换能器18、16用于扫描时，传感器20连接至所述换能器18、16或在换能器18、16中连接。

处理器26是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维再现处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或其他现在已知或以后开发的用于空间配准、确定空间变换、空间对准、和/或生成融合图像的设备。处理器26是单个设备或串行、并行、或单独操作的多个设备。处理器26可以是计算机诸如膝上型或桌上型计算机的主处理器，或可以是用于在较大系统诸如超声系统14中处置任务的处理器。

处理器26通过软件和/或硬件配置。处理器26被配置为将来自一个超声换能器的扫描数据与来自另一个模态的扫描数据(诸如，磁共振或计算机X线断层术数据)配准。为了融合成像，处理器将不同类型的数据配准以生成用不同模态表示患者相同部分的图像。由于一些换能器的视场是有限的，使用来自这样换能器的超声数据来配准可能不如使用来自具有较大视场的换能器的超声数据那么精确。处理器26配置为使用通过使用具有较大视场的换能器产生的坐标变换矩阵来配准。通过将来自具有较大视场的超声换能器16的超声扫描数据与来自其他模态的扫描数据空间配准来确定矩阵。执行手动、自动、或半自动空间配准以确定针对坐标变换矩阵的平移、旋转、和/或缩放。这个矩阵然后应用于来自另一换能器18的超声数据。

在扫描期间的换能器16、18的位置(例如，位置和定向)用于进一步配准。处理器26确定针对不同换能器16、18的位置中的差异和扫描格式中的差异并在配准中顾及该差异。一旦换能器18的超声扫描数据使用来自使用另一换能器16的超声扫描数据的配准的矩阵进行配准，处理器26就生成融合或多模态图像。

虽然以上通过参照各种实施例已经描述了本发明，但是应该理解的是在不偏离本发明范围的情况下能够做出许多改变和修改。因此旨在前面详细描述被看作示意性而不是限制性，并且应该理解的是正是所附的权利要求书(包括所有等同物)旨在限定本发明的精神和范围。

Claims (15)

1.一种用于多模态医学成像融合的方法，该方法包括：

获取(32)表示患者的区域的扫描数据，该扫描数据具有第一模态；

通过不同于第一模态的第二模态的第二医学成像设备的第一超声换能器(16)扫描(34)患者的该区域的至少第一部分，该扫描提供第一超声数据；

通过传感器检测(36)在通过第一超声换能器(16)扫描期间第一超声换能器(16)的第一位置；

将第一超声数据与扫描数据空间配准(38)，所述空间配准(38)提供空间变换；

通过第二超声换能器(18)扫描(40)患者的该区域的至少第二部分，该扫描提供第二超声数据；

通过传感器或另一个传感器检测(42)在通过第二超声换能器(18)扫描期间第二超声换能器(18)的第二位置；

根据空间变换以及第一和第二位置将第二超声数据与扫描数据空间对准(44)；以及

从扫描数据和第二超声数据生成(46)多模态融合图像，该多模态融合图像是空间对准(44)的函数。

2.权利要求1所述的方法，其中获取(32)包括获取(32)作为磁共振或计算机X线断层术数据的扫描数据。

3.权利要求1所述的方法，其中通过第一超声换能器(16)扫描(34)包括用第一视场扫描，并且其中通过第二超声换能器(18)扫描(40)包括用第二视场扫描，所述第二视场具有至多是第一视场的二分之一的区或体积。

4.权利要求1所述的方法，其中通过第一超声换能器(16)扫描(34)包括以第一发送频率扫描，并且其中通过第二超声换能器(18)扫描(40)包括以第二发送频率扫描，所述第二发送频率是第一发送频率的至少1.5倍。

5.权利要求1所述的方法，其中检测(36、42)第一和第二位置包括通过包括磁位置传感器(20)的传感器检测。

6.权利要求5所述的方法，其中检测(36、42)第一和第二位置包括顺序地通过可释放地夹到第二超声换能器(16、18)的传感器检测。

7.权利要求1所述的方法，其中空间配准(38)包括根据在扫描数据和第一超声数据两者中表示的陆标特征来生成空间变换。

8.权利要求1所述的方法，其中空间对准(44)包括分别根据空间变换、第一和第二位置、以及第一和第二超声数据的第一和第二原点进行空间对准(44)。

9.权利要求1所述的方法，其中通过第二超声换能器(18)扫描(40)、检测(42)第二位置、以及空间对准(44)在通过第一超声换能器(16)扫描(34)、检测(36)第一位置、以及空间配准(38)之后执行。

10.权利要求1所述的方法，其中生成(46)多模态融合图像包括用来自第二超声数据的信息生成(46)为来自扫描数据的信息上的覆盖。

11.权利要求1所述的方法，其中生成(46)多模态融合图像包括将来自第二超声数据的信息邻近来自扫描数据的信息同时显示。

12.一种用于多模态医学成像融合的系统，该系统包括：

存储器(12)，配置为存储表示患者的体积的磁共振(MR)或计算机X线断层术(CT)数据；

超声系统(10)，配置为通过第二超声换能器(16、18)扫描患者，第一超声换能器(16)具有比第二超声换能器(18)更宽的视场；

处理器(26)，配置为使用针对来自第一超声换能器(16)的扫描数据与MR或CT数据的坐标变换矩阵将来自第二超声换能器(18)的扫描数据与MR或CT数据配准；以及

显示器(28)，配置为基于来自第二超声换能器(18)的扫描数据与MR或CT数据的配准来显示多模态图像。

13.权利要求12的系统，进一步包括：

位置传感器(20)，与第一超声换能器(16)、第二超声换能器(18)、或两者连接；

其中配准、坐标变换矩阵、或两者是来自位置传感器(20)的位置的函数。

14.权利要求12的系统，其中多模态图像包括来自源自第二超声换能器(18)的扫描数据和来自MR或CT数据的图像。

15.权利要求12的系统，其中用比来自第一超声换能器(16)的扫描数据更高的频率获取来自第二超声换能器(18)的扫描数据。