CN115482193A - 多扫描图像处理 - Google Patents

Abstract

一种用于多扫描图像处理的框架。首先获取感兴趣区域的单个真实解剖图像。还获取感兴趣区域的一个或多个发射图像。可以基于一个或多个发射图像来生成一个或多个合成解剖图像。执行真实解剖图像到一个或多个合成解剖图像的一个或多个可变形配准，以生成一个或多个经配准的解剖图像。然后，可以使用一个或多个经配准的解剖图像对一个或多个发射图像执行衰减校正，以生成一个或多个经衰减校正的发射图像。

Description

多扫描图像处理

技术领域

本公开总体上涉及图像数据处理，并且更特别地涉及用于多扫描图像处理的框架。

背景技术

自X射线首次用于确定解剖异常以来，医学成像领域已经看到了显著进展。医学成像硬件以更新的机器的形式而进展，该更新的机器诸如医学磁共振成像（MRI）扫描器、计算机轴位断层摄影（CAT）扫描器等。使用从这种扫描器获得的原始图像数据来构造数字医学图像。数字医学图像通常要么是由像素元素构成的二维（“2D”）图像，要么是由体积元素（“体素”）构成的三维（“3D”）图像。由于在任何给定扫描中生成的大量图像数据，因此一直存在并且仍然存在如下需要：即，开发可以使一些或所有过程自动化以确定所扫描的医学图像中的解剖异常的存在的图像处理技术。

多模态成像在准确地标识病变组织和正常组织方面起着重要作用。多模态成像通过融合由不同模态获取的图像来提供组合益处。例如，解剖学（例如，计算机断层摄影（CT）、磁共振（MR））与分子（例如，正电子发射断层摄影（PET）、单光子发射计算机断层摄影（SPECT））成像模态之间的互补性已经导致了PET/CT和SPECT/CT成像的广泛使用。

连续（serial）PET/CT（或SPECT/CT）涉及多个扫描（或多扫描）的序列，以评估一时间段内的感兴趣区域的状态。可以在多种情况下执行连续PET/CT，该多种情况包括剂量学评估（dosimetry assessment）和多示踪剂（multi-tracer）研究。然而，重复扫描可能会使患者暴露于增加的辐射风险。

发明内容

本文中描述的是一种用于多扫描图像处理的框架。首先，获取感兴趣区域的单个真实解剖图像。还获取感兴趣区域的一个或多个发射图像。可以基于一个或多个发射图像来生成一个或多个合成解剖图像。执行真实解剖图像到一个或多个合成解剖图像的一个或多个可变形配准，以生成一个或多个经配准的解剖图像。然后，可以使用一个或多个经配准的解剖图像对一个或多个发射图像执行衰减校正，以生成一个或多个经衰减校正的发射图像。

附图说明

当结合附图考虑时，通过参考以下详细描述，将容易获得对本公开以及其许多伴随方面的更完整的领会，这是因为它们变得更好理解。

图1示出了图示示例性系统的框图；

图2示出了图像处理的示例性方法；

图3a示出了非衰减校正（NAC）PET图像和对应合成CT图像的示例性前视图和后视图；

图3b示出了真实CT图像与合成CT图像的示例性比较；

图4a示出了通过将NAC PET图像叠加在真实CT图像上而获得的示例性所得图像的前视图和后视图；

图4b示出了通过将NAC PET图像叠加在经配准的真实CT图像上而获得的示例性所得图像的前视图和后视图；

图5a示出了通过将真实CT图像叠加在经反转的（inverted）合成CT图像上而获得的示例性所得图像的前视图和后视图；以及

图5b示出了通过将经配准的真实CT图像叠加在经反转的合成CT图像上而获得的示例性所得图像的前视图和后视图。

具体实施方式

在以下描述中，阐述了许多具体细节，诸如具体组件、设备、方法等的示例，以便提供对本框架的实现方式的全面理解。然而，对于本领域技术人员来说将明显的是，这些具体细节不需要被采用以实践本框架的实现方式。在其他实例中，没有详细描述公知的材料或方法，以避免不必要地模糊本框架的实现方式。虽然本框架容许有各种修改和替代形式，但是其具体实施例在附图中以示例的方式示出，并且将在本文中详细描述。然而，应当理解的是，不意图将本发明限制于所公开的特定形式，而是相反地，意图是覆盖落入本发明的精神和范围内的所有修改、等同物和替代物。此外，为了便于理解，某些方法步骤被描绘为分离的步骤；然而，这些分离地描绘的步骤不应当被解释为在它们的执行中必然依赖于次序。

除非另行声明，如从以下讨论中明显的那样，否则将领会的是，诸如“分割”、“生成”、“配准”、“确定”、“对准”、“定位”、“处理”、“计算”、“选择”、“估计”、“检测”、“跟踪”等术语可以指代如下计算机系统或类似的电子计算设备的动作和过程，该计算机系统或类似的电子计算设备操纵被表示为计算机系统寄存器和存储器内的物理（例如，电子）量的数据，并且将该数据变换成类似地被表示为计算机系统存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量的其他数据。本文中描述的方法的实施例可以使用计算机软件来实现。如果用符合公认标准的编程语言来编写，则被设计用于实现这些方法的指令的序列可以被编译，以用于在各种硬件平台上执行，并且用于与各种操作系统对接。此外，没有参考任何特定的编程语言来描述本框架的实现方式。将领会的是，可以使用各种编程语言。

为了简洁，对应于对象（例如，主体（例如，患者等）的组织、器官、肿瘤等）的图像或其一部分（例如，图像中的感兴趣区域（ROI））可以被称为该对象或该对象本身的、或者包括该对象或该对象本身的图像或其一部分（例如，ROI）。例如，对应于肺部或心脏的图像的ROI可以被描述为该ROI包括肺部或心脏。作为另一示例，胸部的图像或包括胸部的图像可以被称为胸部图像，或简单地被称为胸部。为了简洁，对应于对象的图像的部分被处理（例如，提取、分割等）可以被描述为该对象被处理。例如，对应于肺部的图像的部分从该图像的其余部分被提取可以被描述为肺部被提取。

有时仅针对衰减校正而需要CT扫描，并且CT扫描可能几乎没有提供诊断优势。通过将初始CT图像配准到随后的分子成像扫描，可以避免由于连续CT扫描所致的累积剂量。然而，由于图像对之间的正交性（即，缺乏互信息），使用常规方法不可能可靠地在功能性PET/SPECT图像与结构性CT图像之间进行配准。

分子扫描和CT扫描通常是顺序地获取的，因此扫描间的患者运动会导致分子图像与CT图像之间的空间不匹配。分子扫描图像与CT扫描图像之间的空间不匹配在传统系统中很大程度上没有被解决。在一些情况（例如，心脏）下，CT图像被刚性地平移以提供更好的匹配，但是这仅提供了区域性校正，并且刚性平移不是现实的（realistic）表示。当前的努力聚焦于从发射数据直接估计衰减。这在其中基础解剖结构相对一致的有限场景（诸如，心脏或脑部研究）中可能是实用的，但是它不适用于其中固体肿块（solid mass）可能出现在不常见的地方的全身肿瘤学场景。例如，考虑CT图像上可标识的大固体肿瘤，但是这些肿瘤中只有一些具有显著的放射性示踪剂摄取。CT图像将无法预测没有放射性示踪剂摄取的衰减肿块。

本文中提出了一种用于多模态图像配准的框架。根据一个方面，通过从非衰减校正（NAC）的发射图像生成合成解剖图像并且将合成解剖图像用作与真的解剖图像（trueanatomic image）的解剖至解剖图像配准的目标，从而将发射图像（例如，SPECT或PET）配准到解剖图像（例如，CT）。将真的解剖图像变形（deform）到合成解剖图像可以保留所有衰减质量，并且真的解剖图像可以被使得可用于在品质保证方面进行比较。在没有互信息的区域（例如，没有放射性示踪剂摄取的异常固体肿块）中，变形场（deformation field）通过周围结构被引导，并且仍然有效。

本框架可以用于提供鲁棒的PET/CT、SPECT/CT、PET/MR配准或其他混合模态配准。有利地，它可以用于减少剂量累积和/或总扫描时间，从而减少相关联的风险。在敏感人群（例如，儿科）中，减少由于连续CT扫描所致的辐射剂量累积是特别重要的。在以下描述中，将更详细地描述这些和其他示例性优点和特征。

图1是图示了示例性系统100的框图。系统100包括用于实现本文中描述的框架的计算机系统101。在一些实现方式中，计算机系统101作为独立设备而操作。在其他实现方式中，计算机系统101可以连接（例如，使用网络）到其他机器，诸如多模态医学扫描器130和工作站134。在联网部署中，计算机系统101可以以（例如，服务器-客户端用户网络环境中的）服务器的身份而操作、以服务器-客户端用户网络环境中的客户端用户机器的身份而操作、或者作为对等（或分布式）网络环境中的对等机器而操作。

在一个实现方式中，计算机系统101包括处理器设备或中央处理单元（CPU）104，该处理器设备或中央处理单元（CPU）104经由输入-输出接口121耦合到一个或多个非暂时性计算机可读介质106（例如，计算机存储或存储器设备）、显示设备108（例如，监视器）和各种输入设备109（例如，鼠标、触摸板或键盘）。计算机系统101可以进一步包括支持电路，诸如高速缓存、电源、时钟电路和通信总线。各种其他外围设备（诸如，附加的数据存储设备和打印设备）也可以连接到计算机系统101。

本技术可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现，或者作为微指令代码的一部分、或者作为应用程序或软件产品的一部分、或者其组合，该微指令代码、或应用程序或软件产品、或其组合经由操作系统来执行。在一些实现方式中，本文中描述的技术被实现为有形地体现在一个或多个非暂时性计算机可读介质106中的计算机可读程序代码。特别地，本技术可以由图像处理模块117来实现。非暂时性计算机可读介质106可以包括随机存取存储器（RAM）、只读存储器（ROM）、磁性软盘、闪速存储器和其他类型的存储器或其组合。计算机可读程序代码由CPU 104来执行，以处理由例如数据库119和/或多模态医学扫描器130提供的数据。由此，计算机系统101是通用计算机系统，该通用计算机系统在执行计算机可读程序代码时变成专用计算机系统。计算机可读程序代码不意图限于任何特定的编程语言及其实现方式。将领会的是，各种编程语言及其编码可以用于实现本文中包含的公开内容的教导。相同或不同的计算机可读介质106可以用于存储数据库119，包括但不限于图像数据集、知识库、个体主体数据、医学记录、主体的诊断报告（或文档）、或其组合。

多模态医学扫描器130获取图像数据132。这种图像数据132可以被处理并存储在数据库119中。多模态医学扫描器130可以是放射学扫描器（例如，核医学扫描器）和/或用于获取、收集和/或存储这种图像数据132的适当外围设备（例如，键盘和显示设备）。多模态医学扫描器130可以是被设计用于使用至少一个解剖成像模态（例如，CT、MR）和至少一个分子成像模态（例如，SPECT、PET）来获取图像数据的混合模态。解剖成像模态聚焦于提取结构性信息，而分子成像模态聚焦于从感兴趣的分子中提取功能性信息。多模态医学扫描器130可以是例如PET/CT、SPECT/CT或PET/MR扫描器。

工作站134可以包括计算机和适当的外围设备，诸如键盘和显示设备，并且可以与结合整个系统100被操作。例如，工作站134可以与多模态医学扫描器130进行通信，使得来自多模态医学扫描器130的医学图像数据132可以在工作站134处被呈现或显示。工作站134可以直接与计算机系统101通信，以显示经处理的数据和/或输出结果144。工作站134可以包括图形用户接口，以经由输入设备（例如，键盘、鼠标、触摸屏、语音或视频识别接口等）接收用户输入，从而操纵数据的可视化和/或处理。

应当进一步理解，因为附图中描绘的一些组成系统组件和方法步骤可以在软件中实现，所以系统组件（或过程步骤）之间的实际连接可能取决于本框架被编程的方式而不同。给定本文中提供的教导，相关领域的普通技术人员将能够考虑本框架的这些和类似的实现方式或配置。

图2示出了图像处理的示例性方法200。应当理解的是，方法200的步骤可以以所示的次序或不同的次序来执行。也可以提供附加的、不同的或更少的步骤。此外，方法200可以利用图1的系统100、不同的系统或其组合来实现。

在202处，多模态医学扫描器130获取感兴趣区域的真实解剖图像。更特别地，多模态医学扫描器130的解剖成像模态可以直接获取主体或患者的感兴趣区域的单个真实解剖图像。真实解剖图像可以是例如真实CT或MR图像。其他类型的解剖成像模态也是有用的。

在204处，多模态医学扫描器130获取感兴趣区域的发射图像。更特别地，多模态医学扫描器130的分子成像模态可以直接获取感兴趣区域的发射图像。发射图像是非衰减校正的（NAC）。为了生成发射图像，分子成像模态可以检测由注射到主体血流中的放射性同位素所生成的发射。在一些实现方式中，发射图像是PET或SPECT图像。其他类型的分子成像模态也是有用的。

在206处，图像处理模块117基于发射图像来生成感兴趣区域的合成（或伪）解剖图像。可以使用人工智能（或机器学习）技术来生成合成解剖图像。例如，可以实现基于生成对抗网络（GAN）、U-net或其他图像到图像网络的深度学习算法。可以训练深度学习网络以从NAC发射图像来生成合成解剖图像。其他类型的人工智能技术也是有用的。

图3a示出了NAC PET图像的示例性前视图和后视图302a-b，该NAC PET图像用于导出合成CT图像的示例性前视图和后视图304a-b。图3b示出了真的（或真实）CT图像与合成CT图像的示例性比较。更特别地，真的CT图像的直方图312以及前视图和后视图314a-b与合成CT图像的直方图315以及前视图和后视图316a-b并排示出。

返回图2，在208处，图像处理模块117执行真实解剖图像到合成解剖图像的可变形（或非刚性）配准，以生成用于改进衰减校正的经配准的解剖图像。可以通过寻找通过求解目标函数（例如，相似性度量）将源图像映射或对准到目标图像的变换来执行可变形配准。在其他实现方式中，通过使用深度学习算法（例如，神经网络）或其他机器学习算法来执行可变形配准。在一些实现方式中，使用单个神经网络来实现跨模态配准过程（即，步骤206和208）。执行可变形配准是为了将真实解剖图像（源图像）与合成解剖图像（目标图像）配准或在空间上对准，以生成经配准的真实解剖图像。

图4a示出了通过将NAC PET图像叠加在真实CT图像上而获得的示例性所得图像的前视图和后视图402a-b。在区域404中，可以观察到空间不匹配。图4b示出了通过将NAC PET图像叠加在经配准的真实CT图像上而获得的示例性所得图像的前视图和后视图412a-b。在该所得图像中，没有观察到空间不匹配。

图5a示出了通过将真实CT图像叠加在经反转的合成CT图像上而获得的示例性所得品质控制图像的前视图和后视图502a-b。在区域504a-b中，可以观察到空间不匹配。图5b示出了通过将经配准的真实CT图像叠加在经反转的合成CT图像上而获得的示例性所得图像的前视图和后视图512a-b。在该所得图像中，没有观察到空间不匹配。

返回图2，在210处，图像处理模块117使用经配准的解剖图像对发射图像执行衰减校正，以生成经衰减校正的发射图像。更特别地，根据利用经配准的解剖图像（例如，CT图像）获取的衰减系数数据，可以确定校正因子并且将其用于校正发射图像（例如，SPECT、PET）以用于衰减，从而产生经衰减校正的发射图像。

在一些情况下，将发射图像移动到真实解剖图像的空间中可能是有利的。例如，如果真实解剖图像处于临床上更合期望的空间位置或解剖姿态（pose）（例如，深吸气屏气（deep inspiration breath hold）CT是用于肺部成像的放射学惯例，但是发射图像可能在不同的呼吸位置中获得），则将发射图像移动到真实解剖图像的解剖空间中是合期望的。在真实解剖图像到合成解剖图像的配准以及发射图像的随后衰减校正之后，可以可选地执行后处理步骤。这种后处理包括：使用来自步骤208中的真实到合成解剖图像配准的逆变形场（inverse deformation field），将经衰减校正的发射图像扭曲（warp）到真实解剖图像的期望解剖空间中。应当领会的是，发射图像的衰减校正也可以在将非衰减校正的发射图像扭曲到期望解剖空间中之后执行。

在212处，确定下一个发射图像的选择。如果没有下一个发射图像被选择，则方法200进行到214。如果选择了下一个发射图像，则方法200返回到204。步骤204至212可以随时间被重复多次（例如，1、2……N），以使用在步骤202中获取的单个真实解剖图像来生成一组经衰减校正的发射图像。有利地，单个真实解剖图像（而不是多个解剖图像）的获取减少了扫描时间和/或辐射剂量，从而使得扫描过程更高效并且具有更少风险，该风险是由于来自例如重复CT图像获取的累积剂量所致。

根据本框架，在各种场景中，可以在不同的时间点处获取多个发射图像。例如，当在单个扫描环节中使用多个放射性示踪剂时，可以在不同的放射性示踪剂被注射到主体中之后获取不同的发射图像。作为另一个示例，可以在单个扫描环节内随时间获取多个发射图像的序列以执行时间门控（temporal gating）（例如，针对不同的呼吸或心脏位置）。可以针对每个门来创建匹配的CT图像。可以提供不同的空间解剖表示。作为又一个示例，可以在主体身体中注射用于在疗法中使用的长寿命（long-lived）放射性同位素之后的扫描环节的时间序列中获取多个发射图像。这种疗法的示例包括α或β发射体放射性核素疗法或基于Zr的免疫疗法。作为又一个示例，可以获取多个发射图像以用于监测疗法反应，特别是在具有快速反应的情况下。

在214处，图像处理模块117输出一个或多个经衰减校正的发射图像的序列。功能图像与解剖图像之间的空间不匹配已经被去除，从而使得能够进行更加准确和精确的衰减校正。可以在例如工作站134处显示一个或多个经衰减校正的发射图像。

虽然已经参考示例性实施例详细描述了本框架，但是本领域技术人员将领会，在不脱离所附权利要求中阐述的本发明的精神和范围的情况下，可以对本框架进行各种修改和替换。例如，在本公开和所附权利要求的范围内，不同示例性实施例的元件和/或特征可以彼此组合和/或彼此替换。

Claims (20)

1.一种图像处理系统，包括：

非暂时性存储器设备，其用于存储计算机可读程序代码；以及

处理器设备，其与所述存储器设备进行通信，所述处理器设备可利用所述计算机可读程序代码来操作以执行步骤，所述步骤包括：

（i）获取感兴趣区域的单个真实解剖图像，

（ii）获取所述感兴趣区域的发射图像，

（iii）基于所述发射图像来生成合成解剖图像，

（iv）执行所述真实解剖图像到所述合成解剖图像的可变形配准，以生成经配准的解剖图像，以及

（v）使用经配准的解剖图像对所述发射图像执行衰减校正，以生成经衰减校正的发射图像，

其中重复步骤（ii）、（iii）、（iv）和（v），以基于所述单个真实解剖图像来生成一组经衰减校正的发射图像。

2.根据权利要求1所述的系统，其中所述单个真实解剖图像包括真实计算机断层摄影（CT）或磁共振（MR）图像。

3.根据权利要求1所述的系统，其中所述发射图像包括正电子发射断层摄影（PET）或单光子发射计算机断层摄影（SPECT）图像。

4.根据权利要求1所述的系统，其中所述处理器设备可利用所述计算机可读程序代码来操作，以使用单个神经网络来生成所述合成解剖图像、以及执行所述真实解剖图像到所述合成解剖图像的可变形配准。

5.根据权利要求1所述的系统，其中所述处理器设备可利用所述计算机可读程序代码来操作，以通过使用来自所述真实解剖图像到所述合成解剖图像的可变形配准的逆变形场，将经衰减校正的发射图像扭曲到所述真实解剖图像的解剖空间中。

6.根据权利要求1所述的系统，其中所述处理器设备可利用所述计算机可读程序代码来操作，以重复步骤（ii）从而在不同的放射性示踪剂被注射到主体中之后获取不同的发射图像。

7.根据权利要求1所述的系统，其中所述处理器设备可利用所述计算机可读程序代码来操作，以重复步骤（ii）从而在单个扫描环节内随时间获取多个发射图像的序列以执行时间门控。

8.根据权利要求1所述的系统，其中所述处理器设备可利用所述计算机可读程序代码来操作，以重复步骤（ii）从而在主体中注射用于在疗法中使用的放射性同位素之后的扫描环节的时间序列中获取多个发射图像。

9.一种图像处理方法，包括：

（i）获取感兴趣区域的单个真实解剖图像；

（ii）获取所述感兴趣区域的一个或多个发射图像；

（iii）基于所述一个或多个发射图像来生成一个或多个合成解剖图像；

（iv）执行所述真实解剖图像到所述一个或多个合成解剖图像的一个或多个可变形配准，以生成一个或多个经配准的解剖图像；以及

（v）使用所述一个或多个经配准的解剖图像对所述一个或多个发射图像执行衰减校正，以生成一个或多个经衰减校正的发射图像。

10.根据权利要求9所述的方法，其中获取所述感兴趣区域的所述一个或多个发射图像包括：在不同的放射性示踪剂被注射到主体中之后获取不同的发射图像。

11.根据权利要求9所述的方法，其中获取所述感兴趣区域的所述一个或多个发射图像包括：在单个扫描环节内随时间获取多个发射图像的序列以执行时间门控。

12.根据权利要求9所述的方法，其中获取所述感兴趣区域的所述一个或多个发射图像包括：在主体中注射用于在疗法中使用的放射性同位素之后的扫描环节的时间序列中获取多个发射图像。

13.根据权利要求9所述的方法，其中获取所述真实解剖图像包括获取真实计算机断层摄影（CT）或磁共振（MR）图像。

14.根据权利要求9所述的方法，其中获取所述一个或多个发射图像包括获取正电子发射断层摄影（PET）或单光子发射计算机断层摄影（SPECT）图像。

15.根据权利要求9所述的方法，其中基于所述一个或多个发射图像来生成所述一个或多个合成解剖图像包括应用深度学习算法。

16.根据权利要求9所述的方法，进一步包括：使用来自所述一个或多个可变形配准的逆变形场，将所述一个或多个经衰减校正的发射图像扭曲到所述真实解剖图像的解剖空间中。

17.根据权利要求9所述的方法，进一步包括：在执行所述衰减校正之前，使用来自所述一个或多个可变形配准的逆变形场将所述一个或多个发射图像扭曲到所述真实解剖图像的解剖空间中。

18.根据权利要求9所述的方法，其中生成所述一个或多个合成解剖图像以及执行所述一个或多个可变形配准是使用单个神经网络来执行的。

19.一个或多个体现了可由机器执行以实行图像处理操作的指令的非暂时性计算机可读介质，所述操作包括：

（i）获取感兴趣区域的单个真实解剖图像；

（ii）获取所述感兴趣区域的发射图像；

（iii）基于所述发射图像来生成合成解剖图像；

（iv）执行所述真实解剖图像到所述合成解剖图像的可变形配准，以生成经配准的解剖图像；以及

（v）使用经配准的解剖图像对所述发射图像执行衰减校正，以生成经衰减校正的发射图像，

其中重复步骤（ii）、（iii）、（iv）和（v），以基于所述单个真实解剖图像来生成一组经衰减校正的发射图像。

20.根据权利要求19所述的一个或多个非暂时性计算机可读介质，其中所述单个真实解剖图像包括真实计算机断层摄影（CT）或磁共振（MR）图像。

Images