CN116612163A - 用于将解剖图像配准到功能图像的深度学习 - Google Patents

用于将解剖图像配准到功能图像的深度学习 Download PDF

Info

Publication number
CN116612163A
CN116612163A CN202310149285.4A CN202310149285A CN116612163A CN 116612163 A CN116612163 A CN 116612163A CN 202310149285 A CN202310149285 A CN 202310149285A CN 116612163 A CN116612163 A CN 116612163A
Authority
CN
China
Prior art keywords
image
anatomical
convolutional neural
anatomical image
functional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310149285.4A
Other languages
English (en)
Inventor
J·谢弗科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of CN116612163A publication Critical patent/CN116612163A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及用于将解剖图像配准到功能图像的深度学习。一种用于使用深度学习将解剖图像配准到功能图像的框架。根据一个方面，该框架通过将解剖图像和对应的功能图像作为输入应用于第一训练的卷积神经网络来提取特征。通过将所提取的特征作为输入应用于第二训练的卷积神经网络来估计变形场。然后，可以将变形场应用于解剖图像以生成经配准的解剖图像。

Description

用于将解剖图像配准到功能图像的深度学习
技术领域
本公开通常涉及数字医疗图像数据处理，并且更特别地涉及使用深度学习将解剖图像配准到功能图像。
背景技术
混合成像在准确地识别患病和正常组织中起重要作用。混合成像通过融合由不同模态采集的图像来提供组合的益处。例如，解剖成像(例如，计算机断层摄影或CT、磁共振或MR)提供结构细节，而功能成像(例如，正电子发射断层摄影或PET、单光子发射计算机断层摄影或SPECT)提供对生物行为(诸如新陈代谢、血流、局部化学成分或吸收的变化)的洞察。解剖成像模态和功能成像模态之间的互补性为医生提供一种实现前所未有的诊断准确性水平的手段，从而加速在临床环境中功能成像的采用。
这也引入用于校正发射图像的新范例。由于湮没光子源自成像对象内，因此它们可以在被检测之前被对象的物理质量吸收和/或散射。这导致PET信号的衰减——现象，所述现象影响了为产生准确图像而必须顾及的数据的重要部分。在PET/CT之前，通常通过在PET采集之前围绕对象旋转已知活性的外部正电子发射棒或线源来测量线性衰减系数的映射(即，mu映射)。这种方法给整个扫描会话增加额外的时间，易受总对象运动的影响，并且仅产生低分辨率的估计。
在混合PET成像系统中，可以使用解剖图像(例如，CT或MR)以针对衰减和散射来校正原始PET采集数据。解剖图像提供对象中的光子衰减的测量结果，其可以用于通过从X射线管缩放到光子湮灭能量来直接生成PET mu映射。这种基于CT的衰减校正(AC)在非常短的时间内提供高质量的校正。此外，解剖和功能数据采集的“同时性”因此已经大大减轻了对空间上共同配准多模态图像的需要。
然而，这些采集实际上不是完全同时的，并且先前的点取决于没有扫描间对象移动的假设。不幸的是，通常不是如此；扫描时间点的微小差异使得在扫描之间的对象移动的可能性。空间失准可能由总对象移动和不自觉的生理运动引起。例如，标准全身(WB)PET扫描为几分钟长，并且捕获在对象的呼吸周期上平均的活性分布。常见的是，观察定量误差，因为CT是在不同的呼吸阶段采集的。此外，对于生理门控图像，单个CT不可能为每个PET帧提供准确校正。
功能成像和解剖成像之间的对象失准导致量化中的误差，并且导致所重建PET图像的明显定性问题，从而显著地恶化PET校正的准确性。图1示出了具有在多个位置处由箭头106a-c指示的伪影的对象的所重建PET图像102。由于由失准的PET和CT数据引起的量化误差而产生伪影。更特别地，特征“香蕉”伪影106a和106b分别由头部和手臂中的总患者运动引起。在肝脏圆顶处产生的伪影106c由呼吸运动引起。由于该对象具有在多个位置处源自不同类型的运动的明显伪影(由箭头指示)，因此它不能被包括在训练集中并且仅用于验证。这些误差在混合PET成像中普遍存在，但是通常被忽略，因为当前没有鲁棒的方法来匹配CT图像与PET图像。
发明内容
在本文中描述了一种用于使用深度学习来将解剖图像配准到功能图像的框架。根据一个方面，框架通过将解剖图像和对应的功能图像作为输入应用于第一训练的卷积神经网络来提取特征。通过将所提取的特征作为输入应用于第二训练的卷积神经网络来估计变形场。然后，可以将变形场应用于解剖图像以生成经配准的解剖图像。
附图说明
将容易获得对本公开及其许多伴随方面的更完整理解，因为当结合附图考虑时，通过参考以下详细描述，本公开及其许多伴随方面变得更好理解。
图1示出了具有在多个位置处的伪影的对象的所重建PET图像；
图2是示出示例性系统的框图；
图3示出由计算机系统进行的图像配准的示例性方法；
图4示出示例性配准框架；
图5示出示例性配准结果；
图6示出验证对象的示例性全身概观；
图7示出在原始PET(oPET)图像和扭曲PET(wPET)图像两者上的具有大呼吸运动的部位上绘制的示例性线轮廓；以及
图8示出82Rb心脏灌注对象的示例性门控PET/CT系列。
具体实施方式
在以下描述中，阐述许多具体细节，诸如具体组件、设备、方法等的示例，以便提供对本框架的实施方式的透彻理解。然而，对于本领域技术人员来说将显而易见的是，不需要采用这些具体细节来实践本框架的实施方式。在其他情况下，没有详细描述公知的材料或方法，以便避免不必要地模糊本框架的实施方式。尽管本框架易于采用各种修改和替换形式，但是其具体实施例在附图中作为示例示出并且将在本文中详细描述。然而，应当理解，没有意图将本发明限制于所公开的特定形式；相反，意图是覆盖落入本发明的精神和范围内的所有修改、等同和替换。此外，为了便于理解，将某些方法步骤刻画为单独的步骤。然而，这些单独刻画的步骤不应被解释为在它们的执行中必须顺序相关。
如在本文中所使用的术语“X射线图像”可以意指可见的X射线图像(例如，显示在视频屏幕上)或X射线图像的数字表示(例如，对应于X射线检测器的像素输出的文件)。如在本文中所使用的术语“治疗中X射线图像”可以指代在介入或治疗规程的治疗递送阶段期间的任何时间点捕获的图像，所述任何时间点可以包括辐射源打开或关闭的时间。有时，为了便于描述，CT成像数据(例如，锥形束CT成像数据)可以在本文中用作示例性成像模态。然而，将会理解，来自任何类型的成像模态的数据也可以用于各种实施方式中，所述成像模态包括但不限于高分辨率计算机断层摄影(HRCT)、X射线放射照片、MRI、PET(正电子发射断层摄影)、PET-CT、SPECT、SPECT-CT、MR-PET、3D超声图像等。
除非另外声明，如从以下讨论中显而易见的，将会理解，诸如“分段”、“生成”、“配准”、“确定”、“对准”、“定位”、“处理”、“计算”、“选择”、“估计”、“检测”、“跟踪”等的术语可以指代如下计算机系统或类似电子计算设备的动作和过程：其操纵表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据并将所述数据变换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。在本文中描述的方法的实施例可以使用计算机软件来实现。如果以符合公认标准的编程语言编写，则可以编译被设计成实现方法的指令序列以便在各种硬件平台上执行以及以便与各种操作系统对接。此外，本框架的实施方式没有参考任何特定的编程语言来描述。将会理解，可以使用各种编程语言。
如在本文中所使用的，术语“图像”指代由离散像元(例如，用于2D图像的像素和用于3D图像的体素)组成的多维数据。该图像可以是例如通过计算机断层摄影、磁共振成像、超声或对本领域技术人员已知的任何其他医疗成像系统收集的对象的医疗图像。图像也可以从非医疗背景(诸如例如遥感系统、电子显微镜等)提供。尽管图像可以被认为是从R3到R的函数，或到R3的映射，但本方法不限制于这样的图像，并且可以应用于任何维度的图像，例如2D图片或3D体积。对于2维或3维图像，图像域通常是2维或3维矩形阵列，其中，每个像素或体素可以参考一组2或3个相互正交轴来寻址。如在本文中所使用的术语“数字”和“数字化”将指代以经由数字采集系统或经由从模拟图像的转换而采集的数字或数字化格式的图像或体积(视情况而定)。
关于2D成像和图像显示传统使用的图元的术语“像素”和关于3D成像通常使用的体积像元的“体素”可以互换使用。应当注意，3D体积图像本身是从作为2D传感器阵列上的像素获得的图像数据合成的，并且从某个视角显示为2D图像。因此，2D图像处理和图像分析技术可以应用于3D体积图像数据。在以下的描述中，描述为对像素进行操作的技术可以替代地被描述为对以2D像素数据的形式存储和表示以供显示的3D体素数据进行操作。以相同的方式，对体素数据进行操作的技术也可以被描述为对像素进行操作。在以下描述中，变量x用于指示在特定空间位置处的对象像元，或者替代地，被认为是对象像素。在使用在本文中描述的技术对特定像元进行操作时，术语“对象像素”或“对象体素”用于指示该特定像元。
对于大多数临床成像协议，由于没有存在良好的解决方案，所以对象失准的问题没有解决而是简单地忽略。存在一些具体的应用，其中应用校正来应对空间失准。例如，在心脏灌注研究中，由于呼吸运动引起的配准不良可能导致所重建PET图像中的人工光致减少(photopenia)的区域。这些区域可以被感知为心肌缺陷。这目前通过简单地在X、Y和Z维度上平移解剖图像使得心脏在两个图像之间对准来应对。这种方法确实提供了改进，但是可能是乏味和/或耗时的。此外，即使对于心脏的良好平移配准不保证在其他位置处的准确量化。用于准确地校正在视场中的每个点处的空间对准的技术，即弹性配准，可以提供相比当前方法的显著益处。
可以可能使用传统方法来执行类似的弹性配准，所述传统方法迭代地更新变换，直到两个图像之间的某一类似性度量被优化为止。然而，传统方法是耗时的。此外，这种迭代优化方法通常是不可靠的，导致混沌行为。对于像素值不相关的模态间配准尤其如此。基于深度学习的技术是潜在地更加可靠的、可再现的并且可以在小部分时间内执行。
本框架提供了一种用于使用深度学习技术的解剖到功能图像配准的系统和方法。更特别地，框架的一个方面可靠地优化或弹性地扭曲解剖图像以校正功能图像。本深度学习技术导出功能图像与其对应的解剖图像之间的运动变形场。变形场可以由密集精细采样的位移矩阵表示，该位移矩阵可以用于扭曲解剖图像以匹配功能示踪剂的空间分布。扭曲的解剖图像可以然后用于下游功能图像校正。
该方法具有改进所重建图像的定量精度的潜力。可以使用本框架来执行功能图像和解剖图像之间的非常快速的三维(3D)弹性配准(通常仅几秒)。网络体系架构和训练方法产生了没有(或具有最小)额外硬件要求的鲁棒方法。已经在具有各种PET示踪剂的临床患者群体中评估了对PET重建的定量影响，并且观察到重建的运动诱发的伪影的显著减少。此外，该方法的功效已经被证实用于校正由于生理和整体(bulk)对象运动两者引起的空间不一致。这种方法的适用性已经被证实用于大体全身(WB)成像和心脏灌注研究。然而，应当理解，本框架也可以应用于其它类型的研究。
发现该框架改进了在验证数据集中在跨越全身的不同部位处的配准不良伪影。最明显地，这些伪影包括在肺/肝脏边界附近发生的呼吸效应，其在传统PET成像中普遍存在。扭曲解剖图像数据以便形态边界与PET活性的分布对准被发现显著减少测试对象中的对应“香蕉”伪影。由于总不自觉运动引起的失准伪影也被发现受益于这种方法。
本框架也可以用于扫描应用、这种心脏灌注研究。例如，如果呼吸运动导致m映射失准，则可能的是，心肌中的活性在所重建PET图像中被欠校正，从而产生显而易见的灌注缺陷和假阳性发现结果。这是重要的临床考虑，并且优化PET数据的衰减校正(AC)的鲁棒方法可以帮助使该任务标准化。这些和其它示例性特征和优点将在本文中更详细地描述。
图2是示出示例性系统200的框图。系统200包括用于实现如在本文中描述的框架的计算机系统201。在一些实施方式中，计算机系统201作为独立设备操作。在其他实施方式中，计算机系统201可以(例如，使用网络)连接到其他机器，诸如成像设备202和工作站203。在联网部署中，计算机系统201可以以服务器-客户端用户网络环境中的客户端用户机器、云计算平台、服务器(例如，瘦客户端服务器)的身份(in thecapacity of)来操作，或者作为对等(或分布式)网络环境中的对等机器来操作。
在一些实施方式中，计算机系统201包括经由输入-输出接口221耦合到一个或多个非暂时性计算机可读介质205(例如，计算机存储装置或存储器)、显示设备210(例如，监视器)和各种输入设备211(例如，鼠标或键盘)的处理器204(例如，中央处理单元(CPU)或图形处理单元(GPU))。计算机系统201还可以包括支持电路，诸如高速缓存、电源、时钟电路和通信总线。诸如额外数据存储设备和打印设备的各种其他外围设备也可以连接到计算机系统201。
本技术可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现，作为经由操作系统执行的微指令代码的一部分或作为经由操作系统执行的应用程序或软件产品的一部分或其组合。在一些实施方式中，在本文中描述的技术被实现为有形地包含在非暂时性计算机可读介质205中的计算机可读程序代码。特别地，本技术可以由深度学习模块206、配准模块208和数据库219来实现。
非暂时性计算机可读介质205可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁软盘、闪存和其他类型的存储器，或其组合。计算机可读程序代码由处理器204执行以处理从例如数据库219检索的医疗数据。这样，计算机系统201是通用计算机系统，所述通用计算机系统当执行计算机可读程序代码时变成专用计算机系统。计算机可读程序代码并不旨在限制于任何特定编程语言及其实施方式。将会理解，各种编程语言及其编码可以用于实现在本文中包含的本公开的教导。
相同或不同的计算机可读介质205可以用于存储数据库(或数据集)219。这样的数据也可以被存储在外部存储装置或其他存储器中。外部存储装置可以使用由处理器204管理的并且驻留在诸如硬盘、RAM或可移动介质的存储器上的数据库管理系统(DBMS)来实现。外部存储装置可以在一个或多个额外计算机系统上实现。例如，外部存储装置可以包括驻留在单独的计算机系统上的数据仓库系统、云平台或系统、图片存档和通信系统(PACS)或任何其他医院、医疗机构、医疗办公室、测试设施、药房或其他医疗患者记录存储系统。
成像设备202采集与至少一个患者相关联的医疗图像220。这样的医疗图像220可以被处理并存储在数据库219中。成像设备202可以是用于采集、收集和/或存储这样的医疗图像220的放射学扫描仪和/或适当的外围设备(例如，键盘和显示设备)。在一些实施方式中，放射学扫描仪是采集功能图像以及解剖图像的混合成像系统(例如，PET/CT或SPECT/CT扫描仪)。
工作站203可以包括计算机和适当的外围设备(诸如键盘和显示设备)并且可以与整个系统200结合操作。例如，工作站203可以直接或间接与成像设备202通信，使得由成像设备202采集的医疗图像数据可以在工作站203处被渲染并且在显示设备上被查看。工作站203也可以提供给定患者的其他类型的医疗数据222。工作站203可以包括图形用户接口以经由输入设备(例如，键盘、鼠标、触摸屏语音或视频识别接口等)接收用户输入，以输入医疗数据222。
还要理解，由于附图中描绘的组成系统组件和方法步骤中的一些可以以软件实现，所以系统组件(或过程步骤)之间的实际连接可以根据本框架被编程的方式而不同。鉴于在本文中提供的教导，相关领域的普通技术人员将会能够想到本框架的这些和类似的实施方式或配置。
图3示出由计算机系统进行的图像配准的示例性方法300。应当理解，方法300的步骤可以以所示出的顺序或不同的顺序执行。也可以提供额外的、不同的或更少的步骤。此外，方法300可以用图2的系统201、不同的系统或其组合来实现。
在302，配准模块208接收感兴趣结构的解剖和功能图像，以及第一和第二训练的卷积神经网络(CNN)。感兴趣结构可以是例如患者的全身或其一部分(例如，胸部、头部、心脏)。解剖图像及其对应的功能图像可以从例如数据库219检索和/或由成像设备202从患者采集。解剖图像(例如CT、MR)提供结构细节，而功能图像(例如PET、SPECT)提供对生物行为(诸如新陈代谢、血流、局部化学成分或吸收的变化)的洞察。
可以从深度学习模块206接收第一和第二训练的卷积神经网络(CNN)。CNN是一类深度前馈人工神经网络，其使用被设计为要求最小预处理的多层感知器的变化。在一些实施方式中，第一和第二CNN是基于空间变换器网络。参见例如Jaderberg，M.，K.Simonyan和A.Zisserman的“Spatial transformer networks，Advances in neural informationprocessing systems，2015.28：p.2017-2025”，其通过参考而并入在本文中。
深度学习模块206通过使用感兴趣结构的训练图像数据集来训练第一和第二CNN。在一些实施方式中，首先复查训练图像的整个群体以确保仅使用具有良好自然对准的功能图像和解剖图像对。具有显著空间偏差的案例可以从训练图像数据集移除并且保留用于测试。在训练期间，可以从训练图像提取三维(3D)补丁(patch)以输入到CNN中进行训练。在每个功能-解剖图像补丁对内，可以通过在两个输入上独立执行的随机仿射和弹性变换来施加人工配准不良。这样，该对的相对变形可以被知晓并且用作监督训练任务中的目标标签。
整个网络可以以监督的方式端到端地训练。网络输出和变形目标之间的逐像素均方误差(MSE)可以是损失函数，并且使用Adam优化器来最小化。参见例如Kingma，D.P.和J.Ba的“Adam：A method for stochastic optimization，arXiv preprint arXiv：1412.6980，2014”，其通过参考而并入在本文中。可以在训练集内以及在独立测试群体中连续地监视配准的性能。
返回图3，在304，配准模块208通过将解剖图像和功能图像两者作为输入应用于第一训练的CNN来提取特征。特征是图像中的结构的、可以用于随后配准的部分或图案。图4示出示例性配准框架401。配准框架401可以包括接收解剖图像402和功能图像404作为输入的可分离的第一CNN 406a和第二CNN 406b。输入解剖图像402是要被变形以与输入功能图像404(即，固定或参考图像)对准的运动图像。第一网络406a可以被等同地(即，用相同的权重和其他网络参数)个别地应用于输入解剖和功能图像(402、404)。第一CNN 406a将解剖图像402和功能图像404分别变换成第一特征映射410和第二特征映射412。
在一些实施方式中，第一CNN 406a包括特征提取器。特征提取器406a可以使用修改的U-NET(U网)配置，该修改的U-NET(U网)配置具有编码器-解码器体系架构，该编码器-解码器体系架构具有在每个分辨率块处通过层映射级联连接的收缩路径和扩展路径。如图4中所示，U-NET配置中的特征提取器406a的每个块对应于多通道特征映射。箭头表示不同的操作A、B、C和D。特征提取器406a的修改的U-NET配置包括收缩路径(左侧)和扩展路径(右侧)。收缩路径包括如下的重复应用：3×3×3卷积，随后是矫正线性单元(ReLU)(操作A)；以及用于下采样的具有跨步(stride)2的2×2×2最大池化操作(操作C)。在每个下采样步骤，特征通道的数量加倍。扩展路径中的每个步骤包括：特征映射的上采样，随后是将特征通道的数量减半的2×2×2卷积(操作D)；以及与来自收缩路径的对应修剪的特征映射的级联(操作B)。相同的网络参数可以用于处理每个输入，并且输出特征映射可以以原始分辨率产生而不用任何下采样。
返回图3，在306，配准模块208使用第二训练的CNN来估计变形场。可以通过使解剖图像和功能图像之间的相对运动位移矩阵回归并且基于相对运动位移矩阵来定义内插网格而确定变形场。内插网格可以由变形向量场(DVF)表示。其它表示也是可能的。
参考图4，第二CNN 406b接收基于两个原始输入图像(402、404)生成的特征映射(410、412)集合作为输入，并且产生表征图像对的相对变形的三维(3D)变形向量场(DVF)416。在一些实施方式中，第二CNN 406b包括使输入解剖图像和功能图像(402、404)之间的相对运动位移矩阵回归的DVF回归器。DVF回归器406B可以使用类似于特征提取器406a的但是在编码路径和解码路径之间没有跳跃连接(操作B)的编码器-解码器体系架构。DVF回归器406b接受级联的输出特征映射(410、412)作为输入，并且使它们之间的相对位移场回归以生成输出DVF 416。输出DVF 416定量地表征变形场，并且可以用于随后对运动图像402进行重新采样。
在308，配准模块208将变形场应用于解剖图像以生成经配准的解剖图像。可以通过使用内插网格(例如，DVF)对解剖图像(或运动图像)进行重新采样或内插来应用变形场。然后，经配准的解剖图像可以用于功能图像校正和重建。例如，经配准的解剖图像可以用于生成衰减系数映射(即，mu映射)以针对衰减和散射校正原始采集数据(例如，PET数据)。然后可以基于mu映射来重建功能图像。
探究了空间配准的衰减校正(AC)数据对PET图像重建的影响。本研究的评估是在与默认方法比较的背景下呈现的，因此PET图像以如下两种方式重建：用扭曲的mu映射(wPET)和用原始的、未修改的mu映射(oPET)。比较图像，并且针对不同场景示出定性发现结果，包括对呼吸运动的具体关注。对于全身(WB)数据，测量并比较所重建PET图像中的量化示踪剂活性的总量。使用双尾(2-tailed)、配对的t测试来确定方法之间的差异是否显著。
使用扭曲的解剖图像来生成用于PET重建的对象mu映射，并且将wPET图像与oPET图像定量地进行比较。对所有测试对象重复该过程。发现将mu映射与PET数据匹配以产生具有通常更高量化的示踪剂活性的所重建PET图像。在全身内测量的平均活性对于oPET和wPET图像来说分别为67.3MBq和68.5MBq。配对t测试确定这些群体差异是在统计学上显著的(1.2±0.99MBq，p＝0.002)。
图5示出示例性配准结果。由于呼吸和整体运动引起的PET重建伪影(由虚线刻画)显示在图像502中由箭头指示的位置处。由CNN预测的DVF被重叠在图像504中，并且使用该DVF重新采样的CT图像506被示出。非衰减校正的(NAC)PET图像在每个显示中是相同的。如图所示，在重新采样的图像506中最小化或消除在由箭头指示的位置处的伪影。
图6示出验证对象的示例性全身概观。连同平均投影映射608和相对差异图像610，原始mu映射604和扭曲的mu映射608分别与它们对应的PET图像602和606一起示出。通过从扭曲的mu映射608减去原始mu映射604并且将减法结果除以原始mu映射608来确定相对差异图像610。使用扭曲的mu映射608来匹配PET活性，在跨越全身的所重建图像中恢复了大约1％的额外示踪剂活性。观察到较少的呼吸伪影。对象另外示出在手臂中的整体运动伪影的明显改进。
图7示出在oPET图像702和wPET图像704两者上的具有大呼吸运动的部位上绘制的示例性线轮廓701a-b。曲线图706示出分别沿着线轮廓701a和701b的所重建PET活性值708和710。对于呼吸伪影来说，wPET图像704证实相比oPET图像702的明显改进。在肝脏圆顶处恢复量化的活性，从而在器官内产生更均匀的重建示踪剂分布。该示例示出将mu映射与PET数据空间配准的潜在显著益处——伪影被大量地校正，从而产生更准确量化的肝脏摄取。
wPET图像704示出在头部和左肩的边缘处的显著更高的重建活性值，这大概来自由于总对象运动引起的失准。不自觉的生理运动也导致空间失配，并且对围绕肺-肝脏边界的区域的更近观看示出了在oPET图像中的一个这样的所得到的呼吸伪影，其中，肝脏的顶部未被完全校正。
呼吸伪影(比如图7中所示的呼吸伪影)当在相对于平均呼吸周期更深的吸气的状态下采集CT时出现，并且在PET成像中非常普遍。实际上，在大多数测试数据集中观察到这种差异——发现对应的伪影在wPET图像中系统性地得到改进。
图8示出用于82Rb心脏灌注对象的示例性门控PET/CT系列802。心肌(或心脏)灌注是核应力测试，该核应力测试被执行以示出血液流过心肌的好坏。对于每个呼吸PET阶段，扭曲相同的CT以匹配PET帧的示踪剂分布。该对象表现出相对大的呼吸运动范围，并且对于所有8个生理帧来说，在PET和CT之间配准成功地对准了肝脏圆顶和心脏。
对于心脏灌注应用来说，用从WB网络学习的参数来初始化配准CNN。该配准CNN然后对单床心脏数据进行训练达6000次额外迭代，直到损失收敛并且在验证对象中观察到可接受的性能。图8示出用于优化在门控研究的每个帧处的衰减校正的配准结果。为了最佳地示出这一点，选择表现出最大呼吸运动范围的单个心脏测试对象，并且显示8个呼吸门控PET/CT图像。对于每个帧来说，原始CT图像被独立地扭曲以匹配每个生理阶段中的示踪剂分布。发现将mu映射扭曲到PET数据确保了所有生理帧在肝脏圆顶和心脏处的对准。
尽管已经参考示例性实施例详细描述了本框架，但是本领域技术人员将会理解，在不偏离如所附权利要求中阐述的本发明的精神和范围的情况下，可以对其进行各种修改和替换。例如，在本公开和所附权利要求的范围内，不同示例性实施例的元件和/或特征可以彼此组合和/或彼此替换。

Claims (20)

1.一种用于图像配准的系统，包括：
非暂时性存储器设备，用于存储计算机可读程序代码；以及
与所述存储器设备通信的处理器，所述处理器用所述计算机可读程序代码操作以执行包括以下各项的步骤：
接收感兴趣结构的解剖图像和功能图像，以及第一和第二训练的卷积神经网络，
通过将所述解剖图像和所述功能图像作为输入应用于所述第一训练的卷积神经网络来提取特征，
通过将所述特征作为输入应用于所述第二训练的卷积神经网络来估计变形场，以及
将所述变形场应用于所述解剖图像以生成经配准的解剖图像。
2.根据权利要求1所述的系统，其中，所述解剖图像包括计算机断层摄影(CT)或磁共振(MR)图像。
3.根据权利要求1所述的系统，其中，所述功能图像包括正电子发射断层摄影(PET)或单光子发射计算机断层摄影(SPECT)图像。
4.根据权利要求1所述的系统，其中，所述第一训练的卷积神经网络包括使用修改的U-NET配置的特征提取器。
5.根据权利要求1所述的系统，其中，所述第二训练的卷积神经网络包括变形向量场回归器。
6.一种用于图像配准的方法，包括：
接收感兴趣结构的解剖图像和功能图像，以及第一和第二训练的卷积神经网络；
通过将所述解剖图像和所述功能图像作为输入应用于所述第一训练的卷积神经网络来提取特征；
通过将所述特征作为输入应用于所述第二训练的卷积神经网络来估计变形场；以及
将所述变形场应用于所述解剖图像以生成经配准的解剖图像。
7.根据权利要求6所述的方法，其中，所述解剖图像包括计算机断层摄影(CT)或磁共振(MR)图像。
8.根据权利要求6所述的方法，其中，所述功能图像包括正电子发射断层摄影(PET)或单光子发射计算机断层摄影(SPECT)图像。
9.根据权利要求6所述的方法，还包括使用功能图像补丁和解剖图像补丁对来执行训练以生成所述第一和第二训练的卷积神经网络。
10.根据权利要求6所述的方法，其中，通过将所述解剖图像和所述功能图像作为输入应用于所述第一训练的卷积神经网络来提取特征包括将所述第一训练的卷积神经网络等同地用于所述解剖图像和所述功能图像。
11.根据权利要求6所述的方法，其中，通过将所述解剖图像和所述功能图像作为输入应用于所述第一训练的卷积神经网络来提取特征包括将所述解剖图像和所述功能图像应用于使用修改的U-NET配置的特征提取器。
12.根据权利要求6所述的方法，其中，估计所述变形场包括：使所述解剖图像与所述功能图像之间的相对运动位移矩阵回归，并且基于所述相对运动位移矩阵来定义内插网格。
13.根据权利要求6的方法，其中，将所述特征作为输入应用于所述第二训练的卷积神经网络包括将所述特征应用于变形向量场回归器，所述变形向量场回归器使与所述解剖图像和所述功能图像相对应的特征之间的相对位移场回归。
14.根据权利要求6所述的方法，其中，将所述变形场应用于所述解剖图像以生成经配准的解剖图像包括使用所述变形场来重新采样所述解剖图像。
15.根据权利要求6所述的方法，还包括基于经配准的解剖图像来生成衰减校正映射，以用于校正原始采集数据。
16.根据权利要求13所述的方法，还包括：基于所述衰减校正映射来校正所述原始采集数据，并且基于校正的原始采集数据来重建一个或多个图像。
17.根据权利要求6所述的方法，其中，所述解剖图像和所述功能图像分别包括心脏灌注CT图像和PET图像。
18.一种或多种非暂时性计算机可读介质，包含可由机器执行以执行操作的指令，所述操作包括：
通过将解剖图像和对应的功能图像作为输入应用于第一卷积神经网络来提取特征；
通过将所述特征作为输入应用于第二卷积神经网络来估计变形场；以及
将所述变形场应用于所述解剖图像以生成经配准的解剖图像。
19.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，所述第一卷积神经网络包括使用修改的U-NET配置的特征提取器。
20.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，所述第二卷积神经网络包括变形向量场回归器。
CN202310149285.4A 2022-02-16 2023-02-16 用于将解剖图像配准到功能图像的深度学习 Pending CN116612163A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/651246 2022-02-16
US17/651,246 US20230260141A1 (en) 2022-02-16 2022-02-16 Deep learning for registering anatomical to functional images

Publications (1)

Publication Number Publication Date
CN116612163A true CN116612163A (zh) 2023-08-18

Family

ID=85277891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310149285.4A Pending CN116612163A (zh) 2022-02-16 2023-02-16 用于将解剖图像配准到功能图像的深度学习

Country Status (3)

Country Link
US (1) US20230260141A1 (zh)
EP (1) EP4231234A1 (zh)
CN (1) CN116612163A (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003083779A2 (en) * 2002-04-03 2003-10-09 Segami S.A.R.L. Image registration process
GB0912845D0 (en) * 2009-07-24 2009-08-26 Siemens Medical Solutions Initialisation of registration using an anatomical atlas
US9767380B2 (en) * 2015-04-13 2017-09-19 Varian Medical Systems International Ag. Image comparison tool tolerant to deformable image matching
CN111447877A (zh) * 2017-10-23 2020-07-24 皇家飞利浦有限公司 使用深度成像的正电子发射断层摄影(pet)系统设计优化
CN109523584B (zh) * 2018-10-26 2021-04-20 上海联影医疗科技股份有限公司 图像处理方法、装置、多模态成像系统、存储介质及设备
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
US20200381096A1 (en) * 2019-06-03 2020-12-03 The Board Of Trustees Of The Leland Stanford Junior University Methods of Predicting Disorder Progression for Control Arms Within an Experimental Trial
US11556784B2 (en) * 2019-11-22 2023-01-17 Samsung Electronics Co., Ltd. Multi-task fusion neural network architecture
CN111210465B (zh) * 2019-12-31 2024-03-22 上海联影智能医疗科技有限公司 图像配准方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
EP4231234A1 (en) 2023-08-23
US20230260141A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
US10304198B2 (en) Automatic medical image retrieval
US10803354B2 (en) Cross-modality image synthesis
CN109389655B (zh) 时变数据的重建
US10867375B2 (en) Forecasting images for image processing
US7117026B2 (en) Physiological model based non-rigid image registration
US10580159B2 (en) Coarse orientation detection in image data
US8774481B2 (en) Atlas-assisted synthetic computed tomography using deformable image registration
US8682051B2 (en) Smoothing of dynamic data sets
US11270434B2 (en) Motion correction for medical image data
KR101885562B1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
CN110458779B (zh) 对呼吸或心脏的pet图像进行衰减校正的校正信息获取方法
US11495346B2 (en) External device-enabled imaging support
JP7459243B2 (ja) １以上のニューラルネットワークとしての画像形成のモデル化による画像再構成
US11645767B2 (en) Capturing a misalignment
EP4231234A1 (en) Deep learning for registering anatomical to functional images
CN110428384B (zh) 对呼吸或心脏的pet图像进行衰减校正的校正信息获取方法
US20230154067A1 (en) Output Validation of an Image Reconstruction Algorithm
US11823399B2 (en) Multi-scan image processing
US11704795B2 (en) Quality-driven image processing
Gütter Statistical Intensity Prior Models with Applications in Multimodal Image Registration
Balasubramanian et al. Registration of PET and MR images of human brain using normalized cross correlation algorithm and spatial transformation techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination