CN114494479A - 利用神经网络对低剂量pet图像进行同时衰减校正、散射校正和去噪声的系统和方法 - Google Patents
利用神经网络对低剂量pet图像进行同时衰减校正、散射校正和去噪声的系统和方法 Download PDFInfo
- Publication number
- CN114494479A CN114494479A CN202111232974.9A CN202111232974A CN114494479A CN 114494479 A CN114494479 A CN 114494479A CN 202111232974 A CN202111232974 A CN 202111232974A CN 114494479 A CN114494479 A CN 114494479A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- dose
- pet
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 51
- 238000012937 correction Methods 0.000 title claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000010801 machine learning Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 238000002600 positron emission tomography Methods 0.000 description 97
- 238000002591 computed tomography Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 27
- 238000012633 nuclear imaging Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000005855 radiation Effects 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000003936 working memory Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
- A61B6/5282—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to scatter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/444—Low dose acquisition or reduction of radiation dose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/452—Computed tomography involving suppression of scattered radiation or scatter correction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明涉及利用神经网络对低剂量PET图像进行同时衰减校正、散射校正和去噪声的系统和方法。图像重建系统使用AI处理来生成去噪声、衰减校正和散射校正的图像。该系统接收低剂量PET图像，并且经由卷积神经网络将机器学习算法应用于低剂量PET图像，以生成输出图像。输出图像包括对与低剂量的图像相关联的散射和衰减的校正。该系统向包括用户接口的计算设备提供输出图像。
Description
技术领域
本公开的方面总体上涉及医学诊断系统，并且更具体地，涉及训练和使用神经网络来从低剂量PET数据重建图像。
背景技术
核成像系统可以采用各种技术来捕获图像。例如，一些核成像系统采用正电子发射断层扫描（PET）来捕获图像。PET是一种核医学成像技术，它会产生表示正电子发射同位素在体内的分布的断层图像。一些核成像系统采用计算机断层扫描（CT）。CT是一种使用x射线产生解剖图像的成像技术。磁共振成像(MRI/MR)是一种使用磁场和无线电波生成解剖和功能图像的成像技术。一些核成像系统在图像融合过程中组合来自PET和CT扫描仪的图像，以产生示出了来自PET扫描和CT扫描两者的信息的图像(例如，PET/CT系统)。例如，CT扫描数据可以用于产生衰减图，以针对衰减校正PET扫描数据。类似地，一些核成像系统将来自PET和MRI扫描仪的图像组合起来，以产生示出了来自PET扫描和MRI扫描两者的信息的图像。
在PET/CT成像中，低辐射剂量和较低曝光时间对于患者的安全性、舒适性和成像体积吞吐量是合期望的。PET/CT中的成像剂量来自两个来源:来自注入的PET同位素的γ辐射和来自CT扫描的X射线辐射。CT数据被用于PET图像形成中的衰减和散射校正。通常需要标准的PET剂量来生成临床质量的PET图像，使得医生能够自信地做出诊断。然而，标准的PET剂量和组合的CT暴露或MRI扫描会有助于降低患者的舒适度、延长扫描时间和降低体积吞吐量。本公开中描述的技术可以使CT或MR扫描对于完全校正的活动图像重建是不必要的。利用深度学习的低剂量/计数成像的另一个应用是，它可以启用具有稀疏检测器的PET扫描仪，由于使用了较少的检测器块，因此在相同的时间段期间，该扫描仪获得的计数比正常的PET扫描仪少。为了节约成本，稀疏检测器配置有时是合期望的。在本公开中，低计数和低剂量可互换使用。
本公开旨在克服现有技术的这个问题和其他问题。
发明内容
在一些实施例中，公开了一种用于图像重建的计算机实现的方法。该方法包括：接收低剂量PET图像，经由卷积神经网络将机器学习算法应用于低剂量PET图像以生成输出图像，其中，输出图像包括对与是低剂量的图像相关联的散射和衰减的校正，以及向包括用户接口的计算设备提供输出图像。
在其他实施例中，公开了一种用于训练神经网络的计算机实现的方法。该方法包括：接收包括在一段时间内收集的数据点的标准剂量PET正弦图数据，通过选择标准剂量PET正弦图数据的子集来再现低剂量PET正弦图数据，以及基于标准剂量PET正弦图数据的子集来重建低剂量图像。该方法还包括：基于标准剂量PET正弦图数据来重建标准剂量图像，至少针对散射和衰减来校正标准剂量图像，以产生经校正的标准剂量图像，以及基于作为输入数据的再现低剂量图像和作为目标数据的经校正的标准剂量图像来训练神经网络。
在其他实施例中，系统包括：存储卷积神经网络的一个或多个存储设备，一个或多个接口设备，以及至少一个处理器，该处理器通信地耦合到一个或多个存储器设备和一个或多个接口设备，并且被配置成：通过一个或多个接口设备接收低剂量PET图像，将低剂量PET图像输入到卷积神经网络，以及从卷积神经网络接收输出图像。该输出图像包括对与是低剂量的图像相关联的散射和衰减的校正以及噪声校正。该至少一个处理器被进一步配置成向一个或多个接口设备的显示器提供输出图像。
在其他实施例中，其他计算设备和/或非暂时性计算机可读介质可以存储用于实行与所公开的过程相关联的一个或多个步骤的处理指令。
附图说明
以下内容将根据各图的要素是显而易见的，各图是出于说明的目的而提供的，并且不一定按比例绘制。
图1A图示了根据一些实施例的使用神经网络的示例性图像重建过程的流程图。
图1B图示了根据一些实施例的使用神经网络的另一个示例性图像重建过程的流程图。
图2图示了根据一些实施例的可以实行本文中描述的一个或多个功能的示例计算设备的框图。
图3图示了根据一些实施例的示例性神经网络训练过程的流程图。
图4图示了根据一些实施例的示例性神经网络。
图5图示了根据一些实施例的用于训练神经网络的示例性过程的流程图。
图6图示了根据一些实施例的使用神经网络从低剂量PET数据产生图像的示例性过程的流程图。
图7图示了将所公开的方法应用于脑部成像的结果。
具体实施方式
示例性实施例的这种描述旨在结合附图进行阅读，附图被认为是整个书面描述的一部分。
关于所要求保护的系统以及所要求保护的方法来描述示例性实施例。另外，关于用于图像重建的方法和系统，以及关于用于图像重建的训练函数的方法和系统，描述了示例性实施例。本文中的特征、优点或替代实施例可以被分配给其他要求保护的对象，反之亦然。例如，提供系统的权利要求可以利用在方法的上下文中所描述或要求保护的特征来改进，反之亦然。此外，所描述或要求保护的方法的功能特征由提供系统的目标单元体现。类似地，用于训练图像重建功能的方法和系统的权利要求可以利用在图像重建的方法和系统的上下文中所描述或要求保护的特征来改进，反之亦然。
本公开的各种实施例可以采用机器学习方法或过程来从核成像系统提供临床信息。例如，实施例可以采用机器学习方法或过程来基于捕获的测量数据重建图像，并且为临床诊断提供重建图像。在一些实施例中，训练机器学习方法或过程，以改善图像的重建，以便针对噪声、散射和衰减同时校正低剂量PET图像。
低辐射剂量在PET/CT成像中是合期望的。递送的剂量源自CT扫描和注射的PET放射性同位素两者。CT数据被用于PET图像形成中的衰减和散射校正。通常需要标准的PET剂量来生成临床质量的PET图像，使得医生能够自信地做出诊断。所公开的实施例可以通过使用深度学习方法在实行同时衰减校正、散射校正和去噪维持图像质量的同时消除CT扫描并且减少PET剂量(即，与标准剂量相比)。低剂量PET扫描可以包括来自不同成像条件的不同图像数据集。例如，正弦图数据集与短扫描持续时间、低造影剂注入、低数据计数、缺失数据或其他类似情况相关联。
所公开的实施例包括：多层卷积神经网络（CNN）的训练，其中以非衰减校正、非散射校正和低剂量PET图像作为输入，并且以完全校正的标准剂量PET图像作为输出(标签)。在CNN被训练之后，它可以用于仅从低剂量PET数据生成完全校正的标准剂量等效PET图像。这种能力使得CT/MR扫描变得不必要，并且显著降低了必要的PET剂量。
图1A图示了与示例性核成像系统110相关联的过程流程100A的一个实施例。在该示例中，核成像系统100采用使用PET正弦图数据115(例如，飞行时间（TOF）PET正弦图数据)的成像管道。成像系统110可以实行一种或多种图像重建方法，以从正弦图数据115产生图像120。根据所公开的实施例，成像系统110可以将图像120输入到神经网络130，从而生成具有用于可靠的临床使用的高质量的PET图像体积140。
在示例性实施例中，核成像系统110包括：图像扫描系统和图像重建系统。该图像扫描系统可以是例如PET/CT扫描仪或MR/PET扫描仪。图像扫描系统生成正弦图数据115，诸如TOF正弦图。正弦图数据115可以表示在扫描仪的视场(FOV)中成像的包含正电子发射同位素的任何东西。例如，正弦图数据115可以表示全身图像扫描，诸如从患者头部到大腿的图像扫描。在一些示例中，图像重建系统的全部或部分以硬件实现，诸如以一个或多个现场可编程门阵列(FPGA)、一个或多个专用集成电路(ASIC)、一个或多个状态机、数字电路或任何其他合适的电路实现。在一些示例中，图像重建系统的部分或全部可以以软件的形式实现为可执行指令，使得当由一个或多个处理器执行时，使得一个或多个处理器实行本文中描述的相应功能。例如，指令可以存储在非暂时性的计算机可读存储介质中。
在示例性实施例中，正弦图数据115包括与低剂量PET扫描相关联的数据。与来自标准剂量PET扫描的完整数据集相比，低剂量PET扫描可以包括与更短的扫描持续时间、更少的造影剂注入(并且因此要检测的更少事件)、更少的数据计数(与扫描持续时间无关)或可能导致更低图像质量的其他数据集相关联的图像数据。例如，标准剂量的PET扫描可能发生超过900秒，而低剂量的PET扫描可能发生超过90秒。来自低剂量PET扫描的正弦图数据115可以被变换成低剂量图像120。低剂量图像120可以是例如低剂量未衰减校正图像122，诸如基于正弦图数据115再现的图像，而不需要基于对应的CT结果对通常可能发生的衰减进行校正。因此，所公开的实施例可以与基于低剂量PET扫描数据生成完全校正的图像相关联，而不需要CT扫描数据。图像120可以附加地或替换地包括部分衰减校正的PET图像124，诸如与低剂量CT扫描(例如，短持续时间CT扫描)之后的一些衰减校正相关联的图像。图像120可以附加地或替换地包括低剂量活动图像126。包括未衰减校正图像122、部分衰减校正图像124或低剂量活动图像126中一个或多个的图像120可以由成像系统110使用近似算法生成，该近似算法诸如普通泊松有序子集期望最大化(OP-OSEM)算法或最大似然衰减和活动(MLAA)估计。
根据所公开的实施例，与低剂量PET扫描相关联的一个或多个图像120(例如，如上文关于示例图像122、124、126所述的)被输入到神经网络130，以提供基于可用扫描数据(例如，来自标准剂量的PET和CT扫描)可能以其他方式发生的图像校正。神经网络130可以针对噪声、散射和衰减同时校正，以产生标准剂量的完全校正的PET图像140，其可以是多切片图像体积。最终图像140可以包括可以被提供用于显示和分析的图像数据。
图1B图示了过程流程100B的另一个实施例。过程流程100B与具有稀疏检测器的核成像系统150相关联。为了节省成本，PET扫描仪中的稀疏探测器配置可能是合期望的。具有稀疏检测器的核成像系统150可以完成PET扫描以收集正弦图数据155。正弦图数据155可以被认为是“低剂量”数据，因为它可以包括低计数(即，与在正常PET扫描仪上实行的标准剂量PET扫描相比更小的数据集)。然后对低计数正弦图数据155实行未校正重建，以获得低计数未校正图像160。低计数未校正图像160可以被输入到神经网络130，以产生标准剂量的完全校正图像170。
图2图示了可以由成像系统(诸如核成像系统110)采用的计算设备200。计算设备200可以实现例如本文中描述的一个或多个功能。例如，计算设备200可以实现成像系统的一个或多个功能，诸如与核成像系统110所收集的数据相关的图像重建过程。在一些实施例中，计算设备200可以表示与神经网络130相关联的计算组件。
计算设备200可以包括一个或多个处理器201、存储器202、一个或多个输入/输出设备203、收发器204、一个或多个通信端口207和显示器206，所有这些都可操作地耦合到一个或多个数据总线208。数据总线208允许各种设备当中的通信。数据总线208可以包括有线或无线通信信道。
处理器201可以包括一个或多个不同的处理器，每个处理器具有一个或多个核心。每一个不同的处理器可以具有相同或不同的结构。处理器201可以包括一个或多个中央处理单元（CPU）、一个或多个图形处理单元（GPU）、专用集成电路（ASIC）、数字信号处理器（DSP）等等。
处理器201可以被配置成通过执行存储在指令存储器207上的代码来实行特定的功能或操作，该代码体现该功能或操作。例如，处理器201可以被配置成实行本文中公开的任何功能、方法或操作中的一个或多个。
存储器202可以包括指令存储器，该指令存储器可以存储可以被处理器201访问(例如，读取)和执行的指令。例如，指令存储器可以是非暂时性的计算机可读存储介质，诸如只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器、可移动磁盘、CD-ROM、任何非易失性存储器或任何其他合适的存储器。例如，指令存储器可以存储指令，当由一个或多个处理器201执行时，这些指令使得一个或多个处理器201实行图像重建系统的一个或多个功能。
存储器202还可以包括工作存储器。处理器201可以向工作存储器存储数据和从工作存储器中读取数据。例如，处理器201可以将一组工作指令存储到工作存储器，诸如从指令存储器加载的指令。处理器201还可以使用工作存储器来存储在计算设备200的操作期间创建的动态数据。工作存储器可以是随机存取存储器（RAM），诸如静态随机存取存储器（SRAM）或动态随机存取存储器（DRAM），或者任何其他合适的存储器。
输入-输出设备203可以包括允许数据输入或输出的任何合适的设备。例如，输入-输出设备203可以包括键盘、触摸板、鼠标、触控笔、触摸屏、物理按钮、扬声器、麦克风或任何其他合适的输入或输出设备中的一个或多个。
（一个或多个）通信端口207可以包括例如串行端口，诸如通用异步接收器/发送器（UART）连接、通用串行总线（USB）连接或任何其他合适的通信端口或连接。在一些示例中，（一个或多个）通信端口207允许对指令存储器207中的可执行指令进行编程。在一些示例中，（一个或多个）通信端口207允许传递(例如，上传或下载)数据，诸如正弦图(例如，正弦图数据115)。
显示器206可以显示用户接口205。用户接口205可以使得能够实现用户与计算设备200的交互。例如，用户接口205可以是允许查看由成像系统生成的最终图像的应用程序的用户接口。在一些示例中，用户可以通过占用输入输出设备203来与用户接口205交互。在一些示例中，显示器206可以是触摸屏，其中用户接口205显示在触摸屏上。
收发器204可以允许与网络通信，该网络诸如是Wi-Fi网络、以太网、蜂窝网络或任何其他合适的通信网络。例如，如果在蜂窝网络中操作，收发器204被配置成允许与蜂窝网络通信。（一个或多个）处理器201可操作来经由收发器204从网络接收数据或向网络发送数据。
图3图示了使用来自核成像系统310的PET成像数据来训练神经网络320以同时对噪声、散射和衰减实行图像校正的过程300的示图。核成像系统310可以是组合的PET/CT系统、或者是用于收集标准剂量的成像数据(诸如PET和MR数据)的其他类似系统。过程300可以包括用于生成用于训练神经网络320的输入数据的低剂量路径和用于生成完全校正的图像作为与输入数据相关联的目标或标签的标准剂量路径。根据一些所公开的实施例，神经网络320是深度学习卷积神经网络。
在过程300中，核成像系统310产生标准剂量的PET图像数据，诸如与典型的完整扫描相关联的正弦图数据(例如，近似900秒的扫描数据)。在低剂量路径中，核成像系统310仅使用可以用于表示低剂量扫描的数据的一部分来实行图像重建330。例如，核成像系统310可以仅使用90秒的扫描数据来产生图像340(例如，正弦图)。通过仅使用标准剂量的PET数据的一部分，核成像系统310可以再现或模拟低剂量图像。图像340作为用于训练神经网络320的输入数据集被输入到神经网络320。图像340没有针对噪声、散射或衰减进行校正，并且因此对于诊断使用来说可能是模糊的、低计数的和/或不可靠的。在一些实施例中，图像重建330和图像340可以与实际低剂量成像数据相关联(例如，持续时间仅为90秒的PET扫描，代替于标准PET扫描的所选部分)。
在标准剂量路径中，核成像系统310可以使用所有收集的数据(例如，900秒的PET扫描数据)来实行标准图像重建350，以产生完全校正的图像360，其被去噪、衰减和散射校正。完全校正的图像360被提供给神经网络320，并且作为“目标”(有时被称为“标签”)图像与图像340相关联，以训练神经网络320。
图4是示例性卷积神经网络400的示图，该神经网络可以被训练成实行本文中描述的同时校正。神经网络400是示例性的，并且其他神经网络架构和配置可以用于训练和图像处理。在所显示的实施例中，卷积神经网络400具有经修改的U网架构。在图4中，conv代表卷积，BN代表批量归一化，并且PReLU代表参数化校正线性单元。神经网络400可以包括下采样阶段410和上采样阶段420。下采样阶段410可以获取输入图像的四个切片，然后以步长2(下采样)应用3×3卷积层、PReLU层、BN层和3×3卷积层的序列。上采样阶段420可以连续地应用3×3卷积层、PReLU层和PixelShuffle层，其上档（upscale）因子为2(上采样)。上采样阶段的输出可以输入到ResNet 430，以生成输出图像的四个切片。每个方框对应于多通道特征图。每个特征图中的通道数量在方框上方或下方指示。在每个下采样或上采样步骤中，特征图大小减半或加倍。例如，在第一个下采样步骤之后，特征图的大小从440×440变为220×220。每个上采样输出可以连接到左边其对应的输出，以重新捕获较早层中的信息。通过适当的填充，神经网络400的输出维持与输入相同的大小。在一个实施例中，神经网络400的损失函数可以组合加权平均绝对误差(MAE)、多尺度结构相似性(MS-SSIM)损失和具有VGG19的内容损失。在一些实施例中，可以动态调整每个损耗分量的权重。应该注意的是，深度卷积神经网络的其他变体可以被设计成实现类似的任务，并且与网络相关的参数可以被改变。例如，输入图像切片的数量可以是159，并且卷积内核的大小可以是3×3×3。
图5是根据所公开的实施例的用于训练和使用神经网络的示例性过程500的流程图。一个或多个处理器(例如，处理器201)可以被配置成执行软件指令来实行过程500的一个或多个步骤。
在步骤510中，处理器接收标准剂量的PET正弦图数据。例如，核成像系统可以根据常规方法使用标准剂量的辐射(例如，曝光时间、造影剂量等)对患者实行扫描。标准剂量的PET数据可以包括同时和/或分别采集的CT和/或MR数据。虽然描述了正弦图数据，但应当理解，数据格式可以变化(例如，列表模式数据、分箱数据等)。
在步骤520中，处理器再现低剂量正弦图数据集。例如，处理器可以从标准剂量的PET正弦图数据中选择数据子集(例如，全数据计数的10%选集，或者取决于应用的其他子集量)。所选数据的子集可以表示低剂量数据集，因为低剂量数据集通常包括更短的扫描持续时间，并且因此数据点的计数更低。处理器还可以从在普通PET扫描仪上采集的正弦图数据中选择数据子集，以模拟在具有稀疏探测器配置的PET系统上采集的低计数数据。低剂量多切片图像可以包括例如4的轴向深度。
在步骤530中，处理器重建标准剂量和再现的低剂量图像。例如，处理器可以分别产生与完整或完全数据集(即，标准剂量正弦图)以及与数据子集(即，再现的低剂量正弦图)相关联的活动图像。标准剂量正弦图包括更多数据点(计数)，并且因此可以包括更高质量和粒度的图像。然而，这两个图像集可能都遭受典型的正弦图近似缺点（诸如噪声、散射和衰减）的影响。
处理器可以被配置成使用扫描仪特定的归一化度量，其包括各种分量(例如，晶体效率、晶体干涉图案、死区时间校正参数等)以用于调整PET原始数据。处理器可以使用低剂量/计数原始发射正弦图数据和扩展成正弦图格式的归一化分量、利用OP-OSEM算法来实行未校正(无衰减和无散射校正)的图像重建。
在步骤540中，处理器针对噪声、散射和衰减来校正标准剂量活动图像。例如，处理器可以使用已知的用于校正正弦图重建的常规方法，诸如基于根据CT或MR扫描数据生成的衰减图来应用校正。
在步骤550中，处理器利用再现的低剂量图像和经校正的标准剂量图像来训练神经网络。例如，低剂量PET图像可以被用作训练输入，并且完全校正的标准剂量PET图像可以是目标数据(例如，神经网络训练的“标签”或“地面真值（ground truth）”)。在训练神经网络时，处理器可以实现用于量化与噪声、散射和衰减的组合相关联的误差的损失函数，并且训练神经网络以使损失函数最小化。例如，神经网络的损失函数可以是平均绝对误差和多结构相似性损失的组合。神经网络可以被训练成经由损失函数来测量误差，并且将误差与阈值进行比较。
图6是使用神经网络来实行低剂量PET图像的图像校正的示例性过程600的流程图，诸如使用在过程500中训练的神经网络。一个或多个处理器(例如，处理器201)可以被配置成执行软件指令来实行过程600的一个或多个步骤。
在步骤610中，处理器接收低剂量PET正弦图数据。低剂量PET正弦图数据可以与具有少于常规辐射曝光(例如，经由曝光时间、造影剂量等)、或在具有稀疏检测器配置的系统上发生的PET扫描相关联。在另一个示例中，低剂量PET正弦图数据可以与低计数数据集的一些其他原因相关联，诸如成像系统的稀疏检测器配置。在步骤620中，处理器可以应用归一化因子来调整扫描仪特定特征的正弦图数据。处理器还可以实行数据过滤，诸如从数据集中减去随机数。
在步骤630中，处理器对归一化的低剂量PET正弦图数据应用重建算法。例如，处理器可以应用OP-OSEM算法来产生低剂量PET图像，尽管其他重建算法也是可能的，诸如MLAA估计。以下每一个都可以被认为是低剂量PET图像：低剂量未衰减校正的PET图像、低剂量部分衰减校正的PET图像和从MLAA估计生成的低剂量活动图像。因此，可以在没有测量的衰减数据或者只有部分测量的衰减数据的情况下收集PET数据，由此去除了对伴随的CT数据的要求，或者以其他方式减少了用于采集这样的CT数据的扫描持续时间(在只有部分校正的衰减的示例中)。
在一些实施例中，衰减的部分校正可以与在PET扫描期间捕获的部分CT扫描相关联。部分CT可以用于减少长PET扫描仪中的辐射剂量。例如，具有长的轴向视场(FOV)的PET扫描仪能够覆盖整个躯干。然而，CT扫描可能只在胸部区域上实行。仅利用部分CT数据，很难使用所有PET数据实行完全校正的重建。然而，部分CT数据可以被用于部分衰减校正，以产生输入到神经网络的部分校正图像。
在步骤640中，处理器可以将重建的低剂量图像提供给经训练的神经网络，以用于同时校正与低剂量图像相关联的散射、衰减和噪声。神经网络可以存储在与处理器通信的存储器(例如，一个或多个存储器设备)中。在一些实施例中，将图像输入到神经网络中的处理器可以与专用神经网络处理器分离。神经网络处理器可以接收输入图像，并且实行图像变换过程以输出完全校正的图像，该图像可与可能已经从标准剂量图像重建过程生成的这样图像相比较。在步骤650中，处理器可以输出完全校正的图像，诸如通过将它们显示给用户用于分析和/或诊断审查。
图7包括图示了将所公开的方法应用于脑成像的结果的示例图像。在一个示例中，与来自900秒扫描的列表模式数据的前90秒相关联的低计数正弦图数据与完整的900秒数据集一起被获得。图像710示出了从低计数正弦图数据重建的未校正图像(即，使用列表模式数据的前90秒)。图像720示出了示例性经训练的深度CNN 710的输出图像作为输入。图像730示出了使用标准OSEM算法从完整的900秒数据集重建的完全校正的图像。图像710中颅骨外部的背景活动是由于未校正的散射所致。朝向图像710中心的被抑制的重建值是由于未校正的衰减所致。与710相比较，针对衰减和散射两者完全校正图像720，并且其噪声水平类似于图像730，图像730是利用使用OP-OSEM算法的所有校正从完整的900秒数据重建的。
所公开的实施例提供了对神经网络的训练，以在输入低剂量图像重建时为各种成像差异提供同时校正。所公开的过程可以被定制为对训练数据进行一些校正(例如，通过应用归一化因子和减去随机值)，使得对于特定的校正（诸如衰减、散射和/或噪声）来训练神经网络。
在一个示例中，多层卷积神经网络可以被训练成将非衰减和非散射校正的低计数PET图像直接转换成完全校正的高计数PET图像。因此，所公开的实施例提供了从低剂量PET数据生成标准诊断PET图像而无需进行CT或MR扫描的能力。所公开的实施例特别适用于需要或期望最小辐射剂量的情况，诸如在极低辐射暴露至关重要的儿科PET核成像中。
所公开的实施例包括被训练成实现涵盖多个成像误差的损失函数的神经网络，该多个成像误差至少包括衰减和散射，并且在一些实施例中还包括噪声。被训练成包括这样的损失函数的卷积神经网络可以跨层迭代地操作，以最终产生基于损失函数的结果与阈值的比较而确定的完全校正的图像。因此，所公开的实施例提供了对多个误差或低图像质量原因的同时校正，由此实现了本文中描述的低剂量输入以及已经描述的相关联的低曝光和患者舒适性优点。
装置和过程不限于本文中描述的特定实施例。此外，每个装置和每个过程的组件可以独立于本文中描述的其他组件和过程以及与本文中描述的其他组件和过程分离地被实践。
提供实施例的先前描述是要使得本领域任何技术人员能够实践本公开。对这些实施例的各种修改对于本领域技术人员来说将是显而易见的，并且本文中定义的一般原理可以应用于其他实施例，而不使用创造性能力。本公开不旨在限于本文中所示的实施例，而是符合与本文中公开的原理和新颖特征一致的最宽范围。
Claims (20)
1.一种计算机实现的方法，其包括：
接收低剂量PET图像；
经由卷积神经网络将机器学习算法应用于低剂量PET图像以生成输出图像，其中，输出图像包括对与低剂量的图像相关联的散射和衰减的校正；以及
向包括用户接口的计算设备提供输出图像。
2.根据权利要求1所述的计算机实现的方法，其中，低剂量PET图像是使用OP-OSEM算法从低剂量PET数据重建的。
3.根据权利要求2所述的计算机实现的方法，其中，低剂量PET数据是等于或小于90秒的扫描持续时间的结果。
4.根据权利要求2所述的计算机实现的方法，其中，低剂量PET数据与PET扫描仪的稀疏检测器配置相关联。
5.根据权利要求2所述的计算机实现的方法，其中，针对扫描仪特定的归一化因子校正低剂量PET数据。
6.根据权利要求1所述的计算机实现的方法，其中，不针对衰减来校正低剂量PET图像。
7.根据权利要求1所述的计算机实现的方法，其中，针对衰减来部分地校正低剂量PET图像。
8.根据权利要求1所述的计算机实现的方法，其中，低剂量PET图像是从最大似然活动和衰减估计重建的活动图像。
9.一种用于训练神经网络的计算机实现的方法，其包括：
接收包括在一段时间内收集的数据点的标准剂量PET正弦图数据；
通过选择标准剂量PET正弦图数据的子集来再现低剂量PET正弦图数据；
基于标准剂量PET正弦图数据的子集来重建低剂量图像；
基于标准剂量PET正弦图数据来重建标准剂量图像；
至少针对散射和衰减来校正标准剂量图像，以产生经校正的标准剂量图像；以及
基于作为输入数据的再现低剂量图像和作为目标数据的经校正的标准剂量图像来训练神经网络。
10.根据权利要求9所述的计算机实现的方法，其中，重建低剂量图像包括使用OP-OSEM算法。
11.根据权利要求9所述的计算机实现的方法，其中，重建低剂量图像包括使用活动和衰减估计的最大似然。
12.根据权利要求9所述的计算机实现的方法，其中，标准剂量PET正弦图数据的子集包括在所述时间段的子集内收集的数据。
13.根据权利要求12所述的计算机实现的方法，其中，所述时间段的子集近似是所述时间段的10%-50%。
14.根据权利要求9所述的计算机实现的方法，进一步包括：针对噪声来校正标准剂量图像。
15.根据权利要求9所述的计算机实现的方法，其中，神经网络是多层卷积神经网络。
16.一种系统，其包括：
存储卷积神经网络的一个或多个存储器设备；
一个或多个接口设备；以及
至少一个处理器，其通信地耦合到一个或多个存储器设备和一个或多个接口设备，并且被配置成：
由一个或多个接口设备接收低剂量PET图像；
将低剂量PET图像输入卷积神经网络；
从卷积神经网络接收输出图像，其中，输出图像包括对与低剂量的图像的相关联的散射和衰减的校正以及噪声校正；以及
向一个或多个接口设备的显示器提供输出图像。
17.根据权利要求16所述的系统，其中，神经网络被配置成同时实行对散射、衰减和噪声的校正。
18.根据权利要求16所述的系统，其中，至少一个处理器进一步被配置成使用OP-OSEM算法来生成低剂量PET图像。
19.根据权利要求16所述的系统，其中，不针对衰减来校正低剂量PET图像。
20.根据权利要求16所述的系统，其中，针对衰减来部分地校正低剂量PET图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/949,277 US20220130079A1 (en) | 2020-10-23 | 2020-10-23 | Systems and methods for simultaneous attenuation correction, scatter correction, and de-noising of low-dose pet images with a neural network |
| US16/949277 | 2020-10-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114494479A true CN114494479A (zh) | 2022-05-13 |
Family
ID=81257411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111232974.9A Pending CN114494479A (zh) | 2020-10-23 | 2021-10-22 | 利用神经网络对低剂量pet图像进行同时衰减校正、散射校正和去噪声的系统和方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220130079A1 (zh) |
| CN (1) | CN114494479A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311261A (zh) * | 2022-10-08 | 2022-11-08 | 石家庄铁道大学 | 高速铁路接触网悬挂装置开口销异常检测方法和系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053412B (zh) * | 2020-08-31 | 2022-04-29 | 浙江大学 | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 |
| US11890124B2 (en) * | 2021-02-01 | 2024-02-06 | Medtronic Navigation, Inc. | Systems and methods for low-dose AI-based imaging |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1946271B1 (en) * | 2005-11-01 | 2011-05-04 | Koninklijke Philips Electronics N.V. | Method and system for pet image reconstruction using portions of event data |
| US20130051516A1 (en) * | 2011-08-31 | 2013-02-28 | Carestream Health, Inc. | Noise suppression for low x-ray dose cone-beam image reconstruction |
| JP6235564B2 (ja) * | 2012-05-04 | 2017-11-22 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 陽電子放出断層撮影における散乱された同時発生を用いた減衰マップ |
| US9332953B2 (en) * | 2012-08-31 | 2016-05-10 | The University Of Chicago | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging |
| US10610182B2 (en) * | 2014-01-15 | 2020-04-07 | Alara Systems, Inc | Converting low-dose to higher dose 3D tomosynthesis images through machine-learning processes |
| US11361431B2 (en) * | 2017-04-25 | 2022-06-14 | The Board Of Trustees Of The Leland Stanford Junior University | Dose reduction for medical imaging using deep convolutional neural networks |
| WO2019019199A1 (en) * | 2017-07-28 | 2019-01-31 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE CONVERSION |
| US10803984B2 (en) * | 2017-10-06 | 2020-10-13 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing system |
| US10719961B2 (en) * | 2018-05-04 | 2020-07-21 | General Electric Company | Systems and methods for improved PET imaging |
| KR102220029B1 (ko) * | 2018-10-12 | 2021-02-25 | 한국과학기술원 | 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치 |
| US11398026B2 (en) * | 2019-03-28 | 2022-07-26 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for synthetic medical image generation |
| WO2022120758A1 (zh) * | 2020-12-10 | 2022-06-16 | 深圳先进技术研究院 | 一种医学图像降噪方法、系统、终端以及存储介质 |
-
2020
- 2020-10-23 US US16/949,277 patent/US20220130079A1/en active Pending
-
2021
- 2021-10-22 CN CN202111232974.9A patent/CN114494479A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311261A (zh) * | 2022-10-08 | 2022-11-08 | 石家庄铁道大学 | 高速铁路接触网悬挂装置开口销异常检测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220130079A1 (en) | 2022-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11847761B2 (en) | Medical image processing apparatus having a plurality of neural networks corresponding to different fields of view | |
| US20230119427A1 (en) | Apparatus and method for medical image reconstruction using deep learning for computed tomography (ct) image noise and artifacts reduction | |
| CN112770838B (zh) | 使用自关注深度学习进行图像增强的系统和方法 | |
| Zhou et al. | Limited view tomographic reconstruction using a cascaded residual dense spatial-channel attention network with projection data fidelity layer | |
| CN110809782A (zh) | 衰减校正系统和方法 | |
| US20220130079A1 (en) | Systems and methods for simultaneous attenuation correction, scatter correction, and de-noising of low-dose pet images with a neural network | |
| Whiteley et al. | FastPET: near real-time reconstruction of PET histo-image data using a neural network | |
| CN105989621B (zh) | 用于在图像重构中执行联合估计技术的方法和系统 | |
| CN104252714A (zh) | 时变数据的重建 | |
| WO2018024487A1 (en) | Time-of-flight (tof) pet image reconstruction using locally modified tof kernels | |
| US11615530B2 (en) | Medical data processing apparatus for reconstructing a medical image using a neural network | |
| CN109791701A (zh) | 具有对噪声诱发的伪影的形成的动态抑制的迭代图像重建 | |
| WO2021062413A1 (en) | System and method for deep learning for inverse problems without training data | |
| Whiteley et al. | FastPET: Near real-time PET reconstruction from histo-images using a neural network | |
| US11164344B2 (en) | PET image reconstruction using TOF data and neural network | |
| KR102616736B1 (ko) | Pet 이미징에서의 자동화된 모션 보정 | |
| CN114730476A (zh) | 有限角度重建的网络确定 | |
| US11663758B2 (en) | Systems and methods for motion estimation in PET imaging using AI image reconstructions | |
| US20230056685A1 (en) | Methods and apparatus for deep learning based image attenuation correction | |
| US11701067B2 (en) | Attenuation correction-based weighting for tomographic inconsistency detection | |
| US11854126B2 (en) | Methods and apparatus for deep learning based image attenuation correction | |
| US11468607B2 (en) | Systems and methods for motion estimation in PET imaging using AI image reconstructions | |
| US20230237638A1 (en) | Apparatus and methods for unsupervised image denoising using double over-parameterization | |
| US11151759B2 (en) | Deep learning-based data rescue in emission tomography medical imaging | |
| US20230266489A1 (en) | Improved attenuation map generated by lso background |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |