CN114503118A - 通过将图像形成建模为一个或多个神经网络的图像重建 - Google Patents
通过将图像形成建模为一个或多个神经网络的图像重建 Download PDFInfo
- Publication number
- CN114503118A CN114503118A CN201980101180.3A CN201980101180A CN114503118A CN 114503118 A CN114503118 A CN 114503118A CN 201980101180 A CN201980101180 A CN 201980101180A CN 114503118 A CN114503118 A CN 114503118A
- Authority
- CN
- China
- Prior art keywords
- neural networks
- correction
- image
- program code
- readable program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 99
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000000704 physical effect Effects 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 53
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000009472 formulation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012633 nuclear imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
基于将图像形成建模为一个或多个神经网络的用于图像重建的系统和方法。根据一个方面，基于图像形成的物理性质来配置一个或多个神经网络（202）。使用所获取的测试图像数据来优化一个或多个神经网络（204）。然后，可以通过将当前图像数据作为输入应用到一个或多个经优化的神经网络来重建输出图像（208）。
Description
技术领域
本公开总体上涉及图像处理，并且更特别地，涉及基于将图像形成建模为一个或多个神经网络的图像重建。
背景技术
单光子发射计算机断层摄影（SPECT）是一种广泛使用的核医学断层摄影成像技术。对于SPECT成像，首先给主体施用伽马发射器标记的药物（gamma-emitter-labeledpharmaceutical）。然后，使用外部设备（伽马相机）以从一个或若干个视图角度来检测来自于身体的放射性（radioactivity）。在一个视图角度下获得的平面图像是三维（3D）分布在二维（2D）检测器平面上的投影。可以通过使用在主体周围一定角度范围内获取的平面图像序列来重建主体中的放射性源分布的3D图像。
存在用于执行SPECT图像重建的多种技术。一种技术涉及迭代重建，该迭代重建通常以所假设的图像开始，根据该图像来计算投影，比较原始投影数据，并且基于所计算的投影与实际投影之间的差异来更新该图像。在这种方法中，该系统被建模为概率的线性算子，该线性算子涵盖了将在重建中考虑的所有图像形成效应：相机或身体的旋转、衰减以及甚至泛光（flood）校正。这种技术是计算密集型的，因为它需要在重建的每次迭代时针对每个视图重新计算投影算子，这是由于概率列表否则会太大以致于无法存储。
另一种常见的技术基于机器学习。基于机器学习的SPECT图像重建通常通过如下方式来对该问题进行建模：定义神经网络结构，并且然后训练该结构来优化层的权重以用于增加重建准确度。用于SPECT重建的深度学习的当前方法与用于其他科学领域的深度学习相同，其中网络的设计与图像形成模型的物理性质（physics）无关。
发明内容
本文中描述了用于基于将图像形成建模为一个或多个神经网络的图像重建的系统和方法。根据一个方面，基于图像形成的物理性质来配置一个或多个神经网络。使用所获取的测试图像数据来优化一个或多个神经网络。然后，可以通过将当前图像数据作为输入应用到一个或多个经优化的神经网络来重建输出图像。
附图说明
将容易获得对本公开及其许多伴随方面的更完整的领会，这是由于本公开及其许多伴随方面当结合附图考虑时通过参考以下详细描述而变得更好理解。
图1是图示了示例性系统的框图；
图2示出了由计算机系统执行的示例性图像重建方法；
图3图示了示例性SPECT图像形成；
图4a示出了示例性神经网络；
图4b图示了示例性简单旋转；
图4c示出了对运动校正进行建模的示例性卷积层；
图4d图示了对运动校正的建模；
图4e示出了对头部未对准校正（head misalignment correction）进行建模的示例性卷积层；
图4f图示了对点扩散函数（PSF）滤波校正的示例性建模；
图5示出了用于SPECT图像重建的示例性神经网络架构；以及
图6示出了神经网络优化的示例性方法。
具体实施方式
在以下描述中，阐述了众多具体细节，诸如具体组件、设备、方法等的示例，以便提供对本框架的实现方式的全面理解。然而，对于本领域技术人员来说将明显的是，这些具体细节不需要被采用以实践本框架的实现方式。在其他实例中，为了避免不必要地模糊本框架的实现方式，没有详细描述公知的材料或方法。虽然本框架容许有各种修改和替代形式，但是其具体实施例在附图中以示例的方式示出，并且将在本文中详细描述。然而，应当理解的是，不意图将本发明限制于所公开的特定形式，而是相反地，意图是覆盖落入本发明的精神和范围内的所有修改、等同物和替代物。此外，为了易于理解，某些方法步骤被描绘为分离的步骤；然而，这些分离地描绘的步骤不应当被解释为在它们的执行中必然依赖于次序。
本文中使用的术语“x射线图像”可以指代可见的x射线图像（例如，显示在视频屏幕上）或者x射线图像的数字表示（例如，对应于x射线检测器的像素输出的文件）。本文中使用的术语“治疗中x射线图像”可以指代在介入性或治疗性过程的治疗递送阶段期间的任何时间点处捕获的图像，该任何时间点可以包括放射源被打开或关闭时的时间。有时，为了描述方便，CT成像数据（例如，锥形束CT成像数据）在本文中可以用作示例性成像模态。然而，将领会的是，来自任何类型的成像模态的数据也可以用于各种实现方式中，这些成像模态包括但不限于x射线放射照相（radiograph）、MRI（磁共振成像）、PET（正电子发射断层摄影）、PET-CT（计算机断层摄影）、SPECT（单光子发射计算机断层摄影）、SPECT-CT、MR-PET、3D超声图像等。
除非另行声明，否则如从以下讨论中明显的那样，将领会的是，诸如“分割”、“生成”、“配准”、“确定”、“对准”、“定位”、“处理”、“计算”、“选择”、“估计”、“检测”、“跟踪”等术语可以指代计算机系统或类似电子计算设备的动作和过程，该动作和过程将被表示为计算机系统的寄存器和存储器内的物理（例如，电子）量的数据操纵和变换成类似地被表示为计算机系统存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量的其他数据。本文中描述的方法的实施例可以使用计算机软件来实现。如果以符合公认标准的编程语言来编写，则被设计成实现这些方法的指令序列可以被编译，以用于在各种硬件平台上执行，并且与各种操作系统对接。此外，本框架的实现方式没有参考任何特定的编程语言来描述。将领会的是，可以使用多种编程语言。
如本文中所使用，术语“图像”指代由离散图像元素（例如，用于2D图像的像素、用于3D图像的体素、用于4D数据集的doxel）组成的多维数据。该图像可以是例如由CT（计算机断层摄影）、MRI（磁共振成像）、超声、或本领域普通技术人员已知的任何其他医学成像系统所收集的主体的医学图像。该图像也可以从非医学情境来提供，该非医学情境诸如例如远程感测系统、电子显微镜等。尽管图像可以被认为是从R3到R的函数、或者到R3的映射，但是本方法不限于这种图像，并且可以被应用到任何维度的图像，例如2D图片、3D体积、或4D数据集。对于2维或3维图像而言，图像的域通常是2维或3维矩形阵列，其中可以参考一组2或3个相互正交的轴来寻址每个像素或体素。本文中使用的术语“数字的”和“数字化的”将指代经由数字获取系统或经由从模拟图像的转换而获得的采用数字或数字化格式的图像或者在适当情况下为体积。
常规地关于2D成像和图像显示而使用的用于图片元素的术语“像素”、通常关于3D成像而使用的用于体积图像元素的术语“体素”、以及用于4D数据集的术语“doxel”可以互换地使用。应当注意的是，3D体积图像本身是从作为2D传感器阵列上的像素而获得的图像来合成的，并且从某个视图角度被显示为2D图像。因此，2D图像处理和图像分析技术可以被应用到3D体积图像。在以下的描述中，被描述为对doxel进行操作的技术可以替代地被描述为对3D体素数据进行操作，该3D体素数据以2D像素数据的形式被存储和表示以供显示。以相同的方式，对体素数据进行操作的技术也可以被描述为对像素进行操作。在以下描述中，变量x用于指示特定空间位置处的主体图像元素，或者替代地被认为是主体像素。术语“主体像素”、“主体体素”和“主体doxel”用于指示如使用本文中描述的技术而被操作的特定图像元素。
本框架的一个方面使用图像形成的物理性质来定义一个或多个神经网络。为了理解本框架与现有方法之间的差异，考虑简单的线性等式：
y = a·x + b （1）
其中y表示所预测的输出值，x表示输入值，a是系数，并且b是截距。目标通常是尽可能产生最准确的预测y。在传统机器学习中，使用{(x i , y i )}i=1,…,N来估计a和b。在代数重建中，获取
，并且使用物理性质来解释a和b。本框架的一个方面使用物理性质来对神经网络进行建模，同时使用深度学习方法来计算该解。
在一些实现方式中，本框架将图像形成建模为一个或多个神经网络，以实现对图像数据的更快的梯度下降重建。通过将图像形成建模为操作的级联而不是诸如传统迭代重建中那样的线性算子，减小了计算任务的总规模。时间和存储空间要求被大大减少，这是因为神经网络仅需要被计算一次，并且被存储在存储器中（例如，500MB-4GB存储器空间）。神经网络公式化（formulation）可以被直接应用到任何图像重建，并且可以在没有特殊努力的情况下原生地运行在例如图形处理单元（GPU）上。
附加地，本框架使得能够开发感兴趣的研究分支，诸如迭代内衰减优化、生成对抗网络（GAN）研究、或图像形成估计的优化。可以在深度学习框架（例如GAN）中使用神经网络公式化来自动计算每个图像形成步骤的导数。本文中将更详细地描述这些和其他示例性特征和优点。要理解的是，虽然本文中可能示出了针对SPECT图像重建的特定应用，但是该技术不限于所说明的具体实现方式。本框架也可以适用于通过其他类型的模态获取的图像。
图1是图示了示例性系统100的框图。系统100包括用于实现本文中描述的框架的计算机系统101。计算机系统101可以是台式个人计算机、便携式膝上型计算机、另一个便携式设备、迷你计算机、大型计算机、服务器、云基础设施、存储系统、专用数字器具、通信设备、或具有被配置成存储数字数据项的集合的存储子系统的另一个设备。在一些实现方式中，计算机系统101作为独立设备来操作。在其他实现方式中，计算机系统101可以连接（例如，使用网络）到其他机器，诸如成像设备102和工作站103。在网络部署中，计算机系统101可以以服务器-客户端用户网络环境中的服务器、客户端用户机器的身份来操作，或者作为对等（或分布式）网络环境中的对等机器来操作。
计算机系统101可以包括处理器设备或中央处理单元（CPU）104，该处理器设备或中央处理单元（CPU）104经由输入-输出接口121耦合到一个或多个非暂时性计算机可读介质105（例如，计算机存储装置或存储器）、显示设备108（例如，监视器）和各种输入设备110（例如，鼠标或键盘）。计算机系统101可以进一步包括支持电路，诸如高速缓存、电源、时钟电路和通信总线。各种其他外围设备（诸如，附加的数据存储设备和打印设备）也可以连接到计算机系统101。
本技术可以以经由操作系统被执行的各种形式的硬件、软件、固件、专用处理器或其组合来实现，或者作为微指令代码的一部分、或者作为应用程序或软件产品的一部分、或者其组合。在一个实现方式中，本文中描述的技术被实现为有形地体现在一个或多个非暂时性计算机可读介质105中的计算机可读程序代码。特别地，本技术可以由图像重建模块106和神经网络模块111来实现。非暂时性计算机可读介质105可以包括随机存取存储器（RAM）、只读存储器（ROM）、磁性软盘、闪速存储器和其他类型的存储器、或其组合。计算机可读程序代码由处理器设备104来执行，以处理由例如成像设备102获取的图像。由此，计算机系统101是通用计算机系统，当执行计算机可读程序代码时，该通用计算机系统变成专用计算机系统。计算机可读程序代码不意图被限于任何特定的编程语言及其实现方式。将领会的是，可以使用多种编程语言及其编码来实现本文中包含的公开内容的教导。
相同或不同的计算机可读介质105可以用于存储图像集、患者记录、知识库等。这种数据也可以被存储在外部存储装置或其他存储器中。外部存储装置可以使用由处理器设备104管理并且驻留在存储器（诸如，硬盘、RAM或可移除介质）上的数据库管理系统（DBMS）来实现。外部存储装置可以在一个或多个附加的计算机系统上实现。例如，外部存储装置可以包括驻留在分离的计算机系统上的数据仓库系统、图片存档和通信系统（PACS）、或任何其他现在已知或以后开发的医院、医疗机构、医务室、测试设施、药房或其他医学患者记录存储系统。
成像设备102可以是用于获取图像的核成像系统，诸如单光子发射计算机断层摄影（SPECT）扫描仪。工作站103可以包括计算机和适当的外围设备，诸如键盘和显示设备，并且可以结合整个系统100被操作。例如，工作站103可以与成像设备102通信，使得由成像设备102收集的图像可以在工作站103处呈现并且在显示设备上观看。
工作站103可以直接与计算机系统101通信，以显示经处理的图像和/或输出图像处理结果。工作站103可以包括图形用户接口，以经由输入设备（例如，键盘、鼠标、触摸屏、语音或视频识别接口等）来接收用户输入，从而操纵图像的可视化和/或处理。例如，用户可以观看经处理的图像，并且指定一个或多个视图调整或偏好（例如，缩放、裁剪、平移（panning）、旋转、改变对比度、改变颜色、改变视图角度、改变视图深度、改变绘制或重建技术等），通过指定“转到（goto）”位置来导航到感兴趣的特定区域，导航（例如，停止、播放、逐步通过（step through）等）图像集的时间体积等等。
要进一步理解的是，因为附图中描绘的一些组成系统组件和方法步骤可以用软件来实现，所以系统组件（或过程步骤）之间的实际连接可以取决于本框架被编程的方式而不同。给定本文中提供的教导，相关领域的普通技术人员将能够设想本框架的这些和类似的实现方式或配置。
图2示出了由计算机系统执行的示例性图像重建方法200。应当理解的是，方法200的步骤可以以所示的次序或不同的次序来执行。还可以提供附加的、不同的或更少的步骤。此外，方法200可以利用图1的系统100、不同的系统或其组合来实现。
在202处，基于图像形成的物理性质来配置神经网络模块111中的一个或多个神经网络。图像形成的物理性质取决于用于获取感兴趣主体的图像的成像模态。在一些实现方式中，基于SPECT图像形成来定义一个或多个神经网络。SPECT是一种核医学断层摄影成像技术，该技术表示器官内所施用的放射性示踪剂的分布。也可以使用其他类型的成像模态，诸如计算机断层摄影（CT）、SPECT/CT和正电子发射断层摄影（PET）。
图3图示了示例性SPECT图像形成。SPECT系统使用通常配备有准直器的一个或多个伽马相机，这些伽马相机被安装在台架上，使得检测器可以围绕患者旋转。以围绕患者的许多均匀间隔的角度来获取二维（2D）投影数据的集合302。投影图像通常是在全360度或180度弧上每n度（例如，n=3-6度）来获取的。将投影数据集302旋转给定角度，以产生经旋转的数据集304。然后，可以通过执行点扩散函数（PSF）滤波来针对深度相关模糊（例如，高斯模糊）校正经旋转的数据集304，以生成经滤波的数据集306。然后，可以使用数学算法以根据经滤波的数据集306来估计2D投影图像308。
图4a示出了示例性神经网络410。神经网络410可以充当由物理性质解释的黑盒。输入数据f i 被应用到神经网络410以生成输出数据g i ，其中i表示行索引。每个神经网络可以基于不同的物理效应来建模，该物理效应包括但不限于旋转校正、深度相关PSF滤波误差校正、散射校正、衰减校正、运动校正、头部未对准校正等。可以通过初始化或修改神经网络的权重或者在神经网络中添加一个或多个层来对每个效应进行建模。
例如，对于衰减校正，可以从CT图像中导出用于衰减校正的输入系数。然而，当例如在成像过程期间手臂移动或膀胱充盈时，衰减校正系数可能需要改变。神经网络410可以将其内部权重更新为对于投影图像数据更合适的值。
图4b示出了示例性简单旋转402。可以使用以下函数来表示旋转402：
其中f表示体积数据404，
表示所获取的数据406，psf表示点扩散函数，R表示旋转函数，i表示行索引，k表示旋转索引，并且j是像素列索引。所获取的数据
表示旋转校正之后的图像的深度积分（depth integral）。可以通过计算该旋转函数（2）来确定神经网络的初始权重。
图4c示出了对运动校正进行建模的示例性卷积层420。层420可以被提供作为例如神经网络410的末端层中的一个。卷积层420根据输入投影数据K来生成经运动校正的投影数据K'。
图4d图示了对运动校正的建模。卷积核424a-b被应用到输入图像422以生成输出图像426a-b。通过将“1”放置在卷积核424a的中间，在输出图像426a中没有产生改变。然而，如果“1”被放置在另一个位置中，如卷积矩阵424b中所示的那样，则患者运动校正可以被建模，如输出图像426b中所示的那样。
图4e示出了对头部未对准校正进行建模的示例性卷积层430。层430可以被提供作为例如神经网络410的末端层中的一个。卷积层430基于输入投影数据K来生成针对头部的对准固定的（或经校正的）投影数据K'。
图4f图示了对点扩散函数（PSF）滤波校正的示例性建模。PSF滤波校正可以是深度相关的。PSF描述了成像系统对点源的响应。在深度d处，可以通过以下卷积等式来计算g i 的值：
g i = f depth d * PSFd （3）
其中g i 表示所估计的投影图像，f depth d 表示所估计的体积分布，并且PSFd表示深度d处的点扩散函数。
可以估计PSF以提供由于成像系统的光学瑕疵而被添加到任何给定对象的模糊的量的度量。可以执行使用PSF的滤波，以去除图像中的模糊。然而，由于各种原因，对PSF的估计可能是错误的。例如，准直器可能具有缺陷，或者准直器可能实际上比所预期的更远。可以通过更新神经网络的至少一个卷积层的权重来校正PSF估计和滤波中的误差，以优化PSF滤波的输出。
图5示出了用于SPECT图像重建的示例性神经网络架构500。架构500包括旋转校正神经网络506、PSF滤波误差校正神经网络510、累积积分神经网络512、以及乘积和投影神经网络514。示例性神经网络架构500通过基于衰减校正和散射校正效应对神经网络506、512和514进行建模来考虑这种衰减校正和散射校正效应。主体内的伽马射线的衰减可能导致对深层组织中的活动的显著低估。利用所测量的衰减数据来获得最优校正。可以以X射线CT图像的形式来测量衰减数据502，该衰减数据502用作该组织的衰减图。伽马射线的散射以及伽马射线的随机性质也可能导致SPECT图像的质量恶化，并且导致分辨率损失。可以测量散射数据504以执行散射校正和分辨率恢复，从而改进SPECT图像的分辨率。
更特别地，所获取的SPECT体积图像302和所测量的衰减数据502可以作为输入被应用到旋转神经网络506，以生成经旋转的图像体积304和经旋转的衰减数据508。经旋转的图像体积被应用到PSF神经网络510，以生成经滤波的图像体积306，而经旋转的衰减数据被应用到累积积分神经网络512，以生成经处理的衰减数据513。累积积分神经网络512对3D输入数据进行投影，以生成2D衰减数据513以用于数据比较。经滤波的图像体积306、经处理的衰减数据513和所测量的散射数据504然后被应用到乘积和投影神经网络514，以生成输出估计投影图像308。神经网络514可以包括例如对运动校正或头部未对准校正进行建模（如先前参考图4c-e所讨论的那样）的一个或多个层。
返回到图2，在204处，图像重建模块106使用所获取的测试图像数据来优化神经网络模块111中的一个或多个神经网络。神经网络的每一层具有简单的梯度。无论该层是单独使用还是与另一个层结合使用，计算梯度都与该层的权重无关。因此，通过将该层定义为类型A，可以隐式地定义其梯度。因此，梯度是针对每个操作隐式地定义的，并且梯度下降可以用于在没有任何附加步骤的情况下执行重建。可以计算每个操作的梯度，以优化图像形成模型的每个步骤，从而找到具有所预测的衰减的更好估计，这会帮助该迭代重建收敛。
也可以执行投影算子的迭代内优化。在已经采取了多个迭代步骤之后，如果还没有实现收敛，则这可能是由图像形成的建模与真实世界设置之间的不匹配引起的。在一些实现方式中，改变神经网络的输入，以便最大化输出与所获取数据的一致性（agreement）。可以提供衰减图、头部对准或运动校正的更新来实现收敛。
图6示出了神经网络优化204的示例性方法。应当理解的是，方法204的步骤可以以所示的次序或不同的次序来执行。还可以提供附加的、不同的或更少的步骤。此外，方法204可以利用图1的系统100、不同的系统或其组合来实现。
在601处，图像重建模块106接收要优化的神经网络模块111中的一个或多个神经网络。
在602处，图像重建模块106通过神经网络来传播输入数据f i 以生成输出数据g i ，其中i表示迭代数量。
在604处，图像重建模块106通过计算差值（
）来将输出数据g i 与所获取的测试数据
进行比较。该差值表示误差，并且用于确定用以通过神经网络来反向传播的权重。
在606处，图像重建模块106通过神经网络来反向传播该差值（
）。反向传播被执行，使得f i+1 = f i +∆f关于（
）来最小化（
）。
在608处，图像重建模块106确定迭代数量是否大于（或等于）预定数量m1。如果已经达到预定迭代数量m1，则方法204进行到610。如果没有达到，则重复步骤602至608。
在610处，图像重建模块106使用深度学习技术来重新训练神经网络内部的权重。使用f i 和
，深度学习技术估计神经网络的权重中的改变，以实现步骤604中的改进（例如，收敛）。例如，在图5中，可以优化神经网络506、510、512或514中的一个或多个的权重。可以选择性地优化单个神经网络（506、510、512、514），同时“冻结”其他神经网络。如果权重中的改变以预定阈值改进了g i 与
之间的差值，则方法600继续到611。
返回到图6，在611处，图像重建模块106确定迭代数量是否大于（或等于）预定数量m2。如果已经达到预定迭代数量m2，则方法204进行到612。如果没有达到，则重复步骤602至610。
在612处，图像重建模块106输出经优化的神经网络。
返回到图2，在206处，使用例如成像设备102来获取感兴趣对象的当前图像数据。当前图像数据是使用图像形成的物理性质所基于的相同模态（例如，SPECT）来获取的。感兴趣对象可以是被标识用于调查或检查的任何生物对象，诸如患者器官、大脑、心脏、腿、手臂等的一部分。
在208处，图像重建模块106将当前图像数据作为输入应用到神经网络模块111中的一个或多个经优化的神经网络，以重建输出图像。
在210处，呈现输出图像。可以经由例如工作站103处的用户接口来呈现和显示输出图像。
虽然已经参考示例性实施例详细描述了本框架，但是本领域技术人员将领会，在不脱离所附权利要求中阐述的本发明的精神和范围的情况下，可以对其进行各种修改和替换。例如，在本公开和所附权利要求的范围内，不同示例性实施例的元件和/或特征可以彼此组合和/或彼此替换。
Claims (20)
1.一个或多个非暂时性计算机可读介质，其体现了可由机器执行的指令，以执行用于图像重建的操作，包括：
基于图像形成的物理性质来配置一个或多个神经网络；
使用所获取的测试图像数据来优化一个或多个所配置的神经网络；以及
通过将当前图像数据作为输入应用到一个或多个经优化的神经网络来重建输出图像。
2.根据权利要求1所述的一个或多个非暂时性计算机可读介质，其中配置所述一个或多个神经网络包括：基于旋转校正、点扩散函数（PSF）滤波误差校正、散射校正、衰减校正、运动校正、头部未对准校正或其组合来配置所述一个或多个神经网络。
3.根据权利要求1所述的一个或多个非暂时性计算机可读介质，其中使用所获取的测试图像数据来优化所述一个或多个所配置的神经网络包括：执行梯度下降优化。
4.根据权利要求1所述的一个或多个非暂时性计算机可读介质，其中所述当前图像数据包括单光子发射计算机断层摄影（SPECT）图像数据。
5.一种用于图像重建的系统，包括：
非暂时性存储器设备，其用于存储计算机可读程序代码；以及
处理器设备，其与所述存储器设备进行通信，所述处理器与所述计算机可读程序代码一起操作以执行步骤，所述步骤包括：
接收基于图像形成的物理性质而配置的一个或多个神经网络，
使用所获取的测试图像数据来优化一个或多个接收到的神经网络，以及
通过将当前图像数据作为输入应用到一个或多个经优化的神经网络来重建输出图像。
6.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以基于SPECT图像形成的物理性质来配置所述一个或多个神经网络。
7.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以基于旋转校正、点扩散函数（PSF）滤波误差校正、散射校正、衰减校正、运动校正、头部未对准校正或其组合来配置所述一个或多个神经网络。
8.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过更新所述一个或多个神经网络中的用于衰减校正的至少一个神经网络的权重，来配置所述一个或多个神经网络。
9.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过基于旋转函数来初始化所述一个或多个神经网络中的至少一个神经网络的权重，从而配置所述一个或多个神经网络。
10.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过向所述一个或多个神经网络中的对运动校正进行建模的至少一个神经网络提供至少一个末端层，来配置所述一个或多个神经网络。
11.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过向所述一个或多个神经网络中的对头部未对准校正进行建模的至少一个神经网络提供至少一个末端层，来配置所述一个或多个神经网络。
12.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过更新所述一个或多个神经网络中的用于PSF滤波误差校正的至少一个神经网络的权重，来配置所述一个或多个神经网络。
13.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过执行梯度下降优化来优化所述一个或多个接收到的神经网络。
14.根据权利要求13所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过如下方式来执行梯度下降优化：迭代地通过所述一个或多个接收到的神经网络来传播输入数据以生成输出数据，将所述输出数据与所获取的测试图像数据进行比较，并且通过所述一个或多个接收到的神经网络来反向传播所述输出数据与所获取的测试图像数据之间的差值。
15.根据权利要求14所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以使用深度学习技术来重新训练所述一个或多个接收到的神经网络中的权重。
16.根据权利要求5所述的系统，其中所述处理器与所述计算机可读程序代码一起操作，以通过执行迭代内优化来优化所述一个或多个接收到的神经网络。
17.一种图像重建的计算机实现方法，包括：
接收基于图像形成的物理性质而配置的一个或多个神经网络；
使用所获取的测试图像数据来优化一个或多个接收到的神经网络；以及
通过将当前图像数据作为输入应用到一个或多个经优化的神经网络来重建输出图像。
18.根据权利要求17所述的方法，进一步包括：基于旋转校正、点扩散函数（PSF）滤波误差校正、散射校正、衰减校正、运动校正、头部未对准校正或其组合来配置所述一个或多个神经网络。
19.根据权利要求18所述的方法，其中配置所述一个或多个神经网络包括：基于旋转函数来初始化所述一个或多个神经网络中的至少一个神经网络的权重。
20.根据权利要求17所述的方法，其中使用所获取的测试图像数据来优化所述一个或多个接收到的神经网络包括：执行梯度下降优化。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2019/055293 WO2021071476A1 (en) | 2019-10-09 | 2019-10-09 | Image reconstruction by modeling image formation as one or more neural networks |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114503118A true CN114503118A (zh) | 2022-05-13 |
Family
ID=75438024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980101180.3A Pending CN114503118A (zh) | 2019-10-09 | 2019-10-09 | 通过将图像形成建模为一个或多个神经网络的图像重建 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US12100075B2 (zh) |
| EP (1) | EP4026054A4 (zh) |
| JP (1) | JP7459243B2 (zh) |
| CN (1) | CN114503118A (zh) |
| IL (1) | IL291956A (zh) |
| WO (1) | WO2021071476A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862320B (zh) * | 2020-09-21 | 2020-12-11 | 之江实验室 | 一种spect三维重建图像到标准视图的自动转向方法 |
| CN115499074B (zh) * | 2022-08-24 | 2024-11-01 | 北京邮电大学 | 一种基于神经网络的太赫兹散射参数预测方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4453734B2 (ja) * | 2007-09-21 | 2010-04-21 | ソニー株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置 |
| KR20130083205A (ko) | 2012-01-12 | 2013-07-22 | 삼성전자주식회사 | 양전자 방출 단층 촬영에서의 영상 보정 방법 및 장치 |
| GB201219403D0 (en) * | 2012-10-29 | 2012-12-12 | Uni I Olso | Method for improved estimation of tracer uptake in physiological image volumes |
| US10387765B2 (en) * | 2016-06-23 | 2019-08-20 | Siemens Healthcare Gmbh | Image correction using a deep generative machine-learning model |
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
| US10593071B2 (en) | 2017-04-14 | 2020-03-17 | Siemens Medical Solutions Usa, Inc. | Network training and architecture for medical imaging |
| US20180330233A1 (en) * | 2017-05-11 | 2018-11-15 | General Electric Company | Machine learning based scatter correction |
| JP2019032211A (ja) | 2017-08-07 | 2019-02-28 | 株式会社島津製作所 | 核医学診断装置 |
| US11517197B2 (en) * | 2017-10-06 | 2022-12-06 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction |
| EP3542721A1 (de) * | 2018-03-23 | 2019-09-25 | Siemens Healthcare GmbH | Verfahren zur bearbeitung von parametern eines maschinenlernverfahrens sowie rekonstruktionsverfahren |
-
2019
- 2019-10-09 JP JP2022521029A patent/JP7459243B2/ja active Active
- 2019-10-09 US US17/595,196 patent/US12100075B2/en active Active
- 2019-10-09 WO PCT/US2019/055293 patent/WO2021071476A1/en unknown
- 2019-10-09 CN CN201980101180.3A patent/CN114503118A/zh active Pending
- 2019-10-09 EP EP19948404.9A patent/EP4026054A4/en active Pending
-
2022
- 2022-04-04 IL IL291956A patent/IL291956A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| IL291956A (en) | 2022-07-01 |
| US12100075B2 (en) | 2024-09-24 |
| JP7459243B2 (ja) | 2024-04-01 |
| WO2021071476A1 (en) | 2021-04-15 |
| EP4026054A4 (en) | 2022-11-30 |
| JP2022552218A (ja) | 2022-12-15 |
| EP4026054A1 (en) | 2022-07-13 |
| US20220215601A1 (en) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9754390B2 (en) | Reconstruction of time-varying data | |
| US10387765B2 (en) | Image correction using a deep generative machine-learning model | |
| CN111540025B (zh) | 预测用于图像处理的图像 | |
| Cai et al. | Cine cone beam CT reconstruction using low-rank matrix factorization: algorithm and a proof-of-principle study | |
| US8774481B2 (en) | Atlas-assisted synthetic computed tomography using deformable image registration | |
| US10937209B2 (en) | Tomography imaging apparatus and method of reconstructing tomography image | |
| CN104700438B (zh) | 图像重建方法及装置 | |
| US10863946B2 (en) | Respiratory motion estimation in projection domain in nuclear medical imaging | |
| AU2017203626A1 (en) | A method and apparatus for motion correction in CT imaging | |
| HU231302B1 (hu) | Eljárás és rendszer, valamint tárolóeszköz kép rekonstrukció végrehajtására egy térfogathoz projekciós adathalmaz alapján | |
| Van Eyndhoven et al. | Region-based iterative reconstruction of structurally changing objects in CT | |
| US20220375038A1 (en) | Systems and methods for computed tomography image denoising with a bias-reducing loss function | |
| JP7459243B2 (ja) | １以上のニューラルネットワークとしての画像形成のモデル化による画像再構成 | |
| CN107170021B (zh) | 时变数据的细化重构 | |
| Gigengack et al. | Motion correction in thoracic positron emission tomography | |
| CN110546684B (zh) | 时变数据的定量评估 | |
| US20230154067A1 (en) | Output Validation of an Image Reconstruction Algorithm | |
| US11704795B2 (en) | Quality-driven image processing | |
| CN116612163A (zh) | 用于将解剖图像配准到功能图像的深度学习 | |
| CN114241069A (zh) | 一种pet图像的散射校正方法 | |
| Noel | Geometric algorithms for three dimensional reconstruction in medical imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |