CN114730476A - 有限角度重建的网络确定 - Google Patents
有限角度重建的网络确定 Download PDFInfo
- Publication number
- CN114730476A CN114730476A CN201980102714.4A CN201980102714A CN114730476A CN 114730476 A CN114730476 A CN 114730476A CN 201980102714 A CN201980102714 A CN 201980102714A CN 114730476 A CN114730476 A CN 114730476A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- projection images
- sets
- dimensional projection
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims description 33
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 230000000246 remedial effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 11
- 238000003325 tomography Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000002603 single-photon emission computed tomography Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000000700 radioactive tracer Substances 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005067 remediation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012633 nuclear imaging Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 101150031621 CGAS gene Proteins 0.000 description 1
- 102100031256 Cyclic GMP-AMP synthase Human genes 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/436—Limited angle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Abstract
一种系统和方法包括训练人工神经网络以基于输入二维投影图像生成输出三维图像体积，该训练基于多个二维投影图像集合中的每一个的二维投影图像的多个子集以及从多个二维投影图像集合中的每一个重建的三维图像体积的相关联三维图像体积。
Description
背景技术
可以经由透射断层摄影成像或发射断层摄影成像生成常规医学图像。在透射断层摄影成像中，成像源（例如，X射线源）在受试者外部，并且源辐射（例如，X射线）通过受试者透射到检测器。根据发射断层摄影成像，成像源（例如，发射伽马射线的放射性药物）在受试者内部（例如，由于其注射或摄取），并且源辐射（例如，伽马射线）从受试者内发射到检测器。在任一情况下，受试者组织内的吸收或散射在检测器接收到源辐射之前衰减了源辐射。
在一些应用中，发射成像系统不能够在对感兴趣的生物/生理过程进行充分成像所需的时间内获取完全的断层摄影信息集合（例如，完全的旋转）。这些应用中的当前实践要以比每个位置的足够数据可以被获取更快的速率在围绕受试者的完全旋转之上施行平面成像。这样的图像缺乏与示踪剂摄取相关的空间和位置信息，并且因此可能导致不正确的定量测量和/或伪影。
与透射断层摄影成像相比，发射断层摄影成像通常展现较低的分辨率、较大的伪影和更明显的部分体积效应。用于改进发射数据的断层摄影重建的当前技术利用使用其它成像模态（例如，计算机断层摄影（CT）、磁共振（MR））获得的补充数据。可以通过对CT/MR图像数据进行分段来获得补充数据，以例如标识组织位置和特性。该信息可以促进分辨率、部分体积效应和衰减的校正。
附图说明
图1是根据一些实施例部署经训练的人工神经网络以从投影图像的不完整集合生成图像体积的系统的框图；
图2是根据一些实施例部署经训练的人工神经网络以从投影图像的不完整集合和CT体积生成图像体积的系统的框图；
图3是根据一些实施例用于训练人工神经网络以从投影图像的不完整集合生成图像体积的系统的框图；
图4是根据一些实施例训练人工神经网络以从投影图像的不完整集合生成图像体积的过程的流程图；
图5是根据一些实施例的人工神经网络训练架构的框图；
图6是根据一些实施例的人工神经网络训练架构的框图；
图7是根据一些实施例部署经训练的人工神经网络以从投影图像集合生成采集参数的系统的框图；
图8是根据一些实施例用于训练人工神经网络以生成采集参数的系统的框图；
图9是根据一些实施例用于训练人工神经网络以生成采集参数的过程的流程图；
图10是根据一些实施例部署经训练的人工神经网络以从放射组学特征生成采集参数的系统的框图；
图11是根据一些实施例用于训练人工神经网络以从放射组学特征生成采集参数的系统的框图；
图12是根据一些实施例用于训练人工神经网络以从放射组学特征生成采集参数的过程的流程图；
图13是用于训练人工神经网络以从投影图像的不完整集合生成图像体积的计算系统的框图；以及
图14图示了根据一些实施例的部署经训练的神经网络的双透射和发射成像SPECT/CT系统。
具体实施方式
提供以下描述以使得本领域的任何人员能够制造和使用所描述的实施例，并阐述了针对实行所描述的实施例设想的最佳模式。然而，各种修改对于本领域技术人员而言将保持显而易见。
一些实施例提供了从投影图像的不完整集合生成图像体积。例如，实施例可以基于从投影角度有限集合取得的PET图像集合生成高分辨率重建体积。可以通过与投影图像同时获取的CT扫描来通知体积的生成。
图1是根据一些实施例的已部署系统的框图。系统100包括经训练的网络110。下面将描述根据一些实施例的网络110的训练。尽管被描绘为神经网络，但是网络110可以包括任何类型的处理系统，以实现由下面所描述的训练产生的函数。例如，网络110可以包括软件应用，该软件应用程序被编程以实现经由先前的神经网络训练生成的函数。
在操作中，经由第一成像模态获取投影图像1-j 。例如，投影图像1-j 可以在将放射性示踪剂注射到受试者体积（例如，患者或体模）中之后由PET或SPECT扫描仪获取。如本领域已知的，可以在若干不同的投影角度获取投影图像1-j 。
根据一些实施例，投影图像1-j 是“不完整的”，因为投影图像所表示的投影角度不足以生成令人满意的重建图像。例如，获取投影图像1-j 的投影角度可以定义小于180度的弧。
经训练的网络110基于输入图像输出定量重建体积。根据一些实施例，经训练的人工神经网络110实现函数。该函数可以被表征为与网络节点的各个层相关联的经训练参数值集合。如本领域中已知的，该函数可以部署到任何计算设备。
根据一些实施例，网络110接收由不完整投影图像1-j 重建的三维体积，并从其生成重建体积。在这样的实施例中，并且将如下面所描述的，使用从不完整投影图像1-j 重建的三维体积来训练网络110。
图2图示了根据一些实施例的部署系统200。如上面关于系统100所描述的，投影图像1-j 的不完整集合被输入到训练网络210。到网络210的输入还是表示如投影图像1-j 成像的相同受试者的CT体积。CT体积可以与投影图像1-j 同时获取，以便减少它们之间的配准误差。
经训练的网络210基于投影图像1-j 的不完整集合和CT体积生成重建体积。CT体积可以通过提供衰减信息来改进输出重建体积的质量，这在图1中图示的部署中是不存在的。其它结构成像模态可以代替CT来提供衰减信息，诸如但不限于MR和PET。
图3图示了根据一些实施例的用于训练网络110以基于投影图像的不完整集合生成体积的架构300。网络110可以在时间上和/或地理上远离图1和图2中描绘的部署来训练。例如，架构300可以在数据处理设施中实现，而系统100或200可以在其中刚刚已经对患者进行成像的成像室（theater）内执行。
训练系统310使用Q个投影图像1-k 集合，并且在一些实施例中，使用CT体积1-Q 来训练人工神经网络110。基础真值确定单元320还使用Q个投影图像1-k 集合和CT体积1-Q 来生成基础真值数据，用于在训练系统310的训练期间评估网络110的性能。例如，对于Q个投影图像1-k 集合中的集合X，训练系统310生成子集1-j，并将该子集（以及，在一些实施例中，对应于集合X的CT体积）输入到网络110，以基于该子集生成体积。然后，使用定量和迭代重建方法，将该体积与单元320基于投影图像1-k 的全集X（以及基于CT体积 X ）生成的基础真值体积进行比较。针对集合X的其它子集1-j重复该过程，并且还针对Q个投影图像1-k 集合中的每个其它集合重复该过程。基于该比较来修改网络110，并且重复整个过程，直到实现令人满意的网络性能为止。
人工神经网络110可以包括任何类型的网络，其可训练以逼近函数。在一些实施例中，网络110包括如本领域已知的“u-net”卷积网络架构的实现。
一般而言，人工神经网络110可以包括神经元网络，其接收输入，根据该输入改变内部状态，并取决于输入和内部状态产生输出。某些神经元的输出连接到其它神经元的输入，以形成有向且加权图。计算内部状态的权重以及函数可以通过基于基础真值数据的训练过程来修改。人工神经网络110可以包括任何一种或多种类型的已知或变得已知的人工神经网络，包括但不限于卷积神经网络、循环神经网络、长短期记忆网络、深度储层（reservoir）计算和深度回波状态网络、深度信念网络和深度堆叠网络。
根据一些实施例，经训练的人工神经网络110实现其输入的函数。该函数可以表征为与每个网络节点相关联的参数值集合。如本领域中已知的，该函数可以部署到外部系统，诸如图1的系统100。在一个示例中，训练为全卷积网络的核生成参数值。包括如此参数化的核的另一个全卷积网络可以被高效地并入诸如系统100之类的系统内，以生成如本文中所描述的高分辨率体积。
训练系统310可以包括已知或变得已知的用于训练人工神经网络的任何（一个或多个）系统。例如，训练系统310可以采用监督学习、非监督学习和/或强化学习。
Q个投影图像1-k 集合和对应的CT体积1-Q 可以表示许多不同的患者、体模或其它受试者。此外，可以使用不同的对比度设置在不同的位置处获取Q个投影图像1-k 集合和对应的CT体积1-Q 中的每一个。一般而言，训练网络110可以用于基于任何模态的输入数据生成体积，只要那些模态在训练数据集中被很好地表示。
图4是根据一些实施例的网络训练过程的流程图。可以使用硬件和软件的任何合适的组合来施行过程400和本文中所描述的其它过程。体现这些过程的软件程序代码可以由任何非暂时性有形介质存储，所述非暂时性有形介质包括但不限于固定磁盘、易失性或非易失性随机存取存储器、DVD、闪存驱动器或磁带。实施例不限于下面描述的示例。
最初，在S410处，获取多个二维投影数据集。投影图像可以经由核成像扫描和/或已知或变得已知的任何其它成像模态来获取。可选地，在S420处，获取与每个二维投影数据集相关联的三维CT体积。根据一些实施例，如本领域中已知的，每个CT体积与其相关联的投影数据集大体上同时获取。S410和S420可以简单地包括访问先前获取的成像数据的大型储存库。
基于在S410和S420处获取的数据，在S430处训练人工神经网络。基于多个二维投影数据集并且可选地基于三维CT体积中的相应三维CT体积，训练人工神经网络以生成重建的三维体积。在一些实施例中，网络的训练涉及基于网络的输出确定损失，并且基于该损失迭代地修改网络，直到损失达到可接受的水平或者训练以其它方式终止为止（例如，由于时间约束或者由于损失渐进地逼近下界）。S430处的网络训练可以在训练数据的采集之后很久并且与训练数据的采集分离发生。例如，可以在执行S430之前的若干月或若干年内获取训练数据并将其累积在图像储存库中。
图5图示了根据一些实施例在S430处由训练架构500进行的训练。在训练期间，重建组件520为在S410处获取的Q个投影图像1-k 集合中的每一个生成基础真值体积。重建组件520可以对投影图像1-k 应用共轭梯度、衰减和散射（CGAS）重建、滤波反投影（FBP）重建或任何其它合适的技术。Q个集合中的每一个集合的子集被输入到网络510，并且作为响应，网络510输出对应于每个子集的体积。根据一些实施例，代替每个子集的输入或除了每个子集的输入之外，三维体积可以从每个子集重建并输入到网络510。
损失层组件530通过将每个输出体积与对应的基础真值体积进行比较来确定损失。更具体地，将基于投影图像集合的特定子集的输出体积与由组件520基于相同投影图像集合重建的体积进行比较。在S430处的训练期间，可以使用特定投影图像集合的任何数量的子集。
总损失从损失层组件530反向传播到网络510。该损失可以包括L1损失和L2损失，或者总损失的任何其它合适的度量。L1损失是每个输出体积和其对应的基础真值体积之间的绝对差的总和，并且L2损失是每个输出体积和其对应的基础真值体积之间的平方差的总和。
网络510基于如本领域已知的反向传播损失改变其内部权重或核参数值。网络510和损失层530再次处理训练数据，如上面所描述的，并且重复该过程，直到确定损失已经达到可接受的水平或训练以其它方式终止为止。在终止时，网络510可以被认为是经训练的。在一些实施例中，由现在经训练的网络510实现的函数（例如，体现在经训练的卷积核的参数值中）然后可以如图1中所示出的那样部署。
图6图示了根据一些实施例的S430处的训练。训练架构600可以用于训练网络610，以用于部署在诸如图2的架构200之类的架构中。类似于训练架构500，重建组件620为在S410处获取的Q个投影图像1-k 集合中的每一个生成基础真值体积。然而，对于Q个投影图像1-k 集合中的每一个，组件620也使用对应的CT体积q来生成相关联的基础真值体积。可以采用除CT之外的结构图像体积，包括但不限于MR和PET。根据一些实施例，组件620通过如本领域中已知的那样对对应的CT体积q进行分段和配准，并基于此和对应的投影图像1-k 集合执行多模态重建，来生成每个基础真值体积q。
在训练期间， Q个集合中的每一个的子集被输入到网络610，网络610输出对应于每个子集的体积。期间可以使用特定投影图像集合的任何数量的子集，包括任何数量的投影图像。再次，替代每个子集的输入或除了每个子集的输入之外，三维体积可以从每个子集重建并输入到网络610。
损失层组件630可以通过将每个输出体积与如上面所描述的对应基础真值体积进行比较来确定损失，并修改网络610，直到确定损失已经达到可接受的水平或训练以其它方式终止为止。例如，如图2中所示出的，由现在经训练的网络160实现的函数然后可以被部署。
本文中所描述的重建组件420、分段/重建组件620和每个功能组件可以在计算机硬件中、程序代码中和/或执行如本领域已知这样的程序代码的一个或多个计算系统中实现。这样的计算系统可以包括一个或多个处理单元，其执行存储在存储器系统中的处理器可执行程序代码。此外，网络510和610可以包括专门用于基于指定的网络架构和经训练的核参数执行算法的硬件和软件。
图7是根据一些实施例部署经训练的人工神经网络710以从投影图像集合生成图像采集参数720的系统700的框图。下面将描述根据一些实施例的网络710的训练。尽管被描绘为分类型的神经网络，但是网络710可以包括任何类型的处理系统，以实现学习函数并输出一个或多个图像采集参数（例如，与一个或多个采集参数中的每一个相关联的概率）。例如，网络710可以包括软件应用，该软件应用被编程以实现经由之前的神经网络训练生成的函数。
在操作中，经由合适的成像模态获取投影图像1-k 集合。例如，在将放射性示踪剂注射到受试者体积中之后，可以通过PET或SPECT扫描仪获取投影图像1-k 。投影图像1-k 可以包括如本领域中已知的CT图像。
重建组件730使用投影图像1-k 集合来重建体积，如本领域中已知的。重建组件730应用的重建技术可以取决于用于获取投影图像1-k 集合的模态的类型。重建组件730的实施例可以采用任何合适的重建算法。
经训练的网络710接收重建的体积，并输出采集参数720的指示。采集参数720可以包括解决投影图像1-k 中的缺陷并因此产生更高质量的重建体积的采集参数。因此，在一些实施例中，经训练的网络710对重建体积的不合期望特性和用于获取投影图像的参数之间的相关性进行建模，该投影图像可以用于重建展现不合期望特性的减少的体积。
因此，在一些示例中，获取第一投影图像1-k 集合，并且重建组件730从其重建第一体积。第一体积被输入到网络710，并且网络710输出采集参数720。基于输出采集参数720获取第二投影图像集合，并且从第二投影图像集合重建第二体积。第二体积相对于第一体积展现改进的特性。
改进的特性取决于用于训练网络710的数据。此外，特性的“改进”是相对于所得到的重建体积的期望用途而言的。例如，高水平的特定图像特性可能针对一种类型的诊断审查是合期望的，而低水平的特定图像特性可能针对治疗计划是合期望的。在前一种情况下，“改进”特定图像特性包括增加图像特性的水平，并且在后一种情况下，通过降低图像特性的水平来改进特定图像特性。
图8是根据一些实施例用于训练人工神经网络710以生成采集参数的系统800的框图。训练系统810使用重建的体积1-Q 和补救采集参数1-Q 来训练人工神经网络710。每个重建体积1-Q 与相应一个补救采集参数1-Q 相关联。
在一些实施例中，与给定训练体积相关联的补救采集参数是投影图像采集的参数，其可以解决给定训练体积中的缺陷。这些参数可以由人类在审查给定的训练体积时定义。补救采集参数可以包括与用于获取已知或变得已知的投影图像的成像模态相关的任何参数。例如，在SPECT成像的情况下，补救采集参数820可以包括每次投影的持续时间、每次投影的帧数、每次扫描的投影数以及采集矩阵的大小。在CT成像的情况下，补救采集参数820可以包括X射线束能量、X射线管电流、积分时间、每次投影的帧和采集时间。
在系统710的训练期间，重建体积1-Q 被输入到训练系统810，训练系统810输出重建体积1-Q 中的每一个的采集参数集合。如上面提及的，采集参数的输出集合可以包括若干可能的采集参数中的每一个的概率集合。训练系统810将采集参数的每个输出集合与存储在参数820当中补救采集参数的对应集合进行比较。计算总损失，并基于该损失修改网络710。重复训练过程，直到实现令人满意的网络性能为止。
图9是根据一些实施例用于训练人工神经网络以生成采集参数的过程900的流程图。在S910处，获取成像数据的多个重建体积。如本领域中已知的，可以从投影图像重建体积。S910可以包括访问重建的三维图像数据的储存库。
在S920处确定与每个重建体积相关联的补救采集参数。与给定体积相关联的补救采集参数是投影图像采集参数，如果用于获取用于后续重建的投影图像，则其可以解决给定体积中的缺陷。放射科医师可以审查每个重建体积，以便确定与重建体积相关联的补救采集参数。
基于获取的体积和确定的补救采集参数，在S930处训练人工神经网络。在一些实施例中，网络的训练涉及基于网络的输出确定损失，并且基于该损失迭代地修改网络，直到损失达到可接受的水平或者训练以其它方式终止为止（例如，由于时间约束或者由于损失渐进地逼近下界）。S930处的网络训练可以在S910和S920处的训练数据的采集之后很久发生，并且与其分离。
图10是根据一些实施例部署经训练的人工神经网络1010以从放射组学特征1030生成采集参数1020的系统1000的框图。网络1010可以包括任何类型的处理系统，以实现学习函数并输出图像采集参数1020（例如，与一个或多个采集参数中的每一个相关联的概率）。
放射组学指的是从放射照相医学图像提取特征。该提取基于编程的和/或学习的算法，并且该特征可以提供对诊断、预后和治疗响应的洞察，这可能是肉眼不可以领会的。
系统1000的放射组学特征1030可以以已知或变得已知的任何方式获取。根据一些实施例，放射组学特征1030可以包括基于大小和形状的特征、图像强度直方图的描述符、图像体素之间的关系的描述符（例如，灰度级共生矩阵（GLCM）、游程（run）长度矩阵（RLM）、大小区域矩阵（SZM）和邻域灰度色调差矩阵（NGTDM））导出的纹理、从滤波的图像提取的纹理和分形特征。
在操作中，基于受试者的一个或多个图像获取放射组学特征1030。在一些实施例中，获取投影图像集合并从其重建体积，并且从该体积提取放射组学特征1030。经训练的网络1010接收放射组学特征并输出采集参数1020。输出采集参数1020可以包括解决从其提取放射组学特征1030的（一个或多个）图像中的缺陷的采集参数。
因此，在一些实施例中，获取投影图像的第一集合，并从其重建体积。该体积被输入到网络1010，并且网络1010输出采集参数1020。然后基于输出采集参数1020获取投影图像的第二集合，并从投影图像的第二集合重建第二体积。由于使用输出采集参数1020获取投影图像的第二集合，第二体积相对于第一体积展现改进的特性。如上面提及的，被改进的特性和特性以其被改进的方式取决于用于训练网络1010的数据。
图11是根据一些实施例用于训练人工神经网络1010以生成采集参数的系统1100的框图。训练系统1110使用放射组学特征1-Q 1130和补救采集参数1-Q 1140的集合来训练人工神经网络1010。如已知或变得已知的，放射组学特征提取组件1120从相应一个重建体积1-Q 提取放射组学特征1-Q 1130集合的每个集合。放射组学特征1-Q 1130的每个集合与相应一个补救采集参数1-Q 1140相关联，该相应一个补救采集参数1-Q 1140对应于从中提取放射组学特征集合的重建体积。换句话说，与放射组学特征的给定集合相关联的补救采集参数是用于投影图像采集的参数，其可以解决从中提取放射组学特征的给定集合的图像体积中的缺陷。补救采集参数1-Q 1140可以包括本文中所描述的或者以其它方式已知的任何参数。
图12是根据一些实施例用于训练人工神经网络以生成采集参数的过程1200的流程图。下面将关于系统1100描述过程1200，但是实施例不限于此。在S1210处，获取成像数据的多个重建体积。如本领域中已知的，可以从投影图像重建体积。在一些实施例中，S1210包括访问重建的三维图像数据的储存库。
接下来，在S1220处，为图像数据的多个重建体积中的每一个确定多维放射组学特征。例如，如已知的或变得已知的，放射组学特征提取组件1120可以在S1220处从重建体积1-Q 中的相应重建体积1-Q 提取放射组学特征1-Q 1130。
在S1230处确定与每个重建体积相关联的补救采集参数。补救采集参数可以经由人类审查来确定。例如，放射科医师可以审查每个重建的体积，以便确定采集参数，如果用于获取用于后续重建的投影图像，则所述采集参数可以补救体积中的缺陷。
基于多维放射组学特征和确定的补救采集参数，在S1240处训练人工神经网络。在一些实施例中，网络的训练涉及将多维放射组学特征输入到训练系统1110，所述训练系统1110输出放射组学特征1-Q 每个集合的采集参数集合。采集参数的输出集合可以包括若干可能的采集参数中的每一个的概率集合。训练系统1110将采集参数的每个输出集合与存储在参数1140当中的补救采集参数的对应集合进行比较。计算总损失，并基于该损失修改网络1010。重复训练过程，直到实现令人满意的网络性能为止。
图13是根据一些实施例用于训练人工神经网络以从投影图像的不完整集合生成图像体积的计算系统的框图。系统1300可以包括计算系统，以促进如本领域中已知的人工神经网络的设计和训练。计算系统1300可以包括独立系统，或者计算系统1300的一个或多个元件可以位于云中。
系统1300包括通信接口1310，用于经由例如网络连接与外部设备通信。（一个或多个）处理单元1320可以包括一个或多个处理器、处理器核或其它处理单元，以执行处理器可执行的过程步骤。在这点上，可以包括一个或多个存储器设备（例如，硬盘驱动器、固态驱动器）的存储系统1330存储训练程序1331的处理器可执行的过程步骤，该训练程序1331可以由（一个或多个）处理单元1330执行以训练如本文中所描述的网络。
训练程序1331可以利用节点操作员库1332，所述节点操作员库1332包括执行与节点操作相关联的各种操作的代码。根据一些实施例，计算系统1300提供接口和开发软件（未示出），以使得能够开发训练程序1331和生成网络定义1335，所述网络定义1335指定待训练的神经网络的架构。存储设备1330还可以包括重建组件520和/或分段/重建组件620的程序代码1333。
用于训练网络的数据也可以存储在存储设备1330中，包括但不限于如关于图5所描述的投影数据1334。一旦被训练，神经网络的参数就可以被存储为经训练的网络参数1336。如上面提及的，这些经训练的参数可以部署在如本领域中已知的其它系统中，以提供经训练的函数。
图14图示了SPECT-CT系统1400，其可以部署经训练的网络，以基于如本文中所描述的CT数据和较低分辨率核成像数据生成高分辨率体积。
系统1400包括台架1402，两个或更多个伽马相机1404a、1404b附接到台架1402，尽管可以使用任何数量的伽马相机。每个伽马相机内的检测器检测躺在床1408上的患者1406体内的放射性同位素发射的伽马光子（即发射数据）1403。
床1408沿着运动轴线A可滑动。在相应的床位置（即，成像位置）处，患者1406身体的一部分定位在伽马相机1404a、1404b之间，以便捕获来自该身体部分的发射数据1403。伽马相机1404a、1404b可以包括如本领域中已知的多焦点锥形束准直器或平行孔准直器。
系统1400还包括CT外壳1410，所述CT外壳1410包括如本领域中已知的X射线成像系统（未示出）。一般而言，并且根据一些实施例，X射线成像系统在使用伽马相机1404a和1404b采集发射数据之前、期间和/或之后获取患者1406的二维X射线图像。
控制系统1420可以包括任何通用或专用计算系统。因此，控制系统1420包括一个或多个处理单元1422和用于存储程序代码的存储设备1430，所述一个或多个处理单元1422被配置为执行处理器可执行程序代码以使系统1420如本文中所描述的那样操作。存储设备1430可以包括安装在对应接口（例如，USB端口）中的一个或多个固定磁盘、固态随机存取存储器和/或可移除介质（例如，拇指驱动器）。
存储设备1430存储系统控制程序1431的程序代码。一个或多个处理单元1422可以执行系统控制程序1431，以结合SPECT系统接口1440控制电机、伺服系统和编码器，从而使伽马相机1404a、1404b沿着机架1402旋转，并在旋转期间在限定的成像位置处获取二维发射数据1403。获取的数据1432可以包括如本文中所描述的投影图像，并且可以存储在存储器1430中。如本文中所描述的重建体积1434可以存储在存储器1430中。
一个或多个处理单元1422还可以执行系统控制程序1431，以结合CT系统接口1445，使CT外壳1410内的辐射源从不同的投影角度朝向身体1406发射辐射，以控制对应的检测器获取二维CT图像，并根据获取的图像重建三维CT图像。如上面所描述的，CT图像可以与发射数据大体上同时获取，并且从重建图像重建的体积可以存储为CT数据1433。
经训练的网络参数1435可以包括如本文中所描述的那样训练的神经网络的参数。例如，发射数据1432的投影图像和可选地，对应CT体积可以输入到实现经训练的网络参数1435的网络，以生成如上面所描述的补救采集参数。
终端1450可以包括耦合到系统1420的显示设备和输入设备。终端1450可以显示任何投影图像、重建体积和补救采集参数，并且可以接收用于控制数据的显示、成像系统1400的操作和/或本文中所描述的处理的用户输入。在一些实施例中，终端1450是单独的计算设备，诸如但不限于台式计算机、膝上型计算机、平板计算机和智能电话。
系统1400的每个组件可以包括其操作所必需的其它元件，以及用于提供除本文中所描述的功能之外的功能的附加元件。
本领域技术人员将领会，可以在不脱离权利要求的情况下配置对上述实施例的各种适配和修改。因此，应当理解，权利要求可以以不同于如本文中具体描述的方式来实践。
Claims (20)
1.一种系统，包括：
存储设备；
处理器，用于执行存储在存储设备上的处理器可执行的过程步骤，以使系统进行以下操作：
确定多个二维投影图像集合；
基于多个二维投影图像集合中的每一个重建三维图像体积；
对于多个二维投影图像集合中的每一个，确定二维投影图像的多个子集；以及
训练人工神经网络以基于输入二维投影图像生成输出三维图像体积，所述训练基于多个二维投影图像集合中的每一个的二维投影图像的多个子集以及从多个二维投影图像集合中的每一个重建的三维图像体积中的相关联三维图像体积。
2.根据权利要求1所述的系统，其中所述人工神经网络是卷积网络，并且其中所述处理器要执行处理器可执行的过程步骤，以使系统进行以下操作：
将经训练的网络的经训练的核输出到成像系统。
3.根据权利要求2所述的系统，进一步包括成像系统，所述成像系统用于：
获取二维发射数据集合；
将二维发射数据集合输入到包括经训练的核的第二卷积网络；以及
存储由第二卷积网络基于输入的第一三维体积和第二三维体积生成的第一模拟重建三维体积。
4.根据权利要求1所述的系统，其中为多个二维投影图像集合中的一个确定的二维投影图像的多个子集表示比所述多个集合中的一个的二维投影图像更少的投影角度。
5.根据权利要求1所述的系统，所述处理器用于执行存储在存储设备上的处理器可执行的过程步骤，以使系统进行以下操作：
确定与多个二维投影图像集合中的每一个相关联的结构图像体积，
其中基于多个二维投影图像集合中的一个的三维图像体积的重建是基于与所述多个二维投影图像集合中的一个相关联的结构图像体积并且基于所述多个二维投影图像集合中的一个。
6.根据权利要求5所述的系统，其中为多个二维投影图像集合中的一个确定的二维投影图像的多个子集表示比所述多个集合中的一个的二维投影图像更少的投影角度。
7.根据权利要求5所述的系统，其中三维图像体积的重建包括结构图像体积的分段。
8.一种方法，包括：
确定多个二维投影图像集合；
基于多个二维投影图像集合中的每一个重建三维图像体积；
对于多个二维投影图像集合中的每一个，确定二维投影图像的多个子集；以及
训练人工神经网络以基于输入二维投影图像生成输出三维图像体积，所述训练基于所述多个二维投影图像集合中的每一个的二维投影图像的多个子集以及从所述多个二维投影图像集合中的每一个重建的三维图像体积中的相关联三维图像体积。
9.根据权利要求8所述的方法，其中所述人工神经网络是卷积网络，并且进一步包括：
将经训练的网络的经训练的核输出到成像系统。
10.根据权利要求9所述的方法，进一步包括操作成像系统以：
获取二维发射数据集；
将二维发射数据集输入到包括经训练的核的第二卷积网络；以及
存储由第二卷积网络基于输入的第一三维体积和第二三维体积生成的第一模拟重建三维体积。
11.根据权利要求8所述的方法，其中为多个二维投影图像集合中的一个确定的二维投影图像的多个子集表示比所述多个集合中的一个的二维投影图像更少的投影角度。
12.根据权利要求8所述的方法，进一步包括：
确定与多个二维投影图像集合中的每一个相关联的结构图像体积，
其中基于多个二维投影图像集合中的一个重建三维图像体积是基于与所述多个二维投影图像集合中的一个相关联的结构图像体积并且基于所述多个二维投影图像集合中的一个。
13.根据权利要求12所述的方法，其中为多个二维投影图像集合中的一个确定的二维投影图像的多个子集表示比所述多个集合中的一个的二维投影图像更少的投影角度。
14.根据权利要求12所述的方法，其中重建三维图像体积包括对结构图像体积进行分段。
15.一种系统，包括：
存储设备，存储：
多个二维投影图像集合；
与多个二维投影图像集合中的每一个相关联的三维图像体积；和
人工神经网络的节点；以及
处理器，用于执行存储在存储设备上的处理器可执行的过程步骤，以使系统进行以下操作：
对于多个二维投影图像集合中的每一个，确定二维投影图像的多个子集；和
训练人工神经网络以基于输入二维投影图像生成输出三维图像体积，所述训练基于所述多个二维投影图像集合中的每一个的二维投影图像的多个子集以及从所述多个二维投影图像集合中的每一个重建的三维图像体积的相关联三维图像体积。
16.根据权利要求15所述的系统，其中所述人工神经网络是卷积网络，并且其中所述处理器要执行处理器可执行的过程步骤，以使系统进行以下操作：
将经训练的网络的经训练的核输出到成像系统。
17.根据权利要求16所述的系统，进一步包括成像系统，所述成像系统用于：
获取二维发射数据集；
将二维发射数据集输入到包括经训练的核的第二卷积网络；以及
存储由第二卷积网络基于输入的第一三维体积和第二三维体积生成的第一模拟重建三维体积。
18. 根据权利要求15所述的系统，其中为多个二维投影图像集合中的一个确定的二维投影图像的多个子集表示比所述多个集合中的一个的二维投影图像更少的投影角度。
19.根据权利要求15所述的系统，其中所述存储设备存储与多个二维投影图像集合中的每一个相关联的结构图像体积，并且
其中基于多个二维投影图像集合中的一个重建三维图像体积是基于与所述多个二维投影图像集合中的一个相关联的结构图像体积并且基于所述多个二维投影图像集合中的一个。
20.根据权利要求19所述的系统，其中为多个二维投影图像集合中的一个确定的二维投影图像的多个子集表示比所述多个集合中的一个的二维投影图像更少的投影角度。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2019/064121 WO2021112821A1 (en) | 2019-12-03 | 2019-12-03 | Network determination of limited-angle reconstruction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114730476A true CN114730476A (zh) | 2022-07-08 |
Family
ID=76222638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980102714.4A Pending CN114730476A (zh) | 2019-12-03 | 2019-12-03 | 有限角度重建的网络确定 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11810228B2 (zh) |
| EP (1) | EP4052228A4 (zh) |
| CN (1) | CN114730476A (zh) |
| WO (1) | WO2021112821A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375560B (zh) * | 2022-07-22 | 2023-04-18 | 华中科技大学同济医学院附属协和医院 | 一种3d-dsa图像的重建方法及系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6928316B2 (en) | 2003-06-30 | 2005-08-09 | Siemens Medical Solutions Usa, Inc. | Method and system for handling complex inter-dependencies between imaging mode parameters in a medical imaging system |
| US10303849B2 (en) | 2014-06-13 | 2019-05-28 | Siemens Medical Solutions Usa, Inc. | One gate reconstruction |
| HU231302B1 (hu) | 2014-06-13 | 2022-09-28 | Siemens Medical Solutions Usa, Inc | Eljárás és rendszer, valamint tárolóeszköz kép rekonstrukció végrehajtására egy térfogathoz projekciós adathalmaz alapján |
| US9922272B2 (en) | 2014-09-25 | 2018-03-20 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| WO2016178115A1 (en) | 2015-05-04 | 2016-11-10 | Siemens Medical Solutions Usa, Inc. | Data-driven surrogate respiratory signal generation for medical imaging |
| JP2019524221A (ja) | 2016-07-14 | 2019-09-05 | インサイテック リミテッド | 前例に基づく超音波フォーカシング |
| US9965863B2 (en) * | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
| US10395353B2 (en) | 2016-08-31 | 2019-08-27 | Siemens Medical Solutions Usa, Inc. | Model-based scatter in multi-modality multi-energy SPECT reconstruction |
| US10593071B2 (en) * | 2017-04-14 | 2020-03-17 | Siemens Medical Solutions Usa, Inc. | Network training and architecture for medical imaging |
| US10699445B2 (en) | 2017-04-27 | 2020-06-30 | Siemens Medical Solutions Usa, Inc. | Partial volume correction in multi-modality emission tomography |
| CN109493328B (zh) * | 2018-08-31 | 2020-08-04 | 上海联影智能医疗科技有限公司 | 医学图像显示方法、查看设备以及计算机设备 |
| US11748899B2 (en) * | 2019-02-07 | 2023-09-05 | Siemens Healthcare Gmbh | Dense body marker estimation from camera data for patient positioning in medical imaging |
| US11880939B2 (en) * | 2020-08-20 | 2024-01-23 | Intel Corporation | Embedding complex 3D objects into an augmented reality scene using image segmentation |
-
2019
- 2019-12-03 CN CN201980102714.4A patent/CN114730476A/zh active Pending
- 2019-12-03 EP EP19954928.8A patent/EP4052228A4/en active Pending
- 2019-12-03 WO PCT/US2019/064121 patent/WO2021112821A1/en unknown
- 2019-12-03 US US17/754,481 patent/US11810228B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021112821A1 (en) | 2021-06-10 |
| EP4052228A4 (en) | 2023-08-09 |
| EP4052228A1 (en) | 2022-09-07 |
| US20230162412A1 (en) | 2023-05-25 |
| US11810228B2 (en) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7234064B2 (ja) | 反復的画像再構成フレームワーク | |
| JP7202302B2 (ja) | 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定 | |
| US10593071B2 (en) | Network training and architecture for medical imaging | |
| JP2020168352A (ja) | 医用装置及びプログラム | |
| JP2021521993A (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| US10213179B2 (en) | Tomography apparatus and method of reconstructing tomography image | |
| EP3338636B1 (en) | An apparatus and associated method for imaging | |
| CN111540025B (zh) | 预测用于图像处理的图像 | |
| KR20100133950A (ko) | 동적인 제약들에 따른 오브젝트 주변의 사용을 통한 단층 촬영에 있어서의 양 감소 및 이미지 강화 | |
| US20190073802A1 (en) | System and computer-implemented method for improving image quality | |
| JP2016152916A (ja) | Ｘ線コンピュータ断層撮像装置及び医用画像処理装置 | |
| US20170042494A1 (en) | Computed tomography apparatus and method of reconstructing a computed tomography image by the computed tomography apparatus | |
| JP7359851B2 (ja) | 陽電子放出断層撮影（ｐｅｔ）のための人工知能（ａｉ）ベースの標準取込み値（ｓｕｖ）補正及び変動評価 | |
| US10013778B2 (en) | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus | |
| CN114494479A (zh) | 利用神经网络对低剂量pet图像进行同时衰减校正、散射校正和去噪声的系统和方法 | |
| US20230230297A1 (en) | Ai-enabled early-pet acquisition | |
| US11334987B2 (en) | Physics-constrained network and training thereof | |
| US11164344B2 (en) | PET image reconstruction using TOF data and neural network | |
| US11810228B2 (en) | Network determination of limited-angle reconstruction | |
| US10217250B2 (en) | Multi-view tomographic reconstruction | |
| US11574184B2 (en) | Multi-modal reconstruction network | |
| CN111542268B (zh) | 改进的基于多焦点非平行准直器的成像 | |
| US11701067B2 (en) | Attenuation correction-based weighting for tomographic inconsistency detection | |
| US11151759B2 (en) | Deep learning-based data rescue in emission tomography medical imaging | |
| WO2024008764A1 (en) | Cone beam artifact reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |