CN115205406A - 用于利用深度学习网络来校正计算机断层摄影检测器中的不良像素的系统和方法 - Google Patents

用于利用深度学习网络来校正计算机断层摄影检测器中的不良像素的系统和方法 Download PDF

Info

Publication number
CN115205406A
CN115205406A CN202210356903.8A CN202210356903A CN115205406A CN 115205406 A CN115205406 A CN 115205406A CN 202210356903 A CN202210356903 A CN 202210356903A CN 115205406 A CN115205406 A CN 115205406A
Authority
CN
China
Prior art keywords
sinogram
pixel
missing
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210356903.8A
Other languages
English (en)
Inventor
B·D·帕蒂尔
R·兰戈朱
U·阿格拉沃尔
B·达斯
谢江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN115205406A publication Critical patent/CN115205406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/408—Dual energy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种用于校正计算机断层摄影数据中的伪影的计算机实现的方法。该方法包括将正弦图输入到经训练的正弦图校正网络中，其中该正弦图缺失至少一个像素的像素值。该方法还包括经由该经训练的正弦图校正网络的一个或多个层处理该正弦图，其中处理该正弦图包括从该正弦图导出互补信息并且基于该互补信息来估计该至少一个像素的该像素值。该方法还包括从该经训练的正弦图校正网络输出具有所估计的像素值的经校正的正弦图。

Description

用于利用深度学习网络来校正计算机断层摄影检测器中的不 良像素的系统和方法
背景技术
本文公开的主题涉及医学成像，并且更具体地，涉及用于利用深度学习网络的系统和方法，该深度学习网络用于校正计算机断层摄影检测器中的不良像素。
非侵入式成像技术允许非侵入地获得受检者(患者、制造商品、行李、包裹或乘客)的内部结构或特征的图像。具体地，此类非侵入式成像技术依赖于各种物理原理(诸如X射线通过目标体积的差分传输或声波的反射)，以获取数据和构建图像或以其他方式表示受检者的内部特征。
例如，在基于X射线的成像技术中，用X射线辐射对关注受检者(诸如人类患者)进行辐照，并且所衰减的辐射度将对收集衰减强度数据的检测器产生影响。在数字X射线系统中，检测器产生表示影响检测器表面的离散像素区域的辐射的量或强度的信号。然后可以处理信号以生成可显示以供查看的图像。
在一种此类基于X射线的技术(称为计算机断层摄影(CT))，扫描仪可以从多个视角位置对被成像的对象(诸如患者)投射来自X射线源的扇形或锥形X射线束。X射线束在其穿过对象时衰减并且由一组检测器元件进行检测，该组检测器元件产生表示检测器上的衰减X射线辐射强度的信号。处理信号以产生表示对象的线性衰减系数沿X射线路径的线积分的数据。这些信号通常称为“投影数据”或仅称为“投影”。通过使用诸如滤波反投影的重建技术，可以生成表示患者或被成像对象的感兴趣区域的体积或体积绘制的图像。在医学背景中，然后可以从重建的图像或绘制的体积中定位或识别感兴趣的病理结构或其他结构。
检测器中的不良像素可导致所采集的CT数据的正弦图域中的数据缺失和重建图像或体积中的不期望的伪影(环和条纹)。另外，在CT检测器中具有不良像素会影响利用CT系统的能力。例如，CT检测器的等中心点中的单个不良像素使CT系统不能再被利用。CT检测器中的一定数量的不良像素也使CT系统不能再被利用。
发明内容
下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。
在一个实施方案中，提供了用于校正计算机断层摄影数据中的伪影的计算机实现的方法。该方法包括将正弦图输入到经训练的正弦图校正网络中，其中该正弦图缺失至少一个像素的像素值。该方法还包括经由该经训练的正弦图校正网络的一个或多个层处理该正弦图，其中处理该正弦图包括从该正弦图导出互补信息并且基于该互补信息来估计该至少一个像素的该像素值。该方法还包括从该经训练的正弦图校正网络输出具有所估计的像素值的经校正的正弦图。
在另一个实施方案中，提供了一种用于生成经训练的神经网络以估计计算机断层摄影数据中的缺失值的计算机实现的方法。该方法包括提供训练数据，该训练数据包括正弦图和从该正弦图导出的互补信息，其中该正弦图包括不具有任何缺失像素值的正弦图和具有根据该不具有任何缺失像素值的正弦图而模拟的缺失像素值的对应正弦图。该方法还包括使用该训练数据来训练神经网络，以基于利用从该训练数据的正弦图域以及根据该训练数据重建的图像的图像重建域两者导出的组合的训练损失来校正具有缺失至少一个像素的像素值的正弦图。
在另一个实施方案中，提供了一种基于深度学习的正弦图校正系统。该系统包括编码处理器可执行例程的存储器。该系统还包括处理部件，该处理部件被配置为访问存储器并执行处理器可执行例程，其中这些例程在由处理部件执行时，使处理部件执行动作。这些动作包括将正弦图输入到经训练的正弦图校正网络中，其中该正弦图缺失至少一个像素的像素值。这些动作还包括经由经训练的正弦图校正网络的一个或多个层处理正弦图，其中处理该正弦图包括从正弦图导出互补信息并且基于该互补信息来估计至少一个像素的像素值，其中该互补信息包括多信道补丁，并且这些多信道补丁包括：来自正弦图的对应于沿着具有至少一个像素的行的信道视图方向的部分的局部相邻补丁、来自正弦图的对应于具有至少一个像素的行的相邻行的相邻行补丁和来自正弦图的对应于相对于至少一个像素的共轭区域的共轭补丁。这些动作还包括从经训练的正弦图校正网络输出具有所估计的像素值的经校正的正弦图。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
图1描绘了根据本公开的各方面的用于训练深度学习模型的人工神经网络的示例；
图2是描绘了根据本公开的各方面的计算机断层摄影(CT)成像系统的部件的框图；
图3是根据本公开的方面的描绘训练神经网络以校正不良像素的示意图；
图4是根据本公开的方面的描绘多信道正弦图校正网络的示意图；
图5是根据本公开的方面的描绘用于确定图像重建域损失的重建域分析的示意图；
图6是根据本公开的方面的描绘对经训练的正弦图校正网络的利用的示意图；和
图7描绘了根据本公开的方面的不同类型的正弦图和对应的图像重建。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
介绍本发明主题的各种实施方案的要素时，冠词“一个”、“一种”、“该”和“所述”旨在表示存在一个或多个(种)所述要素。术语“包括”、“包含”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。
虽然在医学成像的背景中提供以下讨论的各方面，但是应当理解，本技术不限于这样的医学背景。实际上，在此类医学背景中提供示例和解释仅是为了通过提供现实具体实施和应用的实例来便于进行讨论。然而，本方法也可用于其他背景中，诸如用于在制成件或制成品的非破坏性检查(即，质量控制或质量审核应用)和/或包裹、箱盒、行李等的非侵入性检查(即，安检或筛检应用)中使用的工业计算机断层摄影(CT)。
如本文所讨论的，在CT图像中发现的伪影(环、条纹等)可能是CT部件问题的症状。例如，CT检测器中的不良像素可能导致环形伪影(在旋转中心内居中的环)，该环形伪影导致结构化的非均匀性和图像质量的劣化。这些环使CT图像不可用于诊断目的。另外，如果不良像素的数量高于某一阈值或者如果不良像素位于CT检测器的中心区域(系统等中心点)内，则可能导致较多的服务成本，并且可能导致CT检测器的更换。
本文所讨论的方法通过应用深度学习方法(例如，卷积神经网络或多层感知器)来解决这些问题，该深度学习方法利用监督学习来移除由于一个或多个不良像素而导致的这些伪影。深度学习算法在原始正弦图域和重建域两者中工作，以学习去除由不良像素导致的失真。具体地，深度学习算法学习通过获悉正弦图域数据内的互补信息之间的相关性来去除由不良像素创建的伪影。例如，在一个具体实施中，可在该过程中采用深度神经网络(或其他合适的机器学习架构)。如可理解的，可训练如本文所讨论的神经网络以用于跨多种类型的配置(例如，轴向或螺旋扫描(不同间距)、变化的kV/mA评级、检测器大小或不良像素配置(单独或成组位置内的单个或多个像素))使用。此外，在一些实施方案中，可利用多于一个神经网络。
考虑到前述内容，如本文所讨论的神经网络可涵盖深度神经网络、完全连接的网络、卷积神经网络(CNN)、感知器(例如，多层感知器(MLP))、自动编码器、回归网络、小波滤波器组或其他神经网络架构。这些技术在本文中通常被称为机器学习。如本文所讨论的，机器学习的一个具体实施可以是深度学习技术，并且也可特别地参考深度神经网络的使用来使用此类深度学习术语，该深度神经网络是具有多个层的神经网络。
如本文所讨论，深度学习技术(其也可以被称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示和人工神经网络来进行学习。以举例的方式，深度学习方法可以被表征为它们使用一个或多个算法来提取一类感兴趣的数据的高级抽象或对其进行建模。这可使用一个或多个处理层来完成，其中每个层通常对应于不同级别的抽象概念或不同级或阶段的过程或事件，并且因此可能采用或利用初始数据的不同的方面或前一层的输出(即，层的分级结构或级联结构)作为给定层的过程或算法的目标。在图像处理或重建背景中，这可以被表征作为对应于数据中的不同的特征级别或分辨率的不同的层。一般来讲，可将一个表示空间到下一级表示空间的处理视为过程的一个“阶段”。重建的每个阶段可以通过单独的神经网络或通过一个较大神经网络的不同部分来执行。
如本文所讨论的，作为解决特定问题的深度学习过程的初始训练的一部分(诸如基于图像数据中识别到的伪影识别服务问题)，可采用具有已知初始值(例如，输入图像、投影数据(例如，具有或不具有检测器中的不良像素的缺失值的正弦图))等)和最终输出(例如，经校正的正弦图、经重建的断层摄影重建(诸如横截面图像或体积表示))的已知或期望值的训练数据集。单个阶段的训练可以具有对应于一个表示空间的已知输入值和对应于下一级表示空间的已知输出值。以这种方式，深度学习算法可(以监督的方式，即完全标记所有的训练数据)处理已知数据集或训练数据集，直到看出初始数据与期望输出之间的数学关系以及/或者看出和表征每个层的输入与输出之间的数学关系。类似地，可以采用单独验证数据集，其中初始和期望目标值是已知的，但是仅将初始值提供到受过训练的深度学习算法，然后将输出与深度学习算法的输出进行比较以检验先前训练和/或防止过度训练。
考虑到前述内容，图1示意性地描绘了人工神经网络50的示例，该人工神经网络可以被训练为如本文所讨论的深度学习模型。在该示例中，网络50是多层的，具有训练输入52和存在于网络50中的多个层(包括输入层54、隐藏层58A、58B等，以及输出层60和训练目标64)。在该示例中，每个层由多个“神经元”或节点56组成。神经元56的数量可以在层之间是恒定的，或如图所示，可以在层与层之间改变。每个层的神经元56生成相应输出，该相应输出用作下一分层的神经元56的输入。在实践中，计算具有加入的偏差的输入的加权和以根据激活函数“激励”或“激活”层的每个相应神经元，诸如整流线性单位(ReLU)、S形函数、双曲正切函数，或以其他方式指定或编程。最后一层的输出构成网络输出60(例如，一个或多个卷积核参数、卷积核等)，其与训练目标64一起用于计算一些损失或误差函数62，该损失或误差函数将反向传播以指导网络训练。
损失或误差函数62测量网络输出(例如，卷积核或核参数)与训练目标之间的差异。在某些实施方案中，损失函数可以是(例如，测量正弦图与经校正的正弦图之间的)平均绝对误差(MAE)。在某些具体实施中，损失函数可以是(例如，根据测量正弦图导出的重建图像与根据经校正的正弦图导出的重建图像之间的)体素级别值或部分线积分值的均方误差(MSE)并且/或者可解释涉及其他图像特征的差异，诸如图像梯度或其他图像统计值。另选地，损失函数62可由与所讨论的特定任务相关联的其他度量(例如，结构相似性指数测量(SSIM))定义。如下文更详细地描述的，可在训练期间利用混合域损失函数(例如，正弦图域中的损失和图像重建域中的损失)。还可利用以下损失。在正弦图域中，可利用内容损失(例如，在目标与预测的正弦图之间计算的L1和/或L2损失)。可利用感知损失(例如，在正弦图与重建域之间计算的SSIM损失)。可在正弦图域或图像重建域中利用转换域损失(例如，可通过过滤域/小波域来计算的损失)。此外，还可在训练中使用对抗损失。
在训练示例中，可以首先将神经网络50约束为线性的(即，通过移除所有非线性单元)以确保网络参数的良好的初始化。还可以使用计算机模拟的输入-目标数据集逐阶段地预训练神经网络50，如下面更详细地讨论的。在预训练之后，神经网络50可以作为整体进行训练并还结合非线性单元。
为了便于解释使用深度学习技术的本发明的图像分析方法，本公开在CT系统的背景中讨论这些方法。然而，应当理解，以下讨论也可适用于其他图像模态和系统，包括但不限于PET、CT、CBCT、PET-CT、SPECT、多光谱CT，以及非医学背景或其中采用断层摄影重建来重建图像的任何背景。
考虑到这一点，图2中描绘了CT成像系统110(即，CT扫描仪)的示例。在所描绘的示例中，成像系统110被设计为围绕患者(或其他感兴趣的受检者或对象)以各种视图采集扫描数据(例如，X射线衰减数据)并适用于使用断层摄影重建技术来执行图像重建。在图2所示的实施方案中，成像系统110包括邻近准直器114定位的X射线辐射源112。X射线源112可以是X射线管、分布式X射线源(诸如固态或热离子X射线源)或适合于采集医疗或其他图像的任何其他X射线辐射源。
在所描绘的示例中，准直器114对X射线束116进行成形或限制，该X射线束进入患者/对象118所定位的区域。在所描绘的示例中，X射线116被准直为穿过成像体积的锥形束，即锥束。X射线辐射120的一部分通过患者/对象118(或其他感兴趣的受检者)或穿过其周围并撞击检测器阵列(通常以附图标记122表示)。该阵列的检测器元件产生表示入射X射线120的强度的电信号。采集并处理这些信号以重建患者/对象118体内的特征的图像。
源112由系统控制器124控制，该系统控制器提供用于CT检查序列的功率和控制信号两者，包括采集二维定位器或用于识别患者/对象体内的感兴趣的解剖结构的侦察图像以用于后续扫描方案。在所描绘的实施方案中，系统控制器124经由X射线控制器126控制源112，该X射线控制器可以是系统控制器124的部件。在此类实施方案中，X射线控制器126可以被配置为向X射线源112提供功率和定时信号。
此外，检测器122耦接到系统控制器124，该系统控制器控制检测器122中生成的信号的采集。在所描绘的实施方案中，系统控制器124使用数据采集系统128采集由检测器生成的信号。数据采集系统128接收由检测器122的读出电子器件收集的数据。数据采集系统128可以从检测器122接收经采样的模拟信号，并且将数据转换为数字信号，以便由下面讨论的处理器130进行后续处理。另选地，在其他实施方案中，数字-模拟转换可以由设置在检测器122自身上的电路执行。系统控制器124还可以关于所获取的图像信号执行各种信号处理和滤波功能，诸如用于动态范围的初始调整、数字图像数据交错等。
在图2所示的实施方案中，系统控制器124耦接到旋转子系统132和线性定位子系统134。旋转子系统132使X射线源112、准直器114和检测器122能够围绕患者/对象118旋转一圈或多圈，诸如围绕患者主要在x、y平面中旋转。应当指出的是，旋转子系统132可以包括机架或C臂，相应的X射线发射和检测部件设置在该机架或C臂上。因此，在此类实施方案中，系统控制器124可以用于操作机架或C臂。
线性定位子系统134可以使患者/对象118或更具体地支撑患者的工作台能够在CT系统110的孔内移位，诸如相对于机架的旋转在z方向上移位。因此，工作台可以在机架内线性移动(以连续或逐步的方式)以生成患者118的特定区域的图像。在所描绘的实施方案中，系统控制器124经由马达控制器136控制旋转子系统132和/或线性定位子系统134的移动。
一般来讲，系统控制器124命令成像系统110的操作(诸如经由源112、检测器122和上述定位系统的操作)以执行检查方案并处理所采集的数据。例如，系统控制器124经由上述系统和控制器可以使支撑源112和检测器122的机架围绕感兴趣的受检者旋转，使得可以以相对于受检者的一个或多个视图获得X射线衰减数据。在本背景中，系统控制器124还可包括信号处理电路、用于存储由计算机(一个或多个神经网络(例如，多信道正弦图校正网络))执行的程序和例程的相关联的存储器电路以及配置参数、图像数据等。
在所描绘的实施方案中，由系统控制器124采集和处理的图像信号被提供给处理部件130，以用于重建图像。处理部件130可以是一个或多个通用或专用微处理器。由数据采集系统128采集的数据可以直接地传输到处理部件130，或在存储在存储器138中之后传输。适合于存储数据的任何类型的存储器都可以由此类示例性系统110利用。例如，存储器138可以包括一个或多个光学、磁性和/或固态存储器存储结构。此外，存储器138可位于采集系统站点处并且/或者可包括用于存储用于断层摄影图像重建和分析的数据、处理参数和/或例程的远程存储设备，如下所述。
处理部件130可以被配置为经由操作员工作站140从操作员接收命令和扫描参数，操作员工作站140通常被配备有键盘和/或其他输入设备。操作员可以经由操作员工作站140控制系统110。因此，操作员可以使用操作员工作站140观察重建图像和/或以其他方式操作系统110。例如，耦接到操作员工作站140的显示器142可以用于观察重建图像并控制成像。另外，图像也可以由打印机144打印，该打印机144可以耦接到操作员工作站140。
此外，处理部件130和操作员工作站140可以耦接到其他输出设备，其他输出设备可以包括标准或专用计算机监视器和相关联的处理电路。可在系统中进一步链接一个或多个操作员工作站140，以用于输出系统参数、请求检查、查看图像等。一般来讲，系统内提供的显示器、打印机、工作站和类似设备可以是数据采集部件本地的，或可以远离这些部件，诸如机构或医院内的其他地方，或位于完全不同的位置，经由一个或多个可配置的网络(诸如互联网、虚拟专用网络等)链接到图像采集系统。
还应注意，操作员工作站140还可以耦接到图片存档和通信系统(PACS)146。PACS146继而可耦接到远程客户端148、放射科信息系统(RIS)、医院信息系统(HIS)，或者耦接到内部或外部网络，使得在不同位置处的其他人可访问原始或经处理的图像数据。
虽然前述讨论已经分别处理了成像系统110的各种示例性部件，但是这些各种部件可以在公共平台内或在互连平台中提供。例如，处理部件130、存储器138和操作员工作站140可以被共同地提供为通用或专用计算机或工作站，其被配置为根据本公开的方面进行操作。在这样的实施方案中，通用或专用计算机可以相对于系统110的数据采集部件被提供作为单独部件，或可以在具有这样的部件的公共平台中提供。同样地，系统控制器124可以提供作为此类计算机或工作站的一部分，或提供作为专用于图像采集的单独系统的一部分。
如本文所讨论的，图2的系统110可用于通过从围绕患者118或对象的许多不同角度测量一系列视图或投影来进行CT扫描。每个视图具有分别对应于CT检测器122的列和行的数量的横向尺寸和纵向尺寸。以不同视角采集的投影可组合成正弦图，这将多个视图收集到单个数据集中。该正弦图表示患者体内的X射线衰减系数的空间分布。通常，该正弦图表示在CT机架的完全旋转下(例如，在单个轴向位置处)的X射线衰减系数的空间分布。重建算法处理正弦图以产生表示患者118或对象的空间域图像。
如上所述，CT检测器可具有可能导致重建图像中的伪影的一个或多个不良像素。图3是描绘训练神经网络以校正不良像素的示意图。为了生成用于训练神经网络(多信道正弦图校正网络)151的训练数据，利用上文所述的CT成像系统来获得测量正弦图150(不缺失任何像素的任何值的良好正弦图)。根据测量正弦图150，生成了合成有不良像素154的具有不良像素的模拟的正弦图152。例如，利用不良像素掩码156来模拟测量正弦图150内的随机位置处的不良像素。不良像素由模拟的正弦图152中的一条或多条线158表示，其缺失特定检测器像素的任何像素值。可在模拟的正弦图152中模拟一个或多个不良像素。模拟的不良像素可在单独的位置中或者在特定位置中被分组在一起。在某些实施方案中，模拟的不良像素可对应于CT检测器的中心区域(等中心点)。不良像素掩码156和对应的模拟的正弦图152(例如，作为补丁)被提供为给多信道正弦图校正网络151的输入。网络151学习预测模拟的正弦图152中的缺失像素值。具体地，网络151学习根据正弦图152中可用的互补信息来预测缺失像素值。将互补信息以多信道输入数据(例如，多信道二维(2D)或三维(3D)补丁)的形式馈送到网络151，如下文更详细地描述的。在利用多个视图的情况下，可利用3D补丁。互补信息可包括局部相邻正弦图信息和共轭正弦图信息(例如，来自相对于不良像素位置的共轭区域(例如，沿着CT检测器与不良像素位置成180度)的信息)。
可由网络151输出经校正的(例如，估计或预测的)正弦图(例如，作为补丁)160。可将经校正的正弦图或正弦图补丁160与测量正弦图或正弦图补丁150(其用作基准真值)进行比较，以确定正弦图域161中的训练损失。正弦图域损失161可呈MAE损失的形式。正弦图损失161可呈内容损失的形式(例如，在目标与预测的正弦图之间计算的L1和/或L2损失)。在某些实施方案中，可将正弦图152提供给网络151作为原始的正弦图。在某些实施方案中，可在被提供给网络151之前转换(例如，过滤)正弦图152。然后可在最终被转换回正常或天然的正弦图域并输出之前在转换域(例如，小波域)中执行校正。处理转换域中的正弦图突出显示了驱动训练并增强正弦图域损失的细节特征。
经由重建164而根据经校正的正弦图160来生成断层摄影图像或体积162。另外，经由重建166而根据测量正弦图150来生成断层摄影图像或体积。将断层摄影图像或体积162的补丁与根据测量正弦图150而生成的断层摄影图像或体积的补丁(其用作基准真值)进行比较，以确定图像重建域168中的训练损失。图像重建域损失168可呈MSE损失或SSIM的形式。可利用其他损失。例如，可利用感知损失(例如，在正弦图与重建域之间计算的SSIM损失)。可在正弦图域或图像重建域中利用转换域损失(例如，可通过过滤域/小波域来计算的损失)。此外，还可在训练中使用对抗损失。
至少经由正弦图域损失161更新训练权重(网络权重)(如附图标号170所指示的)。在某些实施方案中，经由利用正弦图域损失161和图像重建域损失168两者的双域损失函数来更新训练权重170。在某些实施方案中，单个校正网络利用双域损失函数。在其他实施方案中，可以串行方式利用单独的校正网络。例如，可利用第一网络(例如，正弦图域校正网络)，该第一网络基于正弦图的天然(原始)域或转换域中限定的损失来校正具有不良像素数据的正弦图。然后，可利用第二网络(例如，图像重建域校正网络)，该第二网络基于重建域损失来校正根据经校正的正弦图而导出的重建断层摄影图像中的任何感知伪影以改进最终图像。
如上所述，多信道正弦图校正网络151学习根据具有缺失像素值的正弦图中可用的互补信息来预测缺失像素值。图4是描绘多信道正弦图校正网络151的示意图，该校正网络被训练并且最终用于校正由于不良像素而导致缺失数据的正弦图中的预测的缺失像素值。如所描绘的，网络151可包括多个网络(例如，特征网络172、174、176；融合网络184；混合网络186)。将互补信息以多信道输入数据(例如，多信道2D或3D补丁)的形式馈送到网络151。在某些实施方案中，这些网络中的一些网络可以是2D-CNN网络。
从缺失至少一个不良像素的像素值的正弦图导出输入补丁178。输入补丁178是来自不良正弦图的在不良像素附近区域内的局部相邻补丁(例如，对应于沿着具有不良像素的行的信道视图方向的一部分)。局部相邻路径利用相邻通道内的空间相关性和视图。将输入补丁178输入到特征网络172中。
从不良正弦图的对应于具有不良像素的行的相邻行的部分导出相邻补丁180(例如，相邻行补丁)。相邻行补丁利用z方向上的相邻传感器相关性。将相邻补丁180输入到特征网络174中。
从不良正弦图的相对于不良像素的共轭区域导出共轭补丁182。例如，正弦图的共轭区域可含有在与沿着CT检测器的不良像素位置成180度的像素位置处采集的数据。共轭补丁182利用由于CT几何形状而可用的互补信息。将共轭补丁182输入到特征网络176中。
从特征网络176和特征网络172输出的数据(例如，经由数据级联)组合在融合网络84中。应当注意，特征网络172、176和融合网络184可在学习中利用深度残差学习来估计由于不良像素而导致的不良正弦图中的缺失像素值的像素值。融合网络184的输出与来自特征网络172、174的输出一起用于混合网络186中以生成用于经校正的正弦图的输出补丁188。在某些实施方案中，混合网络186可经由掩码添加(例如，生成包括应用于缺失像素值的补丁的像素值的掩码)生成输出补丁。
除了经由补丁178、180、182提供的互补信息之外，还存在提供用于训练多信道正弦图校正网络151的互补信息的其他输入。例如，在双能量CT扫描的情况下，将第二能量扫描用作输入信道。此外，可利用包括基于用户限定的邻域的相似性的不同定义的另选补丁。
如上所述，训练神经网络涉及确定图像重建域中的训练损失。图5是描绘用于确定图像重建域损失的重建域分析的示意图。将根据良好正弦图(即，不由于不良像素而导致缺失像素值)导出的重建图像190用作基准真值。根据经校正的正弦图(例如，具有不良像素的估计或预测的像素值的估计正弦图)导出重建图像192，该经校正的正弦图是从正弦图校正网络输出的。根据未经校正或不良的正弦图(例如，具有缺失像素值)导出的重建图像194具有环形伪影。重建图像194具有环形伪影。将重建图像192与基准真值(重建图像190)进行比较以确定重建差异196(例如，图像重建域训练损失)。在某些实施方案中，可比较图像190、192的补丁以确定图像重建域训练损失。在某些实施方案中，可在执行重建域损失分析之前将图像域转换(例如，过滤)为不同的域。如上所述，该训练损失196作为双域或混合域损失的一部分用于更新用于训练正弦图校正网络中的训练权重。在某些实施方案中，可(例如，以串行方式)利用单独的网络(例如，与正弦图校正网络分开)来校正仍然存在于从经校正的正弦图生成的重建图像中的任何伪影(例如，环形伪影)。单独的网络可利用图像重建域损失来学习。
图6是描绘对经训练的正弦图校正网络的利用的示意图。经训练的多信道正弦图校正网络或模型151被配置为接收不良正弦图198(即，由于不良像素而导致缺失像素值的正弦图)并输出经校正的正弦图200。针对不良正弦图198中的任何缺失像素值推断(例如，预测或估计)像素值。具体地，网络151利用训练权重202来推断缺失像素值。训练权重202可能已经至少由如上所述的正弦图域训练损失来进行调整。在某些实施方案中，正弦图域训练损失和图像重建域损失两者都用于更新训练权重。将多信道数据(例如，2D或3D补丁)输入到网络中。校正仅在正弦图域中发生。网络151仅依赖于正弦图域中的输入补丁。不需要进入重建域。因此，转换与解剖结构、显示视野或重建视野以及重建参数(包括重建核)无关。由于该过程与重建参数无关，因此不需要调谐参数。如上所述，网络151可在原始正弦图域或正弦图的经转换(例如，过滤)域中工作。随着推断在正弦图域中完全发生，该网络实现了较快的预测。
在某些实施方案中，如上所述，可以串行方式利用单独的校正网络。例如，可利用校正具有不良像素数据的正弦图的第一网络(例如，正弦图域校正网络)，然后是第二网络(例如，图像重建域校正网络)，该第二网络校正根据经校正的正弦图而导出的重建断层摄影图像中的任何感知伪影(环形伪影或条纹伪影)以改进最终图像。
用来自40次测验的数据来训练图6中的经训练的网络151，这导致了大约500,000个多信道训练补丁(相邻、行、共轭)。为了获得基准真值，从良好正弦图取得补丁(具有不良像素的缺失数据和根据良好正弦图的重建图像)。在40次测验中，利用32次测验来进行训练，并且利用8次测验来进行验证。训练参数包括：1000个时期、2X10-4的学习率以及5X10-4*0.1时期数/100的LR衰减函数和MAE+SSIM的损失函数。
图7描绘了不同类型的正弦图和对应的图像重建。正弦图204、206、208表示正确的正弦图(即，没有由于不良像素而导致的任何缺失值)、由于不良像素而导致缺失如线209所指示的像素值的不良正弦图和利用如上所述的基于深度学习的正弦图校正模型而输出的经校正的正弦图。如正弦图208中所描绘的，正弦图206中的线209不再存在，因为已经估计了该缺失像素值的像素值。重建图像210、212和214表示根据正弦图204、206和208而导出的对应图像。如图像212中所描绘的，由于不良像素的缺失数据，导致存在环形伪影和条纹伪影。如图像214中所描绘的，不存在环形伪影和条纹伪影，并且图像214看起来类似于图像210。
所公开的主题的技术效果包括提供基于深度学习的技术，该基于深度学习的技术用于校正由于CT检测器中的一个或多个不良像素而导致的缺失像素值。在经训练的网络中利用正弦图中的具有互补信息的多信道输入数据来预测该缺失像素值。具体地，预测缺失像素值完全发生在正弦图域中以提供较快的预测。校正仅发生在正弦图域中，使得该过程与解剖结构、显示视野和重建参数(包括重建核)无关。通过校正不良像素，基于深度学习的技术提供适用于诊断目的的高质量重建图像，该高质量重建图像不含由于不良检测器像素而导致的环形伪影和条纹伪影。该基于深度学习的技术实现了对在CT检测器的生产期间的限制的放松和对CT检测器在现场操作中的利用。具体地，仍然可利用具有在检测器的中心区域中的不良像素或具有通常在检测器上的多个不良像素的CT检测器。这可降低由于不良像素而导致的服务成本(例如，与检测器面板更换相关联)。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。

Claims (11)

1.一种用于校正计算机断层摄影数据中的伪影的计算机实现的方法，所述计算机实现的方法包括：
将正弦图输入到经训练的正弦图校正网络中，其中所述正弦图缺失至少一个像素的像素值；
经由所述经训练的正弦图校正网络的一个或多个层处理所述正弦图，其中处理所述正弦图包括从所述正弦图导出互补信息并且基于所述互补信息来估计所述至少一个像素的所述像素值；以及
从所述经训练的正弦图校正网络输出具有所估计的像素值的经校正的正弦图。
2.根据权利要求1所述的计算机实现的方法，其中所述互补信息包括多信道补丁，并且其中所述多信道补丁包括：来自所述正弦图的对应于沿着具有所述至少一个像素的行的信道视图方向的部分的局部相邻补丁、来自所述正弦图的对应于具有所述至少一个像素的所述行的相邻行的相邻行补丁、来自所述正弦图的对应于相对于所述至少一个像素的共轭区域的共轭补丁或从其他能量信道提取的双或多能量计算机断层摄影互补信息。
3.根据权利要求1所述的计算机实现的方法，包括根据具有减少的伪影的所述经校正的正弦图来重建图像，所述伪影是由于所述至少一个像素的所述缺失像素值而发生的。
4.根据权利要求1所述的计算机实现的方法，其中所述正弦图是作为由X射线计算机断层摄影系统的检测器捕获的测量结果的原始投影数据。
5.根据权利要求1所述的计算机实现的方法，包括使用监督学习来训练神经网络以生成所述经训练的正弦图校正网络，其中用于所述监督学习的训练数据包括不具有任何缺失像素值的正弦图和具有根据所述不具有任何缺失像素值的正弦图而模拟的缺失像素值的对应正弦图。
6.一种用于生成经训练的神经网络以估计计算机断层摄影数据中的缺失值的计算机实现的方法，所述计算机实现的方法包括：
提供训练数据，所述训练数据包括正弦图和从所述正弦图导出的互补信息，其中所述正弦图包括不具有任何缺失像素值的正弦图和具有根据所述不具有任何缺失像素值的正弦图而模拟的缺失像素值的对应正弦图；以及
使用所述训练数据来训练神经网络，以基于利用从所述训练数据的正弦图域以及根据所述训练数据重建的图像的图像重建域两者导出的组合的训练损失来校正具有缺失至少一个像素的像素值的正弦图。
7.根据权利要求6所述的计算机实现的方法，其中所述互补信息包括从具有缺失像素值的所述正弦图中的每一者导出的多信道补丁。
8.根据权利要求7所述的计算机实现的方法，其中用于具有缺失像素值的相应正弦图的所述多信道补丁包括：对应于沿着具有所述缺失像素值的行的信道视图方向的部分的局部相邻补丁、对应于具有所述缺失像素值的所述行的相邻行的相邻行补丁、对应于相对于所述缺失像素值的共轭区域的共轭补丁或从其他能量信道提取的双或多能量计算机断层摄影互补信息。
9.根据权利要求6所述的计算机实现的方法，其中训练所述神经网络以校正具有缺失所述至少一个像素的所述像素值的所述正弦图包括训练所述神经网络以估计所述像素值，所述像素值与所扫描对象的解剖结构、显示视野和用于将所述正弦图重建为重建图像的重建参数无关。
10.一种基于深度学习的正弦图校正系统，所述系统包括：
存储器，所述存储器对处理器可执行例程进行编码；
处理部件，所述处理部件被配置为访问所述存储器并执行所述处理器可执行例程，其中，所述例程在由所述处理部件执行时使所述处理部件：
将正弦图输入到经训练的正弦图校正网络中，其中所述正弦图缺失至少一个像素的像素值；
经由所述经训练的正弦图校正网络的一个或多个层处理所述正弦图，其中处理所述正弦图包括从所述正弦图导出互补信息并且基于所述互补信息来估计所述至少一个像素的所述像素值，其中所述互补信息包括多信道补丁，并且所述多信道补丁包括：来自所述正弦图的对应于沿着具有所述至少一个像素的行的信道视图方向的部分的局部相邻补丁、来自所述正弦图的对应于具有所述至少一个像素的所述行的相邻行的相邻行补丁和来自所述正弦图的对应于相对于所述至少一个像素的共轭区域的共轭补丁或从其他能量信道提取的双或多能量计算机断层摄影互补信息；并且
从所述经训练的正弦图校正网络输出具有所估计的像素值的经校正的正弦图。
11.根据权利要求10所述的系统，其中所述例程在由所述处理部件执行时使所述处理部件使用监督学习来训练神经网络以生成所述经训练的正弦图校正网络，其中用于所述监督学习的训练数据包括不具有任何缺失像素值的正弦图和具有根据所述不具有任何缺失像素值的正弦图而模拟的缺失像素值的对应正弦图，并且其中所述训练损失仅从所述训练数据的正弦图域或从正弦图域和根据所述训练数据重建的图像的图像重建域两者导出。
CN202210356903.8A 2021-04-08 2022-04-06 用于利用深度学习网络来校正计算机断层摄影检测器中的不良像素的系统和方法 Pending CN115205406A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/225,395 US11823354B2 (en) 2021-04-08 2021-04-08 System and method for utilizing a deep learning network to correct for a bad pixel in a computed tomography detector
US17/225,395 2021-04-08

Publications (1)

Publication Number Publication Date
CN115205406A true CN115205406A (zh) 2022-10-18

Family

ID=81074284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210356903.8A Pending CN115205406A (zh) 2021-04-08 2022-04-06 用于利用深度学习网络来校正计算机断层摄影检测器中的不良像素的系统和方法

Country Status (4)

Country Link
US (1) US11823354B2 (zh)
EP (1) EP4071720A1 (zh)
JP (1) JP7434402B2 (zh)
CN (1) CN115205406A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269450B (zh) * 2023-03-21 2023-12-19 苏州海臻医疗器械有限公司 一种基于肌电信号的患者肢体康复状态评估系统及方法
CN116502701B (zh) * 2023-06-29 2023-10-20 合肥锐世数字科技有限公司 衰减校正方法和装置、训练方法和装置、成像方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602951B2 (en) 2005-03-14 2009-10-13 General Electric Company Method and system for providing defective cell correction in a medical imaging device
US7920751B2 (en) 2007-03-16 2011-04-05 General Electric Company Adaptive gradient weighting technique for detector bad cell correction
CN110337673B (zh) * 2017-01-05 2023-10-20 通用电气公司 基于深度学习的在断层摄影重建中估计数据的方法和系统
US10825149B2 (en) * 2018-08-23 2020-11-03 Siemens Healthcare Gmbh Defective pixel correction using adversarial networks
US11039806B2 (en) * 2018-12-20 2021-06-22 Canon Medical Systems Corporation Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data
US11176428B2 (en) * 2019-04-01 2021-11-16 Canon Medical Systems Corporation Apparatus and method for sinogram restoration in computed tomography (CT) using adaptive filtering with deep learning (DL)
CN110264421B (zh) 2019-06-13 2022-07-12 明峰医疗系统股份有限公司 一种ct坏通道校正方法
US11100684B2 (en) 2019-07-11 2021-08-24 Canon Medical Systems Corporation Apparatus and method for artifact detection and correction using deep learning
JP7399646B2 (ja) 2019-08-14 2023-12-18 キヤノンメディカルシステムズ株式会社 データ圧縮装置およびデータ圧縮方法
CN110555834B (zh) 2019-09-03 2020-09-22 明峰医疗系统股份有限公司 基于深度学习网络的ct坏通道实时检测及重建方法
CN112529775A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理的方法和装置

Also Published As

Publication number Publication date
JP7434402B2 (ja) 2024-02-20
JP2022161857A (ja) 2022-10-21
US20220327664A1 (en) 2022-10-13
US11823354B2 (en) 2023-11-21
EP4071720A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
US11039805B2 (en) Deep learning based estimation of data for use in tomographic reconstruction
CN110807737B (zh) 迭代图像重建框架
CN111492406B (zh) 训练机器学习算法的方法、图像处理系统和图像重建方法
US20210290193A1 (en) Apparatus and method that uses deep learning to correct computed tomography (ct) with sinogram completion of projection data
CN110462689B (zh) 基于深度学习的断层摄影重建
US10438350B2 (en) Material segmentation in image volumes
US20180197317A1 (en) Deep learning based acceleration for iterative tomographic reconstruction
US20180330233A1 (en) Machine learning based scatter correction
JP2020163124A (ja) 医用画像処理装置及び学習用画像の取得方法
JP2021013736A (ja) Ｘ線診断システム、画像処理装置及びプログラム
EP4071720A1 (en) System and method for utilizing a deep learning network to correct for a bad pixel in a computed tomography detector
JP7475979B2 (ja) Ｘ線システム及び撮像プログラム
US10970885B2 (en) Iterative image reconstruction
EP4187496A1 (en) System and method for autonomous identification of heterogeneous phantom regions
Sha et al. Removing ring artifacts in CBCT images via Transformer with unidirectional vertical gradient loss
WO2024008764A1 (en) Cone beam artifact reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination