CN112819713B - 基于无监督学习的低剂量pet图像降噪方法 - Google Patents

基于无监督学习的低剂量pet图像降噪方法 Download PDF

Info

Publication number
CN112819713B
CN112819713B CN202110116979.9A CN202110116979A CN112819713B CN 112819713 B CN112819713 B CN 112819713B CN 202110116979 A CN202110116979 A CN 202110116979A CN 112819713 B CN112819713 B CN 112819713B
Authority
CN
China
Prior art keywords
dose
low
network
pet image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110116979.9A
Other languages
English (en)
Other versions
CN112819713A (zh
Inventor
周龙
叶宏伟
张勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minfound Medical Systems Co Ltd
Original Assignee
Minfound Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minfound Medical Systems Co Ltd filed Critical Minfound Medical Systems Co Ltd
Priority to CN202110116979.9A priority Critical patent/CN112819713B/zh
Publication of CN112819713A publication Critical patent/CN112819713A/zh
Application granted granted Critical
Publication of CN112819713B publication Critical patent/CN112819713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于无监督学习的低剂量PET图像降噪方法,涉及医学影像设备技术领域,通过采集全剂量PET图像数据,对采集到的全剂量PET图像数据进行多次采样,将获取到低剂量PET图像与全剂量PET图像输入到网络中,并进行训练,将临床采集到的低剂量PET图像数据,使用训练好的模型来测试,并保存测试结果的方法,可有效的降低图像中的噪声。同时由于本发明采用多个实例化的低剂量PET图像来训练网络,有效的增加保持图像对比度和网络的鲁棒性,即有效地保留图像细节以及对比度。本发明方法亦可用于常规剂量的PET图像降噪,具有重大的临床应用价值。

Description

基于无监督学习的低剂量PET图像降噪方法
技术领域
本发明涉及一种基于无监督学习的低剂量PET图像降噪方法,属于医学影像设备技术领域。
背景技术
正电子发射计算机断层成像(Positron Emission Tomography)是核医学领域比较先进的临床检查影像技术。通过向人体注射放射性示踪剂药物,药物中的放射性核素衰变产生的一对γ射线,从而得到放射性药物在人体内的分布图。一般放射性示踪剂选取的是生物生命代谢中必须的物质,如:葡萄糖、蛋白质、核酸、脂肪酸,标记上短寿命的放射性核素(如18F,11C等),注入人体后,通过对于该物质在代谢中的聚集,来反映生命代谢活动的情况,从而达到诊断的目的。
由于PET扫描中存在的潜在放射性可能对人体带来辐照损伤,因此临床上非常渴望降低PET的扫描剂量,常见的降低扫描剂量的方法就是降低注射的放射性示踪剂的剂量。然而降低注射剂量会导致图像噪声增加,信噪比降低,对比度下降,并最终可能影响到医生的诊断。传统的图像后处理方法包括BM3D,NLM等通常会导致图像过平滑和图像对比度下降等问题。
现有技术中,为了克服上述问题,主要采用的方法包括迭代重建法,图像后处理,以及深度学习方法,但是会带来以下问题:
(1)迭代重建法通常很难调节超参数,以及需要较大的计算量;
(2)传统的图像后处理方法包括BM3D,NLM等会导致图像过平滑;
(3)其他基于深度学习的方法通常也面临着网络模块复杂、图像过平滑和对比度降低问题。
基于此,为了克服低剂量PET图像中增加的噪声,本发明人对此进行了专门的研究,开发出了一种使用深度学习模型的方法来增强由于降低PET注射剂量之后重建图像。
发明内容
为了解决现有技术中存在的上述缺陷,本发明的目的是提供一种基于无监督学习的低剂量PET图像降噪方法,可有效的保留图像对比度,为医生提供高质量的PET图像。
为了实现上述目的,本发明采取的技术方案如下:
基于无监督学习的低剂量PET图像降噪方法,包括如下步骤:
(1)采集全剂量PET图像数据;
(2)对采集到的全剂量PET图像数据进行多次采样,产生N个实例化的低剂量PET图像数据;
(3)将获取到低剂量PET图像与全剂量PET图像输入到网络中,并进行训练;
(4)将临床采集到的低剂量PET图像数据,使用训练好的模型来测试,并保存测试结果。
进一步地,所述步骤(3)中训练的具体过程如下:
(3.1)将低剂量和全剂量PET图像数据集分成训练集、验证集和测试集;
(3.2)在训练集和验证集中,将低剂量和全剂量PET图像归一化到0-1之间;
(3.3)在训练集和验证集中,对归一化之后的低剂量与全剂量PET图像分别在相同位置提取3D图像碎片,组成训练数据对;
(3.4)使用生成的3D图像碎片来训练3D Noise2Noise网络;
(3.5)使用损失函数来计算网络损失;
(3.6)判断验证误差是否达到最小;
(3.7)达到最小则保存网络与权重,没有就继续更新网络权重;
(3.8)使用测试数据来评估模型性能。
进一步地,所述步骤(4)中测试的具体过程如下:
(4.1)采集低剂量PET图像;
(4.2)对低剂量PET图像进行预处理,预处理包括图像scale到0-1之间和提取3D图像碎片;
(4.3)加载训练好的网络和权重;
(4.4)将预处理好的PET图像输入到网络中进行处理;
(4.5)将网络输出的结果保存到DICOM文件中。
进一步地,所述步骤(3)中,通过一对多的方式训练Noise2Noise模型,具体为选择一个实例化图像输入到网络中,每个网络输出结果与剩余其他几个实例化图像对比,计算损失函数。
进一步地,所述步骤(3)中,增加一项合作损失函数,使网络最终的损失函数为三个网络的损失函数与合作损失函数。
本发明与现有技术相比,具有以下有益技术效果:
(1)本发明通过使用基于无监督学习方法来实现低剂量PET图像降噪,可有效的降低图像中的噪声。
(2)本发明采用多个实例化的低剂量PET图像来训练网络,有效的增加保持图像对比度和网络的鲁棒性,即有效地保留图像细节以及对比度,且定量误差低于10%。
(3)本发明网络模型结构简单,计算效率高。
(4)本发明方法亦可用于常规剂量的PET图像降噪,具有重大的临床应用价值。
附图说明
图1为本实施例网络训练框架;
图2为本实施例的实施流程图;
图3为本实施例模型训练流程图;
图4为本实施例应用于临床测试时模型测试流程图;
图5为50%低剂量PET图像(左)与通过本实施例方法降噪后的PET图像(右)的对比;
图6为全剂量PET图像(左)与通过本实施例方法降噪后的PET图像(右)的对比。
具体实施方式
为了使本发明的技术手段及其所能达到的技术效果,能够更清楚更完善的揭露,兹提供了一个实施例,并结合附图作如下详细说明:
由于PET系统扫描过程中需要注射发射性示踪剂,放射性示踪剂衰变出来的正电子在与人体组织器官中的负电子湮灭之后产生一对511kev的光子。这些高能量的光子会给人体带来辐射损伤。临床上非常渴望降低PET扫描剂量,常见的降低扫描剂量的方法就是降低注射的放射性示踪剂的剂量。然而降低注射剂量会导致图像噪声增加,对比度下降,并最终可能影响到医生的诊断。
本实施例提出了一种采用基于Noise2Noise的无监督学习方法来增强低剂量PET图像或者全剂量PET图像,通过结合多个网络模型和训练多个实例化数据来实现图像降噪和保持图像对比度,并可控制降噪的强度。
如图2所示,本实施例的一种基于无监督学习的低剂量PET图像降噪方法,主要包括以下流程
(1)采集全剂量PET图像数据;
(2)对采集到的全剂量PET图像数据进行多次采样,产生N个实例化的低剂量PET图像数据;
具体的,本实施例通过对全剂量的PET图像在采集到的列表数据(List-mode)上进行随机采样,可以获得N个相同剂量下的低剂量PET图像,为了方便描述,本实施例这里列举N=3的情形。整体训练框架如图1所示,记这里的三个低剂量图像为IA,IB,IC。采用Noise2Noise网络建立三个网络GA,GB,GC,并使用3D卷积来替换了原Noise2Noise网络中的2D卷积。三个网络分别输出OA,OB,OC。我们采用一对多的方式来训练Noise2Noise模型:即选择一个实例化图像输入到网络中,每个网络输出结果与其他两个实例化图像对比,计算损失函数。
GALoss=L2(OA,IB)+L2(OA,IC)
GBLoss=L2(OB,IA)+L2(OB,IC)
GCLoss=L2(OC,IA)+L2(OC,IB)
除此之外,为了控制网络降噪的强度,本实施例还添加了一项合作损失来控制
Collaborative Loss=L2(OA,OB)+L2(OA,OC)+L2(OB,OC)
网络的最终的损失函数为以上损失函数的总和
Loss=GALoss+GBLoss+GCLoss+γ*Collaborative Loss
其中γ为超参数,用于控制模型的降噪强度。
对与低剂量PET图像降噪,可以按照预定的比例来产生多个实例化的低剂量PET图像(比如50%,30%等),对于全剂量PET图像降噪,可以按照95%的比例来产生多个实例化的全剂量PET图像。
(3)将获取到低剂量PET图像与全剂量PET图像输入到网络中,并进行训练;
如图3所示,本实施例具体的训练流程如下:
(3.1)将低剂量和全剂量PET图像数据集分成训练集、验证集和测试集;
(3.2)在训练集和验证集中,将低剂量和全剂量PET图像归一化到0-1之间;
(3.3)在训练集和验证集中,对归一化之后的低剂量与全剂量PET图像分别在相同位置提取3D图像碎片,组成训练数据对;
(3.4)使用生成的3D图像碎片来训练3D Noise2Noise网络;
(3.5)使用损失函数来计算网络损失;
(3.6)判断验证误差是否达到最小;
(3.7)达到最小则保存网络与权重,没有就继续更新网络权重;
(3.8)使用测试数据来评估模型性能。
(4)将临床采集到的低剂量PET图像数据,使用训练好的模型来测试,并保存测试结果。
如图4所示,具体测试流程如下:
(4.1)采集低剂量PET图像;
(4.2)对低剂量PET图像进行预处理,预处理包括图像scale到0-1之间和提取3D图像碎片;
(4.3)加载训练好的网络和权重;
(4.4)将预处理好的PET图像输入到网络中进行处理;
(4.5)将网络输出的结果保存到DICOM文件中。
模型验证和测试效果如图5和图6所示,图5为50%低剂量PET图像(左)与通过本实施例方法降噪后的PET图像(右)的对比;图6为全剂量PET图像(左)与通过本实施例方法降噪后的PET图像(右)的对比。
很显然,从图5和图6中的对比得到,本实施例提出的一种通过基于Noise2Noise模型的无监督学习方法无论是应用于50%低剂量PET图像降噪还是应用于全剂量PET图像降噪,由于本实施例通过组合多个低剂量实例化图像之间的转换,可以有效的提高模型的鲁棒性和保持图像的对比度。通过训练好的Noise2Noise模型来实现低剂量PET图像降噪或者全剂量图像增强。
另外,本实施例所使用的Noise2Noise网络系现有技术,可参考文献Lehtinen J,Munkberg J,Hasselgren J,et al.Noise2noise:Learning image restoration withoutclean data[J].arXiv preprint arXiv:1803.04189,2018.
以上内容是结合本发明的优选实施方式对所提供技术方案所作的进一步详细说明,不能认定本发明具体实施只局限于上述这些说明,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (3)

1.一基于无监督学习的低剂量PET图像降噪方法,包括如下步骤:
(1)采集全剂量PET图像数据;
(2)对采集到的全剂量PET图像数据进行多次采样,产生N个实例化的低剂量PET图像数据;
(3)将获取到低剂量PET图像与全剂量PET图像输入到Noise2Noise网络中,并进行训练;
(4)将临床采集到的低剂量PET图像数据,使用训练好的模型来测试,并保存测试结果;
所述步骤(3)中训练的具体过程如下:
(3.1)将低剂量和全剂量PET图像数据集分成训练集、验证集和测试集;
(3.2)在训练集和验证集中,将低剂量和全剂量PET图像归一化到0-1之间;
(3.3)在训练集和验证集中,对归一化之后的低剂量与全剂量PET图像分别在相同位置提取3D图像碎片,组成训练数据对;
(3.4)使用生成的3D图像碎片来训练Noise2Noise网络;
(3.5)使用损失函数来计算网络损失;
(3.6)判断验证误差是否达到最小;
(3.7)达到最小则保存网络与权重,没有就继续更新网络权重;
(3.8)使用测试数据来评估模型性能。
2.如权利要求1所述的基于无监督学习的低剂量PET图像降噪方法,其特征在于:所述步骤(4)中测试的具体过程如下:
(4.1)采集低剂量PET图像;
(4.2)对低剂量PET图像进行预处理,预处理包括图像scale到0-1之间和提取3D图像碎片;
(4.3)加载训练好的网络和权重;
(4.4)将预处理好的PET图像输入到网络中进行处理;
(4.5)将网络输出的结果保存到DICOM文件中。
3.如权利要求1所述的基于无监督学习的低剂量PET图像降噪方法,其特征在于:所述步骤(3)中,通过一对多的方式训练Noise2Noise模型,具体为选择一个实例化图像输入到网络中,每个网络输出结果与剩余其他几个实例化图像对比,计算损失函数。
CN202110116979.9A 2021-01-28 2021-01-28 基于无监督学习的低剂量pet图像降噪方法 Active CN112819713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116979.9A CN112819713B (zh) 2021-01-28 2021-01-28 基于无监督学习的低剂量pet图像降噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116979.9A CN112819713B (zh) 2021-01-28 2021-01-28 基于无监督学习的低剂量pet图像降噪方法

Publications (2)

Publication Number Publication Date
CN112819713A CN112819713A (zh) 2021-05-18
CN112819713B true CN112819713B (zh) 2022-11-04

Family

ID=75860077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116979.9A Active CN112819713B (zh) 2021-01-28 2021-01-28 基于无监督学习的低剂量pet图像降噪方法

Country Status (1)

Country Link
CN (1) CN112819713B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111867474A (zh) * 2018-01-03 2020-10-30 皇家飞利浦有限公司 使用深度学习根据低剂量pet成像进行全剂量pet图像估计
CN111968058A (zh) * 2020-08-25 2020-11-20 北京交通大学 一种低剂量ct图像降噪方法
CN112150378A (zh) * 2020-09-18 2020-12-29 浙江明峰智能医疗科技有限公司 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2890300B1 (en) * 2012-08-31 2019-01-02 Kenji Suzuki Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
KR102574256B1 (ko) * 2017-04-25 2023-09-01 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111867474A (zh) * 2018-01-03 2020-10-30 皇家飞利浦有限公司 使用深度学习根据低剂量pet成像进行全剂量pet图像估计
CN111968058A (zh) * 2020-08-25 2020-11-20 北京交通大学 一种低剂量ct图像降噪方法
CN112150378A (zh) * 2020-09-18 2020-12-29 浙江明峰智能医疗科技有限公司 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ahmed M. Hasan;et al.《Hybrid-Collaborative Noise2Noise Denoiser for Low-Dose CT Images》.《 IEEE Transactions on Radiation and Plasma Medical Sciences》.2020,第5卷(第2期),第235-244页. *
杜倩倩,等.《基于空洞U-Net 神经网络的PET图像重建算法》.《太原理工大学学报》.2020,第51卷(第2期),第190-197页. *

Also Published As

Publication number Publication date
CN112819713A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN111325686B (zh) 一种基于深度学习的低剂量pet三维重建方法
Huang et al. Metal artifact reduction on cervical CT images by deep residual learning
JP7203852B2 (ja) 深層学習を使用した低線量petイメージングからの全線量pet画像の推定
US11727610B2 (en) System and method for image processing
CN111429379B (zh) 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN105046675B (zh) 基于mvct图像消除kvct图像中金属伪影的方法
Cheng et al. Applications of artificial intelligence in nuclear medicine image generation
CN106491151A (zh) Pet图像获取方法及系统
CN109961419B (zh) 对pet活度分布图像进行衰减校正的校正信息获取方法
Xue et al. LCPR-Net: low-count PET image reconstruction using the domain transform and cycle-consistent generative adversarial networks
Xue et al. A 3D attention residual encoder–decoder least-square GAN for low-count PET denoising
CN112258642A (zh) 基于深度学习的低剂量pet数据三维迭代更新重建方法
Sanaat et al. Deep‐TOF‐PET: Deep learning‐guided generation of time‐of‐flight from non‐TOF brain PET images in the image and projection domains
Xia et al. Physics-/model-based and data-driven methods for low-dose computed tomography: A survey
CN112150378B (zh) 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法
WO2023134030A1 (zh) 一种基于流模型的pet系统衰减校正方法
Arabi et al. MRI‐guided attenuation correction in torso PET/MRI: Assessment of segmentation‐, atlas‐, and deep learning‐based approaches in the presence of outliers
Khaleghi et al. Metal artifact reduction in computed tomography images based on developed generative adversarial neural network
Xie et al. Increasing angular sampling through deep learning for stationary cardiac SPECT image reconstruction
Xie et al. Deep-learning-based few-angle cardiac SPECT reconstruction using transformer
Izadi et al. Enhanced direct joint attenuation and scatter correction of whole-body PET images via context-aware deep networks
CN112819713B (zh) 基于无监督学习的低剂量pet图像降噪方法
CN115423892A (zh) 一种基于最大期望网络的无衰减校正pet重建方法
CN113491529B (zh) 一种无伴随ct辐射的单床pet延迟成像方法
CN112927318B (zh) 低剂量pet图像的降噪重建方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant