CN112150378B - 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法 - Google Patents
基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法 Download PDFInfo
- Publication number
- CN112150378B CN112150378B CN202010985417.3A CN202010985417A CN112150378B CN 112150378 B CN112150378 B CN 112150378B CN 202010985417 A CN202010985417 A CN 202010985417A CN 112150378 B CN112150378 B CN 112150378B
- Authority
- CN
- China
- Prior art keywords
- dose
- low
- pet image
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 16
- 238000010200 validation analysis Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000003042 antagnostic effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 4
- 239000003814 drug Substances 0.000 description 3
- 239000000700 radioactive tracer Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 235000014113 dietary fatty acids Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229930195729 fatty acid Natural products 0.000 description 1
- 239000000194 fatty acid Substances 0.000 description 1
- 150000004665 fatty acids Chemical class 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明公开了一种基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法，使用采集的低剂量PET图像和全剂量PET图像训练模型，将低剂量PET图像和训练结果来测试模型，将测试结果保存，得到低剂量PET图像增强结果。本发明通过使用自逆神经网络来实现低剂量和全剂量PET图像之间的相互转换，由于训练的网络具有自逆性，可以有效的降低图像中的噪声和保持图像对比度，有效的提高模型的鲁棒性。本发明网络模型结构简单，计算效率高，能有效的降低图像中的噪声，有效保留图像细节以及对比度，定量误差低于10%。
Description
技术领域
本发明涉及医学影像设备技术领域，更具体涉及一种基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法。
背景技术
正电子发射计算机断层成像（Positron Emission Tomography）是核医学领域比较先进的临床检查影像技术。通过向人体注射放射性示踪剂药物，药物中的放射性核素衰变产生的一对γ射线，从而得到放射性药物在人体内的分布图。一般放射性示踪剂选取的是生物生命代谢中必须的物质，如：葡萄糖、蛋白质、核酸、脂肪酸，标记上短寿命的放射性核素（如18F，11C等），注入人体后，通过对于该物质在代谢中的聚集，来反映生命代谢活动的情况，从而达到诊断的目的。
由于PET扫描中存在的潜在放射性可能对人体带来辐照损伤，因此临床上非常渴望降低PET的扫描剂量，常见的降低扫描剂量的方法就是降低注射的放射性示踪剂的剂量。然而降低注射剂量会导致图像噪声增加，对比度下降，并最终可能影响到医生的诊断。传统的图像后处理方法包括BM3D，NLM等通常会导致图像过平滑和图像对比度下降等问题。近年来深度学习得到了快速的发展，并广泛应用于医学图像分析当中。为了克服低剂量PET图像中增加的噪声，我们提出了一种使用深度学习模型的方法来增强由于降低PET注射剂量之后重建图像，并有效的保留图像对比度，为医生提供高质量的PET图像。
发明内容
针对现有技术的不足，本发明提供了一种基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法，通过使用自逆神经网络来实现低剂量和全剂量PET图像之间的相互转换，有效的降低图像中的噪声和保持图像对比度。
为实现上述目的，本发明提供了如下技术方案：基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法，使用采集的低剂量PET图像和全剂量PET图像训练模型，将低剂量PET图像和训练结果来测试模型，将测试结果保存，得到低剂量PET图像增强结果。
进一步，上述训练流程为：
（1）采集低剂量和全剂量PET图像；
（2）将低剂量和全剂量PET图像数据集分成训练集、验证集和测试集；
（3）在训练集和验证集中，将低剂量和全剂量PET图像归一化到0-1之间；
（4）在训练集和验证集中，对归一化之后的低剂量与全剂量PET图像分别在相同位置提取3D图像碎片，组成训练数据对；
（5）使用生成的3D图像碎片来训练自逆生成对抗网络；
（6）网络训练完成，保存网络和权重；
（7）使用测试数据来评估模型性能。
进一步，训练自逆生成对抗网络流程为：
（1）产生两个条件图像：低剂量到全剂量条件Z=0，全剂量到低剂量条件Z=1；
（2）将低剂量PET图像和对应的条件文件输入到自逆生成网络G中，生成虚拟的全剂量图像，并与相应的全剂量PET图像计算损失；
（3）将全剂量PET图像和对应的条件文件输入到自逆生成网络G中，生成虚拟的低剂量图像，并与相应的低剂量PET图像计算损失；
（4）将虚拟的全剂量PET图像和真实全剂量PET图像分别输入到全剂量PET图像判别网络D2中，并分别计算损失；
（5）将虚拟的低剂量PET图像和真实低剂量PET图像分别输入到低剂量PET图像判别网络
1中，并分别计算损失；
（6）将模型应用于验证集上，计算验证误差，并判断是否达到最小；
（7）如果验证误差没有达到最小，继续更新网络参数；
（8）如果验证误差达到最小，保存网络和权重。
进一步，损失计算中，网络目标函数包含以下3个损失：
最终的目标函数为：
其中x，y和z分别为低剂量PET图像，全剂量PET图像和条件图像，这里的条件图像用于控制模型从x转换到y或者从y转换到x
进一步，模型测试流程如下，
（1）将采集到的低剂量PET图像进行预处理；
（2）加载训练好的网络和权重；
（3）将预处理好的PET图像输入到网络中进行处理；
（4）将网络输出的结果保存到DICOM文件中。
综上所述，本发明通过使用自逆神经网络来实现低剂量和全剂量PET图像之间的相互转换，由于训练的网络具有自逆性，可以有效的降低图像中的噪声和保持图像对比度，有效的提高模型的鲁棒性。通过训练好的自逆神经网络来实现低剂量PET图像增强以及由全剂量图像来模拟生成低剂量图像。本发明网络模型结构简单，计算效率高，能有效的降低图像中的噪声，有效保留图像细节以及对比度，定量误差低于10%。
附图说明
图1为本发明实施例中自逆生成网络结构框架；
图2为本发明实施例中判别网络框架；
图3为本发明实施例模型框架；
图4为本发明实施例流程；
图5为本发明实施例中模型训练流程；
图6为本发明实施例自逆生成对抗网络训练流程；
图7为本发明实施例测试流程；
图8为本发明实施例头部模型验证和测试效果；
图9为本发明实施例身体模型验证和测试效果。
具体实施方式
参照图1至图9对本发明一种基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法的具体实施方式作进一步的说明。
基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法，使用采集的低剂量PET图像和全剂量PET图像训练模型，将低剂量PET图像和训练结果来测试模型，将测试结果保存，得到低剂量PET图像增强结果。
如图5所示，上述训练流程为：
（1）采集低剂量和全剂量PET图像；
（2）将低剂量和全剂量PET图像数据集分成训练集、验证集和测试集；
（3）在训练集和验证集中，将低剂量和全剂量PET图像归一化到0-1之间；
（4）在训练集和验证集中，对归一化之后的低剂量与全剂量PET图像分别在相同位置提取3D图像碎片，组成训练数据对；
（5）使用生成的3D图像碎片来训练自逆生成对抗网络；
（6）网络训练完成，保存网络和权重；
（7）使用测试数据来评估模型性能。
如图6所示，训练自逆生成对抗网络流程为：
（1）产生两个条件图像：低剂量到全剂量条件Z=0，全剂量到低剂量条件Z=1；
（2）将低剂量PET图像和对应的条件文件输入到自逆生成网络G中，生成虚拟的全剂量图像，并与相应的全剂量PET图像计算损失；
（3）将全剂量PET图像和对应的条件文件输入到自逆生成网络G中，生成虚拟的低剂量图像，并与相应的低剂量PET图像计算损失；
（4）将虚拟的全剂量PET图像和真实全剂量PET图像分别输入到全剂量PET图像判别网络D2中，并分别计算损失；
（5）将虚拟的低剂量PET图像和真实低剂量PET图像分别输入到低剂量PET图像判别网络D2中，并分别计算损失；
（6）将模型应用于验证集上，计算验证误差，并判断是否达到最小；
（7）如果验证误差没有达到最小，继续更新网络参数；
（8）如果验证误差达到最小，保存网络和权重。
进一步，损失计算中，网络目标函数包含以下3个损失：
最终的目标函数为：
其中x，y和z分别为低剂量PET图像，全剂量PET图像和条件图像，这里的条件图像用于控制模型从x转换到y或者从y转换到x
如图7所示，模型测试流程如下，
（1）将采集到的低剂量PET图像进行预处理；
（2）加载训练好的网络和权重；
（3）将预处理好的PET图像输入到网络中进行处理；
（4）将网络输出的结果保存到DICOM文件中。
实施例，头部和身体模型验证和测试效果如图8和图9所示。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法，其特征在于：使用采集的低剂量PET图像和全剂量PET图像训练模型，将低剂量PET图像和训练结果来测试模型，将测试结果保存，得到低剂量PET图像增强结果；
训练自逆生成对抗网络流程为，
（1）产生两个条件图像：低剂量到全剂量条件Z=0，全剂量到低剂量条件Z=1；
（2）将低剂量PET图像和对应的条件文件输入到自逆生成网络G中，生成虚拟的全剂量图像，并与相应的全剂量PET图像计算损失；
（3）将全剂量PET图像和对应的条件文件输入到自逆生成网络G中，生成虚拟的低剂量图像，并与相应的低剂量PET图像计算损失；
（4）将虚拟的全剂量PET图像和真实全剂量PET图像分别输入到全剂量PET图像判别网络
中，并分别计算损失；
（5）将虚拟的低剂量PET图像和真实低剂量PET图像分别输入到低剂量PET图像判别网络
中，并分别计算损失；
（6）将模型应用于验证集上，计算验证误差，并判断是否达到最小；
（7）如果验证误差没有达到最小，继续更新网络参数；
（8）如果验证误差达到最小，保存网络和权重；
损失计算中，网络目标函数包含以下3个损失，
最终的目标函数为，
其中x，y和z分别为低剂量PET图像，全剂量PET图像和条件图像，这里的条件图像用于控制模型从x转换到y或者从y转换到x。
2.根据权利要求1所述的基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法，其特征在于：模型训练流程为，
（1）采集低剂量和全剂量PET图像；
（2）将低剂量和全剂量PET图像数据集分成训练集、验证集和测试集；
（3）在训练集和验证集中，将低剂量和全剂量PET图像归一化到0-1之间；
（4）在训练集和验证集中，对归一化之后的低剂量与全剂量PET图像分别在相同位置提取3D图像碎片，组成训练数据对；
（5）使用生成的3D图像碎片来训练自逆生成对抗网络；
（6）网络训练完成，保存网络和权重；
（7）使用测试数据来评估模型性能。
3.根据权利要求2所述的基于自逆卷积生成对抗网络的低剂量全身PET图像增强方法，其特征在于：模型测试流程如下，
（1）将采集到的低剂量PET图像进行预处理；
（2）加载训练好的网络和权重；
（3）将预处理好的PET图像输入到网络中进行处理；
（4）将网络输出的结果保存到DICOM文件中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010985417.3A CN112150378B (zh) | 2020-09-18 | 2020-09-18 | 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010985417.3A CN112150378B (zh) | 2020-09-18 | 2020-09-18 | 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112150378A CN112150378A (zh) | 2020-12-29 |
| CN112150378B true CN112150378B (zh) | 2022-06-24 |
Family
ID=73894009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010985417.3A Active CN112150378B (zh) | 2020-09-18 | 2020-09-18 | 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150378B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819713B (zh) * | 2021-01-28 | 2022-11-04 | 明峰医疗系统股份有限公司 | 基于无监督学习的低剂量pet图像降噪方法 |
| CN116091871B (zh) * | 2023-03-07 | 2023-08-25 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种针对目标检测模型的物理对抗样本生成方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10636141B2 (en) * | 2017-02-09 | 2020-04-28 | Siemens Healthcare Gmbh | Adversarial and dual inverse deep learning networks for medical image analysis |
| CN111867474A (zh) * | 2018-01-03 | 2020-10-30 | 皇家飞利浦有限公司 | 使用深度学习根据低剂量pet成像进行全剂量pet图像估计 |
| KR102220029B1 (ko) * | 2018-10-12 | 2021-02-25 | 한국과학기술원 | 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치 |
| CN109949215B (zh) * | 2019-03-29 | 2023-03-31 | 浙江明峰智能医疗科技有限公司 | 一种低剂量ct图像模拟方法 |
-
2020
- 2020-09-18 CN CN202010985417.3A patent/CN112150378B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112150378A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7203852B2 (ja) | 深層学習を使用した低線量ｐｅｔイメージングからの全線量ｐｅｔ画像の推定 | |
| Zhang et al. | Improving CBCT quality to CT level using deep learning with generative adversarial network | |
| Lei et al. | Learning‐based CBCT correction using alternating random forest based on auto‐context model | |
| US11219426B2 (en) | Method and system for determining irradiation dose | |
| CN111429379B (zh) | 一种基于自监督学习的低剂量ct图像去噪方法及系统 | |
| Cheng et al. | Applications of artificial intelligence in nuclear medicine image generation | |
| CN112150378B (zh) | 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法 | |
| WO2020214911A1 (en) | Method and system for generating attenuation map from spect emission data based upon deep learning | |
| US20220108459A1 (en) | Systems and methods for image processing | |
| CN109741411B (zh) | 基于梯度域的低剂量pet图像重建方法、装置、设备及介质 | |
| CN109741254B (zh) | 字典训练及图像超分辨重建方法、系统、设备及存储介质 | |
| Xu et al. | Deep-learning-based separation of a mixture of dual-tracer single-acquisition PET signals with equal half-lives: a simulation study | |
| Zhang et al. | Hierarchical organ-aware total-body standard-dose PET reconstruction from low-dose PET and CT images | |
| Nguyen et al. | 3D Unet generative adversarial network for attenuation correction of SPECT images | |
| CN110717951B (zh) | 一种基于cGANs的PET图像直接重建方法 | |
| CN111445550A (zh) | Pet图像的迭代重建方法、装置和计算机可读存储介质 | |
| CN113989231A (zh) | 动力学参数的确定方法、装置、计算机设备和存储介质 | |
| Xue et al. | PET Synthesis via Self-supervised Adaptive Residual Estimation Generative Adversarial Network | |
| EP4148680A1 (en) | Attenuation correction-based weighting for tomographic inconsistency detection | |
| CN112927318B (zh) | 低剂量pet图像的降噪重建方法及计算机可读存储介质 | |
| CN112819713B (zh) | 基于无监督学习的低剂量pet图像降噪方法 | |
| US11648422B2 (en) | Apparatus and methods of generating 4-dimensional computer tomography images | |
| CN112634206A (zh) | 一种pet图像的病灶检测方法、系统、装置及存储介质 | |
| CN112634147B (zh) | 自监督学习的pet图像降噪方法、系统、装置及介质 | |
| CN113052840A (zh) | 一种基于低信噪比pet图像的处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |