CN111626964B - 扫描图像的优化方法、优化装置和医学扫描系统 - Google Patents
扫描图像的优化方法、优化装置和医学扫描系统 Download PDFInfo
- Publication number
- CN111626964B CN111626964B CN202010494490.0A CN202010494490A CN111626964B CN 111626964 B CN111626964 B CN 111626964B CN 202010494490 A CN202010494490 A CN 202010494490A CN 111626964 B CN111626964 B CN 111626964B
- Authority
- CN
- China
- Prior art keywords
- image
- artificial neural
- neural network
- taking
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 200
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000003860 storage Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000700 radioactive tracer Substances 0.000 claims description 9
- 210000004185 liver Anatomy 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000002059 diagnostic imaging Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000012879 PET imaging Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012636 positron electron tomography Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000013170 computed tomography imaging Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Nuclear Medicine (AREA)
Abstract
本申请涉及一种扫描图像的优化方法、扫描图像的优化装置、医学扫描系统，以及计算机可读存储介质。其中，该方法包括：以第一图像作为输入图像、以第二图像作为目标图像，更新第一人工神经网络的网络参数；分别以第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以第二人工神经网络的输出图像和输入图像作为第一人工神经网络的训练样本，交替迭代训练第一人工神经网络和第二人工神经网络，直至达到预设迭代次数或者第一人工神经网络当前输出的图像满足设定条件时，输出第一人工神经网络当前输出的图像。通过本申请，解决了相关技术中对相同部位的重复扫描所需的成像时间长的问题，缩短了医学成像时间。
Description
技术领域
本申请涉及医学成像技术领域，特别是涉及扫描图像的优化方法、扫描图像的优化装置、医学扫描系统，以及计算机可读存储介质。
背景技术
随着机器学习技术的发展和计算机硬件性能的提升，机器学习中深度学习技术被广泛地应用到各行各业。在医疗领域的医学成像领域中，也越来越多得使用深度学习技术来解决相关的问题，例如基于深度学习技术的伪影消除、超分辨率、图像降噪等等。
深度学习技术以人工神经网络的应用为典型代表。人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统，其自适应性体现在它能够根据环境的变化，对网络参数(也称为权值)进行调整，改善系统的行为。根据适应环境的方式的不同，人工神经网络可分为监督学习和非监督学习两种学习方式。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。在非监督学习中，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。
基于非监督学习训练的人工神经网络依赖于网络参数的选择，存在网络参数不易收敛，人工神经网络的输出结果不可预测的问题。基于监督学习训练的人工神经网络虽然克服了上述的问题，但是其依赖于大量的训练样本来训练其网络参数。然而，在医学扫描领域中，不同的病人的医学扫描图像差异很大，来自于同一个病人的医学扫描图像数量也远达不到人工神经网络进行监督学习需求的训练样本数量。并且，以PET成像为例，PET成像与所使用的示踪剂种类及用量关系密切，不同的示踪剂种类或用量对应的成像图像差异极大，因此，基于某一种示踪剂药物的图像样本训练得到的人工神经网络不能够用于其他示踪剂药物相关的医学图像处理。
在PET成像或者CT成像中，对于相同部位可能进行多次扫描。例如PET成像中在完成第一次扫描后，间隔一段时间还会进行第二次扫描(称为延迟扫描)，以通过对疑似病灶进行二次成像来达到降低漏诊、误诊率的目的。然而，随着示踪剂随着时间推移不断衰变导致活度降低，第二次扫描往往需要增加扫描时间来保证图像质量，导致第二次成像的时间长、效率低。
发明内容
本申请实施例提供了一种扫描图像的优化方法、扫描图像的优化装置、医学扫描系统，以及计算机可读存储介质，以至少解决相关技术中对相同部位的重复扫描所需的成像时间长的问题。
第一方面，本申请实施例提供了一种扫描图像的优化方法，包括：获取第一图像和第二图像，其中，所述第二图像对应的扫描时间晚于所述第一图像对应的扫描时间；以所述第一图像作为输入图像、以所述第二图像作为目标图像，更新第一人工神经网络的网络参数；分别以所述第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以所述第二人工神经网络的输出图像和输入图像作为所述第一人工神经网络的训练样本，交替迭代训练所述第一人工神经网络和第二人工神经网络，直至达到预设迭代次数或者所述第一人工神经网络当前输出的图像满足设定条件时，输出所述第一人工神经网络当前输出的图像。
在其中一些实施例中，分别以所述第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以所述第二人工神经网络的输出图像和输入图像作为所述第一人工神经网络的训练样本，交替迭代训练所述第一人工神经网络和第二人工神经网络包括：以所述第一人工神经网络当前输出的图像作为输入图像、以所述第一人工神经网络当前输入的图像作为目标图像，更新第二人工神经网络的网络参数；以所述第二人工神经网络当前输出的图像作为输入图像、以所述第二人工神经网络当前输入的图像作为目标图像，更新所述第一人工神经网络的网络参数。
在其中一些实施例中，所述第一人工神经网络和所述第二人工神经网络为结构相同的人工神经网络；所述人工神经网络的结构包括：U-Net。
在其中一些实施例中，所述扫描图像为PET图像或CT图像；在获取所述第一图像和所述第二图像之前，所述方法还包括：向被扫描对象注射示踪剂；使用医学扫描设备扫描被扫描对象得到完整的扫描数据，并根据所述完整的扫描数据重建得到所述第一图像；在经过预设时间后，使用所述医学扫描设备再次扫描所述被扫描对象得到不完整的扫描数据，并根据所述不完整的扫描数据重建得到所述第二图像。
在其中一些实施例中，所述预设迭代次数为经验值；所述设定条件包括图像信噪比高于设定值。
在其中一些实施例中，在获取所述第一图像和所述第二图像之后，所述方法还包括：从所述第一图像中提取感兴趣区域，得到第四图像，以及从所述第二图像中提取所述感兴趣区域，得到第五图像；以所述第四图像作为输入图像、以所述第五图像作为目标图像，更新第一人工神经网络的网络参数；分别以所述第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以所述第二人工神经网络的输出图像和输入图像作为所述第一人工神经网络的训练样本，交替迭代训练所述第一人工神经网络和第二人工神经网络，直至所述第一人工神经网络当前输出的图像的信噪比不低于设定值时，将交替迭代的次数作为所述预设迭代次数。
在其中一些实施例中，所述感兴趣区域为肝部所在区域。
第二方面，本申请实施例提供了一种扫描图像的优化装置，包括：获取模块，用于获取第一图像和第二图像，其中，所述第二图像对应的扫描时间晚于所述第一图像对应的扫描时间；更新模块，用于以所述第一图像作为输入图像、以所述第二图像作为目标图像，更新第一人工神经网络的网络参数；以及分别以所述第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以所述第二人工神经网络的输出图像和输入图像作为所述第一人工神经网络的训练样本，交替迭代训练所述第一人工神经网络和第二人工神经网络，直至达到预设迭代次数或者所述第一人工神经网络当前输出的图像满足设定条件时，输出所述第一人工神经网络当前输出的图像。
第三方面，本申请实施例提供了一种医学扫描系统，所述医学扫描系统包括医学扫描设备和计算机设备，其中，所述医学扫描设备用于扫描被扫描对象；所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的扫描图像的优化方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的扫描图像的优化方法。
相比于相关技术，本申请实施例提供的一种扫描图像的优化方法、扫描图像的优化装置、医学扫描系统，以及计算机可读存储介质，通过获取第一图像和第二图像，其中，第二图像对应的扫描时间晚于第一图像对应的扫描时间；以第一图像作为输入图像、以第二图像作为目标图像，更新第一人工神经网络的网络参数；分别以第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以第二人工神经网络的输出图像和输入图像作为第一人工神经网络的训练样本，交替迭代训练第一人工神经网络和第二人工神经网络，直至达到预设迭代次数或者第一人工神经网络当前输出的图像满足设定条件时，输出第一人工神经网络当前输出的图像的方式，解决了相关技术中对相同部位的重复扫描所需的成像时间长的问题，缩短了医学成像时间。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的扫描图像的优化方法的流程图；
图2是根据本申请实施例的第一人工神经网络和第二人工神经网络的一次迭代过程的示意图；
图3是根据本申请实施例的参数收敛的示意图；
图4是根据本申请实施例的U-Net的结构示意图；
图5是根据本申请实施例的扫描图像的优化装置的结构框图；
图6是根据本申请实施例的医学扫描系统的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请所涉及的系统可用于非侵入成像，如疾病的诊断和研究。其所涉及的图像处理系统可以包括正电子发射计算机断层显像系统(PET系统)、电子计算机断层扫描(Computed Tomography，简称为CT)系统、正电子发射计算机断层显像-计算机断层扫描多模态系统(PET-CT系统)、正电子发射计算机断层显像-磁共振多模态混合系统(PET-MR系统)等。
本申请所涉及的扫描图像的优化方法可以应用于需要对相同部位(或者扫描视野)多次扫描的成像模式，例如，PET成像中的一次成像及其延迟扫描，或者CT成像中的衰减校正用CT扫描(ACCT)和诊断CT扫描。
本实施例提供了一种扫描图像的优化方法。图1是根据本申请实施例的扫描图像的优化方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取第一图像和第二图像，其中，第二图像对应的扫描时间晚于第一图像对应的扫描时间。
在本实施例中，第一图像和第二图像为采用已知的医学扫描设备对相同的被扫描对象(或者相同的扫描视野)进行扫描并重建得到的医学图像；并且，第一图像的扫描时间要先于第二图像。如果是采用PET成像，在扫描之前会向被扫描对象注射示踪剂。通常而言，第一图像可以是采用常规的扫描流程对该被扫描对象进行扫描得到的完整的扫描数据，并根据该完整的扫描数据重建得到的；第二图像是在第一图像扫描之后的预设时间之后，以相同的扫描视野再次扫描该被扫描对象得到的扫描数据，然后根据得到的扫描数据重建得到的。并且，在本实施例中，第二图像对应的扫描时间相对于常规的扫描流程要求的时间更短，在本实施例中将少于常规的扫描流程要求的扫描时间内扫描得到的扫描数据称为不完整的扫描数据。通常使用该不完整的扫描数据重建得到的扫描图像的图像质量(例如信噪比)较差，医师难以辨认扫描图像内容，从而难以作为临床诊断的依据。
步骤S102，以第一图像作为输入图像、以第二图像作为目标图像，更新第一人工神经网络的网络参数。
步骤S103，以第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，训练第二人工神经网络。
步骤S104，以第二人工神经网络的输出图像和输入图像作为第一人工神经网络的训练样本，训练第一人工神经网络。
步骤S105，判断是否达到预设迭代次数，或者判断第一人工神经网络当前输出的图像是否满足设定条件。若是，则执行步骤S106，否则执行步骤S103。
步骤S106，输出第一人工神经网络当前输出的图像。
在上述步骤中，分别以第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，训练第二人工神经网络；以及以第二人工神经网络的输出图像和输入图像作为第一人工神经网络的训练样本，训练第一人工神经网络，从而实现对第一人工神经网络和第二人工神经网络的交替训练。直至达到预设迭代次数或者第一人工神经网络当前输出的图像满足设定条件时，输出第一人工神经网络当前输出的图像。
在本实施例中，优选地采用两个结构和初始参数完全相同的第一人工神经网络和第二人工神经网络，以第一图像和第二图像为初始输入图像和初始目标图像，使用类似监督学习的方式来迭代更新第一人工神经网络和第二人工神经网络的参数。
图2是根据本申请实施例的第一人工神经网络和第二人工神经网络的一次迭代过程的示意图，如图2所示，在初始阶段，首先以第一图像(记为A1)作为第一人工神经网络的输入图像，以第二图像(记为B1)作为第一人工神经网络的目标图像，更新第一人工神经网络的网络参数，并得到第一人工神经网络的一个输出图像(记为B2)。此后，以第一人工神经网络的输出图像B2作为第二人工神经网络的输入图像，以第一人工神经网络的输入图像A1作为第二人工神经网络的目标图像，更新第二人工神经网络的网络参数，并得到第二人工神经网络的一个输出图像(记为A2)，完成一次交替迭代训练过程。在下一次交替迭代过程中，将会以上一次交替迭代过程中第二人工神经网络的输出图像A2作为第一人工神经网络的输入图像，以上一次交替迭代过程中第二人工神经网络的输入图像B2作为第一人工神经网络的目标图像，再次更新第一人工神经网络的网络参数，并得到第一人工神经网络的另一个输出图像。如此交替迭代，从而使得在只具有一组初值(第一图像A1和第二图像B1)的情况下，通过交替迭代，由第一人工神经网络生成用于第二人工神经网络参数训练的输入图像，由第二人工神经网络生成用于第一人工神经网络参数训练的输入图像，直至达到预设迭代次数或者第一人工神经网络当前输出的图像满足设定条件(例如信噪比)时，输出第一人工神经网络当前输出的图像。
图3是根据本申请实施例的参数收敛的示意图。在本实施例中所称的参数收敛不同于传统意义上的人工神经网络参数的参数收敛。在本实施例中，第二图像B1与第一图像A1是对相同的被扫描对象在不同时间扫描得到的图像，因此，介于第二图像B1与第一图像A1之间，应当存在某个图像(记为Bn)，能够使得其图像质量能够满足设定条件，并且具有B1原本的某些特征。而在上述步骤S101至步骤S106中通过交替迭代更新第一人工神经网络和第二人工神经网络的参数，最终能够将第一人工神经网络的参数向生成第二图像B1的方向收敛，将第二人工神经网络的参数向生成第一图像A1的方向收敛，因此，总会存在某个迭代次数能够使得第一人工神经网络输出的图像Bn能够满足设定条件。
由此可见，采用上述步骤S101至步骤S106，能够在使用较短的扫描时间扫描并重建得到的第二扫描图像的情况下，利用两个完全相同的人工神经网络的交替迭代运算，得到具备第二扫描图像相应特征，而又能够达到设定条件的图像质量的图像，从而解决了相关技术中对相同部位的重复扫描所需的成像时间长的问题，缩短了重复扫描相同部位所需的成像时间。
本申请实施例中所采用的第一人工神经网络和第二人工神经网络的网络结构完全相同，但并不限于某种特定的网络结构。
在其中一些实施例中。人工神经网络采用的结构为U-Net。图4是根据本申请实施例的U-Net的结构示意图，如图4所示，U-Net的编码器下采样4次，一共下采样16倍，对称地，其解码器也相应上采样4次，能够将编码器得到的高级语义特征图恢复到原图片的分辨率。相比于全卷积神经网络(FCN)而言，U-Net共进行了4次上采样，并在同一个层(stage)使用了跳层连接(skip connection)，而不是直接在高级语义特征上进行监督和误差反向传播，这样就保证了最后恢复出来的特征图融合了更多的表层(高分辨率)特征和深层(低分辨率)特征。在图像中，低分辨率特征用于提供图像识别的依据，高分辨率特征用于提供图像分割定位的依据。而高分辨率特征和低分辨率特征都是医学扫描图像的重要特征，因此，采用U-Net网络能够完美地契合医学扫描图像的图像处理要求。
迭代次数决定了第一人工神经网络最终输出的图像。在本申请实施例中，迭代次数可以是根据经验值设定的预设迭代次数；迭代次数也可以根据第一人工神经网络输出的图像的信噪比来确定，当第一人工神经网络输出的图像的信噪比达到了设定的要求，则可以认为迭代完成。其中，在初始时，第一人工神经网络以第一图像作为输入图像，以第二图像作为目标图像所输出的图像是与第二图像相似且信噪比低的图像。随着第一人工神经网络在交替迭代过程中的网络参数的更新，第一人工神经网络输出的图像的信噪比能够提升，直至达到设定的信噪比。
在本申请实施例中，可以通过下列步骤确定预设迭代次数：
步骤1，从第一图像中提取感兴趣区域，得到第四图像，以及从第二图像中提取感兴趣区域，得到第五图像。
步骤2，以第四图像作为输入图像、以第五图像作为目标图像，更新第一人工神经网络的网络参数。
步骤3，分别以第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以第二人工神经网络的输出图像和输入图像作为第一人工神经网络的训练样本，交替迭代训练第一人工神经网络和第二人工神经网络，直至第一人工神经网络当前输出的图像的信噪比不低于设定值时，将交替迭代的次数作为预设迭代次数。
在上述步骤中，同样采用了与步骤S101至步骤S106中相同的交替迭代方法，所不同的是，在上述步骤中，是以感兴趣区域的图像信噪比是否低于设定值来判断是否继续交替迭代，直至感兴趣区域的图像信噪比不低于设定值时，将交替迭代的次数作为上述的预设迭代次数。其中的感兴趣区域优选为肝部所在区域。肝部的面积大且组织分布均匀，尤其适用于作为评价图像信噪比的标准区域，因此，利用肝部所在区域的图像信噪比作为预设迭代次数的判定依据也更具代表性。
在PET成像中，在正常扫描完成后，间隔一段时间进行的延迟扫描。在常规延迟扫描方案中，由于放射性药物随时间推移会不断衰变导致活度降低，所以在进行延迟扫描时往往需要增加扫描时间来保证图像质量。将本申请实施例提供的扫描图像的优化方法应用在PET成像的延迟扫描中，第一次成像为正常PET扫描图像；第二次成像为间隔一段时间后的短时的延迟扫描。两次成像所用的药物相同。应用本实施例提供的扫描图像的优化方法可以减少延迟扫描的扫描时间。
在PET-CT成像中，CT具有两个功能：1)结构成像，为PET中发现的病灶提供准确的解剖定位信息，即诊断CT；2)用于PET的衰减校正，即ACCT。通常在PET/CT检查中会做两次CT扫描，第一次为ACCT，对图像质量要求较低，通常采用低剂量扫描；第二次为诊断CT，对图像质量要求高，通常采用高剂量扫描。将本申请实施例提供的扫描图像的优化方法应用在PET-CT成像中的诊断CT成像过程中，可降低诊断CT扫描剂量。
通过本申请实施例提供的扫描图像的优化方法，可以使用同一被扫描对象的若干次扫描图像构建数据集，并通过本实施例描述的对深度学习模型的交替迭代来改善每次的图像质量。本申请实施例提供的方法相对于相关技术中的深度学习方法而言，具有下列优势：
1、训练样本来自于同一被扫描对象，图像在解剖结构和生理信息上具有高度相似性。训练样本的针对性强，是个性化的成像方案。
2、不需准备大规模不同病人的数据集进行预训练，不需要准备大规模不同药物的数据集进行预训练。小样本下算法运算效率高。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种扫描图像的优化装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的扫描图像的优化装置的结构框图，如图5所示，该装置包括：获取模块51和更新模块52；获取模块51耦合至更新模块52。
其中，获取模块51，用于获取第一图像和第二图像，其中，第二图像对应的扫描时间晚于第一图像对应的扫描时间。更新模块52，用于以第一图像作为输入图像、以第二图像作为目标图像，更新第一人工神经网络的网络参数；以及分别以第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以第二人工神经网络的输出图像和输入图像作为第一人工神经网络的训练样本，交替迭代训练第一人工神经网络和第二人工神经网络，直至达到预设迭代次数或者第一人工神经网络当前输出的图像满足设定条件时，输出第一人工神经网络当前输出的图像。
在其中一些实施例中，更新模块52，用于以第一人工神经网络当前输出的图像作为输入图像、以第一人工神经网络当前输入的图像作为目标图像，更新第二人工神经网络的网络参数；以第二人工神经网络当前输出的图像作为输入图像、以第二人工神经网络当前输入的图像作为目标图像，更新第一人工神经网络的网络参数。
在其中一些实施例中，第一人工神经网络和第二人工神经网络为结构相同的人工神经网络；人工神经网络的结构包括：U-Net。
在其中一些实施例中，扫描图像为PET图像或CT图像；上述的扫描图像的优化装置还包括：注射模块，用于向被扫描对象注射示踪剂；第一扫描模块，耦合至获取模块51，用于使用医学扫描设备扫描被扫描对象得到完整的扫描数据，并根据完整的扫描数据重建得到第一图像；第二扫描模块，耦合至获取模块51，用于在经过预设时间后，使用医学扫描设备再次扫描被扫描对象得到不完整的扫描数据，并根据不完整的扫描数据重建得到第二图像。
在其中一些实施例中，预设迭代次数为经验值；设定条件包括图像信噪比高于设定值。
在其中一些实施例中，上述的扫描图像的优化装置还包括：提取模块，用于从第一图像中提取感兴趣区域，得到第四图像，以及从第二图像中提取感兴趣区域，得到第五图像；第二更新模块，耦合至提取模块和更新模块，用于以第四图像作为输入图像、以第五图像作为目标图像，更新第一人工神经网络的网络参数；分别以第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以第二人工神经网络的输出图像和输入图像作为第一人工神经网络的训练样本，交替迭代训练第一人工神经网络和第二人工神经网络，直至第一人工神经网络当前输出的图像的信噪比不低于设定值时，将交替迭代的次数作为预设迭代次数。
在其中一些实施例中，感兴趣区域为肝部所在区域。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种医学扫描系统，图6是根据本申请实施例的医学扫描系统的结构示意图，如图6所示，该医学扫描系统包括医学扫描设备61和计算机设备62，医学扫描设备61耦合至计算机设备62。其中，医学扫描设备61用于扫描被扫描对象；计算机设备62包括存储器621、处理器622以及存储在存储器621上并可在处理器622上运行的计算机程序623，处理器622执行计算机程序623时实现如图1所示的扫描图像的优化方法。
另外，结合上述实施例中的扫描图像的优化方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种扫描图像的优化方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种扫描图像的优化方法，其特征在于包括：
获取第一图像和第二图像，其中，所述第二图像对应的扫描时间晚于所述第一图像对应的扫描时间；
以所述第一图像作为输入图像、以所述第二图像作为目标图像，更新第一人工神经网络的网络参数；
分别以所述第一人工神经网络当前输出的图像作为输入图像、以所述第一人工神经网络当前输入的图像作为目标图像，更新第二人工神经网络的网络参数；以所述第二人工神经网络当前输出的图像作为输入图像、以所述第二人工神经网络当前输入的图像作为目标图像，更新所述第一人工神经网络的网络参数，交替迭代训练所述第一人工神经网络和第二人工神经网络，直至达到预设迭代次数或者所述第一人工神经网络当前输出的图像满足设定条件时，输出所述第一人工神经网络当前输出的图像。
2.根据权利要求1所述的扫描图像的优化方法，其特征在于，所述第一人工神经网络和所述第二人工神经网络为结构相同的人工神经网络；所述人工神经网络的结构包括：U-Net。
3.根据权利要求1所述的扫描图像的优化方法，其特征在于，所述扫描图像为PET图像或CT图像；在获取所述第一图像和所述第二图像之前，所述方法还包括：
向被扫描对象注射示踪剂；
使用医学扫描设备扫描被扫描对象得到完整的扫描数据，并根据所述完整的扫描数据重建得到所述第一图像；
在经过预设时间后，使用所述医学扫描设备再次扫描所述被扫描对象得到不完整的扫描数据，并根据所述不完整的扫描数据重建得到所述第二图像。
4.根据权利要求1所述的扫描图像的优化方法，其特征在于，所述预设迭代次数为经验值；所述设定条件包括图像信噪比高于设定值。
5.根据权利要求1所述的扫描图像的优化方法，其特征在于，在获取所述第一图像和所述第二图像之后，所述方法还包括：
从所述第一图像中提取感兴趣区域，得到第四图像，以及从所述第二图像中提取所述感兴趣区域，得到第五图像；
以所述第四图像作为输入图像、以所述第五图像作为目标图像，更新第一人工神经网络的网络参数；
分别以所述第一人工神经网络的输出图像和输入图像作为第二人工神经网络的训练样本，以所述第二人工神经网络的输出图像和输入图像作为所述第一人工神经网络的训练样本，交替迭代训练所述第一人工神经网络和第二人工神经网络，直至所述第一人工神经网络当前输出的图像的信噪比不低于设定值时，将交替迭代的次数作为所述预设迭代次数。
6.根据权利要求5所述的方法，其特征在于，所述感兴趣区域为肝部所在区域。
7.一种扫描图像的优化装置，其特征在于包括：
获取模块，用于获取第一图像和第二图像，其中，所述第二图像对应的扫描时间晚于所述第一图像对应的扫描时间；
更新模块，用于以第一人工神经网络当前输出的图像作为输入图像、以所述第一人工神经网络当前输入的图像作为目标图像，更新第二人工神经网络的网络参数；以所述第二人工神经网络当前输出的图像作为输入图像、以所述第二人工神经网络当前输入的图像作为目标图像，更新所述第一人工神经网络的网络参数，交替迭代训练所述第一人工神经网络和第二人工神经网络，直至达到预设迭代次数或者所述第一人工神经网络当前输出的图像满足设定条件时，输出所述第一人工神经网络当前输出的图像。
8.一种医学扫描系统，其特征在于，所述医学扫描系统包括医学扫描设备和计算机设备，其中，所述医学扫描设备用于扫描被扫描对象；所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的扫描图像的优化方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的扫描图像的优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010494490.0A CN111626964B (zh) | 2020-06-03 | 2020-06-03 | 扫描图像的优化方法、优化装置和医学扫描系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010494490.0A CN111626964B (zh) | 2020-06-03 | 2020-06-03 | 扫描图像的优化方法、优化装置和医学扫描系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111626964A CN111626964A (zh) | 2020-09-04 |
| CN111626964B true CN111626964B (zh) | 2023-09-26 |
Family
ID=72273118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010494490.0A Active CN111626964B (zh) | 2020-06-03 | 2020-06-03 | 扫描图像的优化方法、优化装置和医学扫描系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626964B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419303B (zh) * | 2020-12-09 | 2023-08-15 | 上海联影医疗科技股份有限公司 | 神经网络训练方法、系统、可读存储介质和设备 |
| CN112991478B (zh) * | 2021-02-25 | 2024-02-02 | 复旦大学附属中山医院 | 基于深度学习的影像分析多时相异常特征区域参数的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5427101A (en) * | 1994-08-04 | 1995-06-27 | Board Of Trustees Of The Leland Stanford Junior University | Diminishing variance process for real-time reduction of motion artifacts in MRI |
| CN109785308A (zh) * | 2019-01-09 | 2019-05-21 | 上海联影医疗科技有限公司 | 一种心排量求解的方法、装置、设备及存储介质 |
| CN110809782A (zh) * | 2018-10-22 | 2020-02-18 | 上海联影医疗科技有限公司 | 衰减校正系统和方法 |
| CN111047541A (zh) * | 2019-12-30 | 2020-04-21 | 北京工业大学 | 一种基于小波变换注意力模型的图像修复方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8675942B2 (en) * | 2010-11-05 | 2014-03-18 | Siemens Aktiengesellschaft | Prior enhanced compressed sensing (PRINCE-CS) reconstruction for dynamic 2D-radial cardiac MRI |
| RU2667879C1 (ru) * | 2017-05-30 | 2018-09-24 | Общество с ограниченной ответственностью "Аби Продакшн" | Обработка и анализ данных на изображениях компьютерной томографии |
| US10573031B2 (en) * | 2017-12-06 | 2020-02-25 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction with deep reinforcement learning |
| US11234666B2 (en) * | 2018-05-31 | 2022-02-01 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET) |
| US20190385055A1 (en) * | 2018-06-14 | 2019-12-19 | Electronics And Telecommunications Research Institute | Method and apparatus for artificial neural network learning for data prediction |
-
2020
- 2020-06-03 CN CN202010494490.0A patent/CN111626964B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5427101A (en) * | 1994-08-04 | 1995-06-27 | Board Of Trustees Of The Leland Stanford Junior University | Diminishing variance process for real-time reduction of motion artifacts in MRI |
| CN110809782A (zh) * | 2018-10-22 | 2020-02-18 | 上海联影医疗科技有限公司 | 衰减校正系统和方法 |
| CN109785308A (zh) * | 2019-01-09 | 2019-05-21 | 上海联影医疗科技有限公司 | 一种心排量求解的方法、装置、设备及存储介质 |
| CN111047541A (zh) * | 2019-12-30 | 2020-04-21 | 北京工业大学 | 一种基于小波变换注意力模型的图像修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111626964A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325686B (zh) | 一种基于深度学习的低剂量pet三维重建方法 | |
| CN109308728B (zh) | 正电子发射型计算机断层扫描图像处理方法及装置 | |
| US11250543B2 (en) | Medical imaging using neural networks | |
| US10964072B2 (en) | Methods, systems, and media for noise reduction in computed tomography images | |
| EP3338636B1 (en) | An apparatus and associated method for imaging | |
| Yuan et al. | SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction | |
| CN111626964B (zh) | 扫描图像的优化方法、优化装置和医学扫描系统 | |
| CN111340903B (zh) | 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统 | |
| CN111612689B (zh) | 医学图像处理方法、装置、计算机设备和可读存储介质 | |
| US20240177377A1 (en) | Spect imaging prediction model creation method and apparatus, and device and storage medium | |
| CN112819914B (zh) | 一种pet图像处理方法 | |
| CN111402355A (zh) | Pet图像重建方法、装置和计算机设备 | |
| CN112541871A (zh) | 低剂量图像去噪网络的训练方法、低剂量图像的去噪方法 | |
| CN112419173A (zh) | 一种由pet图像生成ct图像的深度学习框架和方法 | |
| CN111340904A (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| CN112017258B (zh) | Pet图像重建方法、装置、计算机设备以及存储介质 | |
| WO2022120731A1 (zh) | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 | |
| CN113491529A (zh) | 一种无伴随ct辐射的单床pet延迟成像方法 | |
| CN113052840A (zh) | 一种基于低信噪比pet图像的处理方法 | |
| CN113436708B (zh) | 一种基于深度学习算法的延迟ct图像生成方法 | |
| CN112634147B (zh) | 自监督学习的pet图像降噪方法、系统、装置及介质 | |
| CN113614788A (zh) | 计算机辅助读取和分析的深度强化学习 | |
| Peng et al. | Preliminary Deep Learning-based Low Dose Whole Body PET Denoising Incorporating CT Information | |
| US11672492B2 (en) | Feature space based MR guided PET reconstruction | |
| US20230252694A1 (en) | System and method to estimate attenuation correction for repeated scans and low dose scans in long axial fov pet scanners |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201807 2258 Chengbei Road, Jiading District, Shanghai Applicant after: Shanghai Lianying Medical Technology Co.,Ltd. Address before: 201807 2258 Chengbei Road, Jiading District, Shanghai Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |