CN115526857A - 一种pet图像去噪的方法、终端设备及可读存储介质 - Google Patents

一种pet图像去噪的方法、终端设备及可读存储介质 Download PDF

Info

Publication number
CN115526857A
CN115526857A CN202211172754.6A CN202211172754A CN115526857A CN 115526857 A CN115526857 A CN 115526857A CN 202211172754 A CN202211172754 A CN 202211172754A CN 115526857 A CN115526857 A CN 115526857A
Authority
CN
China
Prior art keywords
image
module
convolution
noise ratio
pet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211172754.6A
Other languages
English (en)
Inventor
胡战利
陈星瑜
梁栋
郑海荣
杨永峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211172754.6A priority Critical patent/CN115526857A/zh
Priority to PCT/CN2022/137658 priority patent/WO2024066049A1/zh
Publication of CN115526857A publication Critical patent/CN115526857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及深度学习技术领域，提供一种PET图像去噪的方法、终端设备及可读存储介质。该PET图像去噪方法包括：获取待处理PET图像；将待处理PET图像输入到已训练的UNet网络模型中进行去噪处理，输出去噪图像，去噪图像的信噪比大于待处理PET图像的信噪比，UNet网络模型包括M个编码器和分别与M个编码器对应的M个解码器，编码器包括依次连接的第一卷积模块和下采样模块，解码器包括依次连接的上采样模块、concat模块和第二卷积模块，每个编码器中的第一卷积模块的输出端通过跳跃连接模块与对应的解码器中的所述concat模块的输入端连接，第n个编码器对应的跳跃连接模块中设置M‑n+1个第三卷积模块，M为大于等于1的整数，n取遍[1，M]中的整数。

Description

一种PET图像去噪的方法、终端设备及可读存储介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种PET图像去噪的方法、终端设备及可读存储介质。
背景技术
在核医学的临床检查影像技术领域中，通常需要在人体内注射示踪剂，进行全身扫描，得到注射示踪剂在人体内活动的化学影像，进而可以观察全身各个脏器功能、代谢等病理特征，有利于快速发现病灶位置。例如，正电子发射型计算机断层显像(PositronEmission Computed Tomography，PET)这项成像技术，在临床应用中常使用的放射性示踪剂为18F-FDG(氟化脱氧葡萄糖)示踪剂。而68Ga-FAPI(正电子核素68镓标记的成纤维细胞活化蛋白抑制剂)示踪剂作为PET扫描成像的新型放射性示踪剂，其成像效果与18F-FDG示踪剂不相上下，甚至在某些部位优于18F-FDG示踪剂的成像效果。研究表明，68Ga-FAPI示踪剂亦可广泛应用于PET扫描成像。
除此之外，高剂量的放射性示踪剂对人体存在潜在危害，这是由于放射性示踪剂会产生辐射，且在长时间的扫描过程中，病人容易运动而产生伪影从而影响图像质量。然而，通过降低放射性示踪剂剂量或缩短扫描时间获得的扫描图像的图像质量较差，难以用于临床诊断。因此，如何对低剂量的68Ga-FAPI PET图像进行去噪处理从而提高图像质量，成为医学成像领域中亟需解决的问题。
发明内容
本申请提供一种PET图像去噪的方法、终端设备及可读存储介质，能够对低剂量的扫描图像进行去噪，提高扫描图像的质量。
第一方面，本申请提供一种PET图像去噪的方法、终端设备及可读存储介质，该PET图像去噪的方法包括：获取待处理PET图像；将待处理PET图像输入到已训练的UNet网络模型中进行去噪处理，输出去噪图像，去噪图像的信噪比大于待处理PET图像图像的信噪比，UNet网络模型包括M个编码器和分别与M个编码器对应的M个解码器，编码器包括依次连接的第一卷积模块和下采样模块，解码器包括依次连接的上采样模块、concat模块和第二卷积模块，每个编码器中的第一卷积模块的输出端通过跳跃连接模块与对应的解码器中的concat模块的输入端连接，每个跳跃连接模块中设置有至少一个第三卷积模块。
本申请所提供的PET图像去噪的方法，由于在UNet网络模型的多个编码器与多个解码器之间增加了跳跃连接模块，其跳跃连接模块中包含了多个第三卷积模块，以使得UNet网络模型在不增加网络深度的情况下，能够对输入图像经过更多层卷积模块的处理，实现特征信息的提取，捕捉到输入图像中更高层次的特征细节，第三卷积模块还可以获取到因逐层卷积池化操作而丢失的输入图像的边缘特征信息，从而在满足了对输入图像的特征提取基础上也提高了该UNet网络模型对输入图像的去噪效果。
在一个可能的实现方式中，第n个编码器对应的跳跃连接模块中设置有M-n+1个第三卷积模块，M为大于等于1的整数，n取遍[1，M]中的整数。
基于本申请所提供的PET图像去噪的方法，越顶层的跳跃连接模块中设置的第三卷积模块越多，该第三卷积模块的个数是逐层增加的，因此该第三卷积模块可以逐层捕捉到输入图像中更高层次的特征细节和丢失的输入图像的边缘特征信息，同时也逐层提高了该UNet网络模型的去噪效果，从而避免了因设置过多的第三卷积模块而使得图像的去噪效果过于平滑或者因设置过少的第三卷积模块而使得图像的去噪效果不明显。
在一个可能的实现方式中，下采样模块包括最大池化层操作；上采样模块包括依次连接的双线性插值模块、第三卷积层和BN层。
基于本申请所提供的PET图像去噪的方法，由于上采样模块先采用双线性插值模块将输入图像尺寸扩大，在使用卷积模块和BN层进行处理，避免了由于反卷积而导致输入图像的输出特征图不均匀重叠的结果，使去噪图像中某个部位的颜色比其他部位更深，即避免了棋盘效应现象。
在一个可能的实现方式中，UNet网络模型还包括第四卷积模块，第四卷积模块输入端的输入图像为待处理PET图像与M个解码器的输出特征图的叠加图像，第四卷积模块输出端的输出图像为去噪图像，第四卷积模块包括依次连接的第八卷积层和第四激活函数。
在一个可能的实现方式中，UNet网络模型还包括第五卷积模块，第五卷积模块的输入端连接第M个编码器的输出端，第五卷积模块的输出端连接第M个编码器对应的所述解码器的输入端；第五卷积模块的输出图像的通道数大于输入图像的通道数。
在一个可能的实现方式中，其特征在于，待处理PET图像为低剂量的正电子核素68镓标记的成纤维细胞活化蛋白抑制剂获得的正电子发射型计算机断层显像PET图像；去噪图像为预测的标准剂量的正电子核素68镓标记的成纤维细胞活化蛋白抑制剂获得的PET图像。
在一个可能的实现方式中，该方法还包括：获取训练数据集，训练数据集包括n个低信噪比图像和每个低信噪比图像对应的高信噪比图像；根据预设的损失函数和训练数据集对初始模型进行网络训练，得到训练后的UNet网络模型；其中，损失函数的损失值为均方差损失函数的损失值、图像质量损失函数的损失值和内容损失函数的损失值的加权求和值；均方差损失函数用于描述n个高信噪比图像和每个高信噪比图像对应的预测图像之间的均方差，预测图像为所低信噪比图像输入到初始模型中处理得到的图像；图像质量损失函数用于描述n个高信噪比图像和高信噪比图像对应的预测图像之间的像素值损失；内容损失函数用于描述n个高信噪比图像和每个高信噪比图像对应的预测图像之间的内容差异。
在一个可能的实现方式中，图像质量损失函数为：
Figure BDA0003863984080000031
其中
Figure BDA0003863984080000032
是y和
Figure BDA0003863984080000033
的协方差，y为训练数据集中低信噪比图像对应的高信噪比图像，
Figure BDA0003863984080000034
是低信噪比图像输入到初始模型中处理得到的预测图像，μy是y中所有像素的平均值，
Figure BDA0003863984080000035
是
Figure BDA0003863984080000036
中所有像素的平均值，σy是y中所有像素值的方差，
Figure BDA0003863984080000037
是
Figure BDA0003863984080000038
中所有像素值的方差，c1和c2均为常数。
在一个可能的实现方式中，内容损失函数为：
Figure BDA0003863984080000039
其中，W为预设权重，
Figure BDA00038639840800000310
和yi′为将
Figure BDA00038639840800000311
和yi输入到预设的ResNet50模型的layer2后输出的值，
Figure BDA00038639840800000312
是第i个低信噪比图像输入到初始模型中处理得到的预测图像，yi为训练数据集中与第i个低信噪比图像对应的高信噪比图像。
基于本申请所提供的PET图像去噪的方法，由于考虑到下采样模块会对待处理PET图像的原始特征信息丢失的问题，因此在损失函数中增加了SSIM_loss和Content_loss，其中SSIM_loss是针对预测图像与高信噪比图像之间图像相似度的情况进行损失函数的计算，即通过亮度、对比度和结构三个方面来计算两个图像之间的相似性，从而极大程度保留了待处理PET图像的亮度信息、对比度信息和结构信息，Content_loss是针对预测图像与高信噪比图像之间内容的差异进行损失函数的计算，从而极大程度保留了待处理PET图像的边缘和细节信息。
第二方面，本申请提供一种终端设备，包括：存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面或第一方面的任一可能的实现方式所述方法的步骤。
第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面的任一可能的实现方式所述方法的步骤。
第四方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面或第一方面的任一可能的实现方式所述方法的步骤。
附图说明
图1为本申请实施例提供的UNet网络模型的网络架构图；
图2为本申请实施例提供的UNet网络模型中第一卷积模块的网络架构图；
图3为本申请实施例提供的UNet网络模型中第二卷积模块的网络架构图；
图4为本申请实施例提供的UNet网络模型中第三卷积模块的网络架构图；
图5为本申请实施例提供的UNet网络模型中第四卷积模块的网络架构图；
图6为本申请实施例提供的UNet网络模型中第五卷积模块的网络架构图；
图7为本申请实施例提供一种低剂量68Ga-FAPI的PET图像的去噪效果示意图；
图8为本申请实施例所提供的一种PET图像去噪装置的结构示意图；
图9为本申请实施例所提供的一种终端设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。且在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
针对图像去噪任务，本申请提供一种UNet网络模型，通过在跳跃连接模块中增加多个第三卷积模块，以使得UNet网络模型在不增加网络深度的情况下，能够对输入图像经过更多层卷积模块的处理，实现特征信息的提取，捕捉到输入图像中更高层次的特征细节，第三卷积模块还可以获取到因逐层卷积池化操作而丢失的输入图像的边缘特征信息，从而在满足了对输入图像的特征提取基础上也提高了该UNet网络模型对输入图像的去噪效果。
基于本申请提供的UNet网络模型，本申请提供一种PET图像去噪的方法,，在获取到待处理PET图像后，通过将待处理PET图像输入到本申请所提供的PET图像去噪模型中处理，即可输出得到去噪图像。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
示列性的，以编码器和解码器分别包括相互对应的4层网络(即M＝4的场景)为例，对本申请提供的UNet网络模型进行示例性的说明。参见图1，本申请提供的UNet网络模块包括编码器1、编码器2、编码器3、编码器4，解码器1、解码器2、解码器3、解码器4以及跳跃连接模块、第四卷积模块、第五卷积模块。
在本申请实施例中，每个编码器分别包括依次连接的第一卷积模块和下采样模块。示例性的，第一卷积模块可以包括第一卷积子模块和第一卷积层；第一卷积模块的输入图像分别输入至第一卷积层和第一卷积子模块，第一卷积模块的输出图像为第一卷积层的输出图像与第一卷积子模块的输出图像之和；其中，第一卷积子模块包括串联的至少两个卷积单元，卷积单元包括依次连接的第二卷积层和第一激活函数。
在一个示例中，第一卷积层可以是1×1卷积，其卷积核为1，步长为1，填充为0。第二卷积层可以是3×3卷积，其卷积核为3，步长为1，填充为1。激活函数可以选择LeakyReLU。
示例性的，如图2所示，第一卷积子模块可以包括两个卷积单元。
在一个示例中，下采样模块可以包括大小为2的最大池化层操作。
其中，编码器先通第一卷积模块提取预设尺寸(即分辨率)的特征向量并扩大通道数，在经过下采样模块对提取的特征向量进行图像池化，得到编码器的输出图像。
例如图1中所示，编码器1的输入图像即为待处理PET图像，假设输入图像的尺寸为128×128×1(长×宽×通道数)，输入编码器1后，先通过第一卷积模块的处理，得到尺寸为128×128×32的特征图，在经过下采样模块处理后，编码器1的输出图像为尺寸为64×64×32的特征图。编码器2的输入图像的尺寸为64×64×32，先通过第一卷积模块的处理，得到尺寸为64×6×64的特征图，在经过下采样模块处理后，编码器2的输出图像为尺寸为32×32×64的特征图。同理，编码器3的输入图像的尺寸为32×32×64，先通过第一卷积模块的处理，得到尺寸为32×32×128的特征图，在经过下采样模块处理后，编码器3的输出图像为尺寸为16×16×128的特征图。依此类推，编码器4的输入图像的尺寸为16×16×128，先通过第一卷积模块的处理，得到尺寸为16×16×256的特征图，在经过下采样模块处理后，编码器4的输出图像为尺寸为8×8×256的特征图。编码器提取的是输入图像的简单特征，如输入图像的形状、轮廓、纹理、颜色等特征。
在本申请实施例中，每个解码器分别包括依次连接的上采样模块、concat模块和第二卷积模块。示例性的，上采样模块可以包括依次连接的双线性插值模块、第三卷积层和BN层操作；第二卷积模块可以包括第二卷积子模块和第四卷积层；第二卷积模块的输入图像分别输入至第四卷积层和第二卷积子模块，第二卷积模块的输出图像为第四卷积层的输出图像与第二卷积子模块的输出图像之和；其中，第二卷积子模块包括串联的至少两个卷积单元，卷积单元包括依次连接的第五卷积层和第二激活函数
在一个示例中，双线性插值模块的大小可以是2。第三卷积层可以是卷积核为3×3的卷积层。
在一个示例中，concat模块可以融合每个编码器中第一卷积模块连接的跳跃连接模块的输出特征和每个编码器对应的每个解码器中的上采样模块的输出特征。concat模块不改变输入图像的尺寸但将通道数进行叠加。
在一个示例中，第四卷积层可以是1×1卷积，其卷积核为1，步长为1，填充为0。第五卷积层可以是3×3卷积，其卷积核为3，步长为1，填充为1。激活函数可以选择LeakyReLU。
示例性的，如图3所示，第二卷积子模块可以包括两个卷积单元。
其中，对于输入到解码器的输入图像，解码器先通过上采样模块对输入图像进行图像还原并缩小通道数，在经过concat模块对输入图像进行特征融合，然后通过第二卷积模块将concat模块的输出图像通过卷积层提取预设尺寸的特征向量并缩小通道数，得到解码器的输出图像。
例如图1中所示，解码器1输入图像的尺寸为8×8×512，输入解码器1后，先通过上采样模块的处理后，得到尺寸为16×16×256的特征图，使用concat模块对编码器4中第一卷积模块连接的跳跃连接模块的输出图像与对应的解码器1中的上采样模块的输出图像进行融合，得到融合后的输出图像尺寸为16×16×512的特征图，然后再通过第二卷积模块处理后，第二卷积模块的输出图像尺寸为16×16×256的特征图。解码器2输入图像的尺寸为16×16×256，先通过上采样模块的处理后，得到尺寸为32×32×128的特征图，使用concat模块对编码器3中第一卷积模块连接的跳跃连接模块的输出图像与对应的解码器2中的上采样模块的输出图像进行融合，得到融合后的输出图像尺寸为32×32×256的特征图，然后再通过第二卷积模块处理后，第二卷积模块的输出图像尺寸为32×32×128的特征图。同理，解码器3输入图像的尺寸为32×32×128，先通过上采样模块的处理后，得到尺寸为64×64×64的特征图，使用concat模块对编码器2中第一卷积模块连接的跳跃连接模块的输出图像图与对应的解码器3中的上采样模块的输出图像进行融合，得到融合后的输出图像尺寸为64×64×128的特征图，然后再通过第二卷积模块处理后，第二卷积模块的输出图像尺寸为64×64×64的特征图。依此类推，解码器4输入图像的尺寸为64×64×64，先通过上采样模块的处理后，得到尺寸为128×128×32的特征图，使用concat模块对编码器1中第一卷积模块连接的跳跃连接模块的输出图像与对应的解码器4中的上采样模块的输出图像，得到融合后的输出图像尺寸为128×128×64的特征图，然后再通过第二卷积模块处理后，第二卷积模块的输出图像尺寸为128×128×32的特征图。编码器提取的是输入图像的复杂特征，如图像的结构、亮度变化、局部细节等特征。
在本申请实施例中，第n个编码器对应的跳跃连接模块中设置有M-n+1个第三卷积模块，M为大于等于1的整数，n取遍[1，M]中的整数。示列性的，当M＝4时，n的取值为[1,4]中的整数。当n＝1时，第1个编码器对应的跳跃连接模块中设置4个第三卷积模块，当n＝2时，第2个编码器对应的跳跃连接模块中设置3个第三卷积模块，当n＝3时，第3个编码器对应的跳跃连接模块中设置4个第三卷积模块，当n＝4时，第4个编码器对应的跳跃连接模块中设置1个第三卷积模块。
在该实例中，通过逐层增加跳跃连接模块中第三卷积模块的个数，使该第三卷积模块可以逐层捕捉到输入图像中更高层次的特征细节和丢失的输入图像的边缘特征信息，并且逐层提高了该UNet网络模型的去噪效果，同时也避免了因设置过多的第三卷积模块而使得图像的去噪效果过于平滑或者因设置过少的第三卷积模块而使得图像的去噪图像去噪效果不明显。
示例性的，第三卷积模块可以包括第三卷积子模块和第六卷积层；第三卷积模块的输入图像分别输入至第六卷积层和第三卷积子模块，第三卷积模块的输出图像为第六卷积层的输出信息与第三卷积子模块的输出图像之和；其中，第三卷积子模块包括串联的至少两个卷积单元，卷积单元包括依次连接的第七卷积层和第三激活函数。
在一个示例中，第六卷积层可以是1×1卷积，其卷积核为1，步长为1，填充为0。第七卷积层可以是3×3卷积，其卷积核为3，步长为1，填充为1。激活函数可以选择LeakyReLU。
示例性的，如图4所示，第三卷积子模块可以包括两个卷积单元。
其中，对于输入到跳跃连接模块的输入图像，通过多个第三卷积模块提取预设尺寸的特征向量后，得到跳跃连接的输出图像。跳跃连接模块不改变输入图像的尺寸和通道数。
例如图1中所示，编码器1对应的跳跃连接模块中设置有4个第三卷积模块，该跳跃连接模块输入图像的尺寸为128×128×32，通过4个第三卷积模块处理后，跳跃连接模块的输出图像为尺寸为128×128×32的特征图。编码器2对应的跳跃连接模块中设置有3个第三卷积模块，该跳跃连接模块输入图像的尺寸为64×64×64，通过3个第三卷积模块处理后后，跳跃连接模块的输出图像为尺寸为64×64×64的特征图。同理，编码3对应的跳跃连接模块中设置2个第三卷积模块，跳跃连接模块输入图像的尺寸为32×32×128，通过2个第三卷积模块处理后后，跳跃连接模块的输出图像为尺寸为32×32×128的特征图。依此类推，编码4对应的跳跃连接模块中设置1个第三卷积模块，该跳跃连接模块输入图像的尺寸为16×16×256，通过1个第三卷积模块处理后后，跳跃连接模块的输出图像为尺寸为16×16×256的特征图。
由此可见，相比于传统的UNet网络模型，本申请所提供的UNet网络模型，由于在UNet网络模型的多个编码器与多个解码器之间增加有跳跃连接模块，其跳跃连接模块中包含了多个第三卷积模块，以使得UNet网络模型在不增加网络深度的情况下，能够对输入图像经过更多层卷积模块的处理，实现特征信息的提取，捕捉到输入图像中更高层次的特征细节，第三卷积模块还可以获取到因逐层卷积池化操作而丢失的输入图像的边缘特征信息，从而在满足了对输入图像的特征提取基础上也提高了该UNet网络模型对输入图像的去噪效果。
在本申请实施例中，UNet网络模型的多个编码器的输出与多个解码器的输入之间还设置有第五卷积模块。第五卷积模块的输入端连接第n个编码器的输出端，第五卷积模块的输出端连接第n个编码器对应的解码器的输入端。
例如，如图1所示，编码器4和与编码器4对应的解码器1之间设置有第五卷积模块。示例性的，第五卷积模块可以包括第五卷积子模块和第九卷积层；第五卷积模块的输入图像分别输入至第九卷积层和第五卷积子模块，第五卷积模块的输出图像为第九卷积层的输出图像与第五卷积子模块的输出图像之和；其中，第五卷积子模块包括串联的至少两个卷积单元，卷积单元包括依次连接的第十卷积层和第五激活函数。
在一个示例中，第九卷积层可以是1×1卷积，其卷积核为1，步长为1，填充为0。第十卷积层可以是3×3卷积，其卷积核为3，步长为1，填充为1。激活函数可以选择LeakyReLU。
示例性的，如图6所示，第五卷积子模块可以包括两个卷积单元。
其中，对于输入到第五卷积模块的输入图像，第五卷积模块通过卷积层提取预设尺寸的特征向量，得到第五卷积模块的输出图像。第五卷积模块不改变输入图像的尺寸但扩大了通道数，这就使得编码器4连接的跳跃连接模块的输出通道数和与编码器4对应的解码器1中的上采样模块的输出通道数相同。
例如图1中所示，第五卷积模块输入图像的尺寸为8×8×256，通过卷积层提取预设尺寸的特征向量后，第五卷积模块的输出图像为尺寸为8×8×512的特征图。
在本申请实施例中，其UNet网络模型中还设置有第四卷积模块，第四卷积模块输入端的输入图像为待处理PET图像与M个所述解码器的输出特征图的叠加图像，第四卷积模块输出端的输出图像为去噪图像，所述第四卷积模块包括依次连接的第八卷积层和第四激活函数。
例如，如图1所示，第四卷积模块的输入端为待处理PET图像与4个解码器的输出特征图的叠加信息，第四卷积模块的输出端为去噪图像。示列性的，第四卷积模块可以包括第四卷积子模块；其中，第四卷积子模块包括串联的至少一个卷积单元，卷积单元包括依次连接的第八卷积层和第四激活函数。
在一个示例中，第八卷积层可以是3×3卷积，其卷积核为3，步长为1，填充为1。激活函数可以选择sigmoid。
示例性的，如图5所示，第四卷积子模块可以包括1个卷积单元。
其中，对于输入到第四卷积模块的输入图像，第四卷积模块通过卷积层提取预设尺寸的特征向量，得到第四卷积模块的输出图像，即为去噪图像。为了把编码器输出的特征图还原为待处理PET图像的原始尺寸，即第四卷积模块不改变输入图像的尺寸但缩小通道数。
例如图1中所示，将待处理PET图像与4个解码器的输出图像为尺寸为128×128×32的特征图进行叠加后，输入到第四卷积模块的输入端，通过卷积层提取预设尺寸的特征向量后，第四卷积模块的输出图像为尺寸为128×128×1的特征图。
通过设计第四卷积模块将待处理PET图像与4个解码器的输出特征图像进行叠加，可以从第四卷积模块中提取到原始的特征信息，无需人工估计，使得在图像去噪任务中保留更多且更准确的原始特征。
值得说明的是，本申请提供的网络模型具备泛化性。可以应用于多家医院或不同设备获得的68Ga-FAPI PET图像去噪任务或者以图像去噪效果为评价指标的任务中。此外，本申请提供的网络模型也具备了泛用性，即也适用于如其他示踪剂的PET图像、CT图像、核磁共振成像(Nuclear Magnetic Resonance Imaging，NMRI)、光学图像、机械振动图像等多种领域的图像去噪。除了应用于图像去噪之外，该方法经过适当修改后，也可用于图像增强、图像分割等任务。
可以理解的是，针对不同的图像去噪任务，可以通过设计对应的训练数据集和损失函数来训练初始模型，从而得到适用不同图像去噪任务的图像去噪网络模型。
例如，基于由n个低信噪比图像样本和每个低信噪比图像样本对应的高信噪比图像样本构成的训练数据集，对图像去噪初始网络模型进行训练。基于由低信噪比图像样本和对应的高信噪比图像样本构成的训练数据集，对图像去噪初始网络模型进行训练，可以得到能够应用于提高信噪比的图像去噪任务的图像去噪网络模型。
可以理解的是，图像去噪网络模型可以由图像处理设备预先训练好，也可以由其他设备预先训练好后将图像去噪网络模型对应的文件移植至图像处理设备中。也就是说，训练该图像去噪网络模型的执行主体与使用该图像去噪网络模型进行图像去噪任务的执行主体可以是相同的，也可以是不同的。例如，当采用其他设备训练图像去噪初始网络模型时，其他设备对图像去噪初始模型结束训练后，固定模型参数，得到图像去噪网络模型对应的文件。然后将该文件移植到图像处理设备中。
下面以从某医院获取的低剂量68Ga-FAPI的PET图像的去噪任务，对本申请提供的图像去噪网络模型的训练过程和效果进行示例性的说明。
示例性的，首先构建图像去噪初始网络模型。即搭建UNet初始网络模型，基于4个编码器和4个解码器，在4个编码器中的第一卷积模块与和4个编码器对应的4个解码器中的concat模块之间设置有跳跃连接模块，其跳跃连接模块中包含了多个第三卷积模块。
针对低剂量68Ga-FAPI的PET图像的去噪任务，采集对应的训练集。该训练集包括多个图像样本对，每个图像样本对包括低剂量68Ga-FAPI的PET的图像样本和该低剂量68Ga-FAPI的PET图像样本对应的标准剂量68Ga-FAPI的PET图像样本。该标准剂量68Ga-FAPI的PET的图像样本的信噪比高于低剂量68Ga-FAPI的PET图像样本的信噪比。例如，图像样本可以由UMI 780PET/CT(UIH)设备进行采集收集。在一个实施例中，由于在低剂量68Ga-FAPI的PET图像去噪中，一般下采样提取预设尺寸的特征向量会缩小图像的分辨率，因此，在训练网络的过程中容易导致初始网络模型在训练过程中丢失图像的原始特征信息和图像边缘信息。也就是说，初始网络模型在训练过程中，可能会专注于恢复预设尺寸的形状和纹理细节，而忽略了非预设尺寸可能存在的噪声和量化损失问题。
为此，针对低剂量68Ga-FAPI的PET图像的去噪任务，本申请提供的损失函数Total_loss包含均方差损失函数MSE_loss、图像质量损失函数SSIM_loss和内容损失函数Content_loss；其中方差损失函数用于描述n个高信噪比图像和每个高信噪比图像对应的预测图像之间的均方差，预测图像为低信噪比图像输入到初始网络模型中处理得到的图像；图像质量损失函数用于描述n个所述高信噪比图像和每个高信噪比图像对应的预测图像之间的像素损失；内容损失函数用于描述n个高信噪比图像和每个高信噪比图像对应的预测图像之间的内容差异。
其均方差损失函数为：
Figure BDA0003863984080000121
其中，
Figure BDA0003863984080000131
是第i个低剂量图像输入到初始网络模型中处理，得到的预测图像，yi为训练数据集中与第i个低剂量图像对应的高信噪比图像；
图像质量损失函数为：
Figure BDA0003863984080000132
其中，
Figure BDA0003863984080000133
μy是yi中所有像素的平均值，
Figure BDA0003863984080000134
是
Figure BDA0003863984080000135
中所有像素的平均值，σy是yi中所有像素值的方差，
Figure BDA0003863984080000136
是
Figure BDA0003863984080000137
中所有像素值的方差，c1和c2均为常数。
在一个示例中，c1＝0.0001，c2＝0.0009。
所述内容损失函数为：
Figure BDA0003863984080000138
其中，W为预设权重，
Figure BDA0003863984080000139
和yi′为将
Figure BDA00038639840800001310
和yi输入到预设的ResNet50模型的layer2后输出的值。
在一个示例中，W＝1。
损失函数的值为：均方差损失函数的损失值、图像质量损失函数的损失值和内容损失函数的损失值加权求和值；
Total_loss＝100·MSE_loss+50·SSIM_loss+Content_loss。
在一个示例中，本申请提供的损失函数采用Adam优化器来优化损失函数，本申请在损失函数中增加了SSIM_loss和Content_loss，其中SSIM_loss是针对预测图像与高信噪比图像之间图像相似度的情况进行损失函数的计算，即通过亮度、对比度和结构三个方面来计算两个图像之间的相似性，从而极大程度保留了待处理PET图像的亮度信息、对比度信息和结构信息，Content_loss是针对预测图像与高信噪比图像之间内容的差异进行损失函数的计算，从而极大程度保留了待处理PET图像的边缘和细节信息。
基于该训练数据集和Total_loss，可以采用梯度下降法对图像去噪初始网络模型进行迭代训练，当模型收敛(即Total_loss的值不断减小后趋于稳定，或者满足预设范围)时，即可得到训练完成的图像去噪模型。
利用该图像去噪网络模型进行低剂量68Ga-FAPI的PET图像去噪任务时。图像处理设备在获取到68Ga-FAPI的PET图像后，需对获得的低剂量68Ga-FAPI PET图像和标准剂量68Ga-FAPI PET图像进行预处理，如图像的归一化等。处理好的低剂量68Ga-FAPI PET图像方可输入图像去噪网络模型。低剂量68Ga-FAPI的PET图像输入至编码器1的输入端，由4个编码器从低剂量68Ga-FAPI的PET图像中提取浅层的简单特征；由4个解码器从低剂量68Ga-FAPI的PET图像中提取深层的复杂特征；4个编码器中的每个第一卷积模块连接的跳跃连接模块分别对4个编码器中第一卷积模块的输出特征图进行的多层卷积的特征提取，将跳跃连接模块的输出图像输入至4个编码器对应的4个解码器中的concat模块的输入端。将输入至解码器4的输出端的低剂量68Ga-FAPI的PET图像与4个解码器的输出特征图进行叠加，输出得到预测图像，预测图像为基于低剂量68Ga-FAPI的PET图像的标准剂量68Ga-FAPI的PET图像。
示例性的，低剂量68Ga-FAPI的PET图像的去噪效果可以参见图7所示。所谓低剂量是指68Ga-FAPI的注射剂量为临床应用中标准注射剂量的17％，临床应用中标准注射剂量是指68Ga-FAPI的注射剂量为0.05mCi/kg±0.01。
综上可知，利用本申请提供的图像去噪网络模型执行去噪任务，与临床上进行PET成像时普遍使用的放射性示踪剂18F-FDG不同的是，本申请是针对68Ga-FAPI PET的图像进行图像去噪，本申请是首次基于深度学习的方法对低剂量68Ga-FAPI的PET图像做图像去噪处理，训练效率高且模型效果好。
可以理解的是，上述采用已训练的网络模型进行PET图像去噪的方法，和上述训练网络模型的方法可以是同一终端设备执行的，也可以是不同终端设备执行。该终端设备可以不限于不同操作系统、各种类型台式电脑、便携式笔记本，平板电脑、智能可穿戴设备、计算机、机器人等。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种PET图像去噪装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
图8为本申请实施例提供的PET图像去噪装置的结构示意图，如图8所示，本实施例提供的PET图像去噪装置包括：获取单元801、处理单元802。
获取单元801，用于获取待处理PET图像
处理单元802，用于将所述待处理PET图像输入到已训练的UNet网络模型中进行去噪处理，输出去噪图像，所述去噪图像的信噪比大于所述待处理PET图像的信噪比，所述UNet网络模型包括M个编码器和分别与M个所述编码器对应的M个解码器，所述编码器包括依次连接的第一卷积模块和下采样模块，所述解码器包括依次连接的上采样模块、concat模块和第二卷积模块，每个所述编码器中的所述第一卷积模块的输出端通过跳跃连接模块与对应的所述解码器中的所述concat模块的输入端连接，第n个所述编码器对应的所述跳跃连接模块中设置有M-n+1个第三卷积模块，M为大于等于1的整数，n取遍[1，M]中的整数。
可选的，第n个所述编码器对应的所述跳跃连接模块中设置有M-n+1个第三卷积模块，M为大于等于1的整数，n取遍[1，M]中的整数。
可选的，所述下采样模块包括最大池化层操作；所述上采样模块包括依次连接的双线性插值模块、第三卷积层和BN层。
可选的，所述UNet网络模型还包括第四卷积模块，所述第四卷积模块输入端的输入图像为所述待处理PET图像与M个所述解码器的输出特征图的叠加图像，所述第四卷积模块的输出端的输出图像为所述去噪图像，所述第四卷积模块包括依次连接的第八卷积层和第四激活函数。
可选的，所述UNet网络模型还包括第五卷积模块，所述第五卷积模块的输入端连接第M个所述编码器的输出端，所述第五卷积模块的输出端连接第M个所述编码器对应的所述解码器的输入端；
所述第五卷积模块的输出图像的通道数大于输入图像的通道数。
可选的，所述待处理PET图像为低剂量的正电子核素68镓标记的成纤维细胞活化蛋白抑制剂获得的正电子发射型计算机断层显像PET图像；
所述去噪图像为预测的标准剂量的正电子核素68镓标记的成纤维细胞活化蛋白抑制剂获得的PET图像。
可选的，所述方法还包括：
获取训练数据集，所述训练数据集包括n个低信噪比图像和每个所述低信噪比图像对应的高信噪比图像；
根据预设的损失函数和所述训练数据集对初始模型进行网络训练，得到训练后的所述UNet网络模型；
其中，所述损失函数的损失值为均方差损失函数的损失值、图像质量损失函数的损失值和内容损失函数的损失值的加权求和值；
所述均方差损失函数用于描述n个所述高信噪比图像和每个所述高信噪比图像对应的预测图像之间的均方差，所述预测图像为所述低信噪比图像输入到所述初始模型中处理得到的图像；
所述图像质量损失函数用于描述n个所述高信噪比图像和每个所述高信噪比图像对应的所述预测图像之间的像素差异；
所述内容损失函数用于描述n个所述高信噪比图像和每个所述高信噪比图像对应的所述预测图像之间的内容差异。
可选的，所述图像质量损失函数为：
Figure BDA0003863984080000161
其中
Figure BDA0003863984080000162
是y和
Figure BDA0003863984080000163
的协方差，y为所述训练数据集中所述低信噪比图像对应的所述高信噪比图像，
Figure BDA0003863984080000164
是所述低信噪比图像输入到所述初始模型中处理得到的所述预测图像，μy是y中所有像素的平均值，
Figure BDA0003863984080000165
是
Figure BDA0003863984080000166
中所有像素的平均值，σy是y中所有像素值的方差，
Figure BDA0003863984080000167
是
Figure BDA0003863984080000168
中所有像素值的方差，c1和c2均为常数。
可选的，所述内容损失函数为：
Figure BDA0003863984080000169
其中，W为预设权重，
Figure BDA00038639840800001610
和yi′为将
Figure BDA00038639840800001611
和yi输入到预设的ResNet50模型的layer2后输出的值，
Figure BDA00038639840800001612
是第i个所述低信噪比图像输入到所述初始模型中处理得到的预测图像，yi为所述训练数据集中与第i个所述低信噪比图像对应的所述高信噪比图像。
本实施例提供的PET图像去噪装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
基于同一发明构思，本申请实施例还提供了一种终端设备。如图9所示，该实施例的终端设备90包括：处理器900、存储器901以及存储在所述存储器901中并可在所述处理器900上运行的计算机程序902。所述处理器900执行所述计算机程序902时实现上述各个PET图像去噪方法实施例中的步骤，例如图1所示，或者所述处理器900执行所述计算机程序902时实现上述各装置实施例中各模块/单元的功能，例如图9所示模块901至模块902的功能。
示例性的，所述计算机程序902可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器901中，并由所述处理器900执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序902在所述终端设备90中的执行过程。
本领域技术人员可以理解，图9仅仅是终端设备90的示例，并不构成对终端设备90的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备90还可以包括输入输出设备、网络接入设备、总线等。
所述处理器900可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器901可以是所述终端设备90的内部存储单元，例如终端设备90的硬盘或内存。所述存储器901也可以是所述终端设备10的外部存储设备，例如所述终端设备90上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器901还可以既包括所述终端设备90的内部存储单元也包括外部存储设备。所述存储器901用于存储所述计算机程序以及所述终端设备90所需的其它程序和数据。所述存储器901还可以用于暂时地存储已经输出或者将要输出的数据。
本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种正电子发射型计算机断层显像PET图像去噪的方法，其特征在于，包括：
获取待处理PET图像；
将所述待处理PET图像输入到已训练的UNet网络模型中进行去噪处理，输出去噪图像，所述去噪图像的信噪比大于所述待处理PET图像的信噪比，所述UNet网络模型包括M个编码器和分别与M个所述编码器对应的M个解码器，所述编码器包括依次连接的第一卷积模块和下采样模块，所述解码器包括依次连接的上采样模块、concat模块和第二卷积模块，每个所述编码器中的所述第一卷积模块的输出端通过跳跃连接模块与对应的所述解码器中的所述concat模块的输入端连接，每个所述跳跃连接模块中设置有至少一个第三卷积模块。
2.根据权利要求1所述的方法，其特征在于，第n个所述编码器对应的所述跳跃连接模块中设置有M-n+1个第三卷积模块，M为大于等于1的整数，n取遍[1，M]中的整数。
3.根据权利要求1所述的方法，其特征在于，所述下采样模块包括最大池化层操作；所述上采样模块包括依次连接的双线性插值模块、第三卷积层和BN层。
4.根据权利要求1所述的方法，其特征在于，所述UNet网络模型还包括第四卷积模块，所述第四卷积模块输入端的输入图像为所述待处理PET图像与M个所述解码器的输出特征图的叠加图像，所述第四卷积模块输出端的输出图像为所述去噪图像，所述第四卷积模块包括依次连接的第八卷积层和第四激活函数。
5.根据权利要求1所述的方法，所述UNet网络模型还包括第五卷积模块，所述第五卷积模块的输入端连接第M个所述编码器的输出端，所述第五卷积模块的输出端连接第M个所述编码器对应的所述解码器的输入端；
所述第五卷积模块的输出图像的通道数大于输入图像的通道数。
6.根据权利要求1所述的方法，其特征在于，所述待处理PET图像为低剂量的正电子核素68镓标记的成纤维细胞活化蛋白抑制剂获得的PET图像；
所述去噪图像为预测的标准剂量的正电子核素68镓标记的成纤维细胞活化蛋白抑制剂获得的PET图像。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
获取训练数据集，所述训练数据集包括n个低信噪比图像和每个所述低信噪比图像对应的高信噪比图像；
根据预设的损失函数和所述训练数据集对初始模型进行网络训练，得到训练后的所述UNet网络模型；
其中，所述损失函数的损失值为均方差损失函数的损失值、图像质量损失函数的损失值和内容损失函数的损失值的加权求和值；
所述均方差损失函数用于描述n个所述高信噪比图像和每个所述高信噪比图像对应的预测图像之间的均方差，所述预测图像为所述低信噪比图像输入到所述初始模型中处理得到的图像；
所述图像质量损失函数用于描述n个所述高信噪比图像和每个所述高信噪比图像对应的所述预测图像之间的像素差异；
所述内容损失函数用于描述n个所述高信噪比图像和每个所述高信噪比图像对应的所述预测图像之间的内容差异。
8.根据权利要求7所述的方法，其特征在于，所述图像质量损失函数为：
Figure FDA0003863984070000021
其中
Figure FDA0003863984070000022
是y和
Figure FDA0003863984070000023
的协方差，y为所述训练数据集中所述低信噪比图像对应的所述高信噪比图像，
Figure FDA0003863984070000024
是所述低信噪比图像输入到所述初始模型中处理得到的所述预测图像，μy是y中所有像素的平均值，
Figure FDA0003863984070000025
是
Figure FDA0003863984070000026
中所有像素的平均值，σy是y中所有像素值的方差，
Figure FDA0003863984070000027
是
Figure FDA0003863984070000028
中所有像素值的方差，c1和c2均为常数。
9.根据权利要求7所述的方法，其特征在于，所述内容损失函数为：
Figure FDA0003863984070000029
其中，W为预设权重，
Figure FDA00038639840700000210
和yi′为将
Figure FDA00038639840700000211
和yi输入到预设的ResNet50模型的layer2后输出的值，
Figure FDA00038639840700000212
是第i个所述低信噪比图像输入到所述初始模型中处理得到的预测图像，yi为所述训练数据集中与第i个所述低信噪比图像对应的所述高信噪比图像。
10.一种终端设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
CN202211172754.6A 2022-09-26 2022-09-26 一种pet图像去噪的方法、终端设备及可读存储介质 Pending CN115526857A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211172754.6A CN115526857A (zh) 2022-09-26 2022-09-26 一种pet图像去噪的方法、终端设备及可读存储介质
PCT/CN2022/137658 WO2024066049A1 (zh) 2022-09-26 2022-12-08 一种pet图像去噪的方法、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211172754.6A CN115526857A (zh) 2022-09-26 2022-09-26 一种pet图像去噪的方法、终端设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115526857A true CN115526857A (zh) 2022-12-27

Family

ID=84700454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211172754.6A Pending CN115526857A (zh) 2022-09-26 2022-09-26 一种pet图像去噪的方法、终端设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN115526857A (zh)
WO (1) WO2024066049A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
CN116681618A (zh) * 2023-06-13 2023-09-01 强联智创（北京）科技有限公司 图像去噪方法、电子设备及存储介质
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349103A (zh) * 2019-07-01 2019-10-18 昆明理工大学 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN113658050A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN112200750B (zh) * 2020-10-21 2022-08-05 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN112541871A (zh) * 2020-12-07 2021-03-23 深圳先进技术研究院 低剂量图像去噪网络的训练方法、低剂量图像的去噪方法
CN113487528B (zh) * 2021-06-30 2022-11-29 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质、终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
CN116258717B (zh) * 2023-05-15 2023-09-08 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
CN116681618A (zh) * 2023-06-13 2023-09-01 强联智创（北京）科技有限公司 图像去噪方法、电子设备及存储介质
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质
CN117314909B (zh) * 2023-11-29 2024-02-09 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2024066049A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN109446951B (zh) 三维图像的语义分割方法、装置、设备及存储介质
CN115526857A (zh) 一种pet图像去噪的方法、终端设备及可读存储介质
Zhao et al. Study of low-dose PET image recovery using supervised learning with CycleGAN
US7929746B2 (en) System and method for processing imaging data
WO2021041772A1 (en) Dilated convolutional neural network system and method for positron emission tomography (pet) image denoising
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
WO2022089079A1 (zh) 图像处理方法、装置、设备、系统及计算机可读存储介质
Sevcenco et al. A wavelet based method for image reconstruction from gradient data with applications
CN113838067B (zh) 肺结节的分割方法和装置、计算设备、可存储介质
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
CN111325695B (zh) 基于多剂量等级的低剂量图像增强方法、系统及存储介质
CN116740081A (zh) Ct图像中肺血管分割方法、装置、终端设备及介质
CN109949383B (zh) 一种高动态光学投影层析成像方法及装置
CN111445406B (zh) 一种低剂量ct图片质量改善方法、系统及设备
Kaviani et al. Quality enhancement of dynamic brain pet images via unsupervised learning
CN113327221A (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
Nayak et al. DMF-Net: a deep multi-level semantic fusion network for high-resolution chest CT and X-ray image de-noising
EP4202825A1 (en) Network architecture for 3d image processing
Muhammad et al. Role of deep learning in medical image super-resolution
Patel et al. Deep Learning in Medical Image Super-Resolution: A Survey
Mu et al. Exploring a frequency-domain attention-guided cascade U-Net: Towards spatially tunable segmentation of vasculature
CN116229218B (zh) 一种模型训练、图像配准方法及装置
CN112614205B (zh) 图像重建方法及装置
CN117437463B (zh) 基于图像处理的医学影像数据处理方法及处理平台
Kendall Image Processing with Matlab

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination