CN112819914A - 一种pet图像处理方法 - Google Patents

一种pet图像处理方法 Download PDF

Info

Publication number
CN112819914A
CN112819914A CN202110164795.XA CN202110164795A CN112819914A CN 112819914 A CN112819914 A CN 112819914A CN 202110164795 A CN202110164795 A CN 202110164795A CN 112819914 A CN112819914 A CN 112819914A
Authority
CN
China
Prior art keywords
pet image
layer
image
feature map
pet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110164795.XA
Other languages
English (en)
Other versions
CN112819914B (zh
Inventor
许燕
周扬
杨植文
麻思佳
樊瑜波
李楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Sinogram Medical Technology Co ltd
Beihang University
Original Assignee
Jiangsu Sinogram Medical Technology Co ltd
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Sinogram Medical Technology Co ltd, Beihang University filed Critical Jiangsu Sinogram Medical Technology Co ltd
Priority to CN202110164795.XA priority Critical patent/CN112819914B/zh
Publication of CN112819914A publication Critical patent/CN112819914A/zh
Application granted granted Critical
Publication of CN112819914B publication Critical patent/CN112819914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种PET图像处理方法，方法包括：获取待处理的第一类型的PET图像；将第一类型的PET图像输入到训练的条件生成对抗网络G中，输出第二类型的PET图像；第一类型的PET图像为PET采集设备采集并重建的低信噪比PET图像，第二类型PET图像为经过G处理的、具有高信噪比的图像，且第二类型PET图像与PET采集设备采集并重建的高信噪比图像匹配，G包括：对输入的第一类型的PET图像依次进行样式表达编码和仿射变换处理的样式表达单元。本发明对低信噪比PET图像进行处理获得匹配的高信噪比PET图像，进而有效提升PET图像质量，辅助临床更加准确地进行诊断的目的。

Description

一种PET图像处理方法
技术领域
本发明涉及医学成像领域，尤其涉及一种可用于正电子发射计算机断层成像系统中低剂量的PET图像处理方法。
背景技术
正电子发射断层显像PET(Positron Emission Tomography)是一种高端核医学图像诊断设备。在实际操作中利用仿射性核素(如18F、11C等)对代谢物质进行标记并将核素注入人体，然后通过PET系统对患者进行功能代谢显像，反映生命代谢活动的情况，从而达到诊断的目的。目前商用的正电子发射断层显像PET通常和其他模态成像系统集成在一起，比如计算机断层扫描CT(Computed Tomography)或者磁共振成像MRI(Magnetic ResonanceImaging)，达到同时对患者进行解剖结构成像的目的，这样可以对PET核素分布成像进行精确定位，提高了病灶定位的准确性。最终功能成像和解剖成像同机融合，兼容双模态成像的优点，可一目了然的了解全身的整体状况，达到早期发现病灶和诊断疾病的目的，对指导肿瘤和心脏、脑部疾病的诊治更具优势。
但随着社会的发展与医疗水平的进步，成像系统的要求越来越高，特别体现在对成像速度、图像的分辨率以及成像系统的非侵入性的要求上。图像分辨率低会影响医生的诊断效果，成像速度慢则会给病人造成新的不便，而具有仿射性的成像系统如高剂量PET甚至会引起病人的不适。硬件的发展速度与传统图像处理算法的效果都越来越难以满足人们的需求。这些都给对医疗图像技术的依赖性带来严峻挑战。
传统的提高分辨率的方式有很多，例如实现模糊图像去噪以提高分辨率，常用的模糊图像去噪的方法为插值法，然而插值法缺乏表达能力，会遗漏很多细节并导致输出模糊图片，因为简单的线性模型很难表达出输入与输出之间的复杂依赖性。特别地，基于重建的超分辨率方法一般使用复杂的先验来限制可能的解空间，以此来产生清晰的细节，但是这种方法非常耗时，且在大尺寸图片上效果不好。基于示例的传统机器学习算法，如马尔可夫随机场、邻域嵌入、稀疏编码、随机森林等，通过分析学习低分辨率图像与高分辨率图像之间的数据关系而实现图的转换，但由于需要考虑各种优化问题导致十分耗时，而且通常难以达到较好的优化效果。当然这些方法之间也可以相互组合，但改善效果有限，难以捕捉高分辨率医学图像的高级特征，且没有普适性，使用价值较低。
而近年来基于深度学习的图像处理方法渐渐兴起，其中以卷积神经网络CNN(Convolutional Neural Networks)可以实现相对于传统图像处理方法而言更优秀和高效的处理方法。其中，生成对抗网络G
(Generative Adversarial Networks)在2D图像的去噪方向应用较广，研究人员已经根据不同数据集的特点以及研究目的提出了丰富多样的模型。而由于3D图像生成所需要消耗的计算资源大、训练数据集少等原因，G在3D图像去噪方向的应用还比较少。在医疗图像领域，生成高分辨率3D图像的应用有着很大的需求。目前存在的一些基于深度学习的建模方法对低剂量PET图像的去噪效果虽然已经超过了传统算法，但去噪后的图像仍然存在边缘过于平滑、细节丢失、伪影等问题，难以满足临床诊断的需求。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种PET图像处理方法，用以对低信噪比PET图像进行处理获得便于用户查看的高信噪比PET图像，其去除了噪声并减少了伪影。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种PET图像处理方法，包括：
获取待处理的第一类型的PET图像；
将第一类型的PET图像输入到训练的条件生成对抗网络G中，输出第二类型的PET图像；
其中，第一类型的PET图像为PET采集设备采集并重建的低信噪比PET图像，第二类型PET图像为经过G处理的、具有高信噪比的图像，且第二类型PET图像与PET采集设备采集并重建的高信噪比图像匹配；
所述G包括：样式表达单元；所述样式表达单元用于对输入的第一类型的PET图像依次进行样式表达编码和仿射变换处理，并采用仿射变换处理后的信息对G中编码器输出的特征图进行调整，得到调整后的特征图；所述调整后的特征图用于与G中待还原的特征图进行融合以还原，得到所述第二类型的PET图像。
在本实施例中，目前PET采集设备采集并重建PET图像的质量主要受两种因素影响，第一是示踪剂的量，第二是采集时间。为了获得高质量(即高信噪比)的PET图像，PET采集设备基于高剂量示踪剂并采集预设时长的图像进而重建出高信噪比的PET图像；此时，相对应的低信噪比的PET图像可包括下述三种：
PET采集设备基于高剂量示踪剂并采集Z倍预设时长的图像重建出PET图像作为低信噪比的PET图像，Z为小于1大于零的数值；
PET采集设备基于低剂量示踪剂并采集预设时长的图像重建出PET图像作为低信噪比的PET图像，
PET采集设备基于低剂量示踪剂并采集Z倍预设时长的图像重建出PET图像作为低信噪比的PET图像。
本实施例中PET采集设备在采集和重建中并未使用上述的G。
基于低剂量示踪剂采集并重建的PET图像，
可选地，所述G包括：
编码器、解码器、跳跃连接单元和所述样式表达单元；
所述编码器包括：多层编码组件，每一层编码组件用于对上一层编码组件输出的特征图进行特征提取，第一层编码组件用于对输入的第一类型的PET图像进行特征提取输出特征图；
所述样式表达单元用于对输入的第一类型的PET图像依次进行样式表达编码和仿射变换处理，并采用仿射变换处理后的信息对每一层编码组件输出的特征图进行调整，得到对应每一层编码组件的调整后的特征图；
所述跳跃连接单元用于将调整后的特征图传输到与每一层编码组件关联的解码组件中；
所述解码器包括：多层解码组件，每一层解码组件用于将接收的上一层解码组件输出的特征图和跳跃连接单元传输的特征图按照通道维度拼接并对拼接后的特征图进行逐级还原，最后输出第二类型的PET图像。
可选地，在获取待处理的第一类型的PET图像之前，所述方法还包括：
获取用于训练G的第三类型的PET图像和第四类型的PET图像；
将所述第四类型的PET图像输入到建立的G中，并输出生成的第五类型的PET图像；
将第三类型的PET图像和第五类型的PET图像输入到判别网络D，判断第五类型的PET图像是否与第三类型的PET图像匹配；
调整G的训练参数，并交替进行G和D，以使得G最后输出的PET图像匹配第三类型的PET图像；则获取训练的G；
所述第三类型的PET图像为PET采集设备采集并重建的高信噪比PET图像，第四类型的PET图像为在重建第三类型的PET图像的原始数据序列中抽取部分数据重建得到的、作为用于训练时输入的、对应低信噪比的PET图像。
可选地，所述编码器包括多层编码组件；所述解码器包括多层解码组件；
所述样式表达单元包括：随机噪声生成单元、特征图调整参数生成单元、特征图调整单元；
所述随机噪声生成单元用于生成加载在每一层编码组件输出的特征图的随机噪声；
所述特征图调整参数生成单元，用于基于输入的PET图像生成对特征图进行尺度变换和偏移的调整参数；所述调整参数与每一层编码组件对应；
所述特征图调整单元，用于与每一层编码组件对应的调整参数对该层编码组件输出的且加载有随机噪声的特征图进行调整，并输出与该层编码组件对应的调整后的特征图。
可选地，所述特征图调整参数生成单元，包括：映射网络子单元、仿射处理子单元；
所述映射网络子单元，用于接收输入的PET图像，并生成具有输入的PET图像的低频信息的样式表达编码；所述输入的PET图像为输入G的输入图像；
所述仿射处理子单元，用于将样式表达编码进行映射处理形成对应到每一层编码组件的调整参数，所述调整参数为带有输入图像的特征信息。
可选地，所述特征图调整单元，用于根据下述公式一对加载有随机噪声的特征图进行调整；
公式一：
Figure BDA0002937319210000061
γi、βi分别为带有特征信息的调整参数；
μ(xi)为第i层特征图通道维度的均值，σ(xi)，为第i层特征图通道维度的标准差；AdaIN(xi,y)为调整后的特征图的坐标信息，i表示通道的索引，W表示特征表达，A表示仿射变换。
可选地，所述映射网络子单元包括：
对输入的PET图像进行像素归一化的归一化模块，
四级下采样的采样模块；所述采样模块借助于卷积层使通道数反比，并通过卷积使得特征图的尺寸减半，并通过激活函数得到通道数为16、尺寸为4*4*4的特征图层，将该特征图层展开成一维数组，并通过线性网络与激活函数处理，得到通道数为1，尺寸为512的样式表达编码；
相应地，所述仿射处理子单元，用于将所述样式表达编码映射成2*n的向量并形成对应到每一层编码组件的调整参数γi、βi，n为G中编码器中编码组件层数；每一层编码组件对应的特征图都对应一组调整参数。
可选地，训练阶段，随机噪声为符合高斯正态分布的随机噪声；
使用阶段，所述随机噪声生成单元生成的随机噪声均为0；
和/或，
所述第一类型的PET图像为经过PET系统对采集的PET图序列进行重建的3D PET图像；
所述第二类型PET图像的像素量级与第一类型PET图像的像素量级基本一致，或者，所述第二类型PET图像的像素量级与高剂量示踪剂对应重建的PET图像的像素量级一致，或者，所述第二类型PET图像的像素量级与PET采集设备对应重建的高信噪比PET图像的像素量级一致。
第二方面，本发明实施例提供一种用于对CNN中特征图进行调整的样式调整装置，所述样式调整装置包括：
特征图调整参数生成单元和特征图调整单元；
所述特征图调整参数生成单元，用于接收输入的图像，并基于接收的图像生成对所述特征图进行尺度变换和偏移的调整参数，所述调整参数为对应每一层特征图的参数；
所述特征图调整单元，用于采用当前层特征图对应的调整参数对该层的特征图进行调整，并输出当前层调整后的特征图。
可选地，还包括：随机噪声生成单元；
所述随机噪声生成单元用于生成加载于各层特征图的随机噪声；
相应地，所述特征图调整单元，用于采用当前层特征图对应的调整参数对该层中加载有随机噪声的特征图进行调整，并输出当前层调整后的特征图。
可选地，所述随机噪声为符合高斯正态分布的随机噪声；
和/或，
所述特征图调整单元，用于根据下述公式一对加载有随机噪声的特征图进行调整；
公式一：
Figure BDA0002937319210000071
γi、βi分别为带有特征信息的调整参数；
μ(xi)为第i层特征图通道维度的均值，σ(xi)，为第i层特征图通道维度的标准差；AdaIN(xi,y)为调整后的特征图的坐标信息，i表示CNN中编码通道的索引，W表示特征表达，A表示仿射变换。
可选地，所述特征图调整参数生成单元，包括：映射网络子单元、仿射处理子单元；
所述映射网络子单元，用于接收输入的图像，并生成具有输入图像的特征信息的样式表达编码；所述输入的图像为输入CNN的输入图像；
所述仿射处理子单元，用于将样式表达编码进行映射处理形成对应到CNN中每一层编码通道的调整参数，所述调整参数为带有输入图像的特征信息。
可选地，所述映射网络子单元包括：
对输入的图像进行像素归一化的归一化模块，
四级下采样的采样模块；所述采样模块借助于卷积层使通道数反比，并通过卷积使得特征图的尺寸减半，并通过激活函数得到通道数为16、尺寸为4*4*4的特征图层，将该特征图层展开成一维数组，并通过线性网络与激活函数处理，得到通道数为1，尺寸为512的样式表达编码；
相应地，所述仿射处理子单元，用于将所述样式表达编码映射成2*n的向量并形成对应到每一层编码组件的调整参数γi、βi，n为CNN中特征图的层数；每一层特征图都对应一组调整参数，i为特征图的层数。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器和总线，所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行所述程序，其中，所述程序运行时执行第一方面任一所述的PET图像处理方法。
第四方面，本发明实施例还提供一种PET系统，包括：PET图像重建设备和上述第三方面所述的电子设备，所述PET重建设备重建的PET图像经由所述电子设备进行处理。
(三)有益效果
本发明的有益效果是：本发明的方法是采用训练过的G对低信噪比PET图像进行处理，获得与PET采集设备采集并重建的高信噪比图像匹配的PET图像，由此可以解决现有技术中无法对低信噪比PET图像进行处理的缺陷，同时可以保证处理后的PET图像的质量，使得仿射性成像系统中可以推广使用低剂量示踪剂，减少成本和提升用户感受。
特别地，在本申请中，训练的G具有样式表达单元，可以提取输入的PET图像中的特征获取调整参数而对G的编码器组件的特征图进行调整，使得解码器对特征图进行复原是能够较好的呈现，增加了网络张力，最终的图像可以较好的匹配高剂量示踪剂对应的PET图像，该PET图像在显示效果上接近高剂量的真实PET图像。由此，在去除噪声的同时，生成了更真实可信的细节并产生更少的伪影。
附图说明
图1A和图1B分别为本发明一实施例提供的PET图像处理方法的流程示意图；
图2为本发明实施例的G中第L层编码器的结构示意图；
图3为本发明实施例的G中第L层解码器的结构示意图；
图4为本发明实施例的G中样式表达单元的结构示意图；
图5为本发明实施例的G的部分结构的示意图；
图6为本发明实施例的判别器D的网络结构示意图；
图7为本发明实施例中训练G的示意图；
图8为本发明的方法和现有的方法的结果对比示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
现有技术中2维的深度学习模型对低剂量示踪剂PET图像去噪、转换和超分辨率方向的研究工作仍然存在3维轴向信息利用不完全，造成生成的影像在切片间存在信息的不连续建模，形成栅状伪影，同时由于方法仍有缺陷，对高频信息的建模缺失，会造成生成的图像过于平滑，细节损失严重，出现实际情况中不存在的块状伪影。
本发明实施例中搭建条件生成对抗网络G，并对搭建的G进行训练，进而借助于训练后的G实现低信噪比的3维的PET图像的去噪，即将其转换翻译成高信噪比的3维的PET图像，自动修复低信噪比对应的PET图像中缺失的结构与功能信息，生成较高分辨率的图像。
当前PET采集设备采集并重建PET图像的质量主要受两种因素影响，第一是示踪剂的量，第二是采集时间。为了获得高质量(即高信噪比)的PET图像，PET采集设备基于高剂量示踪剂并采集预设时长的图像进而重建出高信噪比的PET图像。
下述实施例中提及的低信噪比的PET图像可至少包括下述三种：
PET采集设备基于高剂量示踪剂并采集Z倍预设时长的图像重建出PET图像作为低信噪比的PET图像，Z为小于1大于0的数值；
PET采集设备基于低剂量示踪剂并采集预设时长的图像重建出PET图像作为低信噪比的PET图像，
PET采集设备基于低剂量示踪剂并采集Z倍预设时长的图像重建出PET图像作为低信噪比的PET图像。
下述实施例中PET采集设备在采集和重建中并未使用上述的条件生成对抗网络G。
本实施例的方法可以针对2维PET图像和3维PET图像均适用，下述待处理的第一类型PET图像属于PET系统中PET采集设备采集PET序列并重建的PET图像。
实施例一：
如图1A所示，图1A示出了本发明一实施例提供的PET图像处理方法的流程示意图，本实施例的方法的执行主体可为任一的电子设备或计算机设备，或者，本实施例的方法的执行主体还可以是PET系统，本实施例不对其限定。本实施例的方法可包括：
S1、获取待处理的第一类型的PET图像；
S2、将第一类型的PET图像输入到训练的条件生成对抗网络G中，输出第二类型的PET图像；
其中，第一类型的PET图像为PET采集设备采集并重建的低信噪比PET图像，第二类型PET图像为经过G处理的、具有高信噪比的图像，且第二类型PET图像与PET采集设备采集并重建的高信噪比图像匹配；
可理解的是，第二类型PET图像的信噪比与PET采集设备采集并重建的高信噪比图像的信噪比的误差在预设范围内。
本实施例的条件生成对抗网络G可包括：样式表达单元；所述样式表达单元用于对输入的第一类型的PET图像依次进行样式表达编码和仿射变换处理，并采用仿射变换处理后的信息对G中编码器输出的特征图进行调整，得到调整后的特征图；所述调整后的特征图用于与G中待还原的特征图进行融合以还原，得到所述第二类型的PET图像。
在实际应用中，G可包括：编码器、解码器、跳跃连接单元和所述样式表达单元；
所述编码器包括：多层编码组件，每一层编码组件用于对上一层编码组件输出的特征图进行特征提取，第一层编码组件用于对输入的第一类型的PET图像进行特征提取输出特征图；
所述样式表达单元用于对输入的第一类型的PET图像依次进行样式表达编码和仿射变换处理，并采用仿射变换处理后的信息对每一层编码组件输出的特征图进行调整，得到对应每一层编码组件的调整后的特征图；
所述跳跃连接单元用于将调整后的特征图传输到与每一层编码组件关联的解码组件中；
所述解码器包括：多层解码组件，每一层解码组件用于将接收的上一层解码组件输出的特征图和跳跃连接单元传输的特征图按照通道维度拼接并对拼接后的特征图进行逐级还原，最后输出第二类型的PET图像，由此，可有效提升PET图像质量，辅助临床更加准确地进行诊断的目的。
本实施例的方法采用训练过的G对低信噪比PET图像进行处理，获得与PET采集设备采集并重建的高信噪比图像匹配的PET图像，由此可以解决现有技术中无法对低信噪比PET图像进行处理的缺陷，同时可以保证处理后的PET图像的质量，使得仿射性成像系统中可以推广使用低剂量示踪剂，减少成本和提升用户感受。
基于前述的低信噪比图像的说明，下面实施例中均以采集时长不变，注入示踪剂的剂量低的方式进行说明，且以低剂量示踪剂对应重建的PET图像代替低信噪比的PET图像进行说明，相应地高剂量示踪剂对应重建的PET图像代替高信噪比的PET图像。但在实际应用中，采集时长缩短，如缩短一半或三分之一等，注入示踪剂的剂量不变或降低的方式均可适用，本实施例不对其限定。
如图1B所示，图1B示出了本发明一实施例提供的PET图像处理方法的流程示意图，本实施例的方法的执行主体可为任一的电子设备或计算机设备，或者，本实施例的方法的执行主体还可以是PET系统，本实施例不对其限定。本实施例的方法可包括：
步骤101、获取待处理的第一类型的PET图像；
步骤102、将第一类型的PET图像输入到训练的条件生成对抗网络G中，输出第二类型的PET图像；
其中，第一类型的PET图像为PET采集设备基于低剂量示踪剂采集并重建的PET图像，第二类型PET图像为经过G处理的、与高剂量示踪剂对应的真实图像匹配的图像，且第二类型PET图像与第一类型PET图像的像素量级一致。也就是说，第一类型PET图像与高剂量示踪剂的真实的PET图像的清晰度是一致的。
本实施例的第二类型PET图像为具有高分辨率的图像，其属于图像处理后的图像，非真实的高剂量示踪剂生成的图像，但是第二类型PET图像的质量和通过真实高剂量示踪剂生成的图像的质量基本一致。
由此，本实施例的方法可以较好的应用于PET系统中的探测设备，进而降低患者对示踪剂的使用量，提升患者感受，还可以获取高质量的PET图像，便于查看或诊断。
在本实施例中，G包括：编码器、解码器、样式表达单元和跳跃连接单元；
所述编码器包括：多层编码组件，每一层编码组件用于对上一层编码组件输出的特征图进行特征提取，第一层编码组件用于对输入的第一类型的PET图像进行特征提取输出特征图，如图2所示。
所述样式表达单元用于对输入的第一类型的PET图像进行样式表达编码，再进行仿射变换处理，并采用处理后的信息对每一层编码组件输出的特征图进行调整，得到对应每一层编码组件的调整后的特征图，如图4所示。
所述跳跃连接单元用于将调整后的特征图传输到与每一层编码组件关联的解码组件中，如图5所示。
所述解码器包括：多层解码组件，每一层解码组件用于将接收的上一层解码组件输出的特征图和跳跃连接单元传输的特征图按照通道维度拼接并对拼接后的特征图进行逐级还原，最后输出第二类型的PET图像，如图3所示。
在本实施例中，为了提高G的表达能力，在G原结构(如U-net结构)的基础上增加样式表达单元，该样式表达单元可以在已有特征图上调整特征图的超参数，最终得到了能将低剂量示踪剂对应的PET图像翻译成可以达到临床应用需求的去噪PET图像的G。经由该G输出的去噪后的图像拥有更突出的细节和纹理，并相对与其他方法而言显著减少了伪影的产生，让患者能够在只需要服入低剂量示踪剂以及进行低强度、短时间仿射扫描的情况下完成图像采集，得到高细节的图像，从侧面解决PET成像速度慢以及成像系统侵入性的问题。
实施例二
为了更好的理解本发明实施例中的G网络的结构，以下结合图2至图5对G的网络进行详细说明。
本发明实时中G的基础架构是3D U-net模型中的条件生成对抗网络，包括：编码器、解码器和跳跃连接单元。在本实施例中，为了使生成的图像具有更丰富的细节，本发明实施例中引入样式表达单元。
本实施例的编码器、解码器的结构与现有技术中编码器和解码器的结构基本相同，具体参见图2和图3所示。
编码器的作用是通过不断地下采样提取输入的PET图像更高维度的特征，这一过程主要通过卷积(Convolution，简称Conv)-批归一化(Batch Normalization)-激活函数(Activation Function)组合实现,如图2所示。
卷积的作用主要是通过多个卷积核(Kernel)来对上一层卷积输出的特征图进行特征提取。卷积核的数量也就是通道(Channel)的数量，可以根据需要进行调整；卷积后特征图的尺寸Iout计算公式如(1)：
Figure BDA0002937319210000151
其中，Iin为卷积输入特征图的尺寸大小；P为边缘填充(Padding)的像素的多少，用以减少卷积时边缘信息的丢失；K为卷积核的尺寸；S为卷积步长(Stride)。
批归一化通过利用一个批次数据的均值与方差对该批次数据进行归一化；不同激活函数有不同的线性因素，使G更具有表达能力。
在图2中，上一层卷积输出的特征图通道数为4n，D、H、W分别为特征图的长、高、宽。
第一、二个卷积-批归一化-激活函数组合主要作用分别为改变通道数和特征图的尺寸；注意到编码器中第一层编码组件的K与P都相对较大，在图2中给出的是L＝1时K＝5，P＝2，输入尺寸inCh＝n,outCh＝2n,卷积对象为3d(即Conv 3d),，主要原因是希望获取数据大尺度的特征；激活函数使用带泄漏修正线性单元(Leaky Rectified Linear Unit,LeakyRelu)，它将输入为正的部分保留，而对于负区间的值给与一个梯度值。在本发明实施例中，这一梯度值统一设置为0.2(在图2中激活函数的梯度值均为0.2)。经过一次编码之后，特征图通道数×4，长、高、宽比例减半。所以输入通道数为1，尺寸大小为64×64×64的图像，经过五次编码后，变为通道数为1024的2×2×2的特征图，每一次编码之后的特征图都予以保留，以方便后续的样式表达单元进行样式调整。
本实施例中编码器具有6层编码组件，图2中的Conv代表卷积，inCh代表输入通道，outCh代表输出通道，P为边缘填充的像素数量，K为卷积核的尺寸；S为卷积步长，Relu代表激活函数，D、H、W代表输入的特征图的长宽高，L表示编码组件的层数。
在图3中，解码器包括6层解码组件，每一层的解码组件将样式表达单元调整后的特征图(经由跳跃连接单元注入到对应的位置)和上一层解码组件输出的特征图进行拼接并进行逐级还原。
即，解码器与编码器成对称分布，第L层解码器与第6-L层编码器对应，解码器的输入包含上一层解码器输出，以及对应编码器的输出的经由样式表达单元调整的特征图。
每一层编码后输出的特征图都是图像在某一个维度的特征，解码过程需要将这些小尺寸、高维度的特征图所表达的信息逐级还原，同时也要学习填充或者修改一部分特征信息，以使得最终的输出图像尽量接近目标图像。
图3为第L层解码器结构。改解码器结构包含上一层解码器还原信息的特征图通道数为4n，大小为
Figure BDA0002937319210000161
首先经过转置卷积将通道数减少到n，特征图大小翻倍，变为D×H×W。转置卷积后特征图尺寸变化计算式如公式(2)。
Iout＝S′×(Iin-1)+K′-2×P′ (2)
其中，S′为转置卷积核滑动步长，K′为反卷积卷积核的大小，P′为边缘填充的像素数目。
按照K′＝4，S′＝2，P′＝1设置后，得到的新的特征图的尺寸将会翻倍。之后是两个卷积-批归一化-激活函数组合，将拼接之后的特征图进行融合，最终输出通道数为n，尺寸为D×H×W的特征图。
在本实施例中，最后一层解码时，不再使用批归一化，把待输出图像的像素值恢复到与输入图像对应一致的量级。
结合图4和图5对本实施例的样式表达单元进行详细说明。本实施例的样式表达单元包括：随机噪声(Stochastic Variation)生成单元、特征图调整参数生成单元、特征图调整单元；
所述随机噪声生成单元用于生成加载在每一层编码组件输出的特征图的随机噪声(参见图5中的Noise-B)；
所述特征图调整参数生成单元，用于基于输入的PET图像生成对特征图进行尺度变换和偏移的调整参数(参见图5中的A)；所述调整参数与每一层编码组件对应；即可以由浅层映射网络(Latent Mapping Net)、自适应实例归一化(Adaptive InstanceNormalization,AdaIN)组成；
所述特征图调整单元，用于与每一层编码组件对应的调整参数对该层编码组件输出的且加载有随机噪声的特征图进行调整，并输出与该层编码组件对应的调整后的特征图，如图5中的各黑色方块。
每一层编码组件对应的调整参数可为尺度因子γ与平移因子β，通过这两个参数对各层编码组件输出的特征图进行尺度变换与偏移。
本实施例的特征图调整单元可用于根据下述公式一对加载有随机噪声的特征图进行调整；
公式一：
Figure BDA0002937319210000171
γi、βi分别为带有特征信息的调整参数；
μ(xi)为第i层特征图通道维度的均值，σ(xi)，为第i层特征图通道维度的标准差；AdaIN(xi,y)为调整后的特征图的坐标信息，i表示通道的索引(对应编码器中编码组件的序号)，W表示特征表达即样式表达编码，A表示仿射变换。
所述特征图调整参数生成单元，包括：映射网络子单元、仿射处理子单元；
所述映射网络子单元，用于接收输入的PET图像，并生成具有输入的PET图像的低频信息的样式表达编码；所述输入的PET图像为输入G的输入图像；
具体地，映射网络子单元可包括：对输入的PET图像进行像素归一化的归一化模块(如下的公式(3))和四级下采样的采样模块的映射网络；所述采样模块借助于卷积层使通道数反比，并通过卷积使得特征图的尺寸减半，并通过激活函数得到通道数为16、尺寸为4*4*4的特征图层，将该特征图层展开成一维数组，并通过线性网络与激活函数处理，得到通道数为1，尺寸为512的样式表达编码。
对映射网络子单元中输入的PET图像进行像素归一化(Pixel Normalization)：
Figure BDA0002937319210000181
公式(3)中的x表示输入的PET图像中的像素，x’表示归一化后的像素，q为输入的PET图像中的像素总数。
所述仿射处理子单元，用于将样式表达编码进行映射处理形成对应到每一层编码组件的调整参数，所述调整参数为带有输入图像的特征信息；
具体地，可将映射网络子单元输出的特征图映射处理并形成的调整参数注入到对应每一层编码组件的特征图的位置；例如，将通道数为1，尺寸为512的样式表达编码映射成2*n的向量并形成调整参数γi、βi，n为G中编码器中编码组件层数6；每一层编码组件对应的特征图都对应一组调整参数。
跳跃连接是架在编码器与解码器之间的桥梁。通常，使用跳跃连接将编码器中各层编码组件输出的特征图送到对应解码器中各层解码组件的位置。由此实现在G中注入特征，帮助产生更丰富的细节。
上述的样式表达单元，用于调整编各层编码组件输出的每一个特征占整个特征图的权重，以此提升跳跃连接所起到的效果。样式表达单元是一个通过映射网络将输入映射到样式表达，实现样式特征分离；然后这些特征通过仿射网络注入到G不同分辨率的特征图层之中，以使不同分辨率的图层掌握不同的特征；此外，为了使生成的图像具有更丰富的细节，在每一个特征图层中，都通过一个线性网络进行噪声的输入。
本实施例中样式表达中蕴含了图像的多维信息，利用一个可学习的仿射网络，将样式表达映射成2×n的向量，其中n为G中编码器的卷积输出通道数，所以每一个通道都能分配到两个带有特征信息的γ、β，它们被作为权值与偏置值对特征图层进行调整,以改变每个特征的占比。而卷积输出的特征图层在被调整之前，会对其注入噪声以丰富生成图像的细节，然后进行归一化，最后利用仿射变换得到的参数进行自适应性实例归一化。
需要说明的是，前述的映射网络子单元中的归一化模块是一个可选的模块，在部分实施例中可以没有，在部分实施例中也可以增加。
如此，本实施例中得到经过调整之后的特征图层，再经过跳跃连接，送到解码器对应的位置，如图5所示。解码器最后一层只进行跳跃连接，而并不进行自适应性调整。
实施例三
根据本发明实施例的另一方面，本发明实施例还提供一种对上述图1中使用的G进行训练的方法。
可理解的是，在上述图1中的步骤101之前，本实施例的方法还包括图中未示出的步骤100a至步骤100d：
100a、获取用于训练的第三类型的PET图像和第四类型的PET图像。
在本实施例中，第三类型的PET图像为PET采集设备基于高剂量示踪剂采集并重建的PET图像，第四类型的PET图像为在重建第三类型的PET图像的图像序列中抽取的一帧或几帧图像作为用于训练时输入的、对应低剂量示踪剂的PET图像。
100b、将所述第四类型的PET图像输入到建立的G中，并输出生成的第五类型的PET图像；
100bc、将第三类型的PET图像和第五类型的PET图像输入到现有训练G的判别网络D(下述简称判别器D)，判断第五类型的PET图像是否与第三类型的PET图像匹配。
现有训练G的判别网络D可为现有的结构，本申请中并未进行改进，仅使用D对G进行训练。
100bd、调整G的训练参数，并交替进行G和D，以使得G最后输出的PET图像匹配第三类型的PET图像；则获取训练的G。
基于前述实施例一和实施例二所述的G的结构，特别说明的是，在本实施例中，训练阶段，G中样式表达单元的随机噪声为符合高斯正态分布的随机噪声；使用阶段，所述随机噪声生成单元生成的随机噪声均为0。
在本实施例中的对G进行训练的判别网络可为3D U-net模型中的判别网络，本实施例并未对D的结构进行改进，其输入的图像进行变化，如图6和图7所示。
在本实施例中，判别网络以180s高剂量示踪剂的PET图像或者前述G输出的第五类型的PET图像作为输入，然后判断输入图像为真实图像(PET系统重建的真实高剂量示踪剂对应的PET图像)还是生成的假图像(经由G输出的PET图像)，并各自打分。
图6中所示的判别网络由五个卷积层组成，每一个卷积层都使用4×4×4的卷积核(即K＝4)，移动步长S设置为2，边缘填充P设置为1，由公式(1)计算可知，每次卷积之后，特征图尺寸减半。中间三层网络使用批归一化加速网络收敛，前四层卷积网络的末尾都使用Leaky Relu激活函数进行激活；最后一层网络在进行卷积操作之后特征尺寸变为2×2×2，通道数为1，将此特征图展开成一维向量，然后通过线性网络输出一个数值，这个数值便是判别器给图像打的分数。
本发明实施例中采用训练后的G处理低剂量示踪剂对应的PET图像，直接将生成图像的SSIM(结构相似度)稳稳提升了一个百分点，MSE(均方误差)与PSNR(信噪比)也都相应稳健提升。其原因是因为样式表达单元中AdaIN利用映射网络学习得来的特征参数直接对特征图层进行比例分配操作，赋予特征图层的每一个特征不同的权值与偏置值，这样能够使得特征提取与特征分配分离，增加网络张力，从根本上改变图像生成的规则。
由此，使用样式表达中的样式好大AdaIN以及增加Noise都是有效的举措，其输出图像的各项指标效果远超其他现有模型输出图像的指标，生成图像的细节更加丰富。
图8中的示例为现有技术的模型和本申请中的G各自输出图像的比较示意图，由对比可知，本实施例的训练的G在应用中输出图像的细节表现上超过现有技术的模型SRCNN。
通过实验验证，无论是比较最终指标还是观察真实生成图像的效果，都可以验证实施例的G模型相比其他现有技术的模型具有很高的优越性。
需要说明的是，本实施例中低剂量示踪剂可为对患者注射剂量小于0.08mCi/kg，例如，本实施例中可采用0.05mCi/kg的放射性药物FDG注射至患者，以获取当前患者的PET图像，对本发明实施例的PET图像处理的方法进行验证。
本实施例中高剂量示踪剂可为对患者注射剂量大于等于0.08mCi/kg；通常PET系统中采集患者的PET图像时患者注射的剂量为0.1mCi/kg，现有技术中为了提高PET图像质量，还增加注射给患者的剂量，如增加到0.12mCi/kg-0.15mCi/kg。
本实施例中的G应用于PET图像处理过程中，其目的是降低示踪剂的活性，提高患者在PET图像采集过程中的舒适性。本实施例中G对PET图像进行处理，通过对患者注射低剂量的示踪剂，进而采集图像，验证了本发明的PET图像处理的方法，验证本发明实施例中的G模型应用处理PET图像相比其他现有技术的模型处理PET图像具有很高的优越性。
实施例四
本发明实施例还提供一种用于对CNN中特征图进行调整的样式调整装置，本实施例的样式调整装置包括：
特征图调整参数生成单元和特征图调整单元；
所述特征图调整参数生成单元，用于接收输入的图像，并基于接收的图像生成对所述特征图进行尺度变换和偏移的调整参数，所述调整参数为对应每一层特征图的参数；
所述特征图调整单元，用于采用当前层特征图对应的调整参数对该层的特征图进行调整，并输出当前层调整后的特征图。
在一种可选的实现方式中，本实施例的样式调整装置还可包括：随机噪声生成单元；
所述随机噪声生成单元用于生成加载于各层特征图的随机噪声；
相应地，所述特征图调整单元，用于采用当前层特征图对应的调整参数对该层中加载有随机噪声的特征图进行调整，并输出当前层调整后的特征图。
在本实施例中，随机噪声生成单元生成的随机噪声可为符合高斯正态分布的随机噪声；
相应地，特征图调整单元用于根据下述公式一对加载有随机噪声的特征图进行调整；
公式一：
Figure BDA0002937319210000231
γi、βi分别为带有特征信息的调整参数；
μ(xi)为第i层特征图通道维度的均值，σ(xi)，为第i层特征图通道维度的标准差；AdaIN(xi,y)为调整后的特征图的坐标信息，i表示CNN中编码通道的索引，W表示特征表达，A表示仿射变换。
基于上述的特征图调整参数生成单元，在具体应用中还可包括：映射网络子单元、仿射处理子单元；
所述映射网络子单元，用于接收输入的图像，并生成具有输入图像的特征信息的样式表达编码；所述输入的图像为输入CNN的输入图像；
所述仿射处理子单元，用于将样式表达编码进行映射处理形成对应到CNN中每一层编码通道的调整参数，所述调整参数为带有输入图像的特征信息。
在一种可能的实施例中，映射网络子单元包括：对输入的图像进行像素归一化的归一化模块，
四级下采样的采样模块；所述采样模块借助于卷积层使通道数反比，并通过卷积使得特征图的尺寸减半，并通过激活函数得到通道数为16、尺寸为4*4*4的特征图层，将该特征图层展开成一维数组，并通过线性网络与激活函数处理，得到通道数为1，尺寸为512的样式表达编码；
相应地，所述仿射处理子单元，用于将所述样式表达编码映射成2*n的向量并形成对应到每一层编码组件的调整参数γi、βi，n为CNN中特征图的层数；每一层特征图都对应一组调整参数，i为特征图的层数。
本实施例的样式调整装置可应用于CNN中用于实现对编码的特征图尺寸进行调整，使得CNN最后输出的结果更符合用户预期。
此外，上述的样式调整装置可位于任一电子设备中用于该电子设备的实现CNN的程序中。任一电子设备均可包括：存储器、处理器和总线，所述处理器与所述存储器通过所述总线连接；所述存储器用于存储实现CNN的程序，所述处理器用于运行该程序。
实施例五
根据本发明实施例的另一方面，本发明实施例还提供一种电子设备，其包括：存储器、处理器和总线，所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行所述程序，其中，所述程序运行时执行上述实施例一和实施例二任一所述的PET图像处理方法。
本实施例的电子设备可以集成在PET系统中，也可以单独设置，其根据具体需要进行配置，本实施例的电子设备其他组件和现有的电子设备的其他组件均相同，该处不再详述。
另外，本发明实施例还提供一种PET系统，其特征在于，包括：PET图像重建设备和上述的电子设备，所述PET重建设备重建的PET图像经由所述电子设备进行处理，进而PET系统最终输出的图像为呈现医生查看的与高剂量图像质量一致的PET图像。
在本实施例中，PET图像重建设备依据探测数据重建的PET图像可以是三维图像，也可以是二维图像。在实际中的重建可以是多模态方式的重建，如PET-CT/MR组合重建，也可以直接是PET重建，本实施例均不对其限定。
本实施例的PET系统可以实现采用低剂量示踪剂，同时最后输出的图像并克服了低剂量示踪剂对应的PET图像的缺陷，也就是说，最后输出的处理后的PET图像在显示效果上接近高剂量的真实PET图像，其具有真实可信的细节并产生更少的伪影。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (15)

1.一种PET图像处理方法，其特征在于，包括：
获取待处理的第一类型的PET图像；
将第一类型的PET图像输入到训练的条件生成对抗网络G中，输出第二类型的PET图像；
其中，第一类型的PET图像为PET采集设备采集并重建的低信噪比PET图像，第二类型PET图像为经过G处理的、具有高信噪比的图像，且第二类型PET图像与PET采集设备采集并重建的高信噪比图像匹配；
所述G包括：样式表达单元；所述样式表达单元用于对输入的第一类型的PET图像依次进行样式表达编码和仿射变换处理，并采用仿射变换处理后的信息对G中编码器输出的特征图进行调整，得到调整后的特征图；所述调整后的特征图用于与G中待还原的特征图进行融合以还原，得到所述第二类型的PET图像。
2.根据权利要求1所述的方法，其特征在于，所述G包括：
编码器、解码器、跳跃连接单元和所述样式表达单元；
所述编码器包括：多层编码组件，每一层编码组件用于对上一层编码组件输出的特征图进行特征提取，第一层编码组件用于对输入的第一类型的PET图像进行特征提取输出特征图；
所述样式表达单元用于对输入的第一类型的PET图像依次进行样式表达编码和仿射变换处理，并采用仿射变换处理后的信息对每一层编码组件输出的特征图进行调整，得到对应每一层编码组件的调整后的特征图；
所述跳跃连接单元用于将调整后的特征图传输到与每一层编码组件关联的解码组件中；
所述解码器包括：多层解码组件，每一层解码组件用于将接收的上一层解码组件输出的特征图和跳跃连接单元传输的特征图按照通道维度拼接并对拼接后的特征图进行逐级还原，最后输出第二类型的PET图像。
3.根据权利要求1或2所述的方法，其特征在于，在获取待处理的第一类型的PET图像之前，所述方法还包括：
获取用于训练G的第三类型的PET图像和第四类型的PET图像；
将所述第四类型的PET图像输入到建立的G中，并输出生成的第五类型的PET图像；
将第三类型的PET图像和第五类型的PET图像输入到判别网络D，判断第五类型的PET图像是否与第三类型的PET图像匹配；
调整G的训练参数，并交替进行G和D，以使得G最后输出的PET图像匹配第三类型的PET图像；则获取训练的G；
所述第三类型的PET图像为PET采集设备采集并重建的高信噪比PET图像，第四类型的PET图像为在重建第三类型的PET图像的原始数据序列中抽取部分数据重建得到的、作为用于训练时输入的、对应低信噪比的PET图像。
4.根据权利要求2或3所述的方法，其特征在于，所述编码器包括多层编码组件；所述解码器包括多层解码组件；
所述样式表达单元包括：随机噪声生成单元、特征图调整参数生成单元、特征图调整单元；
所述随机噪声生成单元用于生成加载在每一层编码组件输出的特征图的随机噪声；
所述特征图调整参数生成单元，用于基于输入的PET图像生成对特征图进行尺度变换和偏移的调整参数；所述调整参数与每一层编码组件对应；
所述特征图调整单元，用于与每一层编码组件对应的调整参数对该层编码组件输出的且加载有随机噪声的特征图进行调整，并输出与该层编码组件对应的调整后的特征图。
5.根据权利要求4所述的方法，其特征在于，所述特征图调整参数生成单元，包括：映射网络子单元、仿射处理子单元；
所述映射网络子单元，用于接收输入的PET图像，并生成具有输入的PET图像的低频信息的样式表达编码；所述输入的PET图像为输入G的输入图像；
所述仿射处理子单元，用于将样式表达编码进行映射处理形成对应到每一层编码组件的调整参数，所述调整参数为带有输入图像的特征信息。
6.根据权利要求4所述的方法，其特征在于，所述特征图调整单元，用于根据下述公式一对加载有随机噪声的特征图进行调整；
公式一：
Figure FDA0002937319200000031
γi、βi分别为带有特征信息的调整参数；
μ(xi)为第i层特征图通道维度的均值，σ(xi)，为第i层特征图通道维度的标准差；AdaIN(xi,y)为调整后的特征图的坐标信息，i表示通道的索引，W表示特征表达，A表示仿射变换。
7.根据权利要求5所述的方法，其特征在于，所述映射网络子单元包括：
对输入的PET图像进行像素归一化的归一化模块，
四级下采样的采样模块；所述采样模块借助于卷积层使通道数反比，并通过卷积使得特征图的尺寸减半，并通过激活函数得到通道数为16、尺寸为4*4*4的特征图层，将该特征图层展开成一维数组，并通过线性网络与激活函数处理，得到通道数为1，尺寸为512的样式表达编码；
相应地，所述仿射处理子单元，用于将所述样式表达编码映射成2*n的向量并形成对应到每一层编码组件的调整参数γi、βi，n为G中编码器中编码组件层数；每一层编码组件对应的特征图都对应一组调整参数。
8.根据权利要求4所述的方法，其特征在于：
训练阶段，随机噪声为符合高斯正态分布的随机噪声；
使用阶段，所述随机噪声生成单元生成的随机噪声均为0；
和/或，
所述第一类型的PET图像为经过PET系统对采集的PET图序列进行重建的3D PET图像；
所述第二类型PET图像的像素量级与第一类型PET图像的像素量级基本一致，或者，所述第二类型PET图像的像素量级与对应重建的高信噪比PET图像的像素量级一致。
9.一种用于对CNN中特征图进行调整的样式调整装置，其特征在于，所述样式调整装置包括：
特征图调整参数生成单元和特征图调整单元；
所述特征图调整参数生成单元，用于接收输入的图像，并基于接收的图像生成对所述特征图进行尺度变换和偏移的调整参数，所述调整参数为对应每一层特征图的参数；
所述特征图调整单元，用于采用当前层特征图对应的调整参数对该层的特征图进行调整，并输出当前层调整后的特征图。
10.根据权利要求9所述的样式调整装置，其特征在于，还包括：随机噪声生成单元；
所述随机噪声生成单元用于生成加载于各层特征图的随机噪声；
相应地，所述特征图调整单元，用于采用当前层特征图对应的调整参数对该层中加载有随机噪声的特征图进行调整，并输出当前层调整后的特征图。
11.根据权利要求10所述的样式调整装置，其特征在于，所述随机噪声为符合高斯正态分布的随机噪声；
和/或，
所述特征图调整单元，用于根据下述公式一对加载有随机噪声的特征图进行调整；
公式一：
Figure FDA0002937319200000051
γi、βi分别为带有特征信息的调整参数；
μ(xi)为第i层特征图通道维度的均值，σ(xi)，为第i层特征图通道维度的标准差；AdaIN(xi,y)为调整后的特征图的坐标信息，i表示CNN中编码通道的索引，W表示特征表达，A表示仿射变换。
12.根据权利要求9所述的样式调整装置，其特征在于，所述特征图调整参数生成单元，包括：映射网络子单元、仿射处理子单元；
所述映射网络子单元，用于接收输入的图像，并生成具有输入图像的特征信息的样式表达编码；所述输入的图像为输入CNN的输入图像；
所述仿射处理子单元，用于将样式表达编码进行映射处理形成对应到CNN中每一层编码通道的调整参数，所述调整参数为带有输入图像的特征信息。
13.根据权利要求12所述的样式调整装置，其特征在于，所述映射网络子单元包括：
对输入的图像进行像素归一化的归一化模块，
四级下采样的采样模块；所述采样模块借助于卷积层使通道数反比，并通过卷积使得特征图的尺寸减半，并通过激活函数得到通道数为16、尺寸为4*4*4的特征图层，将该特征图层展开成一维数组，并通过线性网络与激活函数处理，得到通道数为1，尺寸为512的样式表达编码；
相应地，所述仿射处理子单元，用于将所述样式表达编码映射成2*n的向量并形成对应到每一层编码组件的调整参数γi、βi，n为CNN中特征图的层数；每一层特征图都对应一组调整参数，i为特征图的层数。
14.一种电子设备，其特征在于，包括：存储器、处理器和总线，所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行所述程序，其中，所述程序运行时执行权利要求1至8任一所述的PET图像处理方法。
15.一种PET系统，其特征在于，包括：PET图像重建设备和上述权利要求14所述的电子设备，所述PET重建设备重建的PET图像经由所述电子设备进行处理。
CN202110164795.XA 2021-02-05 2021-02-05 一种pet图像处理方法 Active CN112819914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110164795.XA CN112819914B (zh) 2021-02-05 2021-02-05 一种pet图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110164795.XA CN112819914B (zh) 2021-02-05 2021-02-05 一种pet图像处理方法

Publications (2)

Publication Number Publication Date
CN112819914A true CN112819914A (zh) 2021-05-18
CN112819914B CN112819914B (zh) 2023-07-18

Family

ID=75862019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110164795.XA Active CN112819914B (zh) 2021-02-05 2021-02-05 一种pet图像处理方法

Country Status (1)

Country Link
CN (1) CN112819914B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052840A (zh) * 2021-04-30 2021-06-29 江苏赛诺格兰医疗科技有限公司 一种基于低信噪比pet图像的处理方法
CN113393551A (zh) * 2021-06-30 2021-09-14 赛诺联合医疗科技（北京）有限公司 一种基于云服务器的影像系统
CN114202475A (zh) * 2021-11-24 2022-03-18 北京理工大学 自适应图像增强方法和系统
CN115063411A (zh) * 2022-08-04 2022-09-16 湖南自兴智慧医疗科技有限公司 一种染色体异常区域分割检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298804A (zh) * 2019-07-01 2019-10-01 东北大学 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法
CN111814875A (zh) * 2020-07-08 2020-10-23 西安电子科技大学 基于样式生成对抗网络的红外图像中舰船样本扩充方法
CN112053412A (zh) * 2020-08-31 2020-12-08 浙江大学 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298804A (zh) * 2019-07-01 2019-10-01 东北大学 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法
CN111814875A (zh) * 2020-07-08 2020-10-23 西安电子科技大学 基于样式生成对抗网络的红外图像中舰船样本扩充方法
CN112053412A (zh) * 2020-08-31 2020-12-08 浙江大学 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAHONG OUYANG等: "Ultra-low-dose PET reconstruction using generative adversarial network with feature matching and task-specific perceptual loss", 《AMERICAN ASSOCIATION OF PHYSICISTS IN MEDICINE》 *
TERO KARRAS等: "A Style-Based Generator Architecture for Generative Adversarial Networks", 《CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052840A (zh) * 2021-04-30 2021-06-29 江苏赛诺格兰医疗科技有限公司 一种基于低信噪比pet图像的处理方法
CN113052840B (zh) * 2021-04-30 2024-02-02 江苏赛诺格兰医疗科技有限公司 一种基于低信噪比pet图像的处理方法
CN113393551A (zh) * 2021-06-30 2021-09-14 赛诺联合医疗科技（北京）有限公司 一种基于云服务器的影像系统
CN114202475A (zh) * 2021-11-24 2022-03-18 北京理工大学 自适应图像增强方法和系统
CN115063411A (zh) * 2022-08-04 2022-09-16 湖南自兴智慧医疗科技有限公司 一种染色体异常区域分割检测方法和系统

Also Published As

Publication number Publication date
CN112819914B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Liao et al. ADN: artifact disentanglement network for unsupervised metal artifact reduction
Hu et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis
Wang et al. 3D auto-context-based locality adaptive multi-modality GANs for PET synthesis
CN112819914A (zh) 一种pet图像处理方法
Zhan et al. Multi-modal MRI image synthesis via GAN with multi-scale gate mergence
CN110444277B (zh) 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
US20230127939A1 (en) Multi-task learning based regions-of-interest enhancement in pet image reconstruction
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN111340903A (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统
Do et al. 7T MRI super-resolution with Generative Adversarial Network
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Hu et al. Data-enabled intelligence in complex industrial systems cross-model transformer method for medical image synthesis
Dayarathna et al. Deep learning based synthesis of MRI, CT and PET: Review and analysis
Chen et al. Harmonized neonatal brain MR image segmentation model for cross-site datasets
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Lee et al. Study on optimal generative network for synthesizing brain tumor-segmented MR images
Zhang et al. Automatic parotid gland segmentation in MVCT using deep convolutional neural networks
CN112991220A (zh) 一种基于多重约束的卷积神经网络校正图像伪影的方法
Chen et al. MedPrompt: Cross-Modal Prompting for Multi-Task Medical Image Translation
CN112102251A (zh) 一种分割影像的方法及装置、电子设备和存储介质
CN113744284B (zh) 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
WO2022120731A1 (zh) 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
Yousefi et al. ASL to PET translation by a semi-supervised residual-based attention-guided convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant