CN116843679A - 基于深度图像先验框架的pet图像部分容积校正方法 - Google Patents

基于深度图像先验框架的pet图像部分容积校正方法 Download PDF

Info

Publication number
CN116843679A
CN116843679A CN202311085301.4A CN202311085301A CN116843679A CN 116843679 A CN116843679 A CN 116843679A CN 202311085301 A CN202311085301 A CN 202311085301A CN 116843679 A CN116843679 A CN 116843679A
Authority
CN
China
Prior art keywords
image
model
pet
partial volume
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311085301.4A
Other languages
English (en)
Other versions
CN116843679B (zh
Inventor
高园园
刘政
傅蓉
阳维
冯前进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN202311085301.4A priority Critical patent/CN116843679B/zh
Publication of CN116843679A publication Critical patent/CN116843679A/zh
Application granted granted Critical
Publication of CN116843679B publication Critical patent/CN116843679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请公开了一种基于深度图像先验框架的PET图像部分容积校正方法,所述方法包括对多个目标物分别进行图像采集,获得每个目标物的PET图像和MR图像,构建深度图像先验网络模型和部分容积校正目标函数,通过模型群体训练获得优化后的深度图像先验网络模型,将待校正PET图像对应的MR图像输入优化后的深度图像先验网络模型,获得校正的PET图像,通过个体微调优化深度图像先验网络模型。本申请采用深度图像先验框架进行PET图像的部分容积校正,可以提升图像质量,降低模型学习成本,减少模型迭代训练次数,加快模型训练速度,通过个体微调的方式,更好地获取到图像细节。本申请广泛应用于图像处理技术领域。

Description

基于深度图像先验框架的PET图像部分容积校正方法
技术领域
本申请涉及图像处理技术领域,特别涉及一种基于深度图像先验框架的PET图像部分容积校正方法。
背景技术
现有的大部分基于解剖先验的部分容积校正方法,对MR图像的分割过分依赖,MR图像的分割准确性会对校正的结果产生较大的影响。
大多数PET图像部分容积校正方法,属于逐像素的校正方法,在保证算法精度的情况下,很难提高算法的速度,模型训练往往需要大量成对数据以学习映射,而其临床获取往往比较困难。
术语解释:
PET图像:正电子发射计算机断层成像(Positron Emission Tomography,PET)技术是目前唯一可在活体上显示生物分子代谢、受体及神经活动的新型影像技术,可检测分子阶段的疾病,现已广泛应用于多种疾病的早期诊断、疗效评价等方面,是临床诊断和研究的重要医学影像工具。
MR图像:磁共振成像(Magnetic Resonance Imaging,MRI)是利用核磁共振现象制成的一类用于医学检查的成像设备,可为临床提供高质量的解剖影像。
部分容积校正:PET图像上各个像素的数值代表相应单位组织的平均活度值,当它不能如实反映该单位组织本身的活度值时的现象称为部分容积效应(Partial VolumeEffect,PVE)。部分容积效应会使得图像模糊,病灶失真,导致图像质量退化,影响临床的诊断和定量评价,因此需要部分容积校正(Partial Volume Correction,PVC)降低其影响。
发明内容
为了解决至少一个上述相关技术中存在的技术问题,本申请实施例提供了一种基于深度图像先验框架的PET图像部分容积校正方法,旨在提升深度图像先验的校正图像质量,加快模型的训练速度。
本申请实施例提出了一种基于深度图像先验框架的PET图像部分容积校正方法,包括以下步骤:
对多个目标物分别进行图像采集,获得每个所述目标物的PET图像和MR图像;
采用深度图像先验框架,构建深度图像先验网络模型,在神经网络损失函数中引入去噪正则化和反投影保真项,获得部分容积校正目标函数;
根据所述部分容积校正目标函数,确定所述深度图像先验网络模型的模型训练参数;
采用群体训练策略,针对各所述目标物的PET图像和MR图像,执行模型群体训练操作,计算所述部分容积校正目标函数,采用梯度下降法迭代更新所述模型训练参数,最后执行参数冻结操作,获得优化后的深度图像先验网络模型;
获取同一目标物的待校正PET图像以及对应的MR图像,输入所述对应的MR图像至所述优化后的深度图像先验网络模型,获得校正的PET图像,将所述待校正PET图像作为模型图像标签,执行个体微调操作,计算所述部分容积校正目标函数,优化所述优化后的深度图像先验网络模型。
在一些实施例,所述方法还包括步骤:
采用模型训练早停策略,根据早停判断指标,判断是否终止所述模型群体训练操作或所述个体微调操作;所述早停判断指标包括峰值信噪比以及结构相似度;
当所述峰值信噪比在第一阈值范围内,以及所述结构相似度在第二阈值范围内时,终止所述模型群体训练操作或所述个体微调操作;所述第一阈值范围为预设的峰值信噪比的数值范围;所述第二阈值范围为预设的结构相似度的数值范围。
在一些实施例,所述对多个目标物分别进行图像采集,获得每个所述目标物的PET图像和MR图像这一步骤,具体包括:
通过PET设备和MRI设备采集同一目标物的PET图像数据和MR图像数据,获得每个所述目标物的第一PET图像和第一MR图像;
对所述第一PET图像进行图像数据预处理,针对所述第一PET图像的像素非法值,使用合法值进行代替,获得第二PET图像;
对所述第一MR图像进行图像数据预处理,针对所述第一MR图像的像素非法值,使用合法值进行代替,获得第二MR图像;
对每个所述目标物的所述第二PET图像和所述第二MR图像进行归一化处理,获得成对的所述PET图像和所述MR图像。
在一些实施例,对每个所述目标物的所述第二PET图像和所述第二MR图像进行归一化处理,获得成对的所述PET图像和所述MR图像这一步骤,具体用下式表示:
其中,x表示所述第二PET图像或所述第二MR图像,min(x)为图像的像素最小值,max(x)为图像的像素最大值,xnorm为经过归一化处理后形成的归一化的所述PET图像或归一化的所述MR图像。
在一些实施例,所述采用深度图像先验框架,构建深度图像先验网络模型,在神经网络损失函数中引入去噪正则化和反投影保真项,获得部分容积校正目标函数这一步骤,具体用下式表示:
式1:
式2:
式3:
式4:
式5:
式6:
式7:
其中,y为原始图像,x为真值图像,xRed为候选真值图像,式1中的n表示噪声,W为PET系统矩阵,*表示卷积操作,W为W的伪逆矩阵,WW为图像行空间上的正交投影,W为WRn到Rn上的反向投影,Rn表示n维实向量,R表示实数,u表示等式约束集合的拉格朗日乘子向量,θ表示待优化的神经网络参数,un、xRed n、θn的角标n表示迭代轮数,Tθ(-)表示神经网络映射,T表示神经网络,z表示随机张量,υ为可选择的权重参数,i,j表示图像的第i行第j列像素点,xRed T表示候选真值图像xRed的转置,λ和μ是可选择的自由参数,f(-)表示去噪器,式2为神经网络损失函数,式3和式4为去噪正则化的相关公式,BP为反投影保真项,TV为全变分正则项,式7为部分容积校正目标函数。
在一些实施例,所述深度图像先验网络模型包括模型解码器和模型编码器;所述模型训练参数包括第一训练参数和第二训练参数;所述第一训练参数为所述模型编码器的参数;所述第二训练参数为所述模型解码器的参数;所述模型编码器用于学习MR图像的结构信息,深度提取MR图像的特征;所述模型解码器用于将所述模型编码器提取的MR图像特征表达重构为PET图像。
在一些实施例,所述采用群体训练策略,针对各所述目标物的PET图像和MR图像,执行模型群体训练操作,计算所述部分容积校正目标函数,采用梯度下降法迭代更新所述模型训练参数,最后执行参数冻结操作,获得优化后的深度图像先验网络模型这一步骤,具体包括:
执行模型群体训练操作,依次输入各所述目标物的所述MR图像至所述深度图像先验网络模型,生成对应的预训练PET图像,将同一目标物的所述PET图像作为模型图像标签,根据所述预训练PET图像与所述模型图像标签,计算所述部分容积校正目标函数,采用梯度下降法迭代更新所述模型训练参数;
对所述深度图像先验网络模型执行参数冻结操作,固定所述第一训练参数,获得所述优化后的深度图像先验网络模型。
在一些实施例,所述方法还包括步骤:
采用Adam算法与余弦退火方法,调整群体训练学习率和个体微调学习率;所述群体训练学习率为执行所述模型群体训练操作时所述深度图像先验网络模型的学习率;所述个体微调学习率为执行所述个体微调操作时所述深度图像先验网络模型的学习率。
在一些实施例,所述深度图像先验网络模型为使用网络结构作为模型学习的隐式先验模型。
在一些实施例,所述获取同一目标物的待校正PET图像以及对应的MR图像,输入所述对应的MR图像至所述优化后的深度图像先验网络模型,获得校正的PET图像,将所述待校正PET图像作为模型图像标签,执行个体微调操作,计算所述部分容积校正目标函数,优化所述优化后的深度图像先验网络模型这一步骤,具体包括:
将所述对应的MR图像输入至所述优化后的深度图像先验网络模型,获得所述校正的PET图像;
根据所述待校正的PET图像和所述校正的PET图像,执行所述个体微调操作,计算所述部分容积校正目标函数,调整所述部分容积校正目标函数的参数;
根据所述部分容积校正目标函数的参数,调整所述模型训练参数,优化所述优化后的深度图像先验网络模型。
本申请提供的一种基于深度图像先验框架的PET图像部分容积校正方法,其通过获取多个目标物的PET图像和MR图像,采取群体训练策略,针对各个目标物的MR图像和PET图像,执行模型群体训练操作,计算部分容积校正目标函数,获得优化后的深度图像先验网络模型,执行个体微调操作,通过优化后的深度图像先验网络模型对待校正PET图像进行容积校正,获得校正的PET图像并优化上述优化后的深度图像先验网络模型。本申请采用深度图像先验框架进行PET图像的部分容积校正,避免采集大量成对大数据集的同时提升图像质量,降低模型学习成本,使用群体训练的策略进行模型预训练,减少模型迭代训练次数,加快了模型训练速度,通过个体微调的方式,更好地获取到图像细节。
附图说明
图1是本申请实施例提供的一种基于深度图像先验框架的PET图像部分容积校正方法的流程图;
图2是本申请实施例的深度图像先验框架的结构示意图;
图3是本申请实施例使用深度图像先验框架进行模型群体训练和个体微调的示意图;
图4是本申请实施例深度图像先验网络模型中模型编码器与模型解码器的结构示意图(一);
图5是本申请实施例深度图像先验网络模型中模型编码器与模型解码器的结构示意图(二);
图6是本申请实施例使用模拟数据进行图像部分容积校正测试,模拟图像校正前后的对比图;
图7是本申请实施例使用临床数据进行图像部分容积校正测试,临床图像校正前后的对比图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
参照图1,图1是本申请实施例提供的一种基于深度图像先验框架的PET图像部分容积校正方法的一个可选的流程图,该方法包括但不限于包括步骤S101至步骤S105:
步骤S101,对多个目标物分别进行图像采集,获得每个目标物的PET图像和MR图像;
步骤S102,采用深度图像先验框架,构建深度图像先验网络模型,在深度图像先验网络模型的神经网络损失函数中引入去噪正则化和反投影保真项,获得部分容积校正目标函数;
步骤S103,根据部分容积校正目标函数,确定深度图像先验网络模型的模型训练参数;
步骤S104,采用群体训练策略,针对各目标物的PET图像和MR图像,执行模型群体训练操作,计算部分容积校正目标函数,采用梯度下降法迭代更新模型训练参数,最后执行参数冻结操作,获得优化后的深度图像先验网络模型;
步骤S105,获取同一目标物的待校正PET图像以及对应的MR图像,输入对应的MR图像至优化后的深度图像先验网络模型,获得校正的PET图像,将待校正PET图像作为模型图像标签,执行个体微调操作,计算部分容积校正目标函数,优化上述优化后的深度图像先验网络模型。
在一些实施例中,深度图像先验网络模型包括模型编码器和模型解码器;模型训练参数包括第一训练参数和第二训练参数;第一训练参数为模型编码器的参数;第二训练参数为模型解码器的参数;模型编码器用于学习MR图像的结构信息,深度提取MR图像的特征;模型解码器用于将模型编码器提取的MR图像特征表达重构为PET图像。
在一些实施例中,在执行步骤S104、S105时,上述方法还包括步骤S201至步骤S202:
步骤S201,采用模型训练早停策略,根据早停判断指标,判断是否终止模型群体训练操作或个体微调操作;
步骤S202,当峰值信噪比在第一阈值范围内,以及结构相似度在第二阈值范围内时,终止模型群体训练操作;第一阈值范围为预设的峰值信噪比的数值范围;第二阈值范围为预设的结构相似度的数值范围。
在一些实施例的步骤S201至步骤S202中,早停判断指标包括峰值信噪比以及结构相似度,使用早停策略提前终止训练以防止模型过拟合。早停判断指标,即图像质量定量评价指标,采用峰值信噪比(Peak signal-to-noise ratio,PSNR)和结构相似度(StructuralSimilarity,SSIM)。
对于尺寸大小为m×n的图像x、y,峰值信噪比公式如下:
其中MAX表示图像像素的最大值,MSE表示图像均方误差。其MSE通过计算每个像素坐标点的平方差得到,如下式所示:
其中,x(i,j)表示图像x中第i行第j列的像素点,y(i,j)表示图像y中第i行第j列的像素点。
结构相似度SSIM公式如下:
其中,是图像x的均值,/>是图像y的均值,/>是图像x和图像y的协方差,/>是图像x的标准差,/>是图像y的标准差,/>和/>是维持稳定的常数。
在一些实施例中,步骤S101包括但不限于包括步骤S301至步骤S304:
步骤S301,通过PET设备和MRI设备采集同一目标物的PET图像数据和MR图像数据,获得每个目标物的第一PET图像和第一MR图像;
步骤S302,对第一PET图像进行图像数据预处理,针对第一PET图像的像素非法值,使用合法值进行代替,获得第二PET图像;
步骤S303,对第一MR图像进行图像数据预处理,针对第一MR图像的像素非法值,使用合法值进行代替,获得第二MR图像;
步骤S304,对每个目标物的第二PET图像和第二MR图像进行归一化处理,获得成对的PET图像和MR图像。
在一些实施例的步骤S302至步骤S303中,PET图像和MR图像的像素非法值包括极大、极小值,程序无法识别的值等,合法值包括0等符合实际需要的值。
在一些实施例的步骤S304中,对第二PET图像和第二MR图像进行归一化处理,具体地,放缩图像至指定(本方案展示的模型为256×256)大小以适应网络模型,输入图像增加Noise2void掩码,归一化处理对于图像x,具体可用下式表示:
其中,x表示上述第二PET图像或上述第二MR图像,min(x)为图像的像素最小值,max(x)为图像的像素最大值,xnorm为经过归一化处理后形成的归一化的PET图像或归一化的MR图像。
在一些实施例的步骤S102中,深度图像先验网络模型(Deep Image Prior,DIP)为使用网络结构作为模型学习的隐式先验模型,将图像本身作为标签迭代训练模型,无需包含真值图像的大量图像对,是一种小样本无监督学习。
PET图像可以视为潜在真值图像(校正图像)、部分容积效应和噪声的集合,真值图像x、原始图像y和噪声n,有如下建模:
其中,*表示卷积,W表示PET系统矩阵。
PET系统矩阵是PET成像中表示图像空间与投影之间映射关系的矩阵,反映了示踪剂对于图像像素的贡献,受到包括示踪剂种类、散射、衰减等多种因素共同影响,由整个PET成像系统决定,通常用W表示。
对于求x的图像逆问题,深度图像先验优化目标为:
式1:
其中,E表示能量函数,如均方误差、L1范数和最小二乘法。Tθ(·)表示神经网络映射,T表示神经网络,θ表示待优化的神经网络参数。z表示随机张量。x表示真值图像,迭代结束后最终神经网络输出即为真值图像。
为了提升图像质量,本申请实施例在深度图像先验框架中引入了去噪正则化(Regularization by Denoising,Red)和反投影保真项(Backprojection based fidelityterm,BP)在网络损失函数上作出改进。去噪正则化作为一种显式先验,依赖现有的去噪算法正则化逆问题,能够减少噪声、提升图像质量,并保证收敛到全局最优结果。将DIP与Red合并,使用原始DIP的最小二乘保真项作为能量函数,并且使用增广拉格朗日乘子法将式1中的约束项转化为惩罚项,获得初步的部分容积校正目标函数如式2所示:
式2:
其中,f(-)表示去噪器,xRed为候选真值图像、y为原始图像,u表示等式约束集合的拉格朗日乘子向量,λ和μ是可选择的自由参数,xRed T的T表示x的转置,xn、θn的角标n表示迭代轮数,Tθ(-)表示神经网络映射,T表示神经网络,θ表示待优化的神经网络参数,z表示随机张量。
需要说明的是,上述μ是可选择的自由参数,上述u表示等式约束集合的拉格朗日乘子向量,上述μ和上述u并不相同,二者在公式中表示的含义不同。
为了避免对去噪器函数求导,采用交替方向乘子法依次更新式2中待优化的神经网络参数θ,如式3至式5所示:
式3:
式4:
式5:
其中,un、xRed n、θn的角标n表示迭代轮数,θ表示待优化的神经网络参数,u表示等式约束集合的拉格朗日乘子向量,x为真值图像,xRed表示候选真值图像,Tθ(-)表示神经网络映射,T表示神经网络,z表示随机张量,λ和μ是可选择的自由参数,f(-)表示去噪器,xRed T的T表示候选真值图像xRed的转置。
在去噪正则化(Regularization by Denoising,Red)中,使用候选真值图像xRed代替真值图像x,对真值图像x进行处理,生成候选真值图像xRed,真值图像x与候选真值图像xRed一致。
θ可以通过使用梯度下降法进行更新,使用不动点迭代法更新xRed,式4和式5可以合并成为式6,式6如下所示:
式6:
其中,λ和μ是可选择的自由参数,u表示等式约束集合的拉格朗日乘子向量,x为真值图像,xRed表示候选真值图像,xRed T的T表示候选真值图像xRed的转置,un、xRed n、θn的角标n表示迭代轮数,θ表示待优化的神经网络参数,z表示随机张量,Tθ(-)表示神经网络映射,T表示神经网络,f(-)表示去噪器。
为了加速迭代和提升校正质量,本申请实施例还引入了反投影保真项作为最小二乘保真项的替代。在m×n的PET系统矩阵W的秩为m且m<n的实际假设下,全行秩PET系统矩阵W的伪逆矩阵由给出,则BP反投影保真项如下式7所示:
式7:
其中,BP为反投影保真项,W为PET系统矩阵,W为W的伪逆矩阵,WW为图像行空间上的正交投影,y为原始图像,Tθ(-)表示神经网络映射,T表示神经网络,θ表示待优化的神经网络参数,z表示随机张量。
在面对复杂先验时,BP也需要添加额外的正则化提升效果。为了降低对噪声的敏感性,本申请实施例额外添加了鼓励图像分段平滑的全变分(Total Variation,TV)正则化以期产生更稳定的恢复。TV正则项lTV如下式8所示:
式8:
其中,υ是可选择的权重参数,i,j表示图像的第i行第j列像素点,Tθ(·)表示神经网络映射,T表示神经网络,θ表示待优化的神经网络参数,z表示随机张量。
经过二次型拓展和加入正则项TV,结合式7,对式3进行更新,更新后的式3如下式9所示:
式9:
其中,y为原始图像,xRed为候选真值图像,W为PET系统矩阵,W为W的伪逆矩阵,WW为图像行空间上的正交投影,W为WRn到Rn上的反向投影,Rn表示n维实向量,R表示实数,Tθ(-)表示神经网络映射,T表示神经网络,θ表示待优化的神经网络参数,z表示随机张量,μ是可选择的自由参数,u表示等式约束集合的拉格朗日乘子向量,un、xRed n、θn的角标n表示迭代轮数,TV为上述式8的全变分正则项。
BP反投影保真项使在线性算子的行空间上的优化变量的投影和应用与观测值的线性算子的伪逆之间达成一致。校正过程通常是病态的,W的条件数,即W的最大奇异值与最小奇异值平方比,由于通常将W归一化,W的最大奇异值接近1而其他奇异值接近0,而变得非常大,这种情况下BP的均方误差均小于LS项(最小二乘保真项)。BP的表现与噪声水平呈反比,在高噪声水平下退化为LS项。在整个PET成像系统退化矩阵拥有优异估计的情况下BP项能够极大改善图像质量和加快收敛。
在一些实施例中,步骤S104可以包括但不限于包括步骤S401至步骤S402:
步骤S401,执行模型群体训练操作,依次输入各目标物的MR图像至深度图像先验网络模型,生成对应的预训练PET图像,将同一目标物的PET图像作为模型图像标签,根据预训练PET图像与模型图像标签,计算部分容积校正目标函数,采用梯度下降法迭代更新模型训练参数;
步骤S402,对深度图像先验网络模型执行参数冻结操作,固定第一训练参数,获得优化后的深度图像先验网络模型。
在一些实施例的步骤S401至步骤S402中,对于多个目标物依次执行步骤S401、S402直至所有目标物完成模型群体训练。
在一些实施例的步骤S402中,对深度图像先验网络模型执行参数冻结操作,具体地,根据优化后的部分容积校正目标函数中的参数,更新深度图像先验网络模型中对应的参数(模型训练参数),最后对模型编码器的参数(第一训练参数)进行冻结,固定模型编码器的参数(第一训练参数),获得参数固定的模型编码器对应的优化后的深度图像先验网络模型。
受条件对抗生成网络思想影响,本申请实施例在输入端改为使用MR图像作为条件信息,从而有可能约束、指导图像生成,使结果包含更多细节。通过深度学习方法,模型能够隐含地学习一些MR图像和PET图像的位置关系,降低MR图像的配准误差对于成像质量的影响。
在模型训练过程中,采用Adam算法与余弦退火方法,优化模型训练,调整群体训练学习率和个体微调学习率,群体训练学习率为执行模型群体训练操作时深度图像先验网络模型的学习率,个体微调学习率为执行个体微调操作时深度图像先验网络模型的学习率。
参照图2,图2是本申请实施例提供的深度图像先验框架的一个可选的结构示意图,深度图像先验框架为上述深度图像先验网络模型和神经网络损失函数组成的训练框架,其中,待校正的PET图像对应的MR图像作为输入,待校正的PET图像作为标签图像,通过深度图像先验网络模型输出校正后PET图像,校正后PET图像与标签图像对比,优化损失函数(神经网络损失函数),损失函数将更新参数传回至深度图像先验网络模型。
本申请实施例采用深度图像先验框架,使用多个待校正的PET图像对应的MR图像作为模型输入数据进行群体训练,将多个PET图像作为模型图像标签用于迭代更新部分容积校正目标函数的参数,具体地,每轮首先计算上述式9后,更新网络参数θ,接着根据上述式4更新Red辅助参数xRed,根据上述式5更新Red辅助参数u,单轮的深度图像先验训练流程如上述图2所示,最终深度图像先验网络模型输出即为校正的PET图像,最终上述优化后的部分容积校正目标函数可以表示为:
其中,y为原始图像,xRed为候选真值图像,W为PET系统矩阵,WT为W的转置矩阵,Tθ(-)表示神经网络映射,T表示神经网络,z表示随机张量,i,j表示图像的第i行第j列像素点,υ为可选择的权重参数,λ和μ是可选择的自由参数,f(-)表示去噪器,xRed T表示候选真值图像xRed的转置,u表示等式约束集合的拉格朗日乘子向量。
为了从其他图像中学习更多信息进一步补充获取目标图像的潜在细节,本申请实施例加入群体训练一个体微调的训练方法,参照图3,图3是本申请实施例的深度图像先验框架的训练流程示意图,其中上方对应模型群体训练的流程,依次将待校正的群体PET对应的群体MR(各目标物的MR图像)输入至深度图像先验网络模型,将待校正的群体PET(由各目标物的PET图像组成)作为群体标签(模型图像标签),输出群体PET,优化损失函数,更新参数返回至模型。下方对应个体微调的流程,将模型群体训练完成后的预训练参数θ传给模型,并对模型编码器执行参数冻结操作,固定模型编码器的参数,将个体的待校正的PET图像对应的MR图像作为输入,个体的待校正的PET图像作为标签图像,通过深度图像先验网络模型输出校正后PET图像,将校正后PET图像与标签图像(待校正的PET图像)进行对比,计算损失函数(部分容积校正目标函数),损失函数将更新参数继续传回至深度图像先验网络模型,优化深度图像先验网络模型。
模型群体训练结束后,将用于特征提取的模型编码器的参数冻结,经过多次个体微调后,优化深度图像先验网络模型,可以输出更精确的校正的PET图像。
参照图4和图5,图4是模型编码器与模型解码器的结构示意图(1),图5是模型编码器与模型解码器的结构示意图(2),结构示意图(2)中的结构与结构示意图(1)中的结构相同,为了便于理解,结构示意图(2)对结构示意图(1)中的结构进行了划分和结构含义解释,其中,标号1为3×3 Conv,标号2为3×3 stride2 Conv,标号3为Context module,标号4为localization module,标号5为Upsample module,标号6为Element-wise sum,标号7为Concatenation,模型编码器对应中Context module和3×3 stride2 Conv子结构,负责学习MR图像的结构信息,深度提取MR图像的特征。模型解码器对应Upsample module和localization module,其中上采样Upsample module使用双线性差值法,并且将各层模型编码器的输出与深层上采样特征拼接以补充图像细节、缓解训练梯度消失和爆炸问题,负责将模型编码器提取的MR图像特征表达重构为PET图像。
在一些实施例中,步骤S105可以包括但不限于包括步骤S501至步骤S503:
步骤S501,将对应的MR图像输入至优化后的深度图像先验网络模型,获得校正的PET图像;
步骤S502,根据待校正的PET图像和校正的PET图像,执行个体微调操作,计算部分容积校正目标函数,调整部分容积校正目标函数的参数;
步骤S503,根据部分容积校正目标函数的参数,调整模型训练参数,优化上述优化后的深度图像先验网络模型。
本申请实施例使用模拟数据进行图像部分容积校正测试,参照图6,图6是模拟图像校正前后的对比图,其中,图像A为待校正的模拟MR图像,图像B为待校正的模拟PET图像,图像C为未采用深度图像先验框架进行训练的深度图像先验网络模型生成的PET图像,图像D为本申请实施例采用深度图像先验框架进行训练的深度图像先验网络模型生成的校正PET图像。
经过对比,图像D相对于图像C,在PSNR和SSIM指标上分别取得了1.835和0.2026的提升。
本申请实施例使用临床数据进行图像部分容积校正测试,参照图7,图7是临床图像校正前后的对比图,其中,图像A为待校正的临床MR图像,图像B为待校正的临床PET图像,图像C为未采用深度图像先验框架进行训练的深度图像先验网络模型生成的PET图像,图像D为本申请实施例采用深度图像先验框架进行训练的深度图像先验网络模型生成的校正PET图像。
经过对比,图像D相对于图像C,在PSNR和SSIM指标上分别取得了2.6156和0.0438的提升。
本申请实施例提供的一种基于深度图像先验框架的PET图像部分容积校正方法,其通过获取多个目标物的PET图像和MR图像,采取群体训练策略,针对各个目标物的MR图像和PET图像,执行模型群体训练操作,计算部分容积校正目标函数,获得优化后的深度图像先验网络模型,执行个体微调操作,通过优化后的深度图像先验网络模型对待校正PET图像进行容积校正,获得校正的PET图像并优化上述优化后的深度图像先验网络模型。本申请采用深度图像先验框架进行PET图像的部分容积校正,避免采集大量成对大数据集的同时提升图像质量,降低模型学习成本,使用群体训练的策略进行模型预训练,减少模型迭代训练次数,加快了模型训练速度,通过个体微调的方式,更好地获取到图像细节。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。

Claims (10)

1.一种基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,包括以下步骤:
对多个目标物分别进行图像采集,获得每个所述目标物的PET图像和MR图像;
采用深度图像先验框架,构建深度图像先验网络模型,在神经网络损失函数中引入去噪正则化和反投影保真项,获得部分容积校正目标函数;
根据所述部分容积校正目标函数,确定所述深度图像先验网络模型的模型训练参数;
采用群体训练策略,针对各所述目标物的PET图像和MR图像,执行模型群体训练操作,计算所述部分容积校正目标函数,采用梯度下降法迭代更新所述模型训练参数,最后执行参数冻结操作,获得优化后的深度图像先验网络模型;
获取同一目标物的待校正PET图像以及对应的MR图像,输入所述对应的MR图像至所述优化后的深度图像先验网络模型,获得校正的PET图像,将所述待校正PET图像作为模型图像标签,执行个体微调操作,计算所述部分容积校正目标函数,优化所述优化后的深度图像先验网络模型。
2.根据权利要求1所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述方法还包括步骤:
采用模型训练早停策略,根据早停判断指标,判断是否终止所述模型群体训练操作或所述个体微调操作;所述早停判断指标包括峰值信噪比以及结构相似度;
当所述峰值信噪比在第一阈值范围内,以及所述结构相似度在第二阈值范围内时,终止所述模型群体训练操作或所述个体微调操作;所述第一阈值范围为预设的峰值信噪比的数值范围;所述第二阈值范围为预设的结构相似度的数值范围。
3.根据权利要求1所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述对多个目标物分别进行图像采集,获得每个所述目标物的PET图像和MR图像这一步骤,具体包括:
通过PET设备和MRI设备采集同一目标物的PET图像数据和MR图像数据,获得每个所述目标物的第一PET图像和第一MR图像;
对所述第一PET图像进行图像数据预处理,针对所述第一PET图像的像素非法值,使用合法值进行代替,获得第二PET图像;
对所述第一MR图像进行图像数据预处理,针对所述第一MR图像的像素非法值,使用合法值进行代替,获得第二MR图像;
对每个所述目标物的所述第二PET图像和所述第二MR图像进行归一化处理,获得成对的所述PET图像和所述MR图像。
4.根据权利要求3所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述对每个所述目标物的所述第二PET图像和所述第二MR图像进行归一化处理,获得成对的所述PET图像和所述MR图像这一步骤,具体用下式表示:
其中,x表示所述第二PET图像或所述第二MR图像,min(x)为图像的像素最小值,max(x)为图像的像素最大值,xnorm为经过归一化处理后形成的归一化的所述PET图像或归一化的所述MR图像。
5.根据权利要求1所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述采用深度图像先验框架,构建深度图像先验网络模型,在神经网络损失函数中引入去噪正则化和反投影保真项,获得部分容积校正目标函数这一步骤,具体用下式表示:
式1:
式2:
式3:
式4:
式5:
式6:
式7:
其中,y为原始图像,x为真值图像,xRed为候选真值图像,式1中的n表示噪声,W为PET系统矩阵,*表示卷积操作,W为W的伪逆矩阵,WW为图像行空间上的正交投影,W为WRn到Rn上的反向投影,Rn表示n维实向量,R表示实数,u表示等式约束集合的拉格朗日乘子向量,θ表示待优化的神经网络参数,un、xRed n、θn的角标n表示迭代轮数,Tθ(-)表示神经网络映射,T表示神经网络,z表示随机张量,υ为可选择的权重参数,i,j表示图像的第i行第j列像素点,xRed T表示候选真值图像xRed的转置,λ和μ是可选择的自由参数,f(-)表示去噪器,式2为神经网络损失函数,式3和式4为去噪正则化的相关公式,BP为反投影保真项,TV为全变分正则项,式7为部分容积校正目标函数。
6.根据权利要求1所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述深度图像先验网络模型包括模型解码器和模型编码器;所述模型训练参数包括第一训练参数和第二训练参数;所述第一训练参数为所述模型编码器的参数;所述第二训练参数为所述模型解码器的参数;所述模型编码器用于学习MR图像的结构信息,深度提取MR图像的特征;所述模型解码器用于将所述模型编码器提取的MR图像特征表达重构为PET图像。
7.根据权利要求6所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述采用群体训练策略,针对各所述目标物的PET图像和MR图像,执行模型群体训练操作,计算所述部分容积校正目标函数,采用梯度下降法迭代更新所述模型训练参数,最后执行参数冻结操作,获得优化后的深度图像先验网络模型这一步骤,具体包括:
执行模型群体训练操作,依次输入各所述目标物的所述MR图像至所述深度图像先验网络模型,生成对应的预训练PET图像,将同一目标物的所述PET图像作为模型图像标签,根据所述预训练PET图像与所述模型图像标签,计算所述部分容积校正目标函数,采用梯度下降法迭代更新所述模型训练参数;
对所述深度图像先验网络模型执行参数冻结操作,固定所述第一训练参数,获得所述优化后的深度图像先验网络模型。
8.根据权利要求1所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述方法还包括步骤:
采用Adam算法与余弦退火方法,调整群体训练学习率和个体微调学习率;所述群体训练学习率为执行所述模型群体训练操作时所述深度图像先验网络模型的学习率;所述个体微调学习率为执行所述个体微调操作时所述深度图像先验网络模型的学习率。
9.根据权利要求1所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述深度图像先验网络模型为使用网络结构作为模型学习的隐式先验模型。
10.根据权利要求1所述的基于深度图像先验框架的PET图像部分容积校正方法,其特征在于,所述获取同一目标物的待校正PET图像以及对应的MR图像,输入所述对应的MR图像至所述优化后的深度图像先验网络模型,获得校正的PET图像,将所述待校正PET图像作为模型图像标签,执行个体微调操作,计算所述部分容积校正目标函数,优化所述优化后的深度图像先验网络模型这一步骤,具体包括:
将所述对应的MR图像输入至所述优化后的深度图像先验网络模型,获得所述校正的PET图像;
根据所述待校正的PET图像和所述校正的PET图像,执行所述个体微调操作,计算所述部分容积校正目标函数,调整所述部分容积校正目标函数的参数;
根据所述部分容积校正目标函数的参数,调整所述模型训练参数,优化所述优化后的深度图像先验网络模型。
CN202311085301.4A 2023-08-28 2023-08-28 基于深度图像先验框架的pet图像部分容积校正方法 Active CN116843679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311085301.4A CN116843679B (zh) 2023-08-28 2023-08-28 基于深度图像先验框架的pet图像部分容积校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311085301.4A CN116843679B (zh) 2023-08-28 2023-08-28 基于深度图像先验框架的pet图像部分容积校正方法

Publications (2)

Publication Number Publication Date
CN116843679A true CN116843679A (zh) 2023-10-03
CN116843679B CN116843679B (zh) 2023-12-26

Family

ID=88162027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311085301.4A Active CN116843679B (zh) 2023-08-28 2023-08-28 基于深度图像先验框架的pet图像部分容积校正方法

Country Status (1)

Country Link
CN (1) CN116843679B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593235A (zh) * 2024-01-18 2024-02-23 北京科技大学 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700380A (zh) * 2020-12-22 2021-04-23 颜建华 一种基于mr梯度信息和深度学习的pet图像容积校正方法
CN114463459A (zh) * 2022-01-24 2022-05-10 南方医科大学 一种pet图像的部分容积校正方法、装置、设备及介质
CN114926559A (zh) * 2022-05-09 2022-08-19 浙江大学 一种基于字典学习思想无衰减校正的pet重建方法
JP7246116B1 (ja) * 2022-03-11 2023-03-27 之江実験室 トランスフォーマ特徴共有に基づくpet画像再構成方法、装置、デバイス及び媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700380A (zh) * 2020-12-22 2021-04-23 颜建华 一种基于mr梯度信息和深度学习的pet图像容积校正方法
CN114463459A (zh) * 2022-01-24 2022-05-10 南方医科大学 一种pet图像的部分容积校正方法、装置、设备及介质
JP7246116B1 (ja) * 2022-03-11 2023-03-27 之江実験室 トランスフォーマ特徴共有に基づくpet画像再構成方法、装置、デバイス及び媒体
CN114926559A (zh) * 2022-05-09 2022-08-19 浙江大学 一种基于字典学习思想无衰减校正的pet重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIANXUE SHAN ET AL: "Deep Image Prior Based PET Reconstruction From Partial Data", 《 IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES ( EARLY ACCESS )》, pages 1 - 10 *
YUANYUAN GAO ET AL: "Voxel-based partial volume correction of PET images via subtle MRI guided non-local means regularization", 《2018 IEEE NUCLEAR SCIENCE SYMPOSIUM AND MEDICAL IMAGING CONFERENCE PROCEEDINGS (NSS/MIC)》, pages 1 - 4 *
胡德斌等: "解剖图像引导的PET图像部分容积校正", 《中国医学物理学杂志》, vol. 32, no. 2, pages 153 - 157 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593235A (zh) * 2024-01-18 2024-02-23 北京科技大学 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置
CN117593235B (zh) * 2024-01-18 2024-04-09 北京科技大学 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置

Also Published As

Publication number Publication date
CN116843679B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN110021037B (zh) 一种基于生成对抗网络的图像非刚性配准方法及系统
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN116843679B (zh) 基于深度图像先验框架的pet图像部分容积校正方法
CN111275749A (zh) 图像配准及其神经网络训练方法及装置
CN111932550A (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN112991483B (zh) 一种非局部低秩约束的自校准并行磁共振成像重构方法
CN112734911A (zh) 基于卷积神经网络的单幅图像三维人脸重建方法及系统
CN115457020B (zh) 一种融合残差图像信息的2d医学图像配准方法
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
CN114359642A (zh) 基于一对一目标查询Transformer的多模态医学图像多器官定位方法
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN111161182B (zh) Mr结构信息约束的非局部均值引导的pet图像部分容积校正方法
CN115578427A (zh) 基于深度学习的无监督单模态医学图像配准方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN112990359B (zh) 一种影像数据处理方法、装置、计算机及存储介质
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN111798463A (zh) 一种头颈部ct图像中多器官自动分割方法
CN115601535A (zh) 联合Wasserstein距离与差异度量的胸片异常识别域自适应方法及系统
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
CN115937581A (zh) 一种多站点fMRI数据的分类识别方法
CN112488125B (zh) 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN114332018A (zh) 一种基于深度学习与轮廓特征的医学图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant