CN117541471A - 基于sph启发的pg-spect图像超分辨重建方法 - Google Patents
基于sph启发的pg-spect图像超分辨重建方法 Download PDFInfo
- Publication number
- CN117541471A CN117541471A CN202311482376.6A CN202311482376A CN117541471A CN 117541471 A CN117541471 A CN 117541471A CN 202311482376 A CN202311482376 A CN 202311482376A CN 117541471 A CN117541471 A CN 117541471A
- Authority
- CN
- China
- Prior art keywords
- spect
- reconstructed
- image
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002603 single-photon emission computed tomography Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000002245 particle Substances 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 9
- 239000012530 fluid Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000004088 simulation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000700 radioactive tracer Substances 0.000 description 3
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical compound [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 2
- 229910052796 boron Inorganic materials 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于SPH启发的PG‑SPECT图像超分辨重建方法，实现步骤为：获取训练样本集和测试样本集；构建基于SPH启发的重建网络模型O；初始化参数；对重建网络模型O进行迭代训练；获取PG‑SPECT图像的重建结果。本发明所构建的基于SPH启发的PG‑SPECT图像超分辨重建网络模型中的光滑粒子子网络能够通过扩大卷积接受域，有效地保留PG‑SPECT图像图像中的细节信息；N‑S引导子网络在图像重建过程中引导PG‑SPECT像素向期望方向运动，从而在图像中产生清晰的边缘；实验结果表明，本发明能够有效提高了PG‑SPECT图像重建的分辨率。
Description
技术领域
本发明属于图像处理技术领域，涉及一种医学图像超分辨率重建方法，具体涉及一种基于SPH启发的PG-SPECT图像超分辨重建方法，在医学影像等领域都有重要的应用价值。
背景技术
图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。超分辨率重建SR是一种通过图像处理算法和深度学习技术将低分辨率图像转换为高分辨率图像的方法。
医学图像可分X线射线、超声图像、磁共振图像、核医学图像；超分辨率重建技术被应用于医学图像中，可以将低分辨率的图像转化为高分辨率的图像，以增强医学图像的细节信息，从而提高医生对图像的观察和诊断的准确性。单光子发射断层成像SPECT是一种核医学成像技术,放射性示踪剂被注入病人体内，根据对放射性示踪剂所发出的γ射线的测量，可以重建出放射性示踪剂在人体内的分布图，该图可以反映人体组织结构及其活动功能，在SPECT技术中，重建图像是最为核心的的环节。一般来说，由于探测仪器本身的限制和列阵探测器的分辨率，采集到的原始数据噪声很大。因此，在进行重建处理时，需要对原始数据进行超分辨率重建，以得到高质量的图像。PG-SPECT图像是一种使用光子计数探测器所成的核医学图像，由于光子计数探测器采集的数据包含更多的额外信息，而传统的SPECT图像只包含计数信息；此外，由于光子计数探测器的高计数精度，PG-SPECT图像噪声的特性可能与SPECT图像不同，因此现有的SPECT图像的超分辨率重建方法不能直接移植到PG-SPECT图像中。为了获取到超分辨率的PG-SPECT图像，现有技术只通过PG-SPECT设备实现，但这种方法生成的患者肿瘤区血液硼浓度实时检测图空间分辨率在2mm左右，提供的患者肿瘤区域硼浓度数据较为粗略，难以支持对患者肿瘤区域治疗效果的精准预测。
发明内容
本发明的目的在于克服现有技术的缺陷，提出了一种基于光滑粒子流体动力学SPH启发的PG-SPECT图像超分辨重建方法，旨在聚合图像内跨位置的时间和空间上下文信息，并保持图像的边缘锐度，从而提高PG-SPECT图像重建的分辨率。
为实现上述目的，本发明采取的技术方案包括以下步骤：
(1)获取训练样本集和测试样本集：
获取K幅PG-SPECT图像，并对每幅PG-SPECT图像进行预处理后进行降采样；将每幅预处理后的PG-SPECT图像作为其裁剪成的图像块的标签，然后随机选取其中N个图像块及其标签组成训练样本集R1，将剩余的图像块及其标签组成测试样本集E1，其中，K≥600，
(2)构建基于SPH启发的重建网络模型O：
构建包括顺次连接的SPH启发的超分子网络、融合模块和上采样模块的重建网络模型O；其中，SPH启发的超分子网络包括由并行排布的用于对输入的样本进行图像重建的光滑粒子子网络，和用于对输入的样本进行边缘信息重建的N-S引导子网络两个分支；融合模块用于对两个分支重建结果进行逐元素融合；上采样模块用于对融合得到的富含细节信息的重建特征图进行上采样；
(3)初始化参数：
初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的重建网络模型Os中可学习的权值、偏置参数分别为ws、bs，并令s＝1；
(4)获取训练样本的重建PG-SPECT图像：
将训练样本集R1作为重建网络模型O的输入，SPH启发的超分子网络对每个训练样本进行特征提取后，光滑粒子子网络对提取的N个特征图依次进行特征细化，得到N个富含内容细节和上下文信息的特征图；同时N-S引导子网络对提取的N个特征图依次进行引导，得到N个富含清晰边缘的补偿特征图；融合模块对第n个特征图及其对应的补偿特征图逐元素相加；上采样模块对融合模块输出的每个包含丰富细节和边缘信息的特征图进行上采样，得到N个重建的PG-SPECT图像；
(5)计算重建网络模型的的损失值：
采用L1范数，并通过重建的PG-SPECT图像及其对应训练样本标签计算损失值Ls，通过N-S引导子网络生成的特征图与其对应的训练样本标签的特征图计损失值LNS，然后通过Ls和LNS计算重建网络模型O的损失值L；
(6)获取训练好的重建网络模型：
通过链式法则分别求取重建网络模型O的损失值L对权值ws、偏置bs的偏导，并采用梯度下降法，通过L对权值ws、偏置bs的偏导对权值ws和偏置bs进行更新，得到本次迭代的重建网络模型Os；然后判断s≥S是否成立，若是，得到训练好的重建网络模型O*，否则，令s＝s+1，Os＝O，并执行步骤(4)；
(7)获取PG-SPECT图像的重建结果：
将测试样本集E1作为训练好的重建网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
本发明与现有技术相比，具有以下优点：
本发明所构建的基于SPH启发的PG-SPECT图像超分辨重建网路模型中的光滑粒子子网络能够通过扩大卷积接受域，有效地保留PG-SPECT图像的时间和空间细节信息；N-S引导子网络在图像重建过程中引导PG-SPECT像素向期望方向运动，从而在图像中产生清晰的边缘；实验结果表明，本发明能够有效提高PG-SPECT图像重建的质量。
附图说明
图1为本发明的实现流程图；
图2为本发明重建网络模型的结构示意图；
图3为本发明实施例的混合差分方程网络的结构示意图；
图4为本发明混合差分方程的图形化概念的结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集和测试样本集：
步骤1a)本发明从SPECT数据集中获取K幅PG-SPECT图像，其中，K≥600。在本实施例中，K＝1000；
步骤1b)对获取的K幅PG-SPECT图像进行预处理后进行降采样；将每幅预处理后的PG-SPECT图像作为其降采样后的图像块的标签，然后随机选取其中N个图像块及其标签组成训练样本集R1，将剩余的图像块及其标签组成测试样本集E1，其中，K≥600，
预处理的实现步骤为：对每幅PG-SPECT图像进行随机水平翻转后进行90度旋转，实现对PG-SPECT图像的数据增强，并对每幅数据增强后的PG-SPECT图像进行裁剪，得到预处理后的K幅大小为H×H的PG-SPECT图像，其中，H≥512；
降采样实现步骤为：对预处理的每幅PG-SPECT图像进行1/4降采样，得到K幅大小为的PG-SPECT图像块。
步骤2)构建基于SPH启发的重建网络模型O，其结构如图2所示：
构建包括顺次连接的SPH启发的超分子网络、融合模块和上采样模块的重建网络模型O；其中，SPH启发的超分子网络包括由并行排布的用于对输入的样本进行图像重建的光滑粒子子网络，和用于对输入的样本进行边缘信息重建的N-S引导子网络两个分支；
光滑粒子子网络包括顺次连接的第一、第三卷积层、D个混合差分方程网络；每个混合差分方程网络的结构如图3所示，包括并行排布的上分支、下分支，以及与上分支、下分支的输出端连接的混合差分特征提取层；其中上分支包括顺次连接的第四卷积层、交叉注意力模块；下分支由交叉注意力模块组成；交叉注意力模块包括顺次连接的交叉子网络、交叉注意层、瓶颈模块；其中交叉子网络包括顺次连接的第五卷积层、归一化层、第六卷积层、GeLU激活层、以及与GeLU激活层的输出端连接的并行排布的3个映射模块；其中，映射模块顺次连接的第七卷积层、深度可分离卷积层；瓶颈模块包括顺次连接的第八卷积层、归一化层；网络参数设置为：第一、第三卷积层卷积核大小3*3，其通道数设置为64，第四、第五、第六、第七、第八卷积层卷积核大小1*1，其通道数设置为64；
交叉注意层：将第三卷积层得到的特征图经过第四卷积层后，得到的高级特征图Fhigh作为上分支交叉注意力模块的输入，并经过交叉子网络进行映射，生成相应的查询矩阵QX、键值矩阵KX、值矩阵VX；同时第三卷积层得到的低级特征图Flow作为下分支交叉注意力模块的输入，并经过交叉子网络进行映射，生成相应的查询矩阵QY、键值矩阵KY、值矩阵VY，其中，Flow、Fhigh经过第五卷积层的输出分别记为FC-low、FC-high，FC-low、FC-high经过GeLU激活层的输出分别记为FG-low、FG-high，则：
FC-high,FC-low＝WC(Flow,Fhigh) (1)
FG-high,FG-low＝δ(Wc(LN(FC-high,FC-low))) (2)
然后通过映射模块得到Q、K、V矩阵：
(QX,KX,VX)＝Wdc(Wc(FG-high)) (3)
(QY,KY,VY)＝Wdc(Wc(FG-low)) (4)
其中，Wdc表示深度可分离卷积层，Wc表示1×1卷积，δ表示GeLU激活层，LN(·)表示归一化层；
两个Q矩阵被交换，随后输入到交叉注意层，以生成相应的权重值。交叉注意层的操作方式如下：
Fatt-high＝FG-high×CA(QY,KX,VX) (5)
Fatt-low＝FG-low×CA(QX,KY,VY) (6)
高级特征图Fhigh经过上分支的输出为Ffinall-high，低级特征图Flow经过下分支的输出为Ffinall-low，Fatt-low、Fatt-high经过瓶颈模块的输出分别记为Fbottle-high、Fbottle-low；分别通过Ffinall-low、Ffinall-high与特征FC-low、FC-high的残差连接来完成特征信息的融合，并将上分支细化后的高分辨率特征信息逐层输入到相应的下分支中，以补充原始输入：
Ffinall-high＝FC-high+Fbottle-high (7)
Ffinall-low＝FC-low+Fbottle-low+Ffinall-high (8)
如此，光滑粒子子网络可以实现不同尺度的时间和空间特征信息的聚合，从而实现PG-SPECT图像分辨率的提高。
混合差分特征提取层：在SPH中，流体内光滑粒子在特定的力和边界条件的引导下相互作用，导致流体流动的过程可以类比为PG-SPECT图像像素在损失函数的约束下相互交互，导致像素值的重新排列的过程。具体来说，在SPH领域中，连续流体系统可以比作离散光滑粒子之间的相互作用，从而影响这些粒子的光滑函数值，并引导流体向前流动。在PG-SPECT图像超分训练过程中，在损失函数的指导下，PG-SPECT图像内的像素点驱动图像超分网络中每个特征图的演化，从浅层向深层演变；因此，本发明可以从SPH相关理论中汲取灵感，来寻找解决PG-SPECT图像超分辨率问题的方案。
由于SPH中的有限差分方程中的一阶表达式与经典残差网络的表达式相同，将有限差分方程系统引入到本发明的网络结构设计中。为了更好的促进图像特征信息的融合和通信，本发明设计了混合差分方程形式的连接结构，并遵循混合差分方程的图形概念，通过混合导数可以提取时间和空间维度信息的特点，指导网络捕获全局和局部信息，并对PG-SPECT图像的详细内容进行编码。
二阶混合偏导数可以表示为：
然后在网格点(i+1,j)上应用一个二阶中心差分替换
然后在网格点(i-1,j)用类似的差分替换
最后，实现了混合差分方程为：
式中，是混合二阶差分方程网络要学习的部分，对方程做简单的表达式变换得到混合差分特征提取层最终表达式为
为了更直观地表示混合差分方程，本发明通过图形化概念实现对混合差分方程的图形化解释。图形化概念如图4所示；Δu和Δv分别表示两个相邻点沿u方向和v方向之间的距离。正负号表示该网格点的信息是应该加到相应的混合差分中，还是从混合差分中减去。本发明用x作为下分支输出的特征信息，y表示来自上分支输出的高级表示信息，用变量(i-1,x)，(i-1,y)的信息通过混合差分特征提取层有效地相互作用，并稳步变化到下一个状态(i+1,x*)，(i+1,y*)，随后交互的高级表示信息(i+1,y*)的输出融合到输出(i+1,x*)，得到混合差分特征提取层的最终输出：
这种由混合差分方程的图形概念指导的特征变化是连续的和稳健的。光滑粒子子网络可以获得更强的特征提取能力。
N-S引导子网络包括顺次连接的第二卷积层、N-S特征引导层；网络参数设置为：第二卷积层卷积核大小3*3，其通道数设置为64；
N-S特征引导层：在基于SPH启发的重建网络模型训练过程中，像素交互不受约束的情况下，可能会发生不同程度的像素扩散，导致PG-SPECT图像超分结果的边缘模糊。为了解决这个问题，并利用光滑粒子流体流动的过程和PG-SPECT图像训练过程之间的类比，构造了拉格朗日描述下的N-S方程。光滑粒子受到N-S方程的约束，其运动符合描述其运动轨迹的理想方程。因此，可以利用光滑粒子流体中的流体控制方程来指导本发明设计的网络结构在训练过程中调节像素运动的方向，以增强图像的高频细节。具体来说，N-S微分方程为：
其中v为速度矢量，x为位移矢量，ρ为流体密度。对于一个粒子i，使用SPH中的近似方法之一，即粒子近似。对于上述方程，它利用紧邻当前光滑粒子i的N个粒子j的性质来近似当前粒子i的性质。例如，使用SPH中的粒子近似来近似当前粒子vi的速度：
<·>表示粒子近似操作符，和N代表在粒子i周围的粒子j的总数。mj代表粒子j的质量，Wi,j＝W(i-j,x)是粒子j在粒子i的光滑函数，它是一个关于粒子i和粒子j之间的距离x的函数。然后，将粒子近似法应用于方程(14)右侧的速度梯度，从而产生以下表达式：
注意N-S方程的一个更一般的形式是将方程(14)右侧的密度纳入梯度算子中，即：
遵循与等式(14)-(16)类似的推导过程，将粒子近似方法应用于等式(17)右侧的两个梯度内的算子ρivi和ρi有：
其中，由于假设粒子mj的质量相等，而速度vij是均匀的，所以用常数αj代替mjvij。因此，光滑函数Wij的梯度决定了速度对密度变化速率的影响程度。此外，ρ在SPH域中表示粒子密度，相当于在PG-SPECT图像中当前特征图中的像素值。偏导数/>表示经过卷积层Wij后的特征图的梯度。等式(18)中的目标变量是关于时间的偏导数。因此，它可以写成微分形式：
其中，G(·)是SPH域中N-S引导分支的一个函数。在特征提取过程中，它将空间信息(沿xj方向)转换为时间信息(沿i方向)。在某一个时刻的像素值(i+1)可以从在最后一个时刻(i)的像素值和偏导数得到。因此，它可以预测下一时刻的像素点分布，并约束像素点的演化，缓解PG-SPECT图像超分辨率过程中边缘和纹理模糊的问题。考虑到N-S引导分支是受SPH域中N-S方程的启发，在SPH域中密度求和法下的N-S方程可以提高物质的自由边界与密度不连续点结处的精度。因此，本发明设计的N-S引导分支可以有效地缓解PG-SPECT图像超分过程中的边缘模糊和粗糙纹理问题，在网络的前向计算中，我们使用Sobel算子来获得图像的边缘信息，从而实现了方程(19)中的偏导数。
方程(20)是方程(19)中对的详细解释。这里的/>是指由N-S分支提取的空间特征。它具有沿水平方向和垂直方向的两个子项。从方向导数的概念出发，可以知道一个函数在任何向量方向上的导数都可以分解为方程(20)中在x轴上的导数的加权和。也就是说，在特征图的空间维度中，以特定向量方向lij为中心的每个像素点xj的处理等同于以其x轴和y轴为中心的每个像素点xj的处理。特征图的所有空间信息都可以通过遍历该特征图的所有的像素来实现。
融合模块包含3个相间的卷积层和非线性激活层，非线性激活层由ReLU函数实现；非线性激活层由ReLU函数实现；
上采样模块由PixelShuffle实现，放大参数为4。
步骤3)初始化参数：
初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的重建网络模型Os中可学习的权值、偏置参数分别为ws、bs，并令s＝1；
步骤4)获取训练样本的重建PG-SPECT图像：
将训练样本集R1作为重建网络模型O的输入，光滑粒子子网络的第一卷积层对输入的训练样本进行卷积，得到输入的训练样本的特征图Y1，其中Y1m表示第m个训练样本卷积后的特征图；将特征图Y1输入第三卷积层，第三卷积层进一步对特征图Y1提取特征得到特征图Y2；特征图Y2依次输入D个混合差分方程网络，其中d个混合差分方程中的上分支对特征图Y2进行特征优化和增强，得到高级特征图Y3，下分支对特征图Y2进行特征提取，得到特征图Y4，然后用高级特征图Y3与特征图Y4逐元素融合，指导特征图Y4进行高级信息的交互，得到细化后的特征图Y5；将特征图Y3与特征图Y5分别作为混合差分特征提取层的输入，混合差分特征提取层可以提取时间和空间维度上更丰富的信息，得到特征图Y6；重复D次，得到特征图Y7；
同时N-S引导子网络中的第二卷积层对输入的训练样本进行卷积，得到输入的训练样本的特征图Y8，N-S特征引导层对特征图Y8提取富含边缘和纹理信息的特征图Y9；
融合模块对特征图Y7、特征图Y9逐元素融合，得到重建特征图Y10，上采样模块对特征图Y10进行上采样得到重建的PG-SPECT图像。
步骤5)计算重建网络模型的的损失值：
采用L1范数，并通过重建的PG-SPECT图像及其对应训练样本标签计算损失值Ls，通过N-S引导子网络生成的补偿特征图与其对应的训练样本标签的特征图计算损失值LNS，然后通过Ls和LNS计算重建网络模型O的损失值L；计算公式分别为：
L＝Ls+β·LNS
其中，In SPECT、In SR分别表示第n个训练样本的重建PG-SPECT图像、标签，β表示LNS的权重，NS(·)表示由N-S引导子网络生成的补偿特征图，||·||1表示L1范数。
步骤6)获取训练好的重建网络模型：
通过链式法则分别求取重建网络模型O的损失值L对权值ws、偏置bs的偏导，并采用梯度下降法，通过L对权值ws、偏置bs的偏导对权值ws和偏置bs进行更新，得到本次迭代的重建网络模型Os；然后判断s≥S是否成立，若是，得到训练好的重建网络模型O*，否则，令s＝s+1，Os＝O，并执行步骤(4)，分别对ωs、bs进行更新的公式为：
ws'、bs'表示ws、bs更新后的可学习参数，lr表示学习率，表示求导操作；
步骤7)获取PG-SPECT图像的重建结果：
将测试样本集E1作为训练好的重建网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
本发明提出的光滑粒子子网络通过建立高级特征和低级特征的远程依赖关系，可以有效的学习时间和空间维度上丰富的细节信息；而N-S引导子网络可以通过预测下一时刻的像素点分布，来约束像素的演化，以提高PG-SPECT图像边缘的重建性能。在SPECT数据集上的结果表明，本发明提出的网络结构可以生成具有高分辨率的PG-SPECT图像。
结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件与内容：
仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。
仿真实验中用到的高光谱图像数据集为SPECT数据集，从SPECT数据集中选择1000幅心脏病图像组成数据集作为训练数据集，CT数据集、PET数据集作为另外两个测试样本集，分别表示为Test1和Test2。
本发明提出的基于SPH启发的PG-SPECT图像超分辨重建方法主要由光滑粒子子网络(SPH)和N-S引导子网络两部分组成，为了验证这两种网络结构的有效性，进行了消融研究；结果列于表1。
表1
综合上述仿真实验中的结果分析，本发明提出的基于SPH启发的PG-SPECT图像超分辨重建方法得益于光滑粒子子网络和N-S引导子网络，可以对PG-SPECT图像产生更好的空间分辨率效果。
Claims (6)
1.一种基于SPH启发的PG-SPECT图像超分辨重建方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
获取K幅PG-SPECT图像，并对每幅PG-SPECT图像进行预处理后进行降采样；将每幅预处理后的PG-SPECT图像作为其降采样后的图像块的标签，然后随机选取其中N个图像块及其标签组成训练样本集R1，将剩余的图像块及其标签组成测试样本集E1，其中，K≥600，
(2)构建基于SPH启发的重建网络模型O：
构建包括顺次连接的SPH启发的超分子网络、融合模块和上采样模块的重建网络模型O；其中，SPH启发的超分子网络包括由并行排布的用于对输入的样本进行图像重建的光滑粒子子网络，和用于对输入的样本进行边缘信息重建的N-S引导子网络两个分支；融合模块用于对两个分支重建结果进行逐元素融合；上采样模块用于对融合得到的富含细节信息的重建特征图进行上采样；
(3)初始化参数：
初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的重建网络模型Os中可学习的权值、偏置参数分别为ws、bs，并令s＝1；
(4)获取训练样本的重建PG-SPECT图像：
将训练样本集R1作为重建网络模型O的输入，光滑粒子子网络对每个训练样本的特征图依次进行特征细化，得到N个富含内容细节和上下文信息的特征图；同时N-S引导子网络对每个训练样本的特征图依次进行引导，得到N个富含清晰边缘的补偿特征图；融合模块对第n个特征图及其对应的补偿特征图逐元素相加；上采样模块对融合模块输出的每个包含丰富细节和边缘信息的特征图进行上采样，得到N个重建的PG-SPECT图像；
(5)计算重建网络模型的的损失值：
采用L1范数，并通过重建的PG-SPECT图像及其对应训练样本标签计算损失值Ls，通过N-S引导子网络生成的补偿特征图与其对应的训练样本标签的特征图计算损失值LNS，然后通过Ls和LNS计算重建网络模型O的损失值L；
(6)获取训练好的重建网络模型：
通过链式法则分别求取重建网络模型O的损失值L对权值ws、偏置bs的偏导，并采用梯度下降法，通过L对权值ws、偏置bs的偏导对权值ws和偏置bs进行更新，得到本次迭代的重建网络模型Os；然后判断s≥S是否成立，若是，得到训练好的重建网络模型O*，否则，令s＝s+1，Os＝O，并执行步骤(4)；
(7)获取PG-SPECT图像的重建结果：
将测试样本集E1作为训练好的重建网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的对每幅PG-SPECT图像进行预处理，实现步骤为：对每幅PG-SPECT图像进行随机水平翻转后进行90度旋转，实现对其的数据增强，并对每幅数据增强后的PG-SPECT图像进行裁剪，得到预处理后的K幅大小为H×H的PG-SPECT图像，其中，H≥512。
3.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的对每幅PG-SPECT图像进行预处理后进行降采样，具体为：对预处理后的每幅PG-SPECT图像进行1/4降采样，得到K幅大小为的PG-SPECT图像块。
4.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的重建网络模型O，其中：
光滑粒子子网络包括顺次连接的第一、第三卷积层、D个混合差分方程网络；每个混合差分方程网络包括并行排布的上分支、下分支，以及与上分支、下分支的输出端连接的混合差分特征提取层；其中上分支包括顺次连接的第四卷积层、交叉注意力模块；下分支由交叉注意力模块组成；交叉注意力模块包括顺次连接的交叉子网络、交叉注意层、瓶颈模块；其中交叉子网络包括顺次连接的第五卷积层、归一化层、第六卷积层、GeLU激活层、以及与GeLU激活层的输出端连接的并行排布的3个映射模块；其中，映射模块顺次连接的第七卷积层、深度可分离卷积；瓶颈模块包括顺次连接的第八卷积层、归一化层；网络参数设置为：第一、第三卷积层卷积核大小3*3，其通道数设置为64，第四、第五、第六、第七、第八卷积层卷积核大小1*1，其通道数设置为64；
N-S引导子网络包括顺次连接的第二卷积层、N-S特征引导层；网络参数设置为：第二卷积层卷积核大小3*3，其通道数设置为64；
融合模块包含3个相间的卷积层和非线性激活层，非线性激活层由ReLU函数实现；
上采样模块由PixelShuffle实现，放大参数为4。
5.根据权利要求1所述的方法，其特征在于，步骤(5)中所述的损失值Ls、损失值LNS，以及O的损失值L，计算公式分别为：
L＝Ls+β·LNS
其中，In SPECT、In SR分别表示第n个训练样本的重建PG-SPECT图像、标签，β表示LNS的权重，NS(·)表示由N-S引导子网络生成的补偿特征图，||·||1表示L1范数。
6.根据权利要求1所述的方法，其特征在于，步骤(6)中所述的对重建网络模型的超参数进行更新，更新公式分别为：
其中,ws'、bs'表示ws、bs更新后的可学习参数，lr表示学习率，表示求偏导操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482376.6A CN117541471A (zh) | 2023-11-09 | 2023-11-09 | 基于sph启发的pg-spect图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482376.6A CN117541471A (zh) | 2023-11-09 | 2023-11-09 | 基于sph启发的pg-spect图像超分辨重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117541471A true CN117541471A (zh) | 2024-02-09 |
Family
ID=89795012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311482376.6A Pending CN117541471A (zh) | 2023-11-09 | 2023-11-09 | 基于sph启发的pg-spect图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541471A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109791295A (zh) * | 2016-07-25 | 2019-05-21 | 奇跃公司 | 使用增强和虚拟现实眼镜的成像修改、显示和可视化 |
| WO2019174973A1 (en) * | 2018-03-15 | 2019-09-19 | Koninklijke Philips N.V. | Method of estimating physiological parameters using medical image data |
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN116030495A (zh) * | 2022-12-15 | 2023-04-28 | 大连理工大学 | 基于倍率学习的低分辨率行人重识别算法 |
-
2023
- 2023-11-09 CN CN202311482376.6A patent/CN117541471A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109791295A (zh) * | 2016-07-25 | 2019-05-21 | 奇跃公司 | 使用增强和虚拟现实眼镜的成像修改、显示和可视化 |
| WO2019174973A1 (en) * | 2018-03-15 | 2019-09-19 | Koninklijke Philips N.V. | Method of estimating physiological parameters using medical image data |
| CN114723608A (zh) * | 2022-04-14 | 2022-07-08 | 西安电子科技大学 | 基于流体粒子网络的图像超分辨率重建方法 |
| CN116030495A (zh) * | 2022-12-15 | 2023-04-28 | 大连理工大学 | 基于倍率学习的低分辨率行人重识别算法 |
Non-Patent Citations (3)
| Title |
|---|
| JIHUNYU 等: "Reconstructing Surfaces of Particle-Based Fluids Using Anisotropic Kernels", 《ACM TRANSACTIONS ON GRAPHICS》, 31 July 2010 (2010-07-31) * |
| MINGJIN ZHANG 等: "SPH-Net: Hyperspectral Image Super-Resolution via Smoothed Particle Hydrodynamics Modeling", 《IEEE》, 31 October 2023 (2023-10-31) * |
| X NIE 等: "Fluid Reconstruction and Editing from a Monocular Video based on the SPH Model with External Force Guidance", 《COMPUTER GRAPHICS FORUM》, 30 September 2021 (2021-09-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | ME‐Net: multi‐encoder net framework for brain tumor segmentation | |
| Gu et al. | MedSRGAN: medical images super-resolution using generative adversarial networks | |
| CN108921851B (zh) | 一种基于3d对抗网络的医学ct图像分割方法 | |
| CN108062744B (zh) | 一种基于深度学习的质谱图像超分辨率重建方法 | |
| Ge et al. | ADAPTIVE-NET: deep computed tomography reconstruction network with analytical domain transformation knowledge | |
| Pan et al. | 2D medical image synthesis using transformer-based denoising diffusion probabilistic model | |
| CN111492406A (zh) | 使用机器学习的图像生成 | |
| CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
| CN109300136B (zh) | 一种基于卷积神经网络的危及器官自动分割方法 | |
| CN113298710B (zh) | 基于外部注意力机制的光学相干层析超分辨率成像方法 | |
| CN116503507B (zh) | 基于预训练模型的磁粒子图像重建方法 | |
| Kandarpa et al. | DUG-RECON: a framework for direct image reconstruction using convolutional generative networks | |
| JP2023544466A (ja) | Ｐｅｔ／ｃｔに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置 | |
| FR2942669A1 (fr) | Methodes de segmentation d'images et de detection de structures particulieres. | |
| Li et al. | Multienergy cone-beam computed tomography reconstruction with a spatial spectral nonlocal means algorithm | |
| CN107146263B (zh) | 一种基于张量字典约束的动态pet图像重建方法 | |
| CN117813055A (zh) | 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合 | |
| Zhu et al. | STEDNet: Swin transformer‐based encoder–decoder network for noise reduction in low‐dose CT | |
| CN111260636B (zh) | 模型训练方法及设备、图像处理方法及设备以及介质 | |
| Liu et al. | The generation of virtual immunohistochemical staining images based on an improved cycle-gan | |
| CN117541471A (zh) | 基于sph启发的pg-spect图像超分辨重建方法 | |
| CN113052840A (zh) | 一种基于低信噪比pet图像的处理方法 | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN117036162B (zh) | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 | |
| Syben | Known Operator Learning for a Hybrid Magnetic Resonance/X-ray Imaging Acquisition Scheme |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |