CN115880157A - 一种k空间金字塔特征融合的立体图像超分辨率重建方法 - Google Patents

一种k空间金字塔特征融合的立体图像超分辨率重建方法 Download PDF

Info

Publication number
CN115880157A
CN115880157A CN202310016320.5A CN202310016320A CN115880157A CN 115880157 A CN115880157 A CN 115880157A CN 202310016320 A CN202310016320 A CN 202310016320A CN 115880157 A CN115880157 A CN 115880157A
Authority
CN
China
Prior art keywords
resolution
image
sub
super
tensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310016320.5A
Other languages
English (en)
Other versions
CN115880157B (zh
Inventor
年睿
吕航宇
李秋颖
钱玉琪
卢宗灿
李建辉
赵明章
何波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310016320.5A priority Critical patent/CN115880157B/zh
Publication of CN115880157A publication Critical patent/CN115880157A/zh
Application granted granted Critical
Publication of CN115880157B publication Critical patent/CN115880157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种K空间金字塔特征融合的立体图像超分辨率重建方法，属于深度学习技术领域。本发明利用基于K空间频域细节评级，将不同3D立体图像子图像块进行细节难度评级分组，根据细节复杂度构建并训练不同的超分辨率重建网络；采用基于K空间核预测网络代替传统卷积神经网络，使得超分辨率重建网络对图像细节加以重视；在超分辨率重建网络中引入金字塔频域特征融合的理念，提取3D立体图像在不同分辨率下的特征张量；利用小波函数，对不同分辨率的金字塔频域特征进行融合；在小波分解后低频系数矩阵的融合方法上加以创新，使其得到更好的融合效果。本发明使得3D立体图像的重建效率和精度均得到了有效提升。

Description

一种K空间金字塔特征融合的立体图像超分辨率重建方法
技术领域
本发明涉及深度学习和图像超分辨率重建相结合的技术领域，具体地涉及一种基于K空间细节评级及特征融合的图像超分辨率重建方法。
背景技术
图像超分辨率（Super Resolution, SR）重建技术是利用一系列技术手段，完成从单帧或多帧（序列）低分辨率（Low Resolution, LR）图像中恢复出高分辨率(HighResolution, HR)图像的任务。超分辨率重建技术在大大降低成本的情况下，克服成像设备和远程传输设备等硬件条件限制，提供理想的高分辨率图片。
医学图像超分辨率重建技术需求场景极多，医学检测过程中采集到的大量低分辨率图像，严重影响医生对病例病因的判断。因此，可通过计算机对图像进行超分辨率重建处理，得到具有细节特征更加丰富的高分辨率图像，辅助医生诊断。高分辨率的3D医学图像能提供器官或组织的详细结构信息，有助于临床诊断、决策和精确的定量图像分析。由于硬件设备等物理条件的限制，医学成像存在扫描时间长、低信噪比等缺点，医学图像的超分辨率重建算法能更有效地解决上述问题。由于直接学习从低维空间到高维空间的映射存在困难，利用传统的上采样算法获得更高分辨率的图像，利用深度神经网络进行细化。图像插值，又称图像缩放，是指调整3D图像的大小，传统的插值方法包括最近邻插值、双线性和双立方插值，由于这些方法可解释性强，易于实现，因此其中一些方法仍被广泛用于基于卷积神经网络（Convolutional Neural Network, CNN）的SR模型中，为了克服基于插值方法的缺点，以端到端的方式学习上采样，在SR领域引入了转置卷积层和亚像素层。利用超分辨率重建技术提高医学图像的分辨率，可以大大提高诊断质量，同时节省设备升级所需的材料和资金。
然而目前3D图像相对于2D图像，重建参数量和计算量都大幅度提高，传统深度学习模型存在参数繁多、运算耗时久、占用体积大的问题，在不同复杂度的图像上运用不同网络，细节越多的图像用越复杂的网络进行特征提取重建。因此，目前的重建模型和方法都会随着重建对象的复杂程度变的越来越复杂，重建效率不高。
发明内容
一种K空间金字塔特征融合的立体图像超分辨率重建方法，该方法包括以下步骤：
S1：收集3D立体图像数据集，将该数据集分为训练集和测试集；
S2：对所述3D立体图像数据集划分为子区域，再基于K空间频域细节评级；
S3：搭建基于K空间核预测网络的超分辨率重建模型，首先提取不同分辨率金字塔频域特征；
S4：再以小波函数对不同分辨率的金字塔频域特征融合；
S5：由训练集训练所述超分辨率重建模型，将训练好的重建模型用于测试集测试，输出3D立体图像超分辨率重建结果。
进一步的，所述S2中，所述频域细节评级为建立一个判别网络，针对3D立体图像中子图像块重建问题根据其细节难度评级分组。
更进一步的，所述S2具体如下：
S2-1：收集原始分辨率3D立体图像数据集
Figure 872204DEST_PATH_IMAGE001
，其中
Figure 491142DEST_PATH_IMAGE002
代 表数据集中图像总数量，其中第
Figure 615087DEST_PATH_IMAGE003
张图像
Figure 993984DEST_PATH_IMAGE004
的尺寸为
Figure 447837DEST_PATH_IMAGE005
，
Figure 739141DEST_PATH_IMAGE006
， 设D为待分割的图像块尺寸，将数据集中3D立体图像分割为
Figure 84803DEST_PATH_IMAGE007
个同等大小
Figure 516659DEST_PATH_IMAGE008
的子 图像块
Figure 529746DEST_PATH_IMAGE009
，其中
Figure 991951DEST_PATH_IMAGE010
(1)
Figure 323444DEST_PATH_IMAGE011
(2)
Figure 529298DEST_PATH_IMAGE012
操作表示结果向上取整，
Figure 895426DEST_PATH_IMAGE013
代表第
Figure 794112DEST_PATH_IMAGE014
张图像分割后的子图像块数目；
S2-2：训练一个卷积判别神经网络对分割后的子图像块重建的细节难度评级分组, 具体为：
（1）将3D立体图像子图像块数据集
Figure 973420DEST_PATH_IMAGE015
标签化，划分为不同细节难度等级的集合；
Figure 91287DEST_PATH_IMAGE016
表示该子图像块集细节普遍较多；
Figure 203599DEST_PATH_IMAGE017
表示该子图像块集细节适中；
Figure 742028DEST_PATH_IMAGE018
表示该子图像 块集细节普遍较少；
首先针对3D立体图像子图像块K空间自动标签，对子图像块数据集的B b ，其中
Figure 579272DEST_PATH_IMAGE019
代表子图像块数据集
Figure 471135DEST_PATH_IMAGE020
中
Figure 772976DEST_PATH_IMAGE021
的傅里叶变换，计算其低频、中频、高频的幅值占比：
Figure 590629DEST_PATH_IMAGE022
(3)
Figure 56114DEST_PATH_IMAGE023
(4)
Figure 781362DEST_PATH_IMAGE024
(5)
其中
Figure 570064DEST_PATH_IMAGE025
表示子图像块
Figure 650628DEST_PATH_IMAGE026
在
Figure 147950DEST_PATH_IMAGE027
坐标位置的体素值，
Figure 557367DEST_PATH_IMAGE028
、
Figure 308898DEST_PATH_IMAGE029
和
Figure 530670DEST_PATH_IMAGE030
分 别代表低频、中频、高频幅值占比，
Figure 266020DEST_PATH_IMAGE031
，
Figure 254442DEST_PATH_IMAGE032
分别代表低频分量和高频分量范围，根据
Figure 922796DEST_PATH_IMAGE028
、
Figure 588174DEST_PATH_IMAGE033
和
Figure 610488DEST_PATH_IMAGE034
初步确认该子图像块
Figure 543547DEST_PATH_IMAGE035
的细节复杂度并对其自动分级到
Figure 239976DEST_PATH_IMAGE016
、
Figure 39436DEST_PATH_IMAGE036
、
Figure 657368DEST_PATH_IMAGE037
；
在自动标签子图像块基础上选择训练样本进行人工核验，由手动标签辅助进一步正确划分训练子图像块，归位训练网络；
（2）构建卷积判别网络进行3D立体图像子图像块K空间细节复杂度评级，以卷积神经网络为基础，对训练子图像块K空间特征表示进行随机滤波数据扩增，并采用傅里叶逆变换得到多个重采样数据，
Figure 941588DEST_PATH_IMAGE038
(6)
Figure 820420DEST_PATH_IMAGE039
其中
Figure 633524DEST_PATH_IMAGE040
表示傅里叶逆变换，
Figure 473173DEST_PATH_IMAGE041
表示训练子图像块B b 经过随机滤波器滤波处理 后的第
Figure 482455DEST_PATH_IMAGE042
个重采样结果，
Figure 153477DEST_PATH_IMAGE043
表示进行滤波次数，
Figure 357056DEST_PATH_IMAGE044
表示第w个滤波器的系数矩阵，最终得 到重采样训练数据集合
Figure 277476DEST_PATH_IMAGE045
；
（3）将该重采样训练数据集合
Figure 231395DEST_PATH_IMAGE046
作为输入，将对应的人工标注细节 评级作为理想输出，经过判别网络卷积层、残差层和ReLU激活层，训练网络得到网络特征编 码
Figure 537349DEST_PATH_IMAGE047
，其中
Figure 371485DEST_PATH_IMAGE048
表示经过卷积判别网络层的运算结果，最后采 用softmax函数获得实际判别输出，
Figure 372677DEST_PATH_IMAGE049
(7)
其中
Figure 100593DEST_PATH_IMAGE050
代表卷积判别网络实际输出的细节评级预测复杂度值，最终根据
Figure 542944DEST_PATH_IMAGE051
值确 定3D立体图像子图像块的细节评级。
进一步的，所述S3具体为：
S3-1：建立超分辨率重建网络模型，从原始分辨率3D立体图像数据集I中随机选取M张图像，构建高分辨率样本集
Figure 321282DEST_PATH_IMAGE052
作为训练输出，其中高分辨率 3D立体图像
Figure 294923DEST_PATH_IMAGE053
的尺寸为
Figure 528327DEST_PATH_IMAGE054
；将高分辨率3D立体图像训练样本集
Figure 58141DEST_PATH_IMAGE055
划分为
Figure 132014DEST_PATH_IMAGE056
个尺寸为
Figure 452006DEST_PATH_IMAGE057
的子图像块
Figure 348156DEST_PATH_IMAGE058
，将
Figure 765099DEST_PATH_IMAGE059
进行1/m倍下采样获取其对应的低分辨率样本集
Figure 557344DEST_PATH_IMAGE060
作为训练输入，其中低分辨率3D立体图像
Figure 184807DEST_PATH_IMAGE061
的尺寸为
Figure 228855DEST_PATH_IMAGE062
；将低分辨率3D立体图像训练样本集
Figure 890518DEST_PATH_IMAGE063
划分为
Figure 56926DEST_PATH_IMAGE064
个尺寸为
Figure 774347DEST_PATH_IMAGE065
的子图像块集合
Figure 746720DEST_PATH_IMAGE066
；
高分辨率3D立体图像子图像块集合
Figure 170879DEST_PATH_IMAGE067
经过卷积判别网络得到不同等级的细节评 级数据集
Figure 632822DEST_PATH_IMAGE068
、
Figure 775221DEST_PATH_IMAGE069
、
Figure 613602DEST_PATH_IMAGE070
，低分辨率3D立体图像子图像块集合
Figure 423426DEST_PATH_IMAGE071
一一对应归位为
Figure 197216DEST_PATH_IMAGE072
、
Figure 325447DEST_PATH_IMAGE073
、
Figure 203404DEST_PATH_IMAGE074
，根据细节复杂度构建并训练不同的超分辨率重建网络
Figure 195631DEST_PATH_IMAGE075
、
Figure 468218DEST_PATH_IMAGE076
、
Figure 21428DEST_PATH_IMAGE077
；
S3-2：对细节评级归入为
Figure 375180DEST_PATH_IMAGE078
的低分辨率3D立体图像子图像块集合，将其第v个训 练样本
Figure 392553DEST_PATH_IMAGE079
输入到超分辨率重建网络
Figure 71927DEST_PATH_IMAGE080
中，
Figure 315695DEST_PATH_IMAGE081
，V为
Figure 548837DEST_PATH_IMAGE082
中子图像块的数 目；经由卷积提取原始分辨率特征
Figure 536164DEST_PATH_IMAGE083
，依据金字塔特征组成p层多分辨率张量集合
Figure 711406DEST_PATH_IMAGE084
，其中
Figure 485546DEST_PATH_IMAGE085
代表
Figure 210794DEST_PATH_IMAGE086
经过
Figure 803360DEST_PATH_IMAGE087
次1/m倍下采样的特征，
Figure 152433DEST_PATH_IMAGE088
，对上述多分辨率张量集合再 次提取卷积特征，得到多分辨率卷积特征张量集合
Figure 901952DEST_PATH_IMAGE089
，第
Figure 899732DEST_PATH_IMAGE090
层 卷积特征张量
Figure 824832DEST_PATH_IMAGE091
，再次经由卷积获取K空间核函数超分辨率张量集 合
Figure 328494DEST_PATH_IMAGE092
，其中第
Figure 971834DEST_PATH_IMAGE093
层的K空间核函数张量
Figure 773306DEST_PATH_IMAGE094
， 进一步将K空间核函数张量集合
Figure 582606DEST_PATH_IMAGE095
对应到相应的高分辨率输出 子图像块张量集合
Figure 444120DEST_PATH_IMAGE096
中，如下式所示：
Figure 669696DEST_PATH_IMAGE097
(8)
其中第
Figure 540438DEST_PATH_IMAGE098
层的高分辨率输出子图像块张量
Figure 830343DEST_PATH_IMAGE099
，
Figure 98644DEST_PATH_IMAGE100
表示张 量坐标位置，
Figure 965844DEST_PATH_IMAGE101
表示点乘操作，
Figure 319506DEST_PATH_IMAGE102
表示多分辨率下采样张量
Figure 604863DEST_PATH_IMAGE103
的m倍线性插值上采样特征张量；
对细节评级归入为
Figure 385344DEST_PATH_IMAGE104
、
Figure 444567DEST_PATH_IMAGE105
的低分辨率3D立体图像子图像块集合，分别送入到 超分辨率重建网络
Figure 329215DEST_PATH_IMAGE076
、
Figure 891914DEST_PATH_IMAGE106
中训练，
Figure 469395DEST_PATH_IMAGE073
中的第r个训练样本
Figure 281493DEST_PATH_IMAGE107
和
Figure 94466DEST_PATH_IMAGE105
中的第n个训练 样本
Figure 183776DEST_PATH_IMAGE108
经过上述操作分别得到相应的高分辨率输出子图像块张量集合
Figure 791213DEST_PATH_IMAGE109
和
Figure 28290DEST_PATH_IMAGE110
。
进一步的，所述S4中，所述小波函数的具体操作为：
S4-1：对于所述K空间核预测超分辨率重建网络模型，以小波函数对不同分辨率的金字塔频域特征融合；
S4-1：对于所述K空间核预测超分辨率重建网络模型，以小波函数对不同分辨率的金字塔频域特征融合；
对低分辨率3D立体图像子图像块
Figure 848216DEST_PATH_IMAGE111
输出的高分辨率子图像块张量集合
Figure 323191DEST_PATH_IMAGE112
，将输出张量
Figure 695004DEST_PATH_IMAGE113
二次线性插值上采样得到
Figure 622640DEST_PATH_IMAGE114
，使得
Figure 246257DEST_PATH_IMAGE115
,
Figure 215219DEST_PATH_IMAGE116
尺寸保持一致，对张量对
Figure 197082DEST_PATH_IMAGE117
,
Figure 579390DEST_PATH_IMAGE118
进行离散小波分解，得到低频系数矩 阵
Figure 508163DEST_PATH_IMAGE119
,
Figure 862790DEST_PATH_IMAGE120
和高频系数矩阵
Figure 285329DEST_PATH_IMAGE121
,
Figure 561459DEST_PATH_IMAGE122
，其中J表示分解层数，
Figure 713829DEST_PATH_IMAGE123
, 将低 频系数矩阵
Figure 952656DEST_PATH_IMAGE119
,
Figure 975189DEST_PATH_IMAGE120
分别在水平、垂直、竖直三个方向上卷积，
Figure 738614DEST_PATH_IMAGE124
(9)
Figure 953449DEST_PATH_IMAGE125
(10)
Figure 643188DEST_PATH_IMAGE126
(11)
其中
Figure 308393DEST_PATH_IMAGE127
表示三个方向上的卷积核，向量
Figure 27957DEST_PATH_IMAGE128
；设低频系数矩阵
Figure 69600DEST_PATH_IMAGE129
和
Figure 456587DEST_PATH_IMAGE120
的卷积系数矩阵分别为
Figure 558273DEST_PATH_IMAGE130
,
Figure 594494DEST_PATH_IMAGE131
,
Figure 580773DEST_PATH_IMAGE132
和
Figure 524065DEST_PATH_IMAGE133
,
Figure 950980DEST_PATH_IMAGE134
,
Figure 740075DEST_PATH_IMAGE135
， 进一步计算低频融合系数矩阵
Figure 123521DEST_PATH_IMAGE136
：
Figure 78576DEST_PATH_IMAGE137
(12)
Figure 990906DEST_PATH_IMAGE138
(13)
Figure 64036DEST_PATH_IMAGE139
(14)
将高频系数矩阵内的最大体素值
Figure 743451DEST_PATH_IMAGE140
,
Figure 818592DEST_PATH_IMAGE141
作为高频融合 系数矩阵内的体素值得到高频融合系数矩阵
Figure 340972DEST_PATH_IMAGE142
：
Figure 665512DEST_PATH_IMAGE143
(15)
对低频融合系数矩阵
Figure 640028DEST_PATH_IMAGE144
和高频融合系数矩阵
Figure 336719DEST_PATH_IMAGE145
进行小波逆变换得到p-1级 高分辨率融合子图像块张量
Figure 528535DEST_PATH_IMAGE146
；同理，
Figure 137109DEST_PATH_IMAGE147
经过上述上采样步骤进一步与张量
Figure 433092DEST_PATH_IMAGE148
得到p-2级融合子图像块张量
Figure 13984DEST_PATH_IMAGE149
，以此类推，最终1级融合子图像块张量
Figure 409324DEST_PATH_IMAGE150
与 张量
Figure 239615DEST_PATH_IMAGE151
融合，得到由低分辨率3D立体图像子图像块
Figure 604868DEST_PATH_IMAGE152
预测的高分辨率3D立体图像子 图像块输出
Figure 305845DEST_PATH_IMAGE153
；
对低分辨率3D立体图像子图像块
Figure 465562DEST_PATH_IMAGE154
和
Figure 986411DEST_PATH_IMAGE155
输出的高分辨率子图像块张量集合
Figure 794836DEST_PATH_IMAGE156
和
Figure 117364DEST_PATH_IMAGE157
，以小波函数对不同分辨率的金字塔频域特征融 合，得到预测的高分辨率3D立体图像子图像块输出
Figure 212097DEST_PATH_IMAGE158
和
Figure 190548DEST_PATH_IMAGE159
；
S4-2：针对所有低分辨率3D立体图像子图像块集合
Figure 927298DEST_PATH_IMAGE160
、
Figure 573174DEST_PATH_IMAGE161
、
Figure 245333DEST_PATH_IMAGE162
训练各自的 超分辨率重建网络，得到预测的高分辨率3D立体图像子图像块集合
Figure 242239DEST_PATH_IMAGE163
、
Figure 251521DEST_PATH_IMAGE164
、
Figure 283062DEST_PATH_IMAGE165
， 根据3D立体图像分割前的位置信息将高分辨率预测结果拼接，得到重建后的高分辨率3D立 体图像数据集
Figure 415139DEST_PATH_IMAGE166
。
进一步的，所述S3中，所述超分辨率重建网络模型以K空间核预测网络为基础，基 于金字塔特征提取，以小波函数对不同分辨率的金字塔频域特征融合，其损失函数L由加权 的均方误差损失函数
Figure 850406DEST_PATH_IMAGE167
和结构相似性损失函数
Figure 538745DEST_PATH_IMAGE168
构成，如下式所示：
Figure 424792DEST_PATH_IMAGE169
(16)
Figure 314120DEST_PATH_IMAGE170
(17)
Figure 922169DEST_PATH_IMAGE171
(18)
其中
Figure 742095DEST_PATH_IMAGE172
表示原始高分辨率3D立体图像子图像块，
Figure 719801DEST_PATH_IMAGE173
表示对应的由超分辨率重 建预测的高分辨率子图像块，
Figure 842347DEST_PATH_IMAGE174
表示对应子图像块体素平均值，
Figure 734430DEST_PATH_IMAGE175
表示对应子图像块体素 标准差，c为偏置量，
Figure 89538DEST_PATH_IMAGE176
，
Figure 792921DEST_PATH_IMAGE177
和
Figure 654346DEST_PATH_IMAGE178
表示两种损失函数权重占比，
Figure 410556DEST_PATH_IMAGE179
，
Figure 257770DEST_PATH_IMAGE180
。
本发明的优点和有益效果：
本发明利用基于K空间频域细节评级，将不同3D立体图像子图像块进行细节难度评级分组，根据细节复杂度构建并训练不同的超分辨率重建网络，可以大幅度减少计算量；采用基于K空间核预测网络代替传统卷积神经网络，减少了3D立体图像中大量的伪影和噪声问题，使得超分辨率重建网络对图像细节加以重视；在超分辨率重建网络中引入金字塔频域特征融合的理念，提取3D立体图像在不同分辨率下的特征张量；最后利用小波函数，对不同分辨率的金字塔频域特征进行融合；为了能更好的重建3D立体图像的低频信息，在小波分解后低频系数矩阵的融合方法上加以创新，使其得到更好的融合效果。
本发明在体素多且细节重建难度大的3D立体图像中，获得了更好的超分辨率重建效果，通过对输入的3D立体图像进行K空间频域细节评级，大大减少了运算量，并对图像细节加以重视，采用金字塔频域特征融合思想，使得3D立体图像的重建效率和精度均得到了有效提升。
附图说明
图1为超分辨率重建网络模型层级结构图。
具体实施方式
为使本发明的目的、实施方案和优点更为清晰，下面结合附图来进一步详细说明本发明。
实施例1：
一种K空间金字塔特征融合的立体图像超分辨率重建方法，其特征在于，该方法包括以下步骤：
步骤一、制作大脑3D-MRI图像数据集，包括如下步骤：
收集大脑3D-MRI图像数据集，将数据集分为训练集和测试集；
收集原始分辨率大脑3D-MRI图像数据集
Figure 81239DEST_PATH_IMAGE181
，其中
Figure 811166DEST_PATH_IMAGE002
代表 数据集中图像总数量，其中第a张图像
Figure 680771DEST_PATH_IMAGE004
的尺寸为
Figure 86605DEST_PATH_IMAGE182
，
Figure 905525DEST_PATH_IMAGE183
， 设D为待分割的图像块尺寸，将数据集中3D立体图像分割为G个同等大小
Figure 727726DEST_PATH_IMAGE184
的子 图像块
Figure 789354DEST_PATH_IMAGE185
，其中
Figure 27306DEST_PATH_IMAGE186
(19)
Figure 153263DEST_PATH_IMAGE187
(20)
Figure 756151DEST_PATH_IMAGE012
操作表示结果向上取整，Q a 代表第a张图像分割后的子图像块数目；
从
Figure 429709DEST_PATH_IMAGE188
中构建大脑3D-MRI图像数据集高分辨率样本集
Figure 409035DEST_PATH_IMAGE189
作为训练输出，其中高分辨率3D立体图像
Figure 953280DEST_PATH_IMAGE190
的尺寸为
Figure 54966DEST_PATH_IMAGE191
；将高分辨率3D立体图像训练样本集I H 划分为
Figure 215820DEST_PATH_IMAGE192
个尺寸为
Figure 61154DEST_PATH_IMAGE193
的子图像块
Figure 459906DEST_PATH_IMAGE194
，将
Figure 857127DEST_PATH_IMAGE189
进行1/m倍下 采样获取其对应的低分辨率样本集
Figure 36435DEST_PATH_IMAGE195
作为训练输入，其中低分 辨率3D立体图像
Figure 249242DEST_PATH_IMAGE061
的尺寸为
Figure 564817DEST_PATH_IMAGE196
；将低分辨率3D立体图像训练样本集I L 划分 为
Figure 273884DEST_PATH_IMAGE064
个尺寸为
Figure 409331DEST_PATH_IMAGE197
的子图像块集合
Figure 222566DEST_PATH_IMAGE198
；
步骤二、对大脑3D-MRI图像子图像块集合
Figure 563286DEST_PATH_IMAGE016
、
Figure 803775DEST_PATH_IMAGE036
、
Figure 597156DEST_PATH_IMAGE037
进行K空间频域细节评级 划分，该方法包括以下步骤：
将大脑3D-MRI图像子图像块数据集
Figure 948503DEST_PATH_IMAGE199
标签化，划分 为不同细节难度等级的集合；
Figure 379615DEST_PATH_IMAGE200
表示该子图像块集细节普遍较多；
Figure 985082DEST_PATH_IMAGE069
表示该子图像 块集细节适中；
Figure 95120DEST_PATH_IMAGE201
表示该子图像块集细节普遍较少；
首先针对大脑3D-MRI图像子图像块K空间自动标签，对子图像块数据集的
Figure 499426DEST_PATH_IMAGE202
，其 中
Figure 955684DEST_PATH_IMAGE203
代表子图像块数据集
Figure 374858DEST_PATH_IMAGE204
中
Figure 819132DEST_PATH_IMAGE205
的傅里叶变换，计算其低频、中频、高频的幅值占 比：
Figure 10817DEST_PATH_IMAGE206
(21)
Figure 524843DEST_PATH_IMAGE207
(22)
Figure 229101DEST_PATH_IMAGE208
(23)
其中
Figure 48152DEST_PATH_IMAGE025
表示子图像块
Figure 122156DEST_PATH_IMAGE205
在
Figure 880903DEST_PATH_IMAGE027
坐标位置的体素值，
Figure 319843DEST_PATH_IMAGE209
、
Figure 563874DEST_PATH_IMAGE210
和
Figure 441569DEST_PATH_IMAGE211
分别代表低频、中频、高频幅值占比，
Figure 320401DEST_PATH_IMAGE031
，
Figure 87500DEST_PATH_IMAGE212
分别代表低频分量和高频分量范围，根据
Figure 989466DEST_PATH_IMAGE209
、
Figure 234633DEST_PATH_IMAGE213
和
Figure 623764DEST_PATH_IMAGE211
初步确认该子图像块
Figure 92923DEST_PATH_IMAGE214
的细节复杂度并对其自动分级到
Figure 311545DEST_PATH_IMAGE215
、
Figure 186835DEST_PATH_IMAGE069
、
Figure 338462DEST_PATH_IMAGE070
。
在自动标签子图像块基础上选择训练样本进行人工核验，针对大脑3D-MRI图像的细节加入人工权重，由手动标签辅助进一步正确划分训练子图像块，归位训练网络。
高分辨率3D立体图像子图像块集合B H 经过卷积判别网络得到不同等级的细节评 级数据集
Figure 775260DEST_PATH_IMAGE216
、
Figure 979714DEST_PATH_IMAGE069
、
Figure 629001DEST_PATH_IMAGE070
，低分辨率3D立体图像子图像块集合
Figure 166293DEST_PATH_IMAGE217
一一对应归位为
Figure 242833DEST_PATH_IMAGE082
、
Figure 98417DEST_PATH_IMAGE104
、
Figure 754657DEST_PATH_IMAGE218
，根据细节复杂度构建并训练不同的超分辨率重建网络
Figure 146455DEST_PATH_IMAGE219
、
Figure 423591DEST_PATH_IMAGE076
、
Figure 838523DEST_PATH_IMAGE220
；
步骤三、将大脑3D-MRI图像子图像块集合
Figure 62568DEST_PATH_IMAGE221
作为超分辨率重建网络输入，大脑 3D-MRI图像子图像块集合
Figure 246556DEST_PATH_IMAGE222
作为超分辨率重建网络输出，训练不同的超分辨率重建网络
Figure 648588DEST_PATH_IMAGE219
、
Figure 826847DEST_PATH_IMAGE076
、
Figure 403320DEST_PATH_IMAGE223
，该方法包括以下步骤：
对细节评级归入为
Figure 878033DEST_PATH_IMAGE078
的低分辨率3D立体图像子图像块集合，将其第v个训练样 本
Figure 372337DEST_PATH_IMAGE079
输入到超分辨率重建网络
Figure 699544DEST_PATH_IMAGE219
中，
Figure 875180DEST_PATH_IMAGE224
，V为
Figure 1136DEST_PATH_IMAGE082
中子图像块的数目；经 由卷积提取原始分辨率特征
Figure 807287DEST_PATH_IMAGE225
，依据金字塔特征组成p层多分辨率张量集合
Figure 182643DEST_PATH_IMAGE226
，其中
Figure 53647DEST_PATH_IMAGE227
代表
Figure 768531DEST_PATH_IMAGE228
经过
Figure 73479DEST_PATH_IMAGE087
次1/m倍下采样的特征，
Figure 375278DEST_PATH_IMAGE229
，对上述多分辨率张量集合再 次提取卷积特征，得到多分辨率卷积特征张量集合
Figure 220612DEST_PATH_IMAGE230
，第
Figure 884943DEST_PATH_IMAGE090
层 卷积特征张量
Figure 485426DEST_PATH_IMAGE231
，再次经由卷积获取K空间核函数超分辨率张量集 合
Figure 461473DEST_PATH_IMAGE232
，其中第
Figure 408700DEST_PATH_IMAGE093
层的K空间核函数张量
Figure 160493DEST_PATH_IMAGE233
，进一步将K空间核函数张量集合
Figure 167763DEST_PATH_IMAGE234
对应到相应的高分辨率输出子图像块张量集合
Figure 631106DEST_PATH_IMAGE235
中，如下式所示：
Figure 382024DEST_PATH_IMAGE236
(24)
其中第
Figure 988324DEST_PATH_IMAGE098
层的高分辨率输出子图像块张量
Figure 228812DEST_PATH_IMAGE237
，
Figure 117134DEST_PATH_IMAGE100
表示张 量坐标位置，
Figure 600240DEST_PATH_IMAGE101
表示点乘操作，
Figure 359249DEST_PATH_IMAGE102
表示多分辨率下采样张量
Figure 941278DEST_PATH_IMAGE103
的m倍线性插值上采样特征张量；
对细节评级归入为
Figure 51316DEST_PATH_IMAGE073
、
Figure 314676DEST_PATH_IMAGE105
的低分辨率3D立体图像子图像块集合，分别送入到 超分辨率重建网络
Figure 521666DEST_PATH_IMAGE076
、
Figure 556487DEST_PATH_IMAGE106
中训练，
Figure 870268DEST_PATH_IMAGE073
中的第r个训练样本
Figure 763750DEST_PATH_IMAGE238
和
Figure 871252DEST_PATH_IMAGE105
中的第n个训练 样本
Figure 873712DEST_PATH_IMAGE108
经过上述操作分别得到相应的高分辨率输出子图像块张量集合
Figure 597823DEST_PATH_IMAGE109
和
Figure 281615DEST_PATH_IMAGE110
。
对低分辨率3D立体图像子图像块
Figure 774782DEST_PATH_IMAGE111
输出的高分辨率子图像块张量集合
Figure 777504DEST_PATH_IMAGE112
，将输出张量
Figure 785649DEST_PATH_IMAGE239
二次线性插值上采样得到
Figure 866606DEST_PATH_IMAGE114
，使得
Figure 745438DEST_PATH_IMAGE115
,
Figure 715799DEST_PATH_IMAGE116
尺寸保持一致，对张量对
Figure 476820DEST_PATH_IMAGE117
,
Figure 721987DEST_PATH_IMAGE118
进行离散小波分解，得到低频系数矩 阵
Figure 517643DEST_PATH_IMAGE240
,
Figure 455643DEST_PATH_IMAGE120
和高频系数矩阵
Figure 907222DEST_PATH_IMAGE241
,
Figure 956080DEST_PATH_IMAGE242
，其中J表示分解层数，
Figure 638866DEST_PATH_IMAGE243
, 将低 频系数矩阵
Figure 863215DEST_PATH_IMAGE244
,
Figure 303555DEST_PATH_IMAGE120
分别在水平、垂直、竖直三个方向上卷积，
Figure 687263DEST_PATH_IMAGE245
(25)
Figure 519827DEST_PATH_IMAGE246
(26)
Figure 2892DEST_PATH_IMAGE126
(27)
其中
Figure 320741DEST_PATH_IMAGE247
表示三个方向上的卷积核，向量
Figure 147621DEST_PATH_IMAGE128
；设低频系数矩阵
Figure 8260DEST_PATH_IMAGE248
和
Figure 285396DEST_PATH_IMAGE120
的卷积系数矩阵分别为
Figure 700328DEST_PATH_IMAGE249
,
Figure 127636DEST_PATH_IMAGE131
,
Figure 639520DEST_PATH_IMAGE250
和
Figure 87556DEST_PATH_IMAGE133
,
Figure 532661DEST_PATH_IMAGE251
,
Figure 248814DEST_PATH_IMAGE135
， 进一步计算低频融合系数矩阵
Figure 926789DEST_PATH_IMAGE136
：
Figure 998256DEST_PATH_IMAGE137
(28)
Figure 574731DEST_PATH_IMAGE138
(29)
Figure 389847DEST_PATH_IMAGE252
(30)
将高频系数矩阵内的最大体素值
Figure 610744DEST_PATH_IMAGE253
,
Figure 10370DEST_PATH_IMAGE254
作为高频融合 系数矩阵内的体素值得到高频融合系数矩阵
Figure 792250DEST_PATH_IMAGE255
：
Figure 663254DEST_PATH_IMAGE256
(31)
对低频融合系数矩阵
Figure 784663DEST_PATH_IMAGE257
和高频融合系数矩阵
Figure 909786DEST_PATH_IMAGE145
进行小波逆变换得到p-1级 高分辨率融合子图像块张量
Figure 273903DEST_PATH_IMAGE147
；同理，
Figure 384816DEST_PATH_IMAGE147
经过上述上采样步骤进一步与张量
Figure 49147DEST_PATH_IMAGE148
得到p-2级融合子图像块张量
Figure 56155DEST_PATH_IMAGE149
，以此类推，最终1级融合子图像块张量
Figure 501042DEST_PATH_IMAGE150
与 张量
Figure 150067DEST_PATH_IMAGE151
融合，得到由低分辨率3D立体图像子图像块
Figure 262380DEST_PATH_IMAGE152
预测的高分辨率3D立体图像子 图像块输出
Figure 941754DEST_PATH_IMAGE153
；
对低分辨率3D立体图像子图像块
Figure 638052DEST_PATH_IMAGE154
和
Figure 61074DEST_PATH_IMAGE155
输出的高分辨率子图像块张量集合
Figure 932953DEST_PATH_IMAGE156
和
Figure 157130DEST_PATH_IMAGE157
，以小波函数对不同分辨率的金字塔频域特征融 合，得到预测的高分辨率3D立体图像子图像块输出
Figure 419353DEST_PATH_IMAGE158
和
Figure 473764DEST_PATH_IMAGE258
；
针对所有低分辨率3D立体图像子图像块集合
Figure 855941DEST_PATH_IMAGE259
、
Figure 251020DEST_PATH_IMAGE161
、
Figure 780965DEST_PATH_IMAGE260
训练各自的超分辨 率重建网络，得到预测的高分辨率3D立体图像子图像块集合
Figure 919691DEST_PATH_IMAGE163
、
Figure 48053DEST_PATH_IMAGE164
、
Figure 473087DEST_PATH_IMAGE165
，根据3D 立体图像分割前的位置信息将高分辨率预测结果拼接，得到重建后的高分辨率3D立体图像 数据集
Figure 54110DEST_PATH_IMAGE166
。
损失函数L由加权的均方误差损失函数
Figure 730947DEST_PATH_IMAGE167
和结构相似性损失函数
Figure 307291DEST_PATH_IMAGE168
构成，如下式 所示：
Figure 496702DEST_PATH_IMAGE169
(32)
Figure 689655DEST_PATH_IMAGE170
(33)
Figure 858599DEST_PATH_IMAGE261
(34)
其中
Figure 187704DEST_PATH_IMAGE172
表示原始高分辨率3D立体图像子图像块，
Figure 157802DEST_PATH_IMAGE173
表示对应的由超分辨率重 建预测的高分辨率子图像块，
Figure 792046DEST_PATH_IMAGE174
表示对应子图像块体素平均值，
Figure 30261DEST_PATH_IMAGE175
表示对应子图像块体素 标准差，c为偏置量，
Figure 4033DEST_PATH_IMAGE176
，
Figure 738508DEST_PATH_IMAGE177
和
Figure 797731DEST_PATH_IMAGE178
表示两种损失函数权重占比，
Figure 370795DEST_PATH_IMAGE179
，
Figure 635292DEST_PATH_IMAGE180
。
经过以上步骤，可以实现大脑3D-MRI图像超分辨率重建。
在上述实施例的基础上，本发明继续对其中涉及到的技术特征及该技术特征在本发明中所起到的功能、作用进行详细的描述，以帮助本领域的技术人员充分理解本发明的技术方案并且予以重现。

Claims (6)

1.一种K空间金字塔特征融合的立体图像超分辨率重建方法，其特征在于，该方法包括以下步骤：
S1：收集3D立体图像数据集，将该数据集分为训练集和测试集；
S2：对所述3D立体图像数据集划分为子区域，再基于K空间频域细节评级；
S3：搭建基于K空间核预测网络的超分辨率重建模型，首先提取不同分辨率金字塔频域特征；
S4：再以小波函数对不同分辨率的金字塔频域特征融合；
S5：由训练集训练所述超分辨率重建模型，将训练好的重建模型用于测试集测试，输出3D立体图像超分辨率重建结果。
2.如权利要求1所述的立体图像超分辨率重建方法，其特征在于，所述S2中，所述频域细节评级为建立一个判别网络，针对3D立体图像中子图像块重建问题根据其细节难度评级分组。
3.如权利要求2所述的立体图像超分辨率重建方法，其特征在于，所述S2具体如下：
S2-1：收集原始分辨率3D立体图像数据集
Figure 632964DEST_PATH_IMAGE001
，其中
Figure 75577DEST_PATH_IMAGE002
代表数 据集中图像总数量，其中第
Figure 655726DEST_PATH_IMAGE003
张图像
Figure 403364DEST_PATH_IMAGE004
的尺寸为
Figure 789477DEST_PATH_IMAGE005
，
Figure 729008DEST_PATH_IMAGE006
， 设D为待分割的图像块尺寸，将数据集中3D立体图像分割为
Figure 683319DEST_PATH_IMAGE007
个同等大小
Figure 918254DEST_PATH_IMAGE008
的子 图像块
Figure 959987DEST_PATH_IMAGE009
，其中
Figure 862346DEST_PATH_IMAGE010
(1)
Figure 377772DEST_PATH_IMAGE011
(2)
Figure 224636DEST_PATH_IMAGE012
操作表示结果向上取整，
Figure 749290DEST_PATH_IMAGE013
代表第
Figure 427527DEST_PATH_IMAGE014
张图像分割后的子图像块数目；
S2-2：训练一个卷积判别神经网络对分割后的子图像块重建的细节难度评级分组, 具体为：
将3D立体图像子图像块数据集
Figure 379434DEST_PATH_IMAGE015
标签化，划分为不同细节难度等级的集合；
Figure 775911DEST_PATH_IMAGE016
表示该 子图像块集细节普遍较多；
Figure 838676DEST_PATH_IMAGE017
表示该子图像块集细节适中；
Figure 653310DEST_PATH_IMAGE018
表示该子图像块集细节普 遍较少；
首先针对3D立体图像子图像块K空间自动标签，对子图像块数据集的B b ，其中
Figure 979381DEST_PATH_IMAGE019
代 表子图像块数据集
Figure 66417DEST_PATH_IMAGE020
中
Figure 667293DEST_PATH_IMAGE021
的傅里叶变换，计算其低频、中频、高频的幅值占比：
Figure 54543DEST_PATH_IMAGE022
(3)
Figure 82673DEST_PATH_IMAGE023
(4)
Figure 188164DEST_PATH_IMAGE024
(5)
其中
Figure 61573DEST_PATH_IMAGE025
表示子图像块
Figure 155579DEST_PATH_IMAGE026
在
Figure 416927DEST_PATH_IMAGE025
坐标位置的体素值，
Figure 478555DEST_PATH_IMAGE027
、
Figure 483551DEST_PATH_IMAGE028
和
Figure 986339DEST_PATH_IMAGE029
分别代 表低频、中频、高频幅值占比，
Figure 153009DEST_PATH_IMAGE030
，
Figure 764250DEST_PATH_IMAGE031
分别代表低频分量和高频分量范围，根据
Figure 307358DEST_PATH_IMAGE027
、
Figure 992549DEST_PATH_IMAGE028
和
Figure 595699DEST_PATH_IMAGE029
初步确认该子图像块
Figure 897499DEST_PATH_IMAGE032
的细节复杂度并对其自动分级到
Figure 447560DEST_PATH_IMAGE033
、
Figure 315153DEST_PATH_IMAGE034
、
Figure 89205DEST_PATH_IMAGE035
；
在自动标签子图像块基础上选择训练样本进行人工核验，由手动标签辅助进一步正确划分训练子图像块，归位训练网络；
构建卷积判别网络进行3D立体图像子图像块K空间细节复杂度评级，以卷积神经网络为基础，对训练子图像块K空间特征表示进行随机滤波数据扩增，并采用傅里叶逆变换得到多个重采样数据，
Figure 409459DEST_PATH_IMAGE036
(6)
Figure 28790DEST_PATH_IMAGE037
其中
Figure 219732DEST_PATH_IMAGE038
表示傅里叶逆变换，
Figure 695843DEST_PATH_IMAGE039
表示训练子图像块B b 经过随机滤波器滤波处理后的 第
Figure 237814DEST_PATH_IMAGE040
个重采样结果，
Figure 864099DEST_PATH_IMAGE041
表示进行滤波次数，
Figure 971863DEST_PATH_IMAGE042
表示第
Figure 556559DEST_PATH_IMAGE040
个滤波器的系数矩阵，最终得到 重采样训练数据集合
Figure 93547DEST_PATH_IMAGE043
；
将该重采样训练数据集合
Figure 992364DEST_PATH_IMAGE044
作为输入，将对应的人工标注细节评级作 为理想输出，经过判别网络卷积层、残差层和ReLU激活层，训练网络得到网络特征编码
Figure 830002DEST_PATH_IMAGE045
，其中
Figure 788861DEST_PATH_IMAGE046
表示经过卷积判别网络层的运算结果，最后采用 softmax函数获得实际判别输出，
Figure 915211DEST_PATH_IMAGE047
(7)
其中
Figure 820982DEST_PATH_IMAGE048
代表卷积判别网络实际输出的细节评级预测复杂度值，最终根据
Figure 637759DEST_PATH_IMAGE049
值确定3D立 体图像子图像块的细节评级。
4.如权利要求1所述的立体图像超分辨率重建方法，其特征在于，所述S3具体为：
S3-1：建立超分辨率重建网络模型，从原始分辨率3D立体图像数据集I中随机选取M张 图像，构建高分辨率样本集
Figure 829837DEST_PATH_IMAGE050
作为训练输出，其中高分辨率3D 立体图像
Figure 568117DEST_PATH_IMAGE051
的尺寸为
Figure 402212DEST_PATH_IMAGE052
；将高分辨率3D立体图像训练样本集
Figure 276758DEST_PATH_IMAGE053
划分为
Figure 170896DEST_PATH_IMAGE054
个尺寸为
Figure 130893DEST_PATH_IMAGE055
的子图像块
Figure 706362DEST_PATH_IMAGE056
，将
Figure 497732DEST_PATH_IMAGE057
进行1/m倍下采样获取其对应的低分辨率样本集
Figure 766033DEST_PATH_IMAGE058
作为训练输 入，其中低分辨率3D立体图像
Figure 10064DEST_PATH_IMAGE059
的尺寸为
Figure 654803DEST_PATH_IMAGE060
；将低分辨率3D立体图像训练 样本集
Figure 769520DEST_PATH_IMAGE061
划分为
Figure 474302DEST_PATH_IMAGE062
个尺寸为
Figure 2367DEST_PATH_IMAGE063
的子图像块集合
Figure 474234DEST_PATH_IMAGE064
；
高分辨率3D立体图像子图像块集合
Figure 974617DEST_PATH_IMAGE065
经过卷积判别网络得到不同等级的细节评级数 据集
Figure 647038DEST_PATH_IMAGE066
、
Figure 68923DEST_PATH_IMAGE067
、
Figure 586623DEST_PATH_IMAGE068
，低分辨率3D立体图像子图像块集合
Figure 144775DEST_PATH_IMAGE069
一一对应归位为
Figure 456938DEST_PATH_IMAGE070
、
Figure 694016DEST_PATH_IMAGE071
、
Figure 218669DEST_PATH_IMAGE072
，根据细节复杂度构建并训练不同的超分辨率重建网络
Figure 224802DEST_PATH_IMAGE073
、
Figure 504605DEST_PATH_IMAGE074
、
Figure 104345DEST_PATH_IMAGE075
；
S3-2：对细节评级归入为
Figure 229427DEST_PATH_IMAGE070
的低分辨率3D立体图像子图像块集合，将其第v个训练样 本
Figure 824487DEST_PATH_IMAGE076
输入到超分辨率重建网络
Figure 9612DEST_PATH_IMAGE073
中，
Figure 158965DEST_PATH_IMAGE077
，V为
Figure 822159DEST_PATH_IMAGE070
中子图像块的数目；经 由卷积提取原始分辨率特征
Figure 147092DEST_PATH_IMAGE078
，依据金字塔特征组成p层多分辨率张量集合
Figure 237539DEST_PATH_IMAGE079
，其中
Figure 15133DEST_PATH_IMAGE080
代表
Figure 154121DEST_PATH_IMAGE081
经过
Figure 661457DEST_PATH_IMAGE082
次1/m倍下采样的特征，
Figure 532592DEST_PATH_IMAGE083
，对上述多分辨率张量集合再 次提取卷积特征，得到多分辨率卷积特征张量集合
Figure 695417DEST_PATH_IMAGE084
，第
Figure 965992DEST_PATH_IMAGE085
层 卷积特征张量
Figure 390151DEST_PATH_IMAGE086
，再次经由卷积获取K空间核函数超分辨率张量集 合
Figure 432188DEST_PATH_IMAGE087
，其中第
Figure 840167DEST_PATH_IMAGE088
层的K空间核函数张量
Figure 117695DEST_PATH_IMAGE089
， 进一步将K空间核函数张量集合
Figure 865203DEST_PATH_IMAGE090
对应到相应的高分辨率输 出子图像块张量集合
Figure 999512DEST_PATH_IMAGE091
中，如下式所示：
Figure 363628DEST_PATH_IMAGE092
(8)
其中第
Figure 241585DEST_PATH_IMAGE093
层的高分辨率输出子图像块张量
Figure 640337DEST_PATH_IMAGE094
，
Figure 945547DEST_PATH_IMAGE095
表示张量坐 标位置，
Figure 672326DEST_PATH_IMAGE096
表示点乘操作，
Figure 291657DEST_PATH_IMAGE097
表示多分辨率下采样张量
Figure 13757DEST_PATH_IMAGE098
的m倍线性插值上采样特征张量；
对细节评级归入为
Figure 693131DEST_PATH_IMAGE071
、
Figure 297419DEST_PATH_IMAGE099
的低分辨率3D立体图像子图像块集合，分别送入到超分 辨率重建网络
Figure 986020DEST_PATH_IMAGE100
、
Figure 562626DEST_PATH_IMAGE101
中训练，
Figure 412902DEST_PATH_IMAGE071
中的第r个训练样本
Figure 770065DEST_PATH_IMAGE102
和
Figure 262357DEST_PATH_IMAGE099
中的第n个训练样本
Figure 755787DEST_PATH_IMAGE103
经过上述操作分别得到相应的高分辨率输出子图像块张量集合
Figure 308122DEST_PATH_IMAGE104
和
Figure 824685DEST_PATH_IMAGE105
。
5.如权利要求1所述的立体图像超分辨率重建方法，其特征在于，所述S4中，所述小波函数的具体操作为：
S4-1：对于所述K空间核预测超分辨率重建网络模型，以小波函数对不同分辨率的金字塔频域特征融合；
对低分辨率3D立体图像子图像块
Figure 386247DEST_PATH_IMAGE106
输出的高分辨率子图像块张量集合
Figure 734183DEST_PATH_IMAGE107
，将输出张量
Figure 457420DEST_PATH_IMAGE108
二次线性插值上采样得到
Figure 750296DEST_PATH_IMAGE109
，使得
Figure 256495DEST_PATH_IMAGE110
,
Figure 662199DEST_PATH_IMAGE109
尺寸保持一致，对张量对
Figure 494020DEST_PATH_IMAGE110
,
Figure 454017DEST_PATH_IMAGE111
进行离散小波分解，得到低频系数矩 阵
Figure 826224DEST_PATH_IMAGE112
,
Figure 352014DEST_PATH_IMAGE113
和高频系数矩阵
Figure 948212DEST_PATH_IMAGE114
,
Figure 457821DEST_PATH_IMAGE115
，其中J表示分解层数，
Figure 899298DEST_PATH_IMAGE116
, 将低 频系数矩阵
Figure 810754DEST_PATH_IMAGE112
,
Figure 312273DEST_PATH_IMAGE117
分别在水平、垂直、竖直三个方向上卷积，
Figure 105917DEST_PATH_IMAGE118
(9)
Figure 23188DEST_PATH_IMAGE119
(10)
Figure 320309DEST_PATH_IMAGE120
(11)
其中
Figure 195992DEST_PATH_IMAGE121
表示三个方向上的卷积核，向量
Figure 945773DEST_PATH_IMAGE122
；设低频系数矩阵
Figure 932315DEST_PATH_IMAGE123
和
Figure 21625DEST_PATH_IMAGE124
的卷积系数矩阵分别为
Figure 537051DEST_PATH_IMAGE125
,
Figure 977391DEST_PATH_IMAGE126
,
Figure 721618DEST_PATH_IMAGE127
和
Figure 399855DEST_PATH_IMAGE128
,
Figure 797166DEST_PATH_IMAGE129
,
Figure 600168DEST_PATH_IMAGE130
，进一步计 算低频融合系数矩阵
Figure 866195DEST_PATH_IMAGE131
：
Figure 133360DEST_PATH_IMAGE132
(12)
Figure 256168DEST_PATH_IMAGE133
(13)
Figure 405520DEST_PATH_IMAGE134
(14)
将高频系数矩阵内的最大体素值
Figure 6397DEST_PATH_IMAGE135
,
Figure 800172DEST_PATH_IMAGE136
作为高频融合系数 矩阵内的体素值得到高频融合系数矩阵
Figure 969247DEST_PATH_IMAGE137
：
Figure 215683DEST_PATH_IMAGE138
(15)
对低频融合系数矩阵
Figure 26775DEST_PATH_IMAGE139
和高频融合系数矩阵
Figure 737374DEST_PATH_IMAGE140
进行小波逆变换得到p-1级高分 辨率融合子图像块张量
Figure 998722DEST_PATH_IMAGE141
；同理，
Figure 653825DEST_PATH_IMAGE142
经过上述上采样步骤进一步与张量
Figure 127663DEST_PATH_IMAGE143
得 到p-2级融合子图像块张量
Figure 817401DEST_PATH_IMAGE144
，以此类推，最终1级融合子图像块张量
Figure 780809DEST_PATH_IMAGE145
与张量
Figure 923209DEST_PATH_IMAGE146
融合，得到由低分辨率3D立体图像子图像块
Figure 669579DEST_PATH_IMAGE147
预测的高分辨率3D立体图像子图像块输 出
Figure 479403DEST_PATH_IMAGE148
；
对低分辨率3D立体图像子图像块
Figure 840412DEST_PATH_IMAGE149
和
Figure 673370DEST_PATH_IMAGE150
输出的高分辨率子图像块张量集合
Figure 957852DEST_PATH_IMAGE151
和
Figure 825445DEST_PATH_IMAGE152
，以小波函数对不同分辨率的金字塔频域特征融 合，得到预测的高分辨率3D立体图像子图像块输出
Figure 740443DEST_PATH_IMAGE153
和
Figure 201642DEST_PATH_IMAGE154
；
S4-2：针对所有低分辨率3D立体图像子图像块集合
Figure 493077DEST_PATH_IMAGE155
、
Figure 949598DEST_PATH_IMAGE156
、
Figure 832234DEST_PATH_IMAGE157
训练各自的超分 辨率重建网络，得到预测的高分辨率3D立体图像子图像块集合
Figure 249571DEST_PATH_IMAGE158
、
Figure 344697DEST_PATH_IMAGE159
、
Figure 921303DEST_PATH_IMAGE160
，根据 3D立体图像分割前的位置信息将高分辨率预测结果拼接，得到重建后的高分辨率3D立体图 像数据集
Figure 833896DEST_PATH_IMAGE161
。
6.如权利要求1所述的立体图像超分辨率重建方法，其特征在于，所述S3中，所述超分 辨率重建网络模型以K空间核预测网络为基础，基于金字塔特征提取，以小波函数对不同分 辨率的金字塔频域特征融合，其损失函数L由加权的均方误差损失函数
Figure 659900DEST_PATH_IMAGE162
和结构相似性损 失函数
Figure 355455DEST_PATH_IMAGE163
构成，如下式所示：
Figure 52147DEST_PATH_IMAGE164
(16)
Figure 870061DEST_PATH_IMAGE165
(17)
Figure 855466DEST_PATH_IMAGE166
(18)
其中
Figure 151449DEST_PATH_IMAGE167
表示原始高分辨率3D立体图像子图像块，
Figure 374751DEST_PATH_IMAGE168
表示对应的由超分辨率重建预 测的高分辨率子图像块，
Figure 629146DEST_PATH_IMAGE169
表示对应子图像块体素平均值，
Figure 343988DEST_PATH_IMAGE170
表示对应子图像块体素标准 差，c为偏置量，
Figure 381346DEST_PATH_IMAGE171
，
Figure 724734DEST_PATH_IMAGE172
和
Figure 87713DEST_PATH_IMAGE173
表示两种损失函数权重占比，
Figure 641185DEST_PATH_IMAGE174
，
Figure 13392DEST_PATH_IMAGE175
。
CN202310016320.5A 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法 Active CN115880157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310016320.5A CN115880157B (zh) 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310016320.5A CN115880157B (zh) 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN115880157A true CN115880157A (zh) 2023-03-31
CN115880157B CN115880157B (zh) 2023-05-26

Family

ID=85758111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310016320.5A Active CN115880157B (zh) 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115880157B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495700A (zh) * 2023-09-22 2024-02-02 深圳光现科技有限公司 一种光器件接收信号处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046816A1 (en) * 2015-08-14 2017-02-16 Sharp Laboratories Of America, Inc. Super resolution image enhancement technique
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110473144A (zh) * 2019-08-07 2019-11-19 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN111192193A (zh) * 2019-11-26 2020-05-22 西安电子科技大学 一种基于1维-2维卷积神经网络高光谱单图超分辨方法
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN112767253A (zh) * 2021-02-05 2021-05-07 西南科技大学 一种多尺度特征融合的双目图像超分辨率重建方法
WO2021227877A1 (zh) * 2020-05-13 2021-11-18 中兴通讯股份有限公司 图像超分辨率处理方法、装置、设备及存储介质
CN114792287A (zh) * 2022-03-25 2022-07-26 南京航空航天大学 一种基于多图像融合的医学超声图像超分辨率重建方法
CN115115722A (zh) * 2021-03-17 2022-09-27 中国科学院深圳先进技术研究院 图像重建模型生成及图像重建方法、装置、设备和介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046816A1 (en) * 2015-08-14 2017-02-16 Sharp Laboratories Of America, Inc. Super resolution image enhancement technique
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110473144A (zh) * 2019-08-07 2019-11-19 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN111192193A (zh) * 2019-11-26 2020-05-22 西安电子科技大学 一种基于1维-2维卷积神经网络高光谱单图超分辨方法
WO2021227877A1 (zh) * 2020-05-13 2021-11-18 中兴通讯股份有限公司 图像超分辨率处理方法、装置、设备及存储介质
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN112767253A (zh) * 2021-02-05 2021-05-07 西南科技大学 一种多尺度特征融合的双目图像超分辨率重建方法
CN115115722A (zh) * 2021-03-17 2022-09-27 中国科学院深圳先进技术研究院 图像重建模型生成及图像重建方法、装置、设备和介质
CN114792287A (zh) * 2022-03-25 2022-07-26 南京航空航天大学 一种基于多图像融合的医学超声图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TOMOKI OMORI等: "k-Space Decomposition Based Super-resolution Three-dimensional Imaging Method for Millimeter Wave Radar", 《2020 IEEE RADAR CONFERENCE (RADARCONF20)》 *
于淑侠;胡良梅;张骏;张旭东;: "基于金字塔式双通道卷积神经网络的深度图像超分辨率重建", 《计算机应用研究》 *
刘微容;张超鹏;刘朝荣;刘婕;: "基于小波域稀疏表示和自适应混合样本回归的图像超分辨率重建算法", 《兰州理工大学学报》 *
施俊;汪琳琳;王珊珊;陈艳霞;王乾;魏冬铭;梁淑君;彭佳林;易佳锦;刘盛锋;倪东;王明亮;张道强;沈定刚;: "深度学习在医学影像中的应用综述", 《中国图象图形学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495700A (zh) * 2023-09-22 2024-02-02 深圳光现科技有限公司 一种光器件接收信号处理方法

Also Published As

Publication number Publication date
CN115880157B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
CN111563902B (zh) 一种基于三维卷积神经网络的肺叶分割方法及系统
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN111161273B (zh) 一种基于深度学习的医学超声图像分割方法
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN112734646A (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN106157244A (zh) 一种基于稀疏表示的QR Code图像超分辨重建方法
Vu et al. Perception-enhanced image super-resolution via relativistic generative adversarial networks
CN111161271A (zh) 一种超声图像分割方法
CN114841856A (zh) 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法
CN106097253A (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN113962887A (zh) 一种二维冷冻电镜图像去噪模型的训练方法、去噪方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN115880157A (zh) 一种k空间金字塔特征融合的立体图像超分辨率重建方法
CN114066729A (zh) 一种可恢复身份信息的人脸超分辨率重建方法
CN113763406A (zh) 基于半监督学习的婴儿脑mri分割方法
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法
Yang et al. An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
Yang et al. RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution
CN111681168A (zh) 一种基于并行残差网络的低分辨率细胞超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant