CN115880157B - 一种k空间金字塔特征融合的立体图像超分辨率重建方法 - Google Patents

一种k空间金字塔特征融合的立体图像超分辨率重建方法 Download PDF

Info

Publication number
CN115880157B
CN115880157B CN202310016320.5A CN202310016320A CN115880157B CN 115880157 B CN115880157 B CN 115880157B CN 202310016320 A CN202310016320 A CN 202310016320A CN 115880157 B CN115880157 B CN 115880157B
Authority
CN
China
Prior art keywords
sub
resolution
image
image block
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310016320.5A
Other languages
English (en)
Other versions
CN115880157A (zh
Inventor
年睿
吕航宇
李秋颖
钱玉琪
卢宗灿
李建辉
赵明章
何波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310016320.5A priority Critical patent/CN115880157B/zh
Publication of CN115880157A publication Critical patent/CN115880157A/zh
Application granted granted Critical
Publication of CN115880157B publication Critical patent/CN115880157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种K空间金字塔特征融合的立体图像超分辨率重建方法，属于深度学习技术领域。本发明利用基于K空间频域细节评级，将不同3D立体图像子图像块进行细节难度评级分组，根据细节复杂度构建并训练不同的超分辨率重建网络；采用基于K空间核预测网络代替传统卷积神经网络，使得超分辨率重建网络对图像细节加以重视；在超分辨率重建网络中引入金字塔频域特征融合的理念，提取3D立体图像在不同分辨率下的特征张量；利用小波函数，对不同分辨率的金字塔频域特征进行融合；在小波分解后低频系数矩阵的融合方法上加以创新，使其得到更好的融合效果。本发明使得3D立体图像的重建效率和精度均得到了有效提升。

Description

一种K空间金字塔特征融合的立体图像超分辨率重建方法
技术领域
本发明涉及深度学习和图像超分辨率重建相结合的技术领域，具体地涉及一种基于K空间细节评级及特征融合的图像超分辨率重建方法。
背景技术
图像超分辨率（Super Resolution, SR）重建技术是利用一系列技术手段，完成从单帧或多帧（序列）低分辨率（Low Resolution, LR）图像中恢复出高分辨率(HighResolution, HR)图像的任务。超分辨率重建技术在大大降低成本的情况下，克服成像设备和远程传输设备等硬件条件限制，提供理想的高分辨率图片。
医学图像超分辨率重建技术需求场景极多，医学检测过程中采集到的大量低分辨率图像，严重影响医生对病例病因的判断。因此，可通过计算机对图像进行超分辨率重建处理，得到具有细节特征更加丰富的高分辨率图像，辅助医生诊断。高分辨率的3D医学图像能提供器官或组织的详细结构信息，有助于临床诊断、决策和精确的定量图像分析。由于硬件设备等物理条件的限制，医学成像存在扫描时间长、低信噪比等缺点，医学图像的超分辨率重建算法能更有效地解决上述问题。由于直接学习从低维空间到高维空间的映射存在困难，利用传统的上采样算法获得更高分辨率的图像，利用深度神经网络进行细化。图像插值，又称图像缩放，是指调整3D图像的大小，传统的插值方法包括最近邻插值、双线性和双立方插值，由于这些方法可解释性强，易于实现，因此其中一些方法仍被广泛用于基于卷积神经网络（Convolutional Neural Network, CNN）的SR模型中，为了克服基于插值方法的缺点，以端到端的方式学习上采样，在SR领域引入了转置卷积层和亚像素层。利用超分辨率重建技术提高医学图像的分辨率，可以大大提高诊断质量，同时节省设备升级所需的材料和资金。
然而目前3D图像相对于2D图像，重建参数量和计算量都大幅度提高，传统深度学习模型存在参数繁多、运算耗时久、占用体积大的问题，在不同复杂度的图像上运用不同网络，细节越多的图像用越复杂的网络进行特征提取重建。因此，目前的重建模型和方法都会随着重建对象的复杂程度变的越来越复杂，重建效率不高。
发明内容
一种K空间金字塔特征融合的立体图像超分辨率重建方法，该方法包括以下步骤：
S1：收集3D立体图像数据集，将该数据集分为训练集和测试集；
S2：对所述3D立体图像数据集划分为子区域，再基于K空间频域细节评级；
S3：搭建基于K空间核预测网络的超分辨率重建模型，首先提取不同分辨率金字塔频域特征；
S4：再以小波函数对不同分辨率的金字塔频域特征融合；
S5：由训练集训练所述超分辨率重建模型，将训练好的重建模型用于测试集测试，输出3D立体图像超分辨率重建结果。
进一步的，所述S2中，所述频域细节评级为建立一个判别网络，针对3D立体图像中子图像块重建问题根据其细节难度评级分组。
更进一步的，所述S2具体如下：
S2-1：收集原始分辨率3D立体图像数据集
Figure 872204DEST_PATH_IMAGE001
，其中
Figure 491142DEST_PATH_IMAGE002
代表数据 集中图像总数量，其中第
Figure 615087DEST_PATH_IMAGE003
张图像
Figure 993984DEST_PATH_IMAGE004
的尺寸为
Figure 447837DEST_PATH_IMAGE005
，
Figure 739141DEST_PATH_IMAGE006
，设D为待分割 的图像块尺寸，将数据集中3D立体图像分割为
Figure 84803DEST_PATH_IMAGE007
个同等大小
Figure 516659DEST_PATH_IMAGE008
的子图像块
Figure 529746DEST_PATH_IMAGE009
，其中
Figure 991951DEST_PATH_IMAGE010
(1)
Figure 323444DEST_PATH_IMAGE011
(2)
Figure 529298DEST_PATH_IMAGE012
操作表示结果向上取整，
Figure 895426DEST_PATH_IMAGE013
代表第
Figure 794112DEST_PATH_IMAGE014
张图像分割后的子图像块数目；
S2-2：训练一个卷积判别神经网络对分割后的子图像块重建的细节难度评级分组, 具体为：
（1）将3D立体图像子图像块数据集
Figure 973420DEST_PATH_IMAGE015
标签化，划分为不同细节难度等级的集合；
Figure 91287DEST_PATH_IMAGE016
表示该子图像块集细节普遍较多；
Figure 203599DEST_PATH_IMAGE017
表示该子图像块集细节适中；
Figure 742028DEST_PATH_IMAGE018
表示该子图像块集细 节普遍较少；
首先针对3D立体图像子图像块K空间自动标签，对子图像块数据集的B b ，其中
Figure 579272DEST_PATH_IMAGE019
代表子图像块数据集
Figure 471135DEST_PATH_IMAGE020
中
Figure 772976DEST_PATH_IMAGE021
的傅里叶变换，计算其低频、中频、高频的幅值占比：
Figure 590629DEST_PATH_IMAGE022
(3)
Figure 56114DEST_PATH_IMAGE023
(4)
Figure 781362DEST_PATH_IMAGE024
(5)
其中
Figure 570064DEST_PATH_IMAGE025
表示子图像块
Figure 650628DEST_PATH_IMAGE026
在
Figure 147950DEST_PATH_IMAGE027
坐标位置的体素值，
Figure 557367DEST_PATH_IMAGE028
、
Figure 308898DEST_PATH_IMAGE029
和
Figure 530670DEST_PATH_IMAGE030
分别代表 低频、中频、高频幅值占比，
Figure 266020DEST_PATH_IMAGE031
，
Figure 254442DEST_PATH_IMAGE032
分别代表低频分量和高频分量范围，根据
Figure 922796DEST_PATH_IMAGE028
、
Figure 588174DEST_PATH_IMAGE033
和
Figure 610488DEST_PATH_IMAGE034
初步 确认该子图像块
Figure 543547DEST_PATH_IMAGE035
的细节复杂度并对其自动分级到
Figure 239976DEST_PATH_IMAGE016
、
Figure 39436DEST_PATH_IMAGE036
、
Figure 657368DEST_PATH_IMAGE037
；
在自动标签子图像块基础上选择训练样本进行人工核验，由手动标签辅助进一步正确划分训练子图像块，归位训练网络；
（2）构建卷积判别网络进行3D立体图像子图像块K空间细节复杂度评级，以卷积神经网络为基础，对训练子图像块K空间特征表示进行随机滤波数据扩增，并采用傅里叶逆变换得到多个重采样数据，
Figure 941588DEST_PATH_IMAGE038
(6)
Figure 820420DEST_PATH_IMAGE039
其中
Figure 633524DEST_PATH_IMAGE040
表示傅里叶逆变换，
Figure 473173DEST_PATH_IMAGE041
表示训练子图像块B b 经过随机滤波器滤波处理后 的第
Figure 482455DEST_PATH_IMAGE042
个重采样结果，
Figure 153477DEST_PATH_IMAGE043
表示进行滤波次数，
Figure 357056DEST_PATH_IMAGE044
表示第w个滤波器的系数矩阵，最终得到重 采样训练数据集合
Figure 277476DEST_PATH_IMAGE045
；
（3）将该重采样训练数据集合
Figure 231395DEST_PATH_IMAGE046
作为输入，将对应的人工标注细节评 级作为理想输出，经过判别网络卷积层、残差层和ReLU激活层，训练网络得到网络特征编码
Figure 537349DEST_PATH_IMAGE047
，其中
Figure 371485DEST_PATH_IMAGE048
表示经过卷积判别网络层的运算结果，最后采用softmax 函数获得实际判别输出，
Figure 372677DEST_PATH_IMAGE049
(7)
其中
Figure 100593DEST_PATH_IMAGE050
代表卷积判别网络实际输出的细节评级预测复杂度值，最终根据
Figure 542944DEST_PATH_IMAGE051
值确定 3D立体图像子图像块的细节评级。
进一步的，所述S3具体为：
S3-1：建立超分辨率重建网络模型，从原始分辨率3D立体图像数据集I中随机选取M张图像，构建高分辨率样本集
Figure 321282DEST_PATH_IMAGE052
作为训练输出，其中高分辨率3D立体 图像
Figure 294923DEST_PATH_IMAGE053
的尺寸为
Figure 528327DEST_PATH_IMAGE054
；将高分辨率3D立体图像训练样本集
Figure 58141DEST_PATH_IMAGE055
划分为
Figure 132014DEST_PATH_IMAGE056
个尺寸为
Figure 452006DEST_PATH_IMAGE057
的子图像块
Figure 348156DEST_PATH_IMAGE058
，将
Figure 765099DEST_PATH_IMAGE059
进行1/m倍下采样 获取其对应的低分辨率样本集
Figure 557344DEST_PATH_IMAGE060
作为训练输入，其中低分辨率3D立体 图像
Figure 184807DEST_PATH_IMAGE061
的尺寸为
Figure 228855DEST_PATH_IMAGE062
；将低分辨率3D立体图像训练样本集
Figure 890518DEST_PATH_IMAGE063
划分为
Figure 56926DEST_PATH_IMAGE064
个尺寸为
Figure 774347DEST_PATH_IMAGE065
的子图像块集合
Figure 746720DEST_PATH_IMAGE066
；
高分辨率3D立体图像子图像块集合
Figure 170879DEST_PATH_IMAGE067
经过卷积判别网络得到不同等级的细节评 级数据集
Figure 632822DEST_PATH_IMAGE068
、
Figure 775221DEST_PATH_IMAGE069
、
Figure 613602DEST_PATH_IMAGE070
，低分辨率3D立体图像子图像块集合
Figure 423426DEST_PATH_IMAGE071
一一对应归位为
Figure 197216DEST_PATH_IMAGE072
、
Figure 325447DEST_PATH_IMAGE073
、
Figure 203404DEST_PATH_IMAGE074
，根据细节复杂度构建并训练不同的超分辨率重建网络
Figure 195631DEST_PATH_IMAGE075
、
Figure 468218DEST_PATH_IMAGE076
、
Figure 21428DEST_PATH_IMAGE077
；
S3-2：对细节评级归入为
Figure 375180DEST_PATH_IMAGE078
的低分辨率3D立体图像子图像块集合，将其第v个训 练样本
Figure 392553DEST_PATH_IMAGE079
输入到超分辨率重建网络
Figure 71927DEST_PATH_IMAGE080
中，
Figure 315695DEST_PATH_IMAGE081
，V为
Figure 548837DEST_PATH_IMAGE082
中子图像块的数目；经由 卷积提取原始分辨率特征
Figure 536164DEST_PATH_IMAGE083
，依据金字塔特征组成p层多分辨率张量集合
Figure 711406DEST_PATH_IMAGE084
，其中
Figure 485546DEST_PATH_IMAGE085
代表
Figure 210794DEST_PATH_IMAGE086
经过
Figure 803360DEST_PATH_IMAGE087
次 1/m倍下采样的特征，
Figure 152433DEST_PATH_IMAGE088
，对上述多分辨率张量集合再次提取卷积特征，得到多 分辨率卷积特征张量集合
Figure 901952DEST_PATH_IMAGE089
，第
Figure 899732DEST_PATH_IMAGE090
层卷积特征张量
Figure 824832DEST_PATH_IMAGE091
，再次经由卷积获取K空间核函数超分辨率张量集合
Figure 328494DEST_PATH_IMAGE092
，其中第
Figure 971834DEST_PATH_IMAGE093
层 的K空间核函数张量
Figure 773306DEST_PATH_IMAGE094
，进一步将K空间核函数张量集合
Figure 582606DEST_PATH_IMAGE095
对应到相应的高分辨率输出子图像块张量集合
Figure 444120DEST_PATH_IMAGE096
中，如下式所示：
Figure 669696DEST_PATH_IMAGE097
(8)
其中第
Figure 540438DEST_PATH_IMAGE098
层的高分辨率输出子图像块张量
Figure 830343DEST_PATH_IMAGE099
，
Figure 98644DEST_PATH_IMAGE100
表示张量坐标 位置，
Figure 965844DEST_PATH_IMAGE101
表示点乘操作，
Figure 319506DEST_PATH_IMAGE102
表示多分辨率下采样张量
Figure 604863DEST_PATH_IMAGE103
的m倍线性插 值上采样特征张量；
对细节评级归入为
Figure 385344DEST_PATH_IMAGE104
、
Figure 444567DEST_PATH_IMAGE105
的低分辨率3D立体图像子图像块集合，分别送入到超 分辨率重建网络
Figure 329215DEST_PATH_IMAGE076
、
Figure 891914DEST_PATH_IMAGE106
中训练，
Figure 469395DEST_PATH_IMAGE073
中的第r个训练样本
Figure 281493DEST_PATH_IMAGE107
和
Figure 94466DEST_PATH_IMAGE105
中的第n个训练样本
Figure 183776DEST_PATH_IMAGE108
经过上述操作分别得到相应的高分辨率输出子图像块张量集合
Figure 791213DEST_PATH_IMAGE109
和
Figure 28290DEST_PATH_IMAGE110
。
进一步的，所述S4中，所述小波函数的具体操作为：
S4-1：对于所述K空间核预测超分辨率重建网络模型，以小波函数对不同分辨率的金字塔频域特征融合；
S4-1：对于所述K空间核预测超分辨率重建网络模型，以小波函数对不同分辨率的金字塔频域特征融合；
对低分辨率3D立体图像子图像块
Figure 848216DEST_PATH_IMAGE111
输出的高分辨率子图像块张量集合
Figure 323191DEST_PATH_IMAGE112
，将输出张量
Figure 695004DEST_PATH_IMAGE113
二次线性插值上采样得到
Figure 622640DEST_PATH_IMAGE114
，使得
Figure 246257DEST_PATH_IMAGE115
,
Figure 215219DEST_PATH_IMAGE116
尺寸保持一致，对张量对
Figure 197082DEST_PATH_IMAGE117
,
Figure 579390DEST_PATH_IMAGE118
进行离散小波分解，得到低频系数矩阵
Figure 508163DEST_PATH_IMAGE119
,
Figure 862790DEST_PATH_IMAGE120
和高频系数矩阵
Figure 285329DEST_PATH_IMAGE121
,
Figure 561459DEST_PATH_IMAGE122
，其中J表示分解层数，
Figure 713829DEST_PATH_IMAGE123
, 将低频系数矩阵
Figure 952656DEST_PATH_IMAGE119
,
Figure 975189DEST_PATH_IMAGE120
分别在水平、垂直、竖直三个方向上卷积，
Figure 738614DEST_PATH_IMAGE124
(9)
Figure 953449DEST_PATH_IMAGE125
(10)
Figure 643188DEST_PATH_IMAGE126
(11)
其中
Figure 308393DEST_PATH_IMAGE127
表示三个方向上的卷积核，向量
Figure 27957DEST_PATH_IMAGE128
；设低频系数矩阵
Figure 69600DEST_PATH_IMAGE129
和
Figure 456587DEST_PATH_IMAGE120
的卷积系数矩阵分别为
Figure 558273DEST_PATH_IMAGE130
,
Figure 594494DEST_PATH_IMAGE131
,
Figure 580773DEST_PATH_IMAGE132
和
Figure 524065DEST_PATH_IMAGE133
,
Figure 950980DEST_PATH_IMAGE134
,
Figure 740075DEST_PATH_IMAGE135
，进一步计算低频融合 系数矩阵
Figure 123521DEST_PATH_IMAGE136
：
Figure 78576DEST_PATH_IMAGE137
(12)
Figure 990906DEST_PATH_IMAGE138
(13)
Figure 64036DEST_PATH_IMAGE139
(14)
将高频系数矩阵内的最大体素值
Figure 743451DEST_PATH_IMAGE140
,
Figure 818592DEST_PATH_IMAGE141
作为高频融合系数矩 阵内的体素值得到高频融合系数矩阵
Figure 340972DEST_PATH_IMAGE142
：
Figure 665512DEST_PATH_IMAGE143
(15)
对低频融合系数矩阵
Figure 640028DEST_PATH_IMAGE144
和高频融合系数矩阵
Figure 336719DEST_PATH_IMAGE145
进行小波逆变换得到p-1级高 分辨率融合子图像块张量
Figure 528535DEST_PATH_IMAGE146
；同理，
Figure 137109DEST_PATH_IMAGE147
经过上述上采样步骤进一步与张量
Figure 433092DEST_PATH_IMAGE148
得到p-2级融合子图像块张量
Figure 13984DEST_PATH_IMAGE149
，以此类推，最终1级融合子图像块张量
Figure 409324DEST_PATH_IMAGE150
与张量
Figure 239615DEST_PATH_IMAGE151
融合， 得到由低分辨率3D立体图像子图像块
Figure 604868DEST_PATH_IMAGE152
预测的高分辨率3D立体图像子图像块输出
Figure 305845DEST_PATH_IMAGE153
；
对低分辨率3D立体图像子图像块
Figure 465562DEST_PATH_IMAGE154
和
Figure 986411DEST_PATH_IMAGE155
输出的高分辨率子图像块张量集合
Figure 794836DEST_PATH_IMAGE156
和
Figure 117364DEST_PATH_IMAGE157
，以小波函数对不同分辨率的金字塔频域特征融合，得到 预测的高分辨率3D立体图像子图像块输出
Figure 212097DEST_PATH_IMAGE158
和
Figure 190548DEST_PATH_IMAGE159
；
S4-2：针对所有低分辨率3D立体图像子图像块集合
Figure 927298DEST_PATH_IMAGE160
、
Figure 573174DEST_PATH_IMAGE161
、
Figure 245333DEST_PATH_IMAGE162
训练各自的超分 辨率重建网络，得到预测的高分辨率3D立体图像子图像块集合
Figure 242239DEST_PATH_IMAGE163
、
Figure 251521DEST_PATH_IMAGE164
、
Figure 283062DEST_PATH_IMAGE165
，根据3D立 体图像分割前的位置信息将高分辨率预测结果拼接，得到重建后的高分辨率3D立体图像数 据集
Figure 415139DEST_PATH_IMAGE166
。
进一步的，所述S3中，所述超分辨率重建网络模型以K空间核预测网络为基础，基 于金字塔特征提取，以小波函数对不同分辨率的金字塔频域特征融合，其损失函数L由加权 的均方误差损失函数
Figure 850406DEST_PATH_IMAGE167
和结构相似性损失函数
Figure 538745DEST_PATH_IMAGE168
构成，如下式所示：
Figure 424792DEST_PATH_IMAGE169
(16)
Figure 314120DEST_PATH_IMAGE170
(17)
Figure 922169DEST_PATH_IMAGE171
(18)
其中
Figure 742095DEST_PATH_IMAGE172
表示原始高分辨率3D立体图像子图像块，
Figure 719801DEST_PATH_IMAGE173
表示对应的由超分辨率重建 预测的高分辨率子图像块，
Figure 842347DEST_PATH_IMAGE174
表示对应子图像块体素平均值，
Figure 734430DEST_PATH_IMAGE175
表示对应子图像块体素标 准差，c为偏置量，
Figure 89538DEST_PATH_IMAGE176
，
Figure 792921DEST_PATH_IMAGE177
和
Figure 654346DEST_PATH_IMAGE178
表示两种损失函数权重占比，
Figure 410556DEST_PATH_IMAGE179
，
Figure 257770DEST_PATH_IMAGE180
。
本发明的优点和有益效果：
本发明利用基于K空间频域细节评级，将不同3D立体图像子图像块进行细节难度评级分组，根据细节复杂度构建并训练不同的超分辨率重建网络，可以大幅度减少计算量；采用基于K空间核预测网络代替传统卷积神经网络，减少了3D立体图像中大量的伪影和噪声问题，使得超分辨率重建网络对图像细节加以重视；在超分辨率重建网络中引入金字塔频域特征融合的理念，提取3D立体图像在不同分辨率下的特征张量；最后利用小波函数，对不同分辨率的金字塔频域特征进行融合；为了能更好的重建3D立体图像的低频信息，在小波分解后低频系数矩阵的融合方法上加以创新，使其得到更好的融合效果。
本发明在体素多且细节重建难度大的3D立体图像中，获得了更好的超分辨率重建效果，通过对输入的3D立体图像进行K空间频域细节评级，大大减少了运算量，并对图像细节加以重视，采用金字塔频域特征融合思想，使得3D立体图像的重建效率和精度均得到了有效提升。
附图说明
图1为超分辨率重建网络模型层级结构图。
具体实施方式
为使本发明的目的、实施方案和优点更为清晰，下面结合附图来进一步详细说明本发明。
实施例1：
一种K空间金字塔特征融合的立体图像超分辨率重建方法，其特征在于，该方法包括以下步骤：
步骤一、制作大脑3D-MRI图像数据集，包括如下步骤：
收集大脑3D-MRI图像数据集，将数据集分为训练集和测试集；
收集原始分辨率大脑3D-MRI图像数据集
Figure 81239DEST_PATH_IMAGE181
，其中
Figure 811166DEST_PATH_IMAGE002
代表数据集 中图像总数量，其中第a张图像
Figure 680771DEST_PATH_IMAGE004
的尺寸为
Figure 86605DEST_PATH_IMAGE182
，
Figure 905525DEST_PATH_IMAGE183
，设D为待分割的 图像块尺寸，将数据集中3D立体图像分割为G个同等大小
Figure 727726DEST_PATH_IMAGE184
的子图像块
Figure 789354DEST_PATH_IMAGE185
，其中
Figure 27306DEST_PATH_IMAGE186
(19)
Figure 153263DEST_PATH_IMAGE187
(20)
Figure 756151DEST_PATH_IMAGE012
操作表示结果向上取整，Q a 代表第a张图像分割后的子图像块数目；
从
Figure 429709DEST_PATH_IMAGE188
中构建大脑3D-MRI图像数据集高分辨率样本集
Figure 409035DEST_PATH_IMAGE189
作为训练输出，其中高分辨率3D立体图像
Figure 953280DEST_PATH_IMAGE190
的尺寸为
Figure 54966DEST_PATH_IMAGE191
；将高分辨率3D立体图像训练样本集I H 划分为
Figure 215820DEST_PATH_IMAGE192
个尺寸为
Figure 61154DEST_PATH_IMAGE193
的子图像块
Figure 459906DEST_PATH_IMAGE194
，将
Figure 857127DEST_PATH_IMAGE189
进行1/m倍下采样获取其对应的低分辨 率样本集
Figure 36435DEST_PATH_IMAGE195
作为训练输入，其中低分辨率3D立体图像
Figure 249242DEST_PATH_IMAGE061
的尺寸为
Figure 564817DEST_PATH_IMAGE196
；将低分辨率3D立体图像训练样本集I L 划分为
Figure 273884DEST_PATH_IMAGE064
个尺寸为
Figure 409331DEST_PATH_IMAGE197
的子图 像块集合
Figure 222566DEST_PATH_IMAGE198
；
步骤二、对大脑3D-MRI图像子图像块集合
Figure 563286DEST_PATH_IMAGE016
、
Figure 803775DEST_PATH_IMAGE036
、
Figure 597156DEST_PATH_IMAGE037
进行K空间频域细节评级划 分，该方法包括以下步骤：
将大脑3D-MRI图像子图像块数据集
Figure 948503DEST_PATH_IMAGE199
标签化，划分为不同 细节难度等级的集合；
Figure 379615DEST_PATH_IMAGE200
表示该子图像块集细节普遍较多；
Figure 985082DEST_PATH_IMAGE069
表示该子图像块集细节适 中；
Figure 95120DEST_PATH_IMAGE201
表示该子图像块集细节普遍较少；
首先针对大脑3D-MRI图像子图像块K空间自动标签，对子图像块数据集的
Figure 499426DEST_PATH_IMAGE202
，其中
Figure 955684DEST_PATH_IMAGE203
代表子图像块数据集
Figure 374858DEST_PATH_IMAGE204
中
Figure 819132DEST_PATH_IMAGE205
的傅里叶变换，计算其低频、中频、高频的幅值占比：
Figure 10817DEST_PATH_IMAGE206
(21)
Figure 524843DEST_PATH_IMAGE207
(22)
Figure 229101DEST_PATH_IMAGE208
(23)
其中
Figure 48152DEST_PATH_IMAGE025
表示子图像块
Figure 122156DEST_PATH_IMAGE205
在
Figure 880903DEST_PATH_IMAGE027
坐标位置的体素值，
Figure 319843DEST_PATH_IMAGE209
、
Figure 563874DEST_PATH_IMAGE210
和
Figure 441569DEST_PATH_IMAGE211
分别代 表低频、中频、高频幅值占比，
Figure 320401DEST_PATH_IMAGE031
，
Figure 87500DEST_PATH_IMAGE212
分别代表低频分量和高频分量范围，根据
Figure 989466DEST_PATH_IMAGE209
、
Figure 234633DEST_PATH_IMAGE213
和
Figure 623764DEST_PATH_IMAGE211
初步确认该子图像块
Figure 92923DEST_PATH_IMAGE214
的细节复杂度并对其自动分级到
Figure 311545DEST_PATH_IMAGE215
、
Figure 186835DEST_PATH_IMAGE069
、
Figure 338462DEST_PATH_IMAGE070
。
在自动标签子图像块基础上选择训练样本进行人工核验，针对大脑3D-MRI图像的细节加入人工权重，由手动标签辅助进一步正确划分训练子图像块，归位训练网络。
高分辨率3D立体图像子图像块集合B H 经过卷积判别网络得到不同等级的细节评 级数据集
Figure 775260DEST_PATH_IMAGE216
、
Figure 979714DEST_PATH_IMAGE069
、
Figure 629001DEST_PATH_IMAGE070
，低分辨率3D立体图像子图像块集合
Figure 166293DEST_PATH_IMAGE217
一一对应归位为
Figure 242833DEST_PATH_IMAGE082
、
Figure 98417DEST_PATH_IMAGE104
、
Figure 754657DEST_PATH_IMAGE218
，根据细节复杂度构建并训练不同的超分辨率重建网络
Figure 146455DEST_PATH_IMAGE219
、
Figure 423591DEST_PATH_IMAGE076
、
Figure 838523DEST_PATH_IMAGE220
；
步骤三、将大脑3D-MRI图像子图像块集合
Figure 62568DEST_PATH_IMAGE221
作为超分辨率重建网络输入，大脑3D- MRI图像子图像块集合
Figure 246556DEST_PATH_IMAGE222
作为超分辨率重建网络输出，训练不同的超分辨率重建网络
Figure 648588DEST_PATH_IMAGE219
、
Figure 826847DEST_PATH_IMAGE076
、
Figure 403320DEST_PATH_IMAGE223
，该方法包括以下步骤：
对细节评级归入为
Figure 878033DEST_PATH_IMAGE078
的低分辨率3D立体图像子图像块集合，将其第v个训练样本
Figure 372337DEST_PATH_IMAGE079
输入到超分辨率重建网络
Figure 699544DEST_PATH_IMAGE219
中，
Figure 875180DEST_PATH_IMAGE224
，V为
Figure 1136DEST_PATH_IMAGE082
中子图像块的数目；经由卷积提 取原始分辨率特征
Figure 807287DEST_PATH_IMAGE225
，依据金字塔特征组成p层多分辨率张量集合
Figure 182643DEST_PATH_IMAGE226
，其中
Figure 53647DEST_PATH_IMAGE227
代表
Figure 768531DEST_PATH_IMAGE228
经过
Figure 73479DEST_PATH_IMAGE087
次 1/m倍下采样的特征，
Figure 375278DEST_PATH_IMAGE229
，对上述多分辨率张量集合再次提取卷积特征，得到多 分辨率卷积特征张量集合
Figure 220612DEST_PATH_IMAGE230
，第
Figure 884943DEST_PATH_IMAGE090
层卷积特征张量
Figure 485426DEST_PATH_IMAGE231
，再次经由卷积获取K空间核函数超分辨率张量集合
Figure 461473DEST_PATH_IMAGE232
，其中第
Figure 408700DEST_PATH_IMAGE093
层 的K空间核函数张量
Figure 160493DEST_PATH_IMAGE233
，进一步将K空间核函数张量集合
Figure 167763DEST_PATH_IMAGE234
对应到相应的高分辨率输出子图像块张量集合
Figure 631106DEST_PATH_IMAGE235
中，如下式所示：
Figure 382024DEST_PATH_IMAGE236
(24)
其中第
Figure 988324DEST_PATH_IMAGE098
层的高分辨率输出子图像块张量
Figure 228812DEST_PATH_IMAGE237
，
Figure 117134DEST_PATH_IMAGE100
表示张量坐标 位置，
Figure 600240DEST_PATH_IMAGE101
表示点乘操作，
Figure 359249DEST_PATH_IMAGE102
表示多分辨率下采样张量
Figure 941278DEST_PATH_IMAGE103
的m倍线性插 值上采样特征张量；
对细节评级归入为
Figure 51316DEST_PATH_IMAGE073
、
Figure 314676DEST_PATH_IMAGE105
的低分辨率3D立体图像子图像块集合，分别送入到超 分辨率重建网络
Figure 521666DEST_PATH_IMAGE076
、
Figure 556487DEST_PATH_IMAGE106
中训练，
Figure 870268DEST_PATH_IMAGE073
中的第r个训练样本
Figure 763750DEST_PATH_IMAGE238
和
Figure 871252DEST_PATH_IMAGE105
中的第n个训练样本
Figure 873712DEST_PATH_IMAGE108
经过上述操作分别得到相应的高分辨率输出子图像块张量集合
Figure 597823DEST_PATH_IMAGE109
和
Figure 281615DEST_PATH_IMAGE110
。
对低分辨率3D立体图像子图像块
Figure 774782DEST_PATH_IMAGE111
输出的高分辨率子图像块张量集合
Figure 777504DEST_PATH_IMAGE112
，将输出张量
Figure 785649DEST_PATH_IMAGE239
二次线性插值上采样得到
Figure 866606DEST_PATH_IMAGE114
，使得
Figure 745438DEST_PATH_IMAGE115
,
Figure 715799DEST_PATH_IMAGE116
尺寸保持一致，对张量对
Figure 476820DEST_PATH_IMAGE117
,
Figure 721987DEST_PATH_IMAGE118
进行离散小波分解，得到低频系数矩阵
Figure 517643DEST_PATH_IMAGE240
,
Figure 455643DEST_PATH_IMAGE120
和高频系数矩阵
Figure 907222DEST_PATH_IMAGE241
,
Figure 956080DEST_PATH_IMAGE242
，其中J表示分解层数，
Figure 638866DEST_PATH_IMAGE243
, 将低频系数矩阵
Figure 863215DEST_PATH_IMAGE244
,
Figure 303555DEST_PATH_IMAGE120
分别在水平、垂直、竖直三个方向上卷积，
Figure 687263DEST_PATH_IMAGE245
(25)
Figure 519827DEST_PATH_IMAGE246
(26)
Figure 2892DEST_PATH_IMAGE126
(27)
其中
Figure 320741DEST_PATH_IMAGE247
表示三个方向上的卷积核，向量
Figure 147621DEST_PATH_IMAGE128
；设低频系数矩阵
Figure 8260DEST_PATH_IMAGE248
和
Figure 285396DEST_PATH_IMAGE120
的卷积系数矩阵分别为
Figure 700328DEST_PATH_IMAGE249
,
Figure 127636DEST_PATH_IMAGE131
,
Figure 639520DEST_PATH_IMAGE250
和
Figure 87556DEST_PATH_IMAGE133
,
Figure 532661DEST_PATH_IMAGE251
,
Figure 248814DEST_PATH_IMAGE135
，进一步计算低频融合 系数矩阵
Figure 926789DEST_PATH_IMAGE136
：
Figure 998256DEST_PATH_IMAGE137
(28)
Figure 574731DEST_PATH_IMAGE138
(29)
Figure 389847DEST_PATH_IMAGE252
(30)
将高频系数矩阵内的最大体素值
Figure 610744DEST_PATH_IMAGE253
,
Figure 10370DEST_PATH_IMAGE254
作为高频融合系数矩 阵内的体素值得到高频融合系数矩阵
Figure 792250DEST_PATH_IMAGE255
：
Figure 663254DEST_PATH_IMAGE256
(31)
对低频融合系数矩阵
Figure 784663DEST_PATH_IMAGE257
和高频融合系数矩阵
Figure 909786DEST_PATH_IMAGE145
进行小波逆变换得到p-1级高 分辨率融合子图像块张量
Figure 273903DEST_PATH_IMAGE147
；同理，
Figure 384816DEST_PATH_IMAGE147
经过上述上采样步骤进一步与张量
Figure 49147DEST_PATH_IMAGE148
得到p-2级融合子图像块张量
Figure 56155DEST_PATH_IMAGE149
，以此类推，最终1级融合子图像块张量
Figure 501042DEST_PATH_IMAGE150
与张量
Figure 150067DEST_PATH_IMAGE151
融合， 得到由低分辨率3D立体图像子图像块
Figure 262380DEST_PATH_IMAGE152
预测的高分辨率3D立体图像子图像块输出
Figure 941754DEST_PATH_IMAGE153
；
对低分辨率3D立体图像子图像块
Figure 638052DEST_PATH_IMAGE154
和
Figure 61074DEST_PATH_IMAGE155
输出的高分辨率子图像块张量集合
Figure 932953DEST_PATH_IMAGE156
和
Figure 157130DEST_PATH_IMAGE157
，以小波函数对不同分辨率的金字塔频域特征融合，得到 预测的高分辨率3D立体图像子图像块输出
Figure 419353DEST_PATH_IMAGE158
和
Figure 473764DEST_PATH_IMAGE258
；
针对所有低分辨率3D立体图像子图像块集合
Figure 855941DEST_PATH_IMAGE259
、
Figure 251020DEST_PATH_IMAGE161
、
Figure 780965DEST_PATH_IMAGE260
训练各自的超分辨率 重建网络，得到预测的高分辨率3D立体图像子图像块集合
Figure 919691DEST_PATH_IMAGE163
、
Figure 48053DEST_PATH_IMAGE164
、
Figure 473087DEST_PATH_IMAGE165
，根据3D立体图 像分割前的位置信息将高分辨率预测结果拼接，得到重建后的高分辨率3D立体图像数据集
Figure 54110DEST_PATH_IMAGE166
。
损失函数L由加权的均方误差损失函数
Figure 730947DEST_PATH_IMAGE167
和结构相似性损失函数
Figure 307291DEST_PATH_IMAGE168
构成，如下式 所示：
Figure 496702DEST_PATH_IMAGE169
(32)
Figure 689655DEST_PATH_IMAGE170
(33)
Figure 858599DEST_PATH_IMAGE261
(34)
其中
Figure 187704DEST_PATH_IMAGE172
表示原始高分辨率3D立体图像子图像块，
Figure 157802DEST_PATH_IMAGE173
表示对应的由超分辨率重建 预测的高分辨率子图像块，
Figure 792046DEST_PATH_IMAGE174
表示对应子图像块体素平均值，
Figure 30261DEST_PATH_IMAGE175
表示对应子图像块体素标 准差，c为偏置量，
Figure 4033DEST_PATH_IMAGE176
，
Figure 738508DEST_PATH_IMAGE177
和
Figure 797731DEST_PATH_IMAGE178
表示两种损失函数权重占比，
Figure 370795DEST_PATH_IMAGE179
，
Figure 635292DEST_PATH_IMAGE180
。
经过以上步骤，可以实现大脑3D-MRI图像超分辨率重建。
在上述实施例的基础上，本发明继续对其中涉及到的技术特征及该技术特征在本发明中所起到的功能、作用进行详细的描述，以帮助本领域的技术人员充分理解本发明的技术方案并且予以重现。

Claims (5)

1.一种K空间金字塔特征融合的立体图像超分辨率重建方法，其特征在于，该方法包括以下步骤：
S1：收集3D立体图像数据集，将该数据集分为训练集和测试集；
S2：对所述3D立体图像数据集划分为子区域，再基于K空间频域细节评级；
S3：搭建基于K空间核预测网络的超分辨率重建模型，首先提取不同分辨率金字塔频域特征；具体为：
S3-1：建立超分辨率重建网络模型，从原始分辨率3D立体图像数据集I中随机选取M张图像，构建高分辨率样本集
Figure FDA0004177772770000011
作为训练输出，其中高分辨率3D立体图像/>
Figure FDA0004177772770000012
的尺寸为{h′a×w′a×d′a}；将高分辨率3D立体图像训练样本集IH划分为G′个尺寸为D×D×D的子图像块/>
Figure FDA0004177772770000013
将/>
Figure FDA0004177772770000014
进行1/m倍下采样获取其对应的低分辨率样本集/>
Figure FDA0004177772770000015
作为训练输入，其中低分辨率3D立体图像/>
Figure FDA0004177772770000016
的尺寸为/>
Figure FDA0004177772770000017
将低分辨率3D立体图像训练样本集IL划分为G′个尺寸为
Figure FDA0004177772770000018
的子图像块集合/>
Figure FDA0004177772770000019
高分辨率3D立体图像子图像块集合BH经过卷积判别网络得到不同等级的细节评级数据集BHD、BHM、BHE，低分辨率3D立体图像子图像块集合BL一一对应归位为BLD、BLM、BLE，根据细节复杂度构建并训练不同的超分辨率重建网络gD、gM、gE；
S3-2：对细节评级归入为BLD的低分辨率3D立体图像子图像块集合，将其第v个训练样本
Figure FDA00041777727700000110
输入到超分辨率重建网络gD中，v＝0，1，…，V，V为BLD中子图像块的数目；经由卷积提取原始分辨率特征/>
Figure FDA00041777727700000111
依据金字塔特征组成p层多分辨率张量集合
Figure FDA0004177772770000021
其中/>
Figure FDA0004177772770000022
代表/>
Figure FDA0004177772770000023
经过η次1/m倍下采样的特征，η＝0，1，…，p，对上述多分辨率张量集合再次提取卷积特征，得到多分辨率卷积特征张量集合/>
Figure FDA0004177772770000024
第η层卷积特征张量/>
Figure FDA0004177772770000025
再次经由卷积获取K空间核函数超分辨率张量集合/>
Figure FDA0004177772770000026
其中第η层的K空间核函数张量/>
Figure FDA0004177772770000027
进一步将K空间核函数张量集合
Figure FDA0004177772770000028
对应到相应的高分辨率输出子图像块张量集合
Figure FDA0004177772770000029
中，如下式所示：
Figure FDA00041777727700000210
其中第η层的高分辨率输出子图像块张量
Figure FDA00041777727700000211
(i，j，k)表示张量坐标位置，·表示点乘操作，/>
Figure FDA00041777727700000212
表示多分辨率下采样张量/>
Figure FDA00041777727700000213
的m倍线性插值上采样特征张量；
对细节评级归入为BLM、BLE的低分辨率3D立体图像子图像块集合，分别送入到超分辨率重建网络gM、gE中训练，BLM中的第r个训练样本
Figure FDA00041777727700000214
和BLE中的第n个训练样本/>
Figure FDA00041777727700000215
经过上述操作分别得到相应的高分辨率输出子图像块张量集合/>
Figure FDA00041777727700000216
和/>
Figure FDA00041777727700000217
S4：再以小波函数对不同分辨率的金字塔频域特征融合；
S5：由训练集训练所述超分辨率重建模型，将训练好的重建模型用于测试集测试，输出3D立体图像超分辨率重建结果。
2.如权利要求1所述的立体图像超分辨率重建方法，其特征在于，所述S2中，所述频域细节评级为建立一个判别网络，针对3D立体图像中子图像块重建问题根据其细节难度评级分组。
3.如权利要求2所述的立体图像超分辨率重建方法，其特征在于，所述S2具体如下：
S2-1：收集原始分辨率3D立体图像数据集I＝{I1，…，Ia，…，IA}，其中A代表数据集中图像总数量，其中第a张图像Ia的尺寸为{ha×wa×da}，a＝1，2，…，A，设D为待分割的图像块尺寸，将数据集中3D立体图像分割为G个同等大小D×D×D的子图像块B＝{B1，...，Bb，...，BG}，其中
Figure FDA0004177772770000031
Figure FDA0004177772770000032
Figure FDA0004177772770000033
操作表示结果向上取整，Qa代表第a张图像分割后的子图像块数目；
S2-2：训练一个卷积判别神经网络对分割后的子图像块重建的细节难度评级分组,具体为：
(1)将3D立体图像子图像块数据集B标签化，划分为不同细节难度等级的集合；BD表示该子图像块集细节普遍较多；BM表示该子图像块集细节适中；BL表示该子图像块集细节普遍较少；
首先针对3D立体图像子图像块K空间自动标签，对子图像块数据集的Bb，其中
Figure FDA0004177772770000034
代表子图像块数据集B中Bb的傅里叶变换，计算其低频、中频、高频的幅值占比：
Figure FDA0004177772770000035
Figure FDA0004177772770000036
Figure FDA0004177772770000041
其中(i，j，k)表示子图像块Bb在(i，j，k)坐标位置的体素值，
Figure FDA0004177772770000042
和/>
Figure FDA0004177772770000043
分别代表低频、中频、高频幅值占比，λ，ρ分别代表低频分量和高频分量范围，根据/>
Figure FDA0004177772770000044
和/>
Figure FDA0004177772770000045
初步确认该子图像块Bb的细节复杂度并对其自动分级到BD、BM、BL；
在自动标签子图像块基础上选择训练样本进行人工核验，由手动标签辅助进一步正确划分训练子图像块，归位训练网络；
(2)构建卷积判别网络进行3D立体图像子图像块K空间细节复杂度评级，以卷积神经网络为基础，对训练子图像块K空间特征表示进行随机滤波数据扩增，并采用傅里叶逆变换得到多个重采样数据，
Figure FDA0004177772770000046
其中
Figure FDA0004177772770000047
表示傅里叶逆变换，/>
Figure FDA0004177772770000048
表示训练子图像块Bb经过随机滤波器滤波处理后的第w个重采样结果，W表示进行滤波次数，Lw表示第w个滤波器的系数矩阵，最终得到重采样训练数据集合/>
Figure FDA0004177772770000049
(3)将该重采样训练数据集合
Figure FDA00041777727700000410
作为输入，将对应的人工标注细节评级作为理想输出，经过判别网络卷积层、残差层和ReLU激活层，训练网络得到网络特征编码
Figure FDA00041777727700000411
其中F(·)表示经过卷积判别网络层的运算结果，最后采用softmax函数获得实际判别输出，
Figure FDA0004177772770000051
其中ξb代表卷积判别网络实际输出的细节评级预测复杂度值，最终根据ξb值确定3D立体图像子图像块的细节评级。
4.如权利要求1所述的立体图像超分辨率重建方法，其特征在于，所述S4中，所述小波函数的具体操作为：
S4-1：对于所述K空间核预测超分辨率重建网络模型，以小波函数对不同分辨率的金字塔频域特征融合；
对低分辨率3D立体图像子图像块
Figure FDA0004177772770000052
输出的高分辨率子图像块张量集合
Figure FDA0004177772770000053
将输出张量/>
Figure FDA0004177772770000054
二次线性插值上采样得到/>
Figure FDA0004177772770000055
使得/>
Figure FDA0004177772770000056
尺寸保持一致，对张量对/>
Figure FDA0004177772770000057
进行离散小波分解，得到低频系数矩阵/>
Figure FDA0004177772770000058
和高频系数矩阵/>
Figure FDA0004177772770000059
其中J表示分解层数，J＝1，2…,将低频系数矩阵/>
Figure FDA00041777727700000510
分别在水平、垂直、竖直三个方向上卷积，
Figure FDA00041777727700000511
Py＝[(aT-aT)(aT-aT)] (10)
Figure FDA00041777727700000512
其中Px，Py，Pz表示三个方向上的卷积核，向量a＝(1，1)；设低频系数矩阵
Figure FDA00041777727700000513
和/>
Figure FDA00041777727700000514
的卷积系数矩阵分别为/>
Figure FDA00041777727700000515
和/>
Figure FDA00041777727700000516
进一步计算低频融合系数矩阵/>
Figure FDA00041777727700000517
Figure FDA00041777727700000518
Figure FDA0004177772770000061
Figure FDA0004177772770000062
将高频系数矩阵内的最大体素值
Figure FDA0004177772770000063
作为高频融合系数矩阵内的体素值得到高频融合系数矩阵/>
Figure FDA0004177772770000064
Figure FDA0004177772770000065
对低频融合系数矩阵
Figure FDA0004177772770000066
和高频融合系数矩阵/>
Figure FDA0004177772770000067
进行小波逆变换得到p-1级高分辨率融合子图像块张量/>
Figure FDA0004177772770000068
同理，/>
Figure FDA0004177772770000069
经过上述上采样步骤进一步与张量/>
Figure FDA00041777727700000610
得到p-2级融合子图像块张量/>
Figure FDA00041777727700000611
以此类推，最终1级融合子图像块张量/>
Figure FDA00041777727700000612
与张量/>
Figure FDA00041777727700000613
融合，得到由低分辨率3D立体图像子图像块/>
Figure FDA00041777727700000614
预测的高分辨率3D立体图像子图像块输出/>
Figure FDA00041777727700000615
对低分辨率3D立体图像子图像块
Figure FDA00041777727700000616
和/>
Figure FDA00041777727700000617
输出的高分辨率子图像块张量集合
Figure FDA00041777727700000618
和/>
Figure FDA00041777727700000619
以小波函数对不同分辨率的金字塔频域特征融合，得到预测的高分辨率3D立体图像子图像块输出/>
Figure FDA00041777727700000620
和/>
Figure FDA00041777727700000621
S4-2：针对所有低分辨率3D立体图像子图像块集合BLD、BLM、BLE训练各自的超分辨率重建网络，得到预测的高分辨率3D立体图像子图像块集合
Figure FDA00041777727700000622
根据3D立体图像分割前的位置信息将高分辨率预测结果拼接，得到重建后的高分辨率3D立体图像数据集
Figure FDA00041777727700000623
5.如权利要求1所述的立体图像超分辨率重建方法，其特征在于，所述S3中，所述超分辨率重建网络模型以K空间核预测网络为基础，基于金字塔特征提取，以小波函数对不同分辨率的金字塔频域特征融合，其损失函数L由加权的均方误差损失函数L1和结构相似性损失函数L2构成，如下式所示：
L＝τL1+βL2 (16)
Figure FDA0004177772770000071
Figure FDA0004177772770000072
/>
其中
Figure FDA0004177772770000073
表示原始高分辨率3D立体图像子图像块，/>
Figure FDA0004177772770000074
表示对应的由超分辨率重建预测的高分辨率子图像块，μ表示对应子图像块体素平均值，σ表示对应子图像块体素标准差，c为偏置量，0＜c＜1，τ和β表示两种损失函数权重占比，0＜τ＜1，0＜β＜1。/>
CN202310016320.5A 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法 Active CN115880157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310016320.5A CN115880157B (zh) 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310016320.5A CN115880157B (zh) 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN115880157A CN115880157A (zh) 2023-03-31
CN115880157B true CN115880157B (zh) 2023-05-26

Family

ID=85758111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310016320.5A Active CN115880157B (zh) 2023-01-06 2023-01-06 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115880157B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589323B1 (en) * 2015-08-14 2017-03-07 Sharp Laboratories Of America, Inc. Super resolution image enhancement technique
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110473144B (zh) * 2019-08-07 2023-04-25 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN111192193B (zh) * 2019-11-26 2022-02-01 西安电子科技大学 一种基于1维-2维卷积神经网络高光谱单图超分辨方法
CN113674143A (zh) * 2020-05-13 2021-11-19 深圳市中兴微电子技术有限公司 图像超分辨率处理方法、装置、设备及存储介质
CN112767253B (zh) * 2021-02-05 2022-05-24 西南科技大学 一种多尺度特征融合的双目图像超分辨率重建方法
CN115115722A (zh) * 2021-03-17 2022-09-27 中国科学院深圳先进技术研究院 图像重建模型生成及图像重建方法、装置、设备和介质
CN114792287A (zh) * 2022-03-25 2022-07-26 南京航空航天大学 一种基于多图像融合的医学超声图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN111932460A (zh) * 2020-08-10 2020-11-13 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115880157A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN110020989B (zh) 一种基于深度学习的深度图像超分辨率重建方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN109584161A (zh) 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN111161273A (zh) 一种基于深度学习的医学超声图像分割方法
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN109727195A (zh) 一种图像超分辨率重构方法
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN109636721A (zh) 基于对抗学习和注意力机制的视频超分辨率方法
Luo et al. Lattice network for lightweight image restoration
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN113763406B (zh) 基于半监督学习的婴儿脑mri分割方法
CN114841856A (zh) 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN111179275A (zh) 一种医学超声图像分割方法
CN104992407B (zh) 一种图像超分辨方法
CN115578427A (zh) 基于深度学习的无监督单模态医学图像配准方法
CN114066729A (zh) 一种可恢复身份信息的人脸超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant