CN115936983A - 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质 - Google Patents

基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN115936983A
CN115936983A CN202211353715.6A CN202211353715A CN115936983A CN 115936983 A CN115936983 A CN 115936983A CN 202211353715 A CN202211353715 A CN 202211353715A CN 115936983 A CN115936983 A CN 115936983A
Authority
CN
China
Prior art keywords
image
definition
nuclear magnetic
network
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211353715.6A
Other languages
English (en)
Inventor
丛山
杨宇尊
姚晓辉
罗昊燃
魏怡明
刘宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Harbin Engineering University Innovation Development Center
Original Assignee
Qingdao Harbin Engineering University Innovation Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Harbin Engineering University Innovation Development Center filed Critical Qingdao Harbin Engineering University Innovation Development Center
Priority to CN202211353715.6A priority Critical patent/CN115936983A/zh
Publication of CN115936983A publication Critical patent/CN115936983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于风格迁移的核磁图像超分辨率方法，包括以下步骤：由非配对的高清图像和低清图像数据集训练改进的Transformer模型；将待配对的高清图像输入改进的Transformer模型输出对应的配对低清图像并与待配对的高清图像与所述配对低清图像组对构成对抗生成网络训练集，再由此训练集训练对抗生成网络；最后将核磁图像输入训练后的对抗生成网络得到高清核磁图像；其中改进的Transformer模型包括两个编码器、解码器和卷积神经网络上采样器，经过位置编码的高清图像分别输入两个编码器得到内容序列和风格序列再共同输入解码器解码后进行放大输出。本发明克服了传统线性下采样没有考虑图片域差导致与真实低清图像风格不一致的问题，可获得更加真实、更小色差的高清图像。

Description

基于风格迁移的核磁图像超分辨率方法、装置及计算机存储 介质
技术领域
本发明涉及一种超分辨率方法，特别是涉及一种基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质。
背景技术
超分辨率(super resolution)技术旨在从模糊的低分辨率图像中重建出其对应的清晰的高分辨率图像。基于深度学习的超分辨率方法由于存在以下缺点而缺乏实际落地应用能力：
1、泛化性能差，不能应用于真实的超分场合：现有主流的超分辨率方法有基于卷积神经网络的图像超分辨率，如SRCNN等，还有基于对抗生成网络技术的图像超分辨率方法，如ESRGAN等。这些方法通过将高清的图像进行线性下采样，或者添加高斯噪声，以一种单一固定的下采样方法生成模糊的低分辨率图像，以此来构造成对的数据集。虽然运用了深度学习模型，在各自构造的数据集上取得了较好的效果，但是通过这种方法训练出来的模型，用于现实世界中的其他低清图像时，一般会产生较明显的伪影，导致超分辨率效果不佳。
2、需要耗费大量人力物力去构造真实的成对数据集：许多研究试图用真实的低清图像和真实的高清图像组成成对的数据集进行训练以克服上述伪影问题。但是现实世界中，极少能出现对一物体的同一角度、不同清晰度的成对图像，采集数据集变得困难。现有的一些方法尝试使用相机变焦等方法，人为对成对的数据集进行采集，但是这个方法需要耗费大量的人力和物力。
发明内容
针对上述现有技术的缺陷，本发明提供了一种基于风格迁移的核磁图像超分辨率方法，解决采用下采样构造数据集训练的深度学习模型泛化性不足，无法应用于真实世界而人为构造数据集的方法又耗时耗力的问题。
本发明技术方案如下：一种基于风格迁移的核磁图像超分辨率方法，包括以下步骤：
步骤1、由非配对的高清图像和低清图像数据集训练改进的Transformer模型；
步骤2、将待配对的高清图像输入所述步骤1训练后的改进的Transformer模型输出对应的配对低清图像，由所述待配对的高清图像与所述配对低清图像组对构成对抗生成网络训练集；
步骤3、由所述步骤2得到的对抗生成网络训练集训练对抗生成网络；
步骤4、将核磁图像输入所述步骤3训练后的对抗生成网络得到高清核磁图像；
所述改进的Transformer模型包括两个线性映射层、两个Transformer编码器、Transformer解码器和卷积神经网络上采样器，其中两个Transformer编码器的每一层由一个多头自注意模块和一个前馈网络组成，原始高清图像通过剪裁和一个线性映射层得到内容图像块序列，加上经过具有内容感知的位置编码的高清图像共同输入一个Transformer编码器得到内容序列，低清图像通过剪裁和另一个线性映射层得到风格图像块序列，输入另一个Transformer编码器得到风格序列；Transformer解码器的每一层由两个多头自注意模块和一个前馈网络组成，所述内容序列和风格序列共同输入所述Transformer解码器解码后由所述卷积神经网络上采样器进行放大输出。
进一步地，所述经过具有内容感知的位置编码的高清图像中具有内容感知的位置编码方法为：将图像剪裁为图像块，通过线性映射层将图片块映射为一个连续的特征编码序列ε，图像的位置编码的序列为
Figure BDA0003920073510000021
Figure BDA0003920073510000022
Figure BDA0003920073510000023
其中AvgPooln×n是平均池化函数，
Figure BDA0003920073510000024
是1x1的卷积操作，
Figure BDA0003920073510000025
是可学习的相对位置关系，n是位置编码图像块的长宽，akl为插值权重，s为相邻补丁的数量。
进一步地，所述内容序列和风格序列共同输入所述Transformer解码器是以所述内容序列的编码序列
Figure BDA0003920073510000026
生成查询，以所述风格序列生成键和值，其中Yc为高清图像经过所述Transformer编码器编码的内容序列，
Figure BDA0003920073510000027
Figure BDA0003920073510000028
其中AvgPooln×n是平均池化函数，
Figure BDA0003920073510000029
是1x1的卷积操作，
Figure BDA00039200735100000210
是可学习的相对位置关系，n是位置编码图像块的长宽，akl为插值权重，s为相邻补丁的数量。
进一步地，所述改进的Transformer模型的损失函数为
Figure BDA00039200735100000211
Figure BDA00039200735100000212
Figure BDA00039200735100000213
Figure BDA0003920073510000031
Figure BDA0003920073510000032
Figure BDA0003920073510000033
其中
Figure BDA0003920073510000034
为内容损失函数，
Figure BDA0003920073510000035
为风格损失函数，φi(·)代表由预训练的VGG第i层网络抽取的特征，μ(·)代表计算均值，σ(·)代表计算方差，Io代表模型输出图像，Is代表风格输入图像，Ic代表内容输入图像，
Figure BDA0003920073510000036
为一致性误差，Icc和Iss是模型产生的图像。
进一步地，所述对抗生成网络中的生成器为ESRGAN模型的生成器并由RRDB模块代替残差模块，所述对抗生成网络中的判别器为attention U-net。
进一步地，所述对抗生成网络中判别器的损失函数为：
Figure BDA0003920073510000037
对抗生成网络的对抗损失为：
Figure BDA0003920073510000038
总体的损失函数Ltotal为：
Ltotal＝Lprecep+λLG+ηL1
Figure BDA0003920073510000039
L1＝‖G(ILR)-G(IHR)‖
其中Lprecep代表视觉损失函数，L1代表L1范数损失函数，λ为对抗损失系数，η为L1范数损失函数系数，
Figure BDA00039200735100000310
表示由预训练的VGG16网络的第l层提取出来的特征，IHR为对抗生成网络训练集中的高清图像，ILR为对抗生成网络训练集中的低清图像，G(ILR)为生成器网络生成的高清图像，w和h代表输入图像的长和宽。
本发明还提供一种基于风格迁移的核磁图像超分辨率装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述基于风格迁移的核磁图像超分辨率方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现上述基于风格迁移的核磁图像超分辨率方法。
本发明所提供的技术方案的优点在于：
本发明方法利用改进的Transformer模型基于真实高清图像生成对应低清图像形成用于训练对抗生成网络的配对数据集，可以利用容易获得的非配对高清-低清图像对中训练超分辨率网络，不需要耗费大量人力物力构造配对数据集，提升核磁图像超分辨率方法的实用性。同时改进后的Transformer模型可以通过学习真实的低清图像的图像风格，将高清图像下采样至与真实低清图像同一个风格域中，从而避免传统下采样方法下采样出的低清图像与真实图像之间的图像域间隔(domain gap)，解决了模型泛化性不足的问题，采用训练后的对抗生成网络获得高清图像，利用了attention U-net判别器，通过注意力机制重点关注对抗生成网络生成器中生成得较差的部分，可以使得训练出的超分辨率网络生成更加真实、更小色差的高清图像。
附图说明
图1为本发明基于风格迁移的核磁图像超分辨率方法流程示意图。
图2为改进的Transformer模型结构示意图。
图3为Transformer编码器结构示意图。
图4为Transformer解码器结构示意图。
图5为对抗生成网络的生成器结构示意图。
图6为attention U-net的结构示意图。
图7为注意力模块结构示意图。
图8为级联模块结构示意图。
图9为一具体实例中输入的低清核磁图像。
图10为一具体实例中由低清核磁图像进行超分辨率得到的高清图像。
具体实施方式
下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。
如图1所示，本实施例的基于风格迁移的核磁图像超分辨率方法的步骤如下：
步骤1、由非配对的高清图像和低清图像数据集训练改进的Transformer模型，改进的Transformer模型结构如图2所示，该步骤具体包括：
步骤101、寻找非配对数据集，设高清图像为内容图像Ic，低清图像为风格图像Is，两者在内容上不匹配，将两者剪切成长宽为m×m大小的图片块Icp和Isp。
步骤102、通过线性映射层100，将图片块映射为一个连续的特征编码序列ε，ε的形状为L×C,其中L代表特征编码序列的长度，C是特征编码序列ε的维度。
Figure BDA0003920073510000041
H为输入图像的高度，W为输入图像的宽度，m为输入图像的剪切后的长和宽。m可以取8。
步骤103、使用具有内容感知的位置编码的注意力机制对输入序列的结构信息进行编码，第i个和第j个图像块之间的注意力分数Ai,j公式如下：
Figure BDA0003920073510000051
其中Wq和Wk是模型中的参数矩阵，
Figure BDA0003920073510000052
代表第i层的位置编码(positionalencoding)，在二维的情况下，一个两个图像块之间的像素的相对位置关系为：
Figure BDA0003920073510000053
其中wk＝1/100002k/128，d＝512，两个图像块之间的相对位置关系只取决于他们之间的空间距离。
对于像素点(x,y)之间的基于内容感知的位置编码PCA(x,y)计算公式如下：
Figure BDA0003920073510000054
Figure BDA0003920073510000055
其中AvgPooln×n是平均池化函数，
Figure BDA0003920073510000056
是1x1的卷积操作，作为一个可学习的位置编码函数，
Figure BDA0003920073510000057
是可学习的相对位置关系，n是位置编码图像块的长宽，在本次实验中被设置为18，akl为插值权重，s为相邻补丁的数量。
经上述操作，对于特征编码序列ε，其对应的位置编码的序列
Figure BDA0003920073510000058
Figure BDA0003920073510000059
Transformer编码器200：通过使用基于Transformer结构的编码器来捕获图像块的风格特征信息，其结构如图3所示。因为需要分别对高清图像和低清图像的信息进行编码，本方法设置了两个编码器，其中设高清图像编码后为内容序列Yc，低清图像编码后为风格序列Ys。
给定一个经过位置编码的序列
Figure BDA00039200735100000510
首先将它输入Transformer编码器200中，该编码器的每一层都由一个多头自注意模块(MSA)和一个前馈网络(FFN)组成。输入序列被编码到查询(Q)、键(K)和值(V)中，
Q＝ZcWq,K＝ZcWk,V＝ZcWv
其中Wq，Wk，Wv均为编码器模型中的参数权重。多头自注意力模块可以被计算为：
FMSA(Q,K,V)＝Concat(Attention1(Q,K,V),...,AttentionN(Q,K,V))WO
其中WO是深度学习模型中的可学习参数。N为注意力头的数量。利用剩余连接获得所编码的内容序列Yc为：
Y′c＝FMSA(Q,K,V)+Q
Yc＝FFFN(Y′c)+Y′c
FFFN(Y′c)＝max(0,Y′cW1+b1)W2+b2
每个部分结束之后，再将应用层进行归一化。
同理，对风格序列进行上述操作，进行编码可得被编码过的风格序列Ys，计算公式如下：
Y′s＝FMSA(Q,K,V)+Q
Ys＝FFFN(Y′s)+Y′s
FFFN(Y′s)＝max(0,Y′sW1+b1)W2+b2
Transformer解码器300，请结合图4所示，解码器将已经编码的风格序列Ys以回归的方式翻译为内容序列Yc。每个Transformer解码器300包含两个MSA层和一个FFN。解码器的输入包括已经编码的内容序列
Figure BDA0003920073510000061
和风格序列Ys＝{Ys1,Ys2,...,YsL}，使用内容序列生成查询(Q)，并且用风格序列生成键(K)和值(V)：
Figure BDA0003920073510000062
K＝YsWk,V＝YsWv
解码器的输出序列X可以被计算为：
X″＝FMSA(Q,K,V)+Q,
X′＝FMSA(X″+PCA,K,V)+X″
X＝FFFN(X′)+X′
每个部分结束之后，再将应用层进行归一化。
卷积神经网络上采样器400：对于输出序列X，采用了三层卷积上采样模块对其进行进一步的解码，并将输出图片的尺寸进行放大。三层卷积上采样模块具有相同的结构，分别为：3X3卷积核的卷积层，ReLU激活函数和2层的上采样层。
模型的损失函数：
Figure BDA0003920073510000063
Figure BDA0003920073510000071
Figure BDA0003920073510000072
Figure BDA0003920073510000073
Figure BDA0003920073510000074
其中
Figure BDA0003920073510000075
为内容损失函数，
Figure BDA0003920073510000076
为风格损失函数，φi(·)代表由预训练的VGG第i层网络抽取的特征，μ(·)代表计算均值，σ(·)代表计算方差。Io代表模型输出图像，Is代表风格输入图像，Ic代表内容输入图像。
Figure BDA0003920073510000077
为一致性误差，
Figure BDA0003920073510000078
为特征一致性误差，Ic和Is是相同的内容(风格)图像，Icc和Iss是模型产生的图像。总的损失函数
Figure BDA00039200735100000710
为上述各个损失函数的加权和。
步骤2、将待配对的高清图像输入步骤1训练后的改进的Transformer模型输出对应的配对低清图像，由待配对的高清图像与配对低清图像组对构成对抗生成网络训练集。
上述两个步骤基于改进的Transformer模型的对真实高清图像进行下采样，通过深度学习模型，从已有的高清图像和内容纹理上不匹配的低清图像进行无监督深度学习模型训练，在保留图像原始内容纹理的同时，对低清图像的图像风格进行学习，从而将高清图像转换成内容上对应的模糊的低清图像，以一种省时省力的方法构造真实的成对数据集。
步骤3、由步骤2得到的对抗生成网络训练集训练对抗生成网络；其中对抗生成网络由生成器和判别器两部分组成，低清的图像ILR作为生成器的输入，生成器的结构为由RRDB替换残差模块的ESRGAN模型的生成器，如图5所示。由生成器生成高清图像
Figure BDA0003920073510000079
并将生成的图像输入到判别器中，让判别器判别是否为真实的图像，如果判别器认为图像为真实图像的概率越大，输出的数字就越接近1，认为其为虚假图片的概率越大，输出的数字就越接近0。判别器为增加了注意力机制的U-net判别器(attention U-net)，其结构图6所示，其与传统U-net判别器的区别主要是，在每一层之间加入了注意力模块(AB)。其中501为输入模块，502为通道数F高H宽W的图像块、503为注意力门信号、504为注意力模块、505为级联模块。级联模块505如图8所示，其中，方框表示3*3卷积模块，为了解决图片大小不一致的问题加入了卷积层和上采样层，虚线框为级联操作。
注意力模块503的结构如图7所示，其中xl是输入被U-net神经网络提取过的特征，Fint是一个超参数，Wh,Wg都是1x1的卷积核，表示AB中1比1卷积的输出信道的参数，α是注意力系数，负责对xl进行缩放。
判别器的损失函数为：
Figure BDA0003920073510000081
生成器通过判别器判别的结果，与判别器做对抗训练，直至训练饱和，设对抗损失为：LG，
Figure BDA0003920073510000082
总体的损失函数为：
Ltotal＝Lprecep+λLG+ηL1
Figure BDA0003920073510000083
L1＝‖G(ILR)-G(IHR)‖
其中Lprecep代表视觉损失函数，L1代表L1范数损失函数，λ为对抗损失系数，η为L1范数损失函数系数，
Figure BDA0003920073510000084
表示由预训练的VGG16网络的第l层提取出来的特征，IHR为对抗生成网络训练集中的高清图像，ILR为对抗生成网络训练集中的低清图像，G(ILR)为生成器网络生成的高清图像，w和h代表输入图像的长和宽。
步骤4、将核磁图像输入所述步骤3训练后的对抗生成网络，得到高清核磁图像，使得图片的纹理和细节得以变得清晰。
应当指出的是，上述实施例的具体方法可形成计算机程序产品，因此，本申请实施的计算机程序产品可存储在在一个或多个计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上。另外本申请可采用硬件、软件或者硬件与软件结合的方式进行实施，或者是构成至少包含一个处理器及存储器的计算机装置，该存储器即储存了实现上述流程步骤的计算机程序，处理器用于执行该存储器上的计算机程序进行形成上述的实施例的方法步骤。
下面就一个具体实例说明本发明方法的效果，本案例中选用hcp(humanconnectome project)数据集作为高清图像数据集，选用ADNI(Alzheimer's DiseaseNeuroimaging Initiative)1期数据集作为低清图像数据集，训练改进的Transformer模型。由训练后的改进的Transformer模型根据真实高清核磁图像生成对应的低清图像，用于训练对抗生成网络，训练完成的模型可用于将真实的低清图像生成出高清图像，如图8、图9所示。由自然图像评价器对生成的高清图像进行评判。自然图像评价器(Natural ImageQuality Evaluator)，简称NIQE，可以有效对图片质量进行评估，NIQE分数越小，图片质量越高，本发明的方法相较于其他方法在NIQE指标上具有优势：
方法名称 NIQE分数
Bicubic线性上采样 7.03
ESRGAN 5.23
realESRGAN 5.09
本发明方法 3.59

Claims (8)

1.一种基于风格迁移的核磁图像超分辨率方法，其特征在于，步骤1、由非配对的高清图像和低清图像数据集训练改进的Transformer模型；
步骤2、将待配对的高清图像输入所述步骤1训练后的改进的Transformer模型输出对应的配对低清图像，由所述待配对的高清图像与所述配对低清图像组对构成对抗生成网络训练集；
步骤3、由所述步骤2得到的对抗生成网络训练集训练对抗生成网络；
步骤4、将核磁图像输入所述步骤3训练后的对抗生成网络得到高清核磁图像；
所述改进的Transformer模型包括两个线性映射层、两个Transformer编码器、Transformer解码器和卷积神经网络上采样器，其中两个Transformer编码器的每一层由一个多头自注意模块和一个前馈网络组成，原始高清图像通过剪裁和一个线性映射层得到内容图像块序列，加上经过具有内容感知的位置编码的高清图像共同输入一个Transformer编码器得到内容序列，低清图像通过剪裁和另一个线性映射层得到风格图像块序列，输入另一个Transformer编码器得到风格序列；Transformer解码器的每一层由两个多头自注意模块和一个前馈网络组成，所述内容序列和风格序列共同输入所述Transformer解码器解码后由所述卷积神经网络上采样器进行放大输出。
2.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述经过具有内容感知的位置编码的高清图像中具有内容感知的位置编码方法为：将图像剪裁为图像块，通过线性映射层将图片块映射为一个连续的特征编码序列ε，图像的位置编码的序列为
Figure FDA0003920073500000018
Figure FDA0003920073500000011
Figure FDA0003920073500000012
其中AvgPooln×n是平均池化函数，
Figure FDA0003920073500000013
是1x1的卷积操作，
Figure FDA0003920073500000014
是可学习的相对位置关系，n是位置编码图像块的长宽，akl为插值权重，s为相邻补丁的数量。
3.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述内容序列和风格序列共同输入所述Transformer解码器是以所述内容序列的编码序列
Figure FDA0003920073500000015
生成查询，以所述风格序列生成键和值，其中Yc为高清图像经过所述Transformer编码器编码的内容序列，
Figure FDA0003920073500000016
Figure FDA0003920073500000017
其中AvgPooln×n是平均池化函数，
Figure FDA0003920073500000021
是1x1的卷积操作，
Figure FDA0003920073500000022
是可学习的相对位置关系，n是位置编码图像块的长宽，akl为插值权重，s为相邻补丁的数量。
4.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述改进的Transformer模型的损失函数为
Figure FDA0003920073500000023
Figure FDA0003920073500000024
Figure FDA0003920073500000025
Figure FDA0003920073500000026
Figure FDA0003920073500000027
Figure FDA0003920073500000028
其中
Figure FDA0003920073500000029
为内容损失函数，
Figure FDA00039200735000000210
为风格损失函数，φi(·)代表由预训练的VGG第i层网络抽取的特征，μ(·)代表计算均值，σ(·)代表计算方差，Io代表模型输出图像，Is代表风格输入图像，Ic代表内容输入图像，
Figure FDA00039200735000000211
为一致性误差，Icc和Iss是模型产生的图像。
5.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述对抗生成网络中的生成器为ESRGAN模型的生成器并由RRDB模块代替残差模块，所述对抗生成网络中的判别器为attention U-net。
6.根据权利要求5所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述对抗生成网络中生成器的损失函数为：
Figure FDA00039200735000000212
对抗生成网络的对抗损失为：
Figure FDA00039200735000000213
总体的损失函数为：
Ltotal＝Lprecep+λLG+ηL1
Figure FDA00039200735000000214
L1＝||G(ILR)-G(IHR)||
其中Lprecep代表视觉损失函数，L1代表L1范数损失函数，λ为对抗损失系数，η为L1范数损失函数系数，
Figure FDA0003920073500000031
表示由预训练的VGG16网络的第l层提取出来的特征，IHR为对抗生成网络训练集中的高清图像，ILR为对抗生成网络训练集中的低清图像，G(ILR)为生成器网络生成的高清图像，w和h代表输入图像的长和宽。
7.一种基于风格迁移的核磁图像超分辨率装置，包括处理器以及存储器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现权利要求1至6中任意一项所述的基于风格迁移的核磁图像超分辨率方法。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现权利要求1至6中任意一项所述的基于风格迁移的核磁图像超分辨率方法。
CN202211353715.6A 2022-11-01 2022-11-01 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质 Pending CN115936983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211353715.6A CN115936983A (zh) 2022-11-01 2022-11-01 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211353715.6A CN115936983A (zh) 2022-11-01 2022-11-01 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115936983A true CN115936983A (zh) 2023-04-07

Family

ID=86653323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211353715.6A Pending CN115936983A (zh) 2022-11-01 2022-11-01 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115936983A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881639A (zh) * 2023-07-10 2023-10-13 国网四川省电力公司营销服务中心 一种基于生成对抗网络的窃电数据合成方法
CN117994135A (zh) * 2024-04-02 2024-05-07 中国科学院云南天文台 基于深度学习进行soho/mdi磁图超分辨率重建的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
WO2021056969A1 (zh) * 2019-09-29 2021-04-01 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
CN112991231A (zh) * 2020-07-23 2021-06-18 杭州喔影网络科技有限公司 单图像超分与感知图像增强联合任务学习系统
US20210365710A1 (en) * 2019-02-19 2021-11-25 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium
CN114240735A (zh) * 2021-11-17 2022-03-25 西安电子科技大学 任意风格迁移方法、系统、存储介质、计算机设备及终端
CN114241077A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种ct图像分辨率优化方法及装置
CN114463181A (zh) * 2022-02-11 2022-05-10 重庆邮电大学 一种基于改进生成对抗网络的图像超分辨率方法
CN114493991A (zh) * 2021-12-16 2022-05-13 之江实验室 基于注意力循环对抗网络的风格迁移系统、方法、装置
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20210365710A1 (en) * 2019-02-19 2021-11-25 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium
WO2021056969A1 (zh) * 2019-09-29 2021-04-01 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
CN112991231A (zh) * 2020-07-23 2021-06-18 杭州喔影网络科技有限公司 单图像超分与感知图像增强联合任务学习系统
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN114240735A (zh) * 2021-11-17 2022-03-25 西安电子科技大学 任意风格迁移方法、系统、存储介质、计算机设备及终端
CN114493991A (zh) * 2021-12-16 2022-05-13 之江实验室 基于注意力循环对抗网络的风格迁移系统、方法、装置
CN114463181A (zh) * 2022-02-11 2022-05-10 重庆邮电大学 一种基于改进生成对抗网络的图像超分辨率方法
CN114241077A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种ct图像分辨率优化方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YINGYING DENG: "StyTr2: Image Style Transfer with Transformers", 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 27 September 2022 (2022-09-27), pages 11316 - 11320 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116881639A (zh) * 2023-07-10 2023-10-13 国网四川省电力公司营销服务中心 一种基于生成对抗网络的窃电数据合成方法
CN117994135A (zh) * 2024-04-02 2024-05-07 中国科学院云南天文台 基于深度学习进行soho/mdi磁图超分辨率重建的方法

Similar Documents

Publication Publication Date Title
CN109919838B (zh) 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN112270644B (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN115936983A (zh) 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
Fang et al. Deep generative inpainting with comparative sample augmentation
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN113723174B (zh) 基于生成对抗网络的人脸图像超分辨修复重建方法及系统
CN113205449A (zh) 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN114841859A (zh) 基于轻量神经网络和Transformer的单图像超分辨率重建方法
CN115587934A (zh) 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及系统
Liu et al. Facial image inpainting using multi-level generative network
CN117893545A (zh) 一种皮肤病变图像分割方法、系统、设备及存储介质
CN117315241A (zh) 一种基于transformer结构的场景图像语义分割方法
Vo et al. StarSRGAN: Improving real-world blind super-resolution
CN116862765A (zh) 一种医学影像超分辨率重建方法及系统
Jia et al. Learning rich information for quad bayer remosaicing and denoising
Zhang et al. Deep residual network based medical image reconstruction
Wang et al. Parts-based face super-resolution via non-negative matrix factorization
CN111275624A (zh) 基于多集典型相关分析的人脸图像超分辨率重建识别方法
CN114140316A (zh) 一种基于前馈神经网络与感知损失函数的图像超分辨率重建方法
CN114549328B (zh) Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
CN118014894B (zh) 基于边缘先验与注意力机制相结合的图像修复方法、装置、设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination