发明内容
鉴于此,本发明提供一种图像超分辨率处理方法,能够实现比现有方法更好的超分辨率处理效果,也能够避免在原始数据信噪比较低的条件下,图像预测不准确、细节模糊等问题。
具体而言,包括以下的技术方案:
本发明实施例提供了一种图像超分辨率处理方法,包括:
获取训练图像集,所述训练图像集包括多组图像组,每组所述图像组均包括彼此对应的第一图像和第二图像,所述第一图像的分辨率低于所述第二图像的分辨率;
基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型;
通过所述训练图像集训练所述第一模型,或者通过所述训练图像集训练所述第二模型;
通过训练完成的所述第一模型或所述第二模型完成待处理图像的超分辨率处理。
可选地,所述基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型,包括:
基于所述傅里叶域特征通道注意力机制构建傅里叶域特征通道注意力卷积模块,基于所述傅里叶域特征通道注意力卷积模块在所述卷积神经网络中搭建所述第一模型或所述第二模型。
可选地,所述傅里叶域特征通道注意力机制通过傅里叶域特征通道注意力模块来实现,所述傅里叶域特征通道注意力模块包括:
快速傅里叶变换模块,其包括快速傅里叶变换层,以用于对输入的n个特征通道进行快速傅里叶变换,并顺次取模、取对数或伽马校正,得到特征通道的能量谱;
卷积-激活模块,其包括一个卷积层和一个ReLU激活函数,以用于使所述特征通道的能量谱依次经过一个卷积层和一个ReLU激活函数,以进行特征提取,其中,所述ReLU激活函数用以下表达式表示:
池化模块,其包括全局平均池化层,以用于对所述能量谱进行全局平均池化,得到对应于所述特征通道的数量的n个系数,所述n个系数分别作为所述n个特征通道的频域信息代表数值;
自适应加权模块,其包括一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数,以用于使所述n个系数依次通过一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数,以得到n个加权系数,并用所述n个加权系数对输入的所述n个特征通道进行加权,输出加权之后的特征通道,其中,所述Sigmoid激活函数用以下表达式表示:
可选地,所述傅里叶域特征通道注意力卷积模块包括:
特征提取模块,其包括顺次连接的一个卷积层、一个GELU激活函数、一个卷积层和一个GELU激活函数,其中,所述GELU激活函数用以下表达式表示:
所述傅里叶域特征通道注意力模块,其用于实现傅里叶域特征通道注意力机制,以赋予卷积神经网络自适应地调节特征通道权重的能力;
残差输出模块,其用于将所述特征提取模块的原始输入与所述傅里叶域特征通道注意力模块的输出相加,以作为所述傅里叶域特征通道注意力卷积模块的最终输出。
可选地,所述第一模型为傅里叶域特征通道注意力卷积神经网络模型,所述第一模型包括:
浅层特征提取模块,其包括一个卷积层和一个所述GELU激活函数,以用于使输入的预处理图像依次通过一个卷积层和一个所述GELU激活函数,以提取浅层特征;
深层特征提取模块,其包括p个残差模块、一个卷积层和一个所述GELU激活函数,以用于提取预处理图像的深层特征,其中,所述残差模块包括q个所述傅里叶域特征通道注意力卷积模块,输入的特征通道经过q个所述傅里叶域特征通道注意力卷积模块,输出的特征通道再与所述输入的特征通道相加作为所述残差模块的输出;
上采样输出模块,其包括一个像素重排层、一个卷积层和一个所述Sigmoid激活函数,以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
可选地,所述第二模型为傅里叶域特征通道注意力生成对抗卷积神经网络模型,所述第二模型包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型。
可选地,所述傅里叶域特征通道注意力生成器模型包括:
浅层特征提取模块,其包括一个卷积层和一个所述GELU激活函数,以用于使输入的预处理图像依次通过一个卷积层和一个所述GELU激活函数,以提取浅层特征;
深层特征提取模块,其包括p个残差模块、一个卷积层和一个所述GELU激活函数,以用于提取预处理图像的深层特征,其中,所述残差模块包括q个所述傅里叶域特征通道注意力卷积模块,输入的特征通道经过q个所述傅里叶域特征通道注意力卷积模块,输出的特征通道再与所述输入的特征通道相加作为所述残差模块的输出;
上采样输出模块,其包括一个像素重排层、一个卷积层和一个所述Sigmoid激活函数,以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
可选地,所述卷积神经网络判别器模型包括:
卷积-激活模块,其包括卷积层和跟随在卷积层之后的LReLU激活函数,所述LReLU激活函数用以下表达式表示:
LReLU(x,α)=max(0,x)-αmax(0,-x),
其中,α为泄露值,并且设定为α=0.1;
池化-激活模块,其包括顺次连接的一个全局平均池化层、一个全链接层、一个所述LReLU激活函数、一个全链接层和一个所述Sigmoid激活函数。
可选地,所述通过所述训练图像集训练所述第一模型,包括:
将所述第一图像输入所述第一模型得到输出图像,将所述输出图像与所述第二图像进行比对,训练时的第一模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度的关系由如下表达式表示:
其中,
表示所述输出图像,
Y表示所述第二图像,
表示所述第一模型损失函数,
表示所述输出图像和所述第二图像之间的均方误差,
表示所述输出图像和所述第二图像之间的结构相似度,
λ表示结构相似度损失的权重。
可选地,所述通过所述训练图像集训练所述第二模型,包括:
将所述第一图像输入所述第二模型的所述傅里叶域特征通道注意力生成器模型得到输出图像,将所述输出图像与所述第二图像进行比对,计算均方误差和结构相似度,同时将所述输出图像输入第二模型的判别器,得到置信度,用于计算判别损失,训练时的第二模型的所述傅里叶域特征通道注意力生成器模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度以及与所述判别损失的关系由如下表达式表示:
其中,/>表示所述第二模型的所述傅里叶域特征通道注意力生成器模型损失函数,
表示所述输出图像和所述第二图像之间的均方误差,
表示所述输出图像和所述第二图像之间的结构相似度,
表示所述判别损失,
λ表示结构相似度损失的权重,
β表示所述均方误差和结构相似度损失的共同权重,
γ表示所述判别损失的权重,
表示所述卷积神经网络判别器模型以所述傅里叶域特征通道注意力生成器模型的输出图像为输入而计算出来的置信度,
所述傅里叶域特征通道注意力生成器模型的损失函数由所述输出图像和所述第二图像之间的均方误差和结构相似度以及所述判别损失组成;
将所述傅里叶域特征通道注意力生成器模型的输出图像或所述第二图像输入所述卷积神经网络判别器模型中,将输出的置信度与真值进行比对,计算所述卷积神经网络判别器模型的二值交叉熵损失,所述卷积神经网络判别器模型的损失函数由如下表达式表示:
其中,
表示所述卷积神经网络判别器模型输出的置信度,
p表示所述真值,在所述卷积神经网络判别器模型的输入为所述傅里叶域特征通道注意力生成器模型的输出图像的情况下,所述真值为0,在所述卷积神经网络判别器模型的输入为所述第二图像的情况下,所述真值为1。
本发明实施例提供的技术方案的有益效果至少包括:
本发明提供了一种图像超分辨率处理方法,该方法通过基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型,低分辨率的图像经过第一模型或第二模型的超分辨率处理可以得到高分辨率图像,该方法可以更加有效地提取图像特征,在不同超分辨模态(自然图像超分辨、显微图像超分辨等)和不同成像条件(不同信噪比、不同成像速度,或分辨率提高不同倍数等)下,实现比现有方法更精确、更鲁棒的超分辨率图像预测和重建。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本发明实施例所用的所有技术术语均具有与本领域技术人员通常理解的相同的含义。在对发明实施方式作进一步地详细描述之前,对理解本发明实施例一些术语进行说明。
“超分辨率”是通过硬件或软件的方法提高原有图像的分辨率,即,通过低分辨率的图像来得到高分辨率的图像过程。在本文中,图像超分辨率处理包括自然图像超分辨率预测以及显微图像超分辨率预测和重建,其中,对单张低分辨率自然图像或单张低分辨率显微图像进行超分辨率处理得到高分辨率图像的过程称为图像超分辨率预测,对多张受衍射极限约束的低分辨率显微图像进行超分辨率处理得到单张高分辨率显微图像的过程称为图像超分辨率重建。
在本文中,“低分辨率”和“高分辨率”是相对的概念,在此并不具体限定“低分辨率”和“高分辨率”的具体数值。
“卷积神经网络”是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。
为使本发明的技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1为根据本发明实施例所述的图像超分辨率处理方法的流程图。
如图1所示,根据本发明实施例所述的图像超分辨率处理方法,包括:
步骤S100:获取训练图像集,该训练图像集包括多组图像组,每组图像组均包括彼此对应的第一图像和第二图像,第一图像的分辨率低于第二图像的分辨率;
步骤S200:基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型;
步骤S300:通过训练图像集训练第一模型,或者通过训练图像集训练第二模型;
步骤S400:通过训练完成的第一模型或第二模型完成待处理图像的超分辨率处理。
本发明提供了一种图像超分辨率处理方法,该方法通过基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型,低分辨率的图像经过第一模型或第二模型的超分辨率处理可以得到高分辨率图像,该方法可以更加有效地提取图像特征,在不同超分辨模态(自然图像超分辨、显微图像超分辨等)和不同成像条件(不同信噪比、不同成像速度,或分辨率提高不同倍数等)下,实现比现有方法更精确、更鲁棒的超分辨率图像预测和重建。
在步骤S100中,例如,可以通过光学显微系统拍摄或从公开数据库下载来获取图像集,可以对该图像集进行归一化、标准化等预处理,预处理后的图像集再通过随机剪裁、随机角度旋转、图像对称等方式进行扩增,从而得到训练图像集。训练图像集中包括多组图像组,每组图像组均包括彼此对应的第一图像和第二图像,第一图像的分辨率低于第二图像的分辨率,例如,第一图像可以是对第二图像进行降采样而得到的分辨率低于第二图像的图像。第一图像用于输入第一模型或第二模型来得到输出图像,第二图像用于与输出图像进行比对。
在步骤S200中,通过在卷积神经网络中构建傅里叶域特征通道注意力机制,来搭建第一模型或第二模型,即,对特征通道进行傅里叶变换,并利用其傅里叶频谱的强度和相位信息对特征通道进行加权调整,提高卷积神经网络的特征提取能力,实现更好的超分辨率效果。
由于利用了傅里叶频谱的强度和相位信息对特征通道进行加权调整,提高了卷积神经网络的特征提取能力,从而使得第一模型和第二模型在不同超分辨模态(自然图像超分辨、显微图像超分辨等)和不同成像条件(不同信噪比、不同成像速度,或分辨率提高不同倍数等)下,实现比现有方法更精确、更鲁棒的超分辨率预测和重建。
进一步地,在步骤S200中,基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型,包括:
基于傅里叶域特征通道注意力机制构建傅里叶域特征通道注意力卷积模块10,基于傅里叶域特征通道注意力卷积模块10在卷积神经网络中搭建第一模型或第二模型。
图2为根据本发明实施例所述的傅里叶域特征通道注意力卷积模块的结构框图。
如图2所示,根据本发明实施例的傅里叶域特征通道注意力卷积模块10包括:
特征提取模块,其包括顺次连接的一个卷积层101、一个GELU激活函数102、一个卷积层101和一个GELU激活函数102,其中,GELU激活函数102用以下表达式表示:
傅里叶域特征通道注意力模块,其用于实现傅里叶域特征通道注意力机制,以赋予卷积神经网络自适应地调节特征通道权重的能力,其中,
该傅里叶域特征通道注意力模块包括:
快速傅里叶变换模块,其包括快速傅里叶变换层103,以用于对输入的n个特征通道进行快速傅里叶变换,并顺次取模、取对数或伽马校正,得到特征通道的能量谱;
卷积-激活模块30,其包括一个卷积层101和一个ReLU激活函数104,以用于使特征通道的能量谱依次经过一个卷积层101和一个ReLU激活函数104,以进行特征提取,其中,ReLU激活函数104用以下表达式表示:
池化模块,其包括全局平均池化层105,以用于对能量谱进行全局平均池化,得到对应于特征通道的数量的n个系数,n个系数分别作为n个特征通道的频域信息代表数值;
自适应加权模块,其包括一个全链接层106、一个ReLU激活函数104、一个全链接层106和一个Sigmoid激活函数107,以用于使n个系数依次通过一个全链接层106、一个ReLU激活函数104、一个全链接层106和一个Sigmoid激活函数107,以得到n个加权系数,并用n个加权系数对输入的n个特征通道进行加权,输出加权之后的特征通道,其中,Sigmoid激活函数107用以下表达式表示:
残差输出模块108,其用于将特征提取模块的原始输入与傅里叶域特征通道注意力模块的输出相加,以作为傅里叶域特征通道注意力卷积模块10的最终输出。
图3为根据本发明实施例所述的第一模型的结构框图。
根据本发明的实施例,第一模型为傅里叶域特征通道注意力卷积神经网络模型,如图3所示,第一模型包括:
浅层特征提取模块,其包括一个卷积层101和一个GELU激活函数102,以用于使输入的预处理图像依次通过一个卷积层101和一个GELU激活函数102,以提取浅层特征;
深层特征提取模块,其包括p个残差模块20(典型值为p=4)、一个卷积层101和一个GELU激活函数102,以用于提取预处理图像的深层特征,其中,残差模块20包括q个傅里叶域特征通道注意力卷积模块10(典型值为q=4),输入的特征通道经过q个傅里叶域特征通道注意力卷积模块10,输出的特征通道再与输入的特征通道相加作为残差模块20的输出;
上采样输出模块,其包括一个像素重排层109、一个卷积层101和一个Sigmoid激活函数107,以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
根据本发明的实施例,第二模型为傅里叶域特征通道注意力生成对抗卷积神经网络模型,第二模型包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型。
在根据本发明的实施例中,傅里叶域特征通道注意力生成器模型与第一模型基本相同(可以参见图3),傅里叶域特征通道注意力生成器模型包括:
浅层特征提取模块,其包括一个卷积层101和一个GELU激活函数102,以用于使输入的预处理图像依次通过一个卷积层101和一个GELU激活函数102,以提取浅层特征;
深层特征提取模块,其包括p个残差模块20(典型值为p=4)、一个卷积层101和一个GELU激活函数102,以用于提取预处理图像的深层特征,其中,残差模块20包括q个傅里叶域特征通道注意力卷积模块10(典型值为q=4),输入的特征通道经过q个傅里叶域特征通道注意力卷积模块10,输出的特征通道再与输入的特征通道相加作为残差模块20的输出;
上采样输出模块,其包括一个像素重排层109、一个卷积层101和一个Sigmoid激活函数107,以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
图4为根据本发明实施例所述的第二模型中的卷积神经网络判别器模型的结构框图。
如图4所示,根据本发明实施例的卷积神经网络判别器模型包括:
卷积-激活模块30,其包括卷积层101和跟随在卷积层101之后的LReLU激活函数110,在本实施例中具有十个卷积-激活模块30,LReLU激活函数110用以下表达式表示:
LReLU(x,α)=max(0,x)-αmax(0,-x),
其中,α为泄露值,并且设定为α=0.1;
池化-激活模块,其包括顺次连接的一个全局平均池化层105、一个全链接层106、一个LReLU激活函数110、一个全链接层106和一个Sigmoid激活函数107。
图5为根据本发明实施例所述的对第一模型进行训练的流程图。
如图5所示,在步骤S300中,通过训练图像集训练第一模型包括:
将第一图像输入第一模型,得到输出图像,将输出图像与第二图像进行比对,其中,训练时的第一模型损失函数与输出图像和第二图像之间的均方误差和结构相似度的关系由如下表达式表示:
其中,
表示输出图像,
Y表示第二图像,
表示第一模型损失函数,
表示输出图像和第二图像之间的均方误差,
表示输出图像和第二图像之间的结构相似度,
λ表示结构相似度损失的权重。
图6为根据本发明实施例所述的对第二模型中的傅里叶域特征通道注意力生成器模型进行训练的流程图。
如图6所示,在步骤300中,通过训练图像集训练第二模型包括:
将所述第一图像输入所述第二模型的所述傅里叶域特征通道注意力生成器模型得到输出图像,将所述输出图像与所述第二图像进行比对,计算均方误差和结构相似度,同时将所述输出图像输入第二模型的判别器,得到置信度,用于计算判别损失,训练时的第二模型的所述傅里叶域特征通道注意力生成器模型损失函数与所述输出图像和所述第二图像之间的均方误差和结构相似度以及与所述判别损失的关系由如下表达式表示:
其中,表示所述第二模型的所述傅里叶域特征通道注意力生成器模型损失函数,
表示所述输出图像和所述第二图像之间的均方误差,
表示所述输出图像和所述第二图像之间的结构相似度,
表示所述判别损失,
λ表示结构相似度损失的权重,
β表示所述均方误差和结构相似度损失的共同权重,
γ表示所述判别损失的权重,
表示所述卷积神经网络判别器模型以所述傅里叶域特征通道注意力生成器模型的输出图像为输入而计算出来的置信度,
所述傅里叶域特征通道注意力生成器模型的损失函数由所述输出图像和所述第二图像之间的均方误差和结构相似度以及所述判别损失组成;
将所述傅里叶域特征通道注意力生成器模型的输出图像或所述第二图像输入所述卷积神经网络判别器模型中,将输出的置信度与真值进行比对,计算所述卷积神经网络判别器模型的二值交叉熵损失,所述卷积神经网络判别器模型的损失函数由如下表达式表示:
其中,
表示所述卷积神经网络判别器模型输出的置信度,
p表示所述真值,在所述卷积神经网络判别器模型的输入为所述傅里叶域特征通道注意力生成器模型的输出图像的情况下,所述真值为0,在所述卷积神经网络判别器模型的输入为所述第二图像的情况下,所述真值为1。
为了更好地理解根据本发明的图像超分辨率处理方法,以下提供了三个实例。
实例1:
图7示出了根据实例1所述的低分辨率自然图像与经过第一模型的超分辨率预测后得到的高分辨率自然图像的对比图。
如图7所示,低分辨率自然图像经过第一模型(傅里叶域特征通道注意力卷积神经网络模型)的超分辨率预测后得到了高分辨率自然图像,具体步骤如下:
下载公开数据集DIV2K,将图片进行降采样,生成与高分辨率图片一一对应的低分辨率图片,然后对数据进行扩增,包括随机剪裁、随机角度旋转和图像对称等操作,产生30,000对低分辨率(尺寸为128×128×3)-高分辨率(尺寸为256×256×3)的RGB图像对(训练图像集,低分辨率图像对应于第一图像,高分辨率图像对应于第二图像),以用于模型训练;
使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建如图3所示的第一模型(傅里叶域特征通道注意力卷积神经网络模型);
训练第一模型模型,训练时,可以设定初始学习率为1×10-4,训练批大小为3,使用Adam优化器进行反向传播迭代优化。如图5所示,训练时的损失函数由输出图像与真值图像(相当于第二图像)(Y)之间的均方误差(Mean square error,简写为MSE)和结构相似度(Structural similarity,简写为SSIM)两部分组成,可表示为:
其中,λ为结构相似度损失的权重;
将单张低分辨率自然图像输入训练完成的第一模型(傅里叶域特征通道注意力卷积神经网络模型),经过超分辨率预测后即可输出对应的高分辨率图像。
实例2:
图8示出了根据实例2所述的低分辨率显微图像与经过第二模型的超分辨率预测后得到的高分辨率显微图像的对比图;
如图8所示,低分辨率显微图像经过第二模型(傅里叶域特征通道注意力生成对抗卷积神经网络模型)的超分辨率预测后得到了高分辨率显微图像,具体步骤如下:
利用自主搭建的光学显微镜以结构光照明模式拍摄多组原始图像,在结构光照明超分辨率成像模式下,每个区域对应9张原始图像,将9张图像求平均得到宽场照明低分辨率图像(其可作为训练模型时输入的图像,相当于第一图像),同时用传统的结构光照明超分辨率重建算法对所拍摄的原始数据进行超分辨率重建,得到低分辨率图像对应的高分辨率图像(其可作为模型训练时的真值图像,相当于第二图像);
对显微图像数据集进行预处理和数据扩增(可以参考实例1中的相应步骤,但无需进行降采样),产生30,000对低分辨率(尺寸为128×128)-高分辨率(尺寸为256×256)的灰度图像对(训练图像集,低分辨率图像对应于第一图像,高分辨率图像对应于第二图像),以用于模型训练;
使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建第二模型(即傅里叶域特征通道注意力生成对抗卷积神经网络模型,其包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型);
训练第二模型,傅里叶域特征通道注意力生成对抗卷积神经网络模型需要交替训练傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型,使二者相互抗衡,初始学习率分别设定为1×10-4和1×10-5,训练批大小为3,均使用Adam优化器进行迭代优化,训练过程中,判别器的损失函数使用二值化交叉熵(Binary cross entropy),傅里叶域特征通道注意力生成对抗卷积神经网络模型的损失函数由均方误差、结构相似度和判别损失三项构成,可表示为:
其中,β、λ和γ用于调整各项权重,表示卷积神经网络判别器模型以傅里叶域特征通道注意力生成器模型的输出图像为输入计算出来的置信度;
将单张低分辨率显微图像输入到已经训练完成的第二模型(傅里叶域特征通道注意力生成对抗卷积神经网络模型的傅里叶域特征通道注意力生成器模型中,即可得到对应的高分辨率显微图像。
实例3:
图9示出了根据实例3所述的低分辨率结构光照明原始图像与经过第一模型的超分辨率重建后得到的高分辨率重建图像的对比图。
如图9所示,结构光照明原始图像经过第一模型(傅里叶域特征通道注意力卷积神经网络模型)的超分辨率重建后得到了高分辨率重建图像,具体步骤如下:
利用自主搭建的光学显微镜以结构光照明模式拍摄多组原始图像并用传统的结构光照明超分辨率重建算法对所拍摄的原始图像进行超分辨率重建,得到用于形成训练图像集的图像集,对该图像集进行预处理和扩增,产生30,000组低分辨率(尺寸为128×128)-高分辨率(尺寸为256×256)的灰度图像组(训练图像集)以用于模型训练,特别地,每组图像包含9张低分辨率的结构光照明原始图像(相当于第一图像)和1张高分辨率的结构光照明图像(相当于第二图像)。
使用基于Tensorflow的Keras深度学习框架和Python编程语言搭建第一模型(傅里叶域特征通道注意力卷积神经网络模型);
训练第一模型,第一模型的输入为9通道数据,对应9张结构光照明原始图像,而输出为1通道数据,即1张高分辨率重建图像,损失函数的表示可以参照实例1的描述;
将9张低分辨率结构光照明原始图像输入训练完成的第一模型(傅里叶域特征通道注意力卷积神经网络模型),经过超分辨率重建,即可输出对应的1张高分辨率重建图像,完成结构光照明超分辨率重建。
本发明仅以上述实例进行说明,训练神经网络模型所使用的训练集、傅里叶域特征通道注意力卷积神经网络的超参数、输入和输出图像通道数等都是可以变化的,本发明也有很多潜在的、未举例说明的应用场景。在本发明技术方案的基础上,凡根据本发明原理对傅里叶域特征通道注意力卷积神经网络模型或傅里叶域特征通道注意力生成对抗卷积神经网络模型细节进行调整的,均不应排除在本发明的保护范围之外。
本领域技术人员在考虑说明书并且实践这里所公开的本发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。