CN113139904B - 一种图像盲超分辨率方法及系统 - Google Patents

Abstract

本发明公开了一种图像盲超分辨率方法及系统。该方法包括：获取经训练的模糊核生成网络以及低分辨率图像的频谱图；将所述频谱图输入所述经训练的模糊核生成网络，得到所述低分辨率图像对应的模糊核；根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图；将所述低分辨率图像与其对应的退化特征图进行拼接，得到拼接图；将所述拼接图输入经训练的卷积神经网络，得到高分辨率图像。本发明具有运算简单快速、准确度高的优势。

Description

一种图像盲超分辨率方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种图像盲超分辨率方法及系统。

背景技术

图像超分辨率(Super-Resolution，SR)技术是指给定一张或多张低分辨率(Low-Resolution，LR)图像，采用特定的算法将其重建为一张准确的高分辨率(High-Resolution，HR)图像的技术。图像超分辨率技术被广泛应用于监控成像、遥感成像、医学成像等多个领域，还被作为多种计算机视觉任务的预处理算法。大多数图像超分辨率方法假定HR图像是由LR图像通过固定的退化方式(如双三次插值下采样)得到的，这些方法本质上是学习预定义的单一的退化方式的逆过程，无法灵活地处理多种退化情况，这类方法的应用有非常大的局限性。现实世界中的LR图像的退化过程多种多样，如模糊、噪声、压缩等。当LR图像的的退化方式与图像超分辨率方法假定的退化方式差异较大时，图像超分辨率效果会大大降低。为了改进在真实场景中的图像超分辨率性能，越来越多人关注图像盲超分辨率任务。在图像盲超分辨率任务中，LR图像的模糊核、噪声等退化因素是未知的。大量理论与实验证明，与复杂的图像先验相比，精确的模糊核对于图像超分辨率效果的影响更大。因此，在图像盲超分辨率任务中使用一个精确的模糊核估计方法对于提升图像超分辨率方法的性能有着重要的作用。目前，在图像超分辨率领域中对LR图像的模糊核估计的方法主要分为传统机器学习方法以及基于深度学习的方法。传统的机器学习方法通常需要进行大量优化迭代过程，运算复杂，运行时间长；估计精度较差。在基于深度学习的方法中，经典的模糊核估计方法KernelGAN同样存在运算复杂、运行时间长的问题。

发明内容

本发明的目的是提供一种准确度高的图像盲超分辨率方法及系统。

为实现上述目的，本发明提供了如下方案：

一种图像盲超分辨率方法，包括：

获取经训练的模糊核生成网络以及低分辨率图像的频谱图；

将所述频谱图输入所述经训练的模糊核生成网络，得到所述低分辨率图像对应的模糊核；

根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图；

将所述低分辨率图像与其对应的退化特征图进行拼接，得到拼接图；

将所述拼接图输入经训练的卷积神经网络，得到高分辨率图像。

可选的，所述经训练的卷积神经网络为稠密卷积神经网络，所述稠密卷积神经网络包括依次连接的卷积层、深度网络和上采样卷积层，所述深度网络包括多个依次连接的深度转化单元，所述深度转化单元包括依次连接的深度模块和转化模块，所述深度模块通过稠密连接结构实现特征复用，所述转化模块用于对所述深度模块的输出进行特征维度的非线性变换以提取固定数量通道的特征。

可选的，在获取低分辨率图像的频谱图之前，还包括：

采用傅里叶变换将所述低分辨率图像从空间域转换到频率域，得到所述低分辨率图像的频谱图。

可选的，所述经训练的模糊核生成网络包括多层依次连接的卷积层和一层全局池化层。

可选的，所述根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图，具体包括：

采用主成分分析法对所述低分辨率图像对应的模糊核进行降维；

采用维度拉伸策略将降维后的模糊核拉伸到与所述低分辨率图像相同大小，得到所述退化特征图。

本发明还提供了一种图像盲超分辨率系统，包括：

获取模块，用于获取经训练的模糊核生成网络以及低分辨率图像的频谱图；

模糊核确定模块，用于将所述频谱图输入所述经训练的模糊核生成网络，得到所述低分辨率图像对应的模糊核；

退化特征图确定模块，用于根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图；

图像拼接模块，用于将所述低分辨率图像与其对应的退化特征图进行拼接，得到拼接图；

高分辨率图像确定模块，用于将所述拼接图输入经训练的卷积神经网络，得到高分辨率图像。

可选的，所述经训练的卷积神经网络为稠密卷积神经网络，所述稠密卷积神经网络包括依次连接的卷积层、深度网络和上采样卷积层，所述深度网络包括多个依次连接的深度转化单元，所述深度转化单元包括依次连接的深度模块和转化模块，所述深度模块通过稠密连接结构实现特征复用，所述转化模块用于对所述深度模块的输出进行特征维度的非线性变换以提取固定数量通道的特征。

可选的，所述图像盲超分辨率系统，还包括：

频谱图确定模块，用于采用傅里叶变换将所述低分辨率图像从空间域转换到频率域，得到所述低分辨率图像的频谱图。

可选的，所述经训练的模糊核生成网络包括多层依次连接的卷积层和一层全局池化层。

可选的，所述退化特征图确定模块，具体包括：

降维单元，用于采用主成分分析法对所述低分辨率图像对应的模糊核进行降维；

退化特征图确定单元，用于采用维度拉伸策略将降维后的模糊核拉伸到与所述低分辨率图像相同大小，得到所述退化特征图。

根据本发明实施例提供的具体实施方式，公开了以下技术效果：本发明提供的图像盲超分辨率方法及系统基于低分辨率图像的频谱图产生低分辨率图像的模糊核，由于频率可以表示图像灰度变化的剧烈程度，因此基于该模糊核的图像模糊过程提取了图像中关键的灰度梯度分布特征，避免了图像的空间域中与模糊核无关的信息(如图像的形状、色彩等)的干扰，进而提高了估计精度。

此外，在频域中学习乘法运算比在空间域中学习卷积运算更加简单，降低了使用卷积神经网络学习模糊核的难度以及运行的时间。基于此，本发明实施例提供的图像盲超分辨率方法及系统具有运算简单和准确度高的优势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的图像盲超分辨率方法的流程示意图；

图2为本发明实施例1中模糊核生成网络的结构示意图；

图3为本发明实施例1中稠密卷积神经网络DenseMD的结构；

图4为本发明实施例1中稠密卷积神经网络DenseMD中深度模块的结构；

图5为本发明实施例2提供的图像盲超分辨率系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种准确度高的图像盲超分辨率方法及系统。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

参见图1，本实施例提供了一种图像盲超分辨率方法，该方法包括以下步骤：

步骤1：获取经训练的模糊核生成网络以及低分辨率图像的频谱图。

步骤2：将所述频谱图输入所述经训练的模糊核生成网络，得到所述低分辨率图像对应的模糊核。

步骤3：根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图。

步骤4：将所述低分辨率图像与其对应的退化特征图进行拼接，得到拼接图。

步骤5：将所述拼接图输入经训练的卷积神经网络，得到高分辨率图像。

在一个示例中，在步骤1之前，还可以包括低分辨率图像频域图的确定步骤，具体可以采用傅里叶变换将所述低分辨率图像I_LR从空间域转换到频率域，进而得到所述低分辨率图像的频谱图。具体可通过以下方式实现：

步骤1-1：根据公式1对图像I_LR进行灰度化处理，得到I_LR-Gray。

Gray(x,y)＝0.3R(x,y)+0.59G(x,y)+0.11B(x,y) (1)

其中，R(x,y)、G(x,y)、B(x,y)分别为图像I_LR的位置(x,y)上的红、绿、蓝三个通道的分量，Gray(x,y)为图像I_LR的位置(x,y)的灰度值。

步骤1-2：使用二维离散傅里叶变换将灰度图I_LR-Gray从空间域转换到频率域，二维离散傅里叶变换公式如2所示：

其中，f(x,y)是大小为M×N的灰度图像I_LR-Gray，u＝0,1,2,…,M-1，v＝0,1,2,…,N-1；u和v是频率变量，x和y是空间域图像变量。F(u,v)为f(x,y)的二维傅里叶变换。F(u,v)通常是复数，因此，可以用极坐标形式来表示，如公式3所示：

F(u,v)＝R(u,v)+jI(u,v) (3)

其中，R(u,v)为F(u,v)的实部，I(u,v)为F(u,v)的虚部；再根据公式4得到频谱图F|u,v|。

步骤1-3：对频谱图F|u,v|进行中心化处理，将频谱图平均分为四个部分，并交换其左上部分和右下部分，以及右上部分和左下部分，使频谱图的低频部分移至频谱中心，原点也移至频谱的中心，得到F|u,v|_center，便于后续工作。

步骤1-4：对中心化后的频谱图F|u,v|_center进行对数变换，得到F_LR。对数变换公式如5所示：

F_LR＝log(1+F|u,v|_center) (5)

在一个示例中，如图2所示，步骤2中的模糊核生成网络可以包括多层依次连接的卷积层和一层全局池化层，具体设置方式可以如下：

卷积层的数量可以为11层，该模糊核生成网络首先采用11层卷积层来从频谱中提取模糊核的特征，卷积核的大小可以为3×3，前3层卷积层的步长均为1，卷积核个数分别为32、32、64。从第4层到第11层卷积层采用间歇式缩小特征图并增大特征通道的方式，来提取特征。具体来说，在第4层卷积层中，卷积的步长为2，特征图缩小为原来的1/2，卷积核个数不变，为64；第5层卷积层中，卷积的步长为1，特征图大小不变，卷积核个数扩大为原来的2倍，为128；第6层卷积层中，卷积步长为2，特征图缩小为原来的1/2，卷积核个数不变，为128；以此类推。第11层卷积层的卷积核数量为961，与31×31的二维模糊核矩阵上点的个数961对应。通过这种方式充分利用频谱信息提取模糊核特征，得到961张模糊核信息分布图，每张模糊核信息分布图提取的是31×31大小的二维模糊核矩阵上的其中一个点的特征。

模糊核生成网络的最后一层采用全局池化层(Global Average Pooling，GAP)进行矢量化特征映射的线性转换，聚合模糊核空间特征。具体来说，对每张模糊核信息分布图求平均得到一个均值，那么961张模糊核信息分布图就得到了一个961×1维的向量，再将该向量重新排列为31×31大小的二维矩阵，得到最终估计的模糊核。

在模糊核生成网络训练时，采用模糊核函数对图像进行模糊处理，得到模糊后的图像，对模糊后的图像进行傅里叶变换，得到模糊后的图像的频谱图，将模糊后的图像的频谱图作为模糊核生成网络的输入，将模糊核函数作为标签，对模糊核生成网络进行训练。其中，模糊核函数可以为高斯模糊核函数。

在一个示例中，步骤3中具体采用主成分分析法对所述低分辨率图像对应的模糊核进行降维；采用维度拉伸策略将降维后的模糊核拉伸到与所述低分辨率图像相同大小，得到所述退化特征图。具体的实现方式可以如下：

步骤3-1：将大小为31×31的模糊核K_LR铺平为31²×1的向量K_flat；

步骤3-2：采用主成分分析(Principal Component Analysis，PCA)技术对K_flat进行降维，得到t×1的向量K_PCA；

步骤3-3：将K_PCA的每一维度拉伸到与LR图像相同大小，得到一个w×h×t大小的退化特征图M_LR。

为了充分利用图像特征以及模糊核信息，步骤5中用于获得高分辨率图像的卷积神经网络为稠密卷积神经网络，所述稠密卷积神经网络包括卷积模块、深度模块、通转化模块以及上采样模块。具体的结构形式参见图3。

该稠密卷积神经网络，首先使用一个卷积模块从输入的w×h×c的LR图像及退化特征图M_LR中提取128维特征，卷积模块由一层卷积层和ReLU激活函数组成，该卷积层的卷积核大小为3×3，步长为1，卷积核数量为128。通过卷积模块，得到一个大小为w×h×128的特征图。

然后将得到的特征图输入由3个深度模块和转化模块组成的深度网络。图4给出了深度模块的结构。具体来说，可以将深度模块分为4个小的模块，表示为F。每个小模块F的输入为之前所有小模块的输出和整个模块的输入特征图I在特征通道维度上的拼接，将每个模块的输出表示为x_i，那么深度模块的过程可以通过公式6来表示：

x_i＝F_i([x₀,x₁,…,x_i-1]),x₀＝I (6)

其中，每个小模块包含两个卷积层以及ReLU激活函数，第一个卷积层的卷积核大小为1×1，步长为1，卷积核数量为128；第二个卷积层的卷积核大小为3×3，步长为1，卷积核数量为32。第一个卷积层的作用是降低输入的特征图维度从而减少计算量，同时也融合了特征图各个通道的特征。而第二个卷积层的作用则是从特定数量的特征图中，提取更深层次的图像特征。通过4个小模块构成的深度模块之后，将所有小模块的输出同整个模块的输入特征图I在特征通道维度上的拼接结果作为整个模块的输出，输出特征图的大小为w×h×256。

得到深度模块的输出特征图后，转化模块对该特征图进行特征的非线性变换，然后再传入下一个深度模块。由于每个深度模块稠密连接，如果不通过转化模块，而直接采用深度模块串联的方式，会造成后续的深度模块的输入特征的通道数持续增长。因此，为了降低深度模块输出的特征图维度从而减少计算量，同时也能够融合特征图中各个通道的特征，采用转化模块对深度模块的输出进行特征维度的非线性变换以提取固定数量通道的特征。具体的，转化模块可以由一个卷积核大小为1×1、步长为1、卷积核数量为128的卷积层配合激活函数ReLU。通过转化模块后，特征通道数缩小为原来的2分之一，即将输入大小为w×h×256的特征图会变换为大小为w×h×128的特征图。

通过深度模块和转化模块依次反复的深度网络后，得到一个w×h×128的特征图，将该特征图传入由子采样卷积层组成的上采样模块得到一张HR图像。

在稠密卷积神经网络训练时，其训练样本的获得方法为：将高分辨率图像输入经训练的模糊核生成网络，得到该高分辨率图像对应的低分辨率图像，通过这种形式，得到多个高分辨率图像分别对应的低分辨率图像，以此作为样本对稠密卷积神经网络进行训练：以低分辨率图像为稠密卷积神经网络的输入，以其对应的高分辨率图像为标签，对稠密卷积神经网络进行训练。

本发明实施例使用由通过卷积层提取图像特征的卷积模块、通过稠密连接实现特征复用的深度模块、通过非线性变换融合特征的转化模块以及将图像放大固定倍数的上采样模块组成的稠密卷积神经网络来对LR图像及其退化特征图进行建模。与现有技术SRMD(Super-Resolution Network for Multiple Degradations)中的网络结构相比，本发明实施例中的稠密卷积神经网络了加强LR图像的图像信息及其模糊核和噪声信息在网络中的传递，实现了图像特征以及模糊核及噪声水平信息的复用，能够更好地利用LR图像的退化信息来指导图像超分辨率过程，同时使用更少参数，在盲超分辨率任务中达到了更好的性能(对现有技术中的SRMD网络结构进行一下简单介绍，SRMD方法的网络结构较为简单，由12层卷积层和1层子像素卷积层组成。前12层卷积层中，卷积核大小为3×3，通道数为128，除第12层仅包含一个卷积操作外，每层包括卷积、ReLU激活函数以及批归一化三个操作组成；最后采用子像素卷积层将大小为W×H×s²C的多个HR子图转换为sW×sH×C的HR图像，其中s为超分辨率的缩放因子。这种简单的结构虽然能够提取到图像特征，但没有充分利用特征，有一定的局限性；同时，SRMD在第一层卷积层输入LR图像的退化特征图后，并未充分利用LR图像的模糊核和噪声信息，随着卷积层越来越深，模糊核和噪声信息的作用会越来越小)。

本发明实施例提供的图像盲超分辨率系统首先使用一个卷积神经网络进行模糊核估计，模糊核估计的准确度高，计算速度快；然后再使用稠密卷积神经网络对模糊核与低分辨率图像共同建模，图像盲超分辨率效果更佳，计算量更小。

本发明实施例提供的图像盲超分辨率具体具有以下优势：

1、采用低分辨率图像的频谱图进行模糊核的估计，提高了模糊核估精度。将低分辨率图像由空间域转换到频域，图像的频率能够表示图像灰度变化的剧烈程度，即提取了图像模糊过程中关键的灰度梯度分布特征，避免了图像的空间域中与模糊核无关的信息(如图像的形状、色彩等)的干扰。

2、在稠密卷积神经网络训练时，图像的模糊过程相当于将HR图像与模糊核的傅里叶变换结果(频谱图)进行乘法运算，与图像的模糊过程是在空间域将HR图像与模糊核进行卷积运算相比，在频域中学习乘法运算比在空间域中学习卷积运算更加简单，降低了使用卷积神经网络学习模糊核的难度。

3、本发明实施例提供的图像盲超分辨率方法向经训练的模糊核生成网络输入一张低分辨率图像的频谱图，便可快速稳定地估计出低分辨率图像的模糊核，避免了现有方法中的大量优化迭代计算过程，计算速度快且稳定。

4、通过卷积层提取图像特征的卷积模块、通过稠密连接实现特征复用的深度模块、通过非线性变换融合特征的转化模块以及将图像放大固定倍数的上采样模块组成的稠密卷积神经网络来对低分辨率图像及其退化特征图进行建模。与SRMD原有的网络结构相比，稠密卷积神经网络了加强低分辨率图像的图像信息及其模糊核和噪声信息在网络中的传递，实现了图像特征以及模糊核及噪声水平信息的复用，能够更好地利用低分辨率图像的退化信息来指导图像超分辨率过程，同时使用更少参数，在盲超分辨率任务中达到了更好的性能。

实施例2

参见图5，本实施例提供了一种图像盲超分辨率系统，该系统包括：

获取模块501，用于获取经训练的模糊核生成网络以及低分辨率图像的频谱图；

模糊核确定模块502，用于将所述频谱图输入所述经训练的模糊核生成网络，得到所述低分辨率图像对应的模糊核；

退化特征图确定模块503，用于根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图；

图像拼接模块504，用于将所述低分辨率图像与其对应的退化特征图进行拼接，得到拼接图；

高分辨率图像确定模块505，用于将所述拼接图输入经训练的稠密卷积神经网络，得到高分辨率图像。

作为本实施例的一种实施方式，所述图像盲超分辨率系统，还包括：

频谱图确定模块，用于采用傅里叶变换将所述低分辨率图像从空间域转换到频率域，得到所述低分辨率图像的频谱图。

在本实施例中，所述经训练的模糊核生成网络包括多层依次连接的卷积层和一层全局池化层。所述经训练的卷积神经网络为稠密卷积神经网络，所述稠密卷积神经网络包括依次连接的卷积层、深度网络和上采样卷积层，所述深度网络包括多个依次连接的深度转化单元，所述深度转化单元包括依次连接的深度模块和转化模块，所述深度模块通过稠密连接结构实现特征复用，所述转化模块用于对所述深度模块的输出进行特征维度的非线性变换以提取固定数量通道的特征。

作为本实施例的一种实施方式，所述退化特征图确定模块503，具体包括：

降维单元，用于采用主成分分析法对所述低分辨率图像对应的模糊核进行降维；

退化特征图确定单元，用于采用维度拉伸策略将降维后的模糊核拉伸到与所述低分辨率图像相同大小，得到所述退化特征图。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种图像盲超分辨率方法，其特征在于，包括：

获取经训练的模糊核生成网络以及低分辨率图像的频谱图；

将所述频谱图输入所述经训练的模糊核生成网络，得到所述低分辨率图像对应的模糊核；

根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图；

将所述低分辨率图像与其对应的退化特征图进行拼接，得到拼接图；

将拼接图输入经训练的卷积神经网络，得到高分辨率图像；

其中，所述根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图，具体包括：

采用主成分分析法对所述低分辨率图像对应的模糊核进行降维；

采用维度拉伸策略将降维后的模糊核拉伸到与所述低分辨率图像相同大小，得到所述退化特征图；

在所述获取经训练的模糊核生成网络以及低分辨率图像的频谱图之前，还包括：

步骤1-1：根据公式1对低分辨率图像I_LR进行灰度化处理，得到灰度图I_LR-Gray，

Gray(x,y)＝0.3R(x,y)+0.59G(x,y)+0.11B(x,y) (1)

其中，R(x,y)、G(x,y)、B(x,y)分别为低分辨率图像I_LR的位置(x,y)上的红、绿、蓝三个通道的分量，Gray(x,y)为低分辨率图像I_LR的位置(x,y)的灰度值；

步骤1-2：使用二维离散傅里叶变换将灰度图I_LR-Gray从空间域转换到频率域，二维离散傅里叶变换公式如2所示：

其中，f(x,y)是大小为M×N的灰度图I_LR-Gray，u＝0,1,2,…,M-1，v＝0,1,2,…,N-1；u和v是频率变量，x和y是空间域图像变量，F(u,v)为f(x,y)的二维傅里叶变换，F(u,v)是复数，用极坐标形式来表示如公式3所示：

F(u,v)＝R(u,v)+jI(u,v) (3)

其中，R(u,v)为F(u,v)的实部，I(u,v)为F(u,v)的虚部，根据公式4得到频谱图F|u,v|，

步骤1-3：对频谱图F|u,v|进行中心化处理，将频谱图平均分为四个部分，并交换其左上部分和右下部分，以及右上部分和左下部分，使频谱图的低频部分移至频谱中心，原点也移至频谱的中心，得到F|u,v|_center；

步骤1-4：对中心化后的频谱图F|u,v|_center进行对数变换，得到低分辨率图像频谱图F_LR，其中，对数变换公式如5所示：

F_LR＝log(1+F|u,v|_center) (5)。

2.根据权利要求1所述的图像盲超分辨率方法，其特征在于，所述经训练的卷积神经网络为稠密卷积神经网络，所述稠密卷积神经网络包括依次连接的卷积层、深度网络和上采样卷积层，所述深度网络包括多个依次连接的深度转化单元，所述深度转化单元包括依次连接的深度模块和转化模块，所述深度模块通过稠密连接结构实现特征复用，所述转化模块用于对所述深度模块的输出进行特征维度的非线性变换以提取固定数量通道的特征。

3.根据权利要求1所述的图像盲超分辨率方法，其特征在于，在获取低分辨率图像的频谱图之前，还包括：

采用傅里叶变换将所述低分辨率图像从空间域转换到频率域，得到所述低分辨率图像的频谱图。

4.根据权利要求1所述的图像盲超分辨率方法，其特征在于，所述经训练的模糊核生成网络包括多层依次连接的卷积层和一层全局池化层。

5.一种图像盲超分辨率系统，其特征在于，包括：

获取模块，用于获取经训练的模糊核生成网络以及低分辨率图像的频谱图；

模糊核确定模块，用于将所述频谱图输入所述经训练的模糊核生成网络，得到所述低分辨率图像对应的模糊核；

退化特征图确定模块，用于根据所述低分辨率图像对应的模糊核确定所述低分辨率图像对应的退化特征图；

图像拼接模块，用于将所述低分辨率图像与其对应的退化特征图进行拼接，得到拼接图；

高分辨率图像确定模块，用于将拼接图输入经训练的卷积神经网络，得到高分辨率图像；

其中，所述退化特征图确定模块，具体包括：

采用主成分分析法对所述低分辨率图像对应的模糊核进行降维；

采用维度拉伸策略将降维后的模糊核拉伸到与所述低分辨率图像相同大小，得到所述退化特征图；

所述图像盲超分辨率系统，还包括：低分辨率图像频谱图确定模块，所述低分辨率图像频谱图确定模块，用于：

步骤1-1：根据公式1对低分辨率图像I_LR进行灰度化处理，得到灰度图I_LR-Gray，

Gray(x,y)＝0.3R(x,y)+0.59G(x,y)+0.11B(x,y) (1)

其中，R(x,y)、G(x,y)、B(x,y)分别为低分辨率图像I_LR的位置(x,y)上的红、绿、蓝三个通道的分量，Gray(x,y)为低分辨率图像I_LR的位置(x,y)的灰度值；

步骤1-2：使用二维离散傅里叶变换将灰度图I_LR-Gray从空间域转换到频率域，二维离散傅里叶变换公式如2所示：

其中，f(x,y)是大小为M×N的灰度图I_LR-Gray，u＝0,1,2,…,M-1，v＝0,1,2,…,N-1；u和v是频率变量，x和y是空间域图像变量，F(u,v)为f(x,y)的二维傅里叶变换，F(u,v)是复数，用极坐标形式来表示如公式3所示：

F(u,v)＝R(u,v)+jI(u,v) (3)

其中，R(u,v)为F(u,v)的实部，I(u,v)为F(u,v)的虚部，根据公式4得到频谱图F|u,v|，

步骤1-3：对频谱图F|u,v|进行中心化处理，将频谱图平均分为四个部分，并交换其左上部分和右下部分，以及右上部分和左下部分，使频谱图的低频部分移至频谱中心，原点也移至频谱的中心，得到F|u,v|_center；

步骤1-4：对中心化后的频谱图F|u,v|_center进行对数变换，得到低分辨率图像频谱图F_LR，其中，对数变换公式如5所示：

F_LR＝log(1+F|u,v|_center) (5)。

6.根据权利要求5所述的图像盲超分辨率系统，其特征在于，所述经训练的卷积神经网络为稠密卷积神经网络，所述稠密卷积神经网络包括依次连接的卷积层、深度网络和上采样卷积层，所述深度网络包括多个依次连接的深度转化单元，所述深度转化单元包括依次连接的深度模块和转化模块，所述深度模块通过稠密连接结构实现特征复用，所述转化模块用于对所述深度模块的输出进行特征维度的非线性变换以提取固定数量通道的特征。

7.根据权利要求5所述的图像盲超分辨率系统，其特征在于，所述图像盲超分辨率系统，还包括：

频谱图确定模块，用于采用傅里叶变换将所述低分辨率图像从空间域转换到频率域，得到所述低分辨率图像的频谱图。

8.根据权利要求5所述的图像盲超分辨率系统，其特征在于，所述经训练的模糊核生成网络包括多层依次连接的卷积层和一层全局池化层。

Images