CN107341776B - 基于稀疏编码与组合映射的单帧超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于稀疏编码与组合映射的单帧超分辨率重建方法，包括：对初始高分辨训练集图像处理得到扩充后的高分辨率特征块样本和插值后的中高分辨率特征块样本；训练已获得的特征样本，得到字典原子作为聚类中心，以此中心对样本进行聚类；根据不同分辨率之间的对应关系求取每个聚类的映射矩阵；依据训练集的低分辨率图像处理方式，处理输入的低分辨率测试图像，由训练得到的字典原子求取其稀疏系数；将稀疏系数作为权重，以聚类中求得的每一个映射矩阵为一个组合元素，匹配组合得到重建图像所需要的映射关系，以此映射矩阵直接与插值中高分辨率特征块相乘得到高分辨率特征块；并进行去重叠和块融合，添加原低频信息后得到重建高分辨率图像。

Description

基于稀疏编码与组合映射的单帧超分辨率重建方法

技术领域

本发明属于图像处理领域，具体涉及一种基于稀疏编码与组合映射的单帧超分辨率重建方法。

背景技术

随着现代各种图像视频设备的广泛普及各种移动设备的频繁使用，对图像能够快速传输并能以高质量形式展现提出了挑战。目前为获取更加清晰的高分辨率图像，直接方法是应用分辨率更高的光学相机，但这种方法不仅受硬件设备制造工艺的限制，还存在成本高、存储占用空间大、传输耗时等弊端。而在软件方面，普遍采用插值的方法获得高分辨率图像，虽然能适量提高图像的空间分辨率，但受限于扩展倍数，清晰度不高，无法准确表现图像细节信息。随着机器学习研究的深入提出了多种基于学习的超分辨率重建方法，但在重建速度和重建质量上还有待提升。

提出了一种在训练阶段通过稀疏基学习建立高分辨率与低分辨率样本集之间的映射函数关系，在测试阶段通过组合基于简单函数的映射关系快速重建高分辨率图像的方法。本方法弥补现流行方法在重建质量与重建速度无法权衡的缺陷。本方法在训练阶段将字典训练与聚类相结合，建立以字典原子为中心的不同分辨率对应特征类之间的映射模型，结合误差约束，通过凸优化方法确定不同分辨率特征对的最佳映射矩阵；在测试阶段以测试特征稀疏编码为系数将相关映射矩阵线性组合进行快速高质量的重构。

发明内容

本发明所要解决的技术问题是针对现有基于学习训练的超分辨重建方法中重建图像质量依赖于大训练集，重建速度较慢的问题，提出了一种能够充分利用适当大训练集信息，重建速度较快，重建图像清晰度更高的超分辨率重建方法。

为实现上述目的，本发明采用如下的技术方案：

一种基于稀疏编码与组合映射的单帧超分辨率重建方法，包括以下步骤：

步骤1、训练阶段数据准备。对高分辨率训练集图像进行降质处理生成对应的低分辨率训练图像。为保证数据大小的一致性，对低分辨率图像进行双三次插值，生成具有相同空间分辨率但细节信息缺失的中高分辨率图像。对中高分辨率图像一阶和二阶梯度特征进行分块处理得到低分辨率特征数据集。同时，对高分辨率图像提取高频特征进行分块得到对应高分辨率特征数据集。为了获得更丰富的特征数据，可对特征块应用旋转算子扩充；

步骤2、计算高-低分辨率特征对的最佳映射矩阵。首先，对步骤1已获得的低分辨率特征样本应用主成分分析法PCA降维。其次，对高-低分辨率特征样本对进行联合字典学习得到联合字典。然后，分别以高分辨率和低分辨率字典原子作为聚类中心，对特征样本进行聚类，求取高-低分辨率对应类的映射矩阵，并通过迭代改变聚类大小，求得满足误差约束的映射矩阵；

步骤3、测试图像的稀疏编码。对输入的低分辨率测试图像双三次插值后，提取一阶和二阶梯度特征并分块，得到测试特征块。基于步骤2训练得到的低分辨率字典对测试特征块进行稀疏编码，得到其稀疏系数；

步骤4、基于稀疏系数组合映射重建。以步骤3得到的稀疏系数为权重，将对应原子所属类的映射矩阵进行线性组合，得到测试特征的映射矩阵。基于该映射矩阵直接重建高分辨率特征块。融合重建高分辨率特征块，添加低频信息实现测试图像的高分辨率重建。

作为优选，步骤2所述的通过一原子为中心的聚类，求取不同分辨率图像之间的映射关系，具体如下：

2-1.扩充的训练样本中，降维后的低分辨率特征与高分辨率特征应用K-SVD的方法，学习得到高分辨率和低分辨率字典；

2-2.以字典原子为中心，根据原子与样本之间的距离关系，形成以原子为中心，近距离样本为邻域的聚类，首次聚类大小设定为20，依据后续求取映射的误差程度，重新自适应调整聚类的大小；

2-3.为了得到高低分辨率之间映射关系C，需要低分辨率特征X_if简单的变形，即有令v＝(X_lf ^T1)，高分辨率特征的转置w＝X_hf ^T根据公式1，求出符合优化模型的最优解：

采用应用岭回归的方法，求取最接近真实值的映射矩阵，可得如公式2：

C＝w^Tv(vv^T+λI)^-1,v＝(X_lf ^T1),w＝X_hf ^T (2)

由于样本的分布并不是均匀的，为了求出更符合要求的映射，需要自适应选择聚类样本，以满足如公式3所示的条件：

||Cv^T-w^T||≤ε (3)

其中，ε是一较小的非零整数，在此取0.001，如果公式3成立，则停止迭代，并将矩阵C设为该聚类中心所对应的映射矩阵。

作为优选，步骤4所述的测试特征块确定对应映射矩阵，以重建缺失的高分辨率特征信息，具体如下：

低分辨率测试图像处理后，根据训练得到的原子，由OMP算法，计算其稀疏系数α，以此稀疏系数为权值，直接组合所有聚类的映射矩阵，得到对应的映射矩阵，由此矩阵与低分辨率特征量相乘，得到高分辨率特征量，如公式4所示：

其中，C_i是与α_i相对应原子为聚类中心的映射矩阵，此过程可快速确定测试特征量对应的映射矩阵的匹配，相对其他回归方法大大提升了重建效率。

根据公式8，重建高分辨率特征量。公式表征如下：

其中，Y_hf即为所求高分辨率特征量。

与现有技术相比，本发明的突出特点是：选择以稀疏编码的字典原子为聚类中心，构建低分辨率特征与高分辨率特征之间的映射关系，与基于K-means聚类的简单函数方法相比，大大减少了聚类的数量，提高表示效率；与其他基于稀疏表示的重构方法相比，本方法中优化求取的是基于类的映射矩阵，具有更为准确的信息表达。本发明求取不同分辨率聚类之间的优化映射矩阵，并根据稀疏系数对重组信号中所起的关键作用进行组合得到映射矩阵，快速重建得到纹理信息更加丰富，边缘更清晰的高分辨率图像。

附图说明

图1为训练得到聚类中心的示意图；

图2精确求取聚类映射的示意图；

图3为整个重建过程的流程图。

具体实施方式

为了使本发明方法的目的，技术方案以及优点更加清楚明白，以下结合附图及实例解释本发明，并不用于限定本发明：

本发明提供一种基于稀疏编码与组合映射的单帧超分辨率重建方法，可分为两大部分：一是离线训练部分；二是在线重建部分。

第一部分的离线训练，是对训练集中所有图像的处理，提取出重建的预测映射信息。包括以下步骤：

步骤一、初步获取具有对应关系的高低分辨率训练图像特征块集合：根据降质模型，由高分辨率图像训练集降质得到低分辨率训练集，并由低分辨率图像插值得到中高分辨率图像。随后，对高分辨率图像和中高分辨率图像选择不同方式的特征提取和分块；

步骤二、块扩充：对特征提取之后分成的各块，应用90°、180°、270°旋转算子进行变换，将变换块添加至初始特征块之后，构成特征更加丰富的特征块训练集；

步骤三、块变列，列降维：对特征训练集中每个高分辨率特征块变换成一个列向量，同一样本的中高分辨率不同特征块变换成一个列向量，并应用主成分分析PCA的方法进行线性降维。

步骤四、求取聚类中心：根据第三步得到的不同分辨率特征向量，应用k-svd字典训练方法，联合训练得到不同分辨率的对应原子。

步骤五、求取映射矩阵：以联合训练得到的原子为聚类中心，由近邻特征样本为邻域聚类。并根据最小误差变换聚类样本数目，由以下公式5可求得更精确的映射矩阵。

基于以上过程步骤，在线重建部分包括以下部分：

步骤六、低分辨率测试图像预处理：其处理方法与低分辨率训练图像集一致，参照步骤一、二、三；

步骤七、基于稀疏系数得到组合映射：由训练过程的聚类中心原子，通过OMP算法，计算每个测试特征块的稀疏系数。将以稀疏系数为权重，与稀疏系数对应原子的映射矩阵组合，得到与测试块匹配的映射矩阵；

步骤八、简单重建：直接根据步骤七求得的映射矩阵与测试特征块相乘得到高分辨率特征块。

为优化以上方案，采取的具体措施还包括：

上述步骤五中为进一步论述其映射关系由以下公式进行推导：

其中，C为高分辨率特征块X_hf与降维后的中高分辨率特征块X_lf之间的对应映射矩阵，1为与X_lf相同列数的全1行向量。由此限定：

其中，λ为平衡系数。

为方便计算，将公式1变形为：

(X_lf ^T1)C^T＝X_hf ^T (7)

为求取映射矩阵C，由以上公式进一步推导可以得到：

基于全局过程的推导，可以得到：

为了表示精简，如公式5所示，应用w替代高分辨率特征块X_hf的转置，v表示为了中高分辨率特征块X_lf与全1行向量组合的转置。为了求得更精确的映射矩阵，应用误差阈值，来循环迭代变换聚类邻域求取满足公式6的映射矩阵。其限定约束可表示为：

其中，ε为限定误差的阈值。步骤五中判断是否要结束迭代的条件为代入求得的映射矩阵到公式6，其绝对差值小于设定阈值。

上述步骤七的映射矩阵的匹配过程，具体包括以下步骤：

步骤1)、输入低分辨率测试图像插值，插值后图像特征提取，分块，变换列排列后应用PCA方法降维；

步骤2)、调用训练聚类中心原子，应用OMP算法，计算每一个降维特征向量的稀疏系数；

步骤3)、找到每一个特征量每一个非零稀疏系数对应的原子，以及以此原子为聚类中心对应的映射矩阵。输入测试图像特征向量X_lf的映射矩阵的匹配过程可表示为：

C＝∑α_iC_i (10)

其中，α_i是插值后的中高分辨率测试特征量Y_lf稀疏表示后的第i个稀疏系数，C_i是稀疏系数中元素α_i所对应的字典原子所形成聚类的映射矩阵。

步骤4)、直接根据公式8，重建高分辨率特征量。公式表征如下：

其中，Y_hf即为所求高分辨率特征量。

实施例1

本发明的方法包括以下步骤：

步骤一、初步获取具有对应关系的高低分辨率训练图像特征块集合：根据如下公式9所示的降质模型，对输入高分辨率图像训练集{X_hh}降质得到低分辨率图像训练集。其中降质模型可表示如下：

X_ll＝DBX_hh+n (11)

以上公式可解释为高分辨率图像X_hh降质后得到低分辨率图像X_ll，其中D表示下采样算子，B表示高斯模糊算子，n表示添加的白噪声。之后，对{X_ll}用双线性插值得到中高分辨率图像集{X_ml}。参照图3，下一步要进行特征提取，其方式如下：高分辨率图像直接减去插值图像信息得到其特征，中高分辨率图像应用高斯算子，Laplace算子及其变换通过卷积的形式提取4种纹理特征信息，最后分块得到

其中X^P与在后续中出现的小写字母x都表示以块为单位的量。本过程更加详细的信息如图1所示。

步骤二、块扩充：对特征提取之后的不同分辨率图像块，应用90°、180°、270°旋转算子来变换块，添加至对应初始特征块之后，构成扩展训练特征块训练集，具体信息如图1所示。

步骤三、块变列，列降维，得到组合特征样本：对每个特征块变换成一个列向量。并对中高分辨率特征列向量组合而成的矩阵应用主成分分析PCA的方法线性降维，降低后续运算复杂度和噪声的影响。得到组合样本{x_hf,x_lf}，具体信息如图1所示。

步骤四、求取聚类中心：根据第三步得到的不同分辨率特征量，应用K-SVD训练字典的方法，直接输入步骤三得到的高分辨率和中高分辨率特征样本{x_hf,x_lf}，联合训练得到不同分辨率的对应字典原子D_h＝{d_h1,d_h2…d_hn}和D_l＝{d_l1,d_l2…d_ln}。

步骤五、映射矩阵的求取：初始化聚类，根据降维后特征块的维度设定初始聚类大小size＝20。以步骤四求得的原子为聚类中心，与原子相近的特征样本为邻域聚类。如图2所示，由公式5求得聚类的映射矩阵，其中平衡参数λ为1。为了评估映射矩阵的准确性，限定对应误差，设定阈值ε＝0.001，进行误差判别。满足条件则保存映射矩阵，否则重新设定聚类，迭代上述过程，直至满足条件。

步骤六、低分辨率测试图像预处理：对低分辨率图像采用与训练低分辨率样本一致的处理方法，同样是应用双线性插值的方法得到Y_bic,对其进行一阶二阶特征提取并分块，并采用PCA降维，限定与低分辨率样本维度一致，得到{y_fl}。

步骤七、映射矩阵的匹配：调用训练过程得到的聚类中心{D_h,D_l}，通过OMP算法，计算每个测试特征块的稀疏系数。应用稀疏系数的非零项为权重，并找到非零项所对应的原子，根据原子找到原子对应聚类的映射矩阵，将稀疏系数与此映射矩阵组合，得到与测试块匹配的组合映射矩阵，如公式(10)中C＝∑α_iC_i所展示的一致。

步骤八、简单重建，后期处理：根据公式(5)

直接将步骤七中求得的映射矩阵代入，求得高分辨率特征量。基于滑动窗形式的分块模式，并参照初始设定的块重叠参量，进行特征块融合，并去除重叠，得到高分辨率特征图像。添加初始插值低频图像信息，直接得到高分辨率图像y。

本发明的单帧图像超分辨率重建方法，应用学习训练的方法，从训练集中找到不同分辨率图像之间的映射关系，将这种关系应用到在线的重建中，实现超分辨率重建。具体方案主要可分为离线训练和在线重建两部分的内容。离线训练部分对训练集进行预处理并实现特征块的扩充，这些预备工作完成后，应用K-SVD字典学习方法得到不同分辨率的字典原子，以这些原子为聚类中心，邻近特征样本为邻域，不断学习迭代得到不同分辨率的对应聚类的映射矩阵。而在线部分，则以稀疏系数为权值的方式组合聚类映射矩阵得到目标映射矩阵，直接将目标映射与低分辨率特征块相乘重建高分辨率特征块。简单后期处理得到高分辨率图像。此种方式重建得到的纹理更加清晰，细节信息更加丰富的高分辨率图像。

本发明的基于稀疏匹配的简单函数单帧超分辨率重建方法，包括：对初始高分辨训练集图像处理得到扩充后的高分辨率特征块样本和插值后的中高分辨率特征块样本；训练已获得的特征样本，得到字典原子作为聚类中心，以此中心对样本进行聚类；根据不同分辨率之间的对应关系求取每个聚类的映射矩阵；依据训练集的低分辨率图像处理方式，处理输入的低分辨率测试图像，由训练得到的字典原子求取其稀疏系数；将稀疏系数作为权重，以聚类中求得的每一个映射矩阵为一个组合元素，匹配组合得到重建图像所需要的映射关系，以此映射矩阵直接与插值中高分辨率特征块相乘得到高分辨率特征块；并进行去重叠和块融合，添加原低频信息后得到重建高分辨率图像。

以上对本发明的具体实施进行了详尽的描述。需要理解的是个别细节并不局限于上述特定的实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，并不影响本发明的实质内容。

Claims (3)

1.一种基于稀疏编码与组合映射的单帧超分辨率重建方法，其特征在于，包括以下步骤：

可分为两大部分：一是离线训练部分；二是在线重建部分；

第一部分的离线训练，是对训练集中所有图像的处理，提取出重建的预测映射信息；具体包括以下步骤：

步骤一、初步获取具有对应关系的高低分辨率训练图像特征块集合：根据降质模型，由高分辨率图像训练集降质得到低分辨率训练集，并由低分辨率图像插值得到中高分辨率图像；随后，对高分辨率图像和中高分辨率图像选择不同方式的特征提取和分块；

步骤二、块扩充：对特征提取之后分成的各块，应用90°、180°、270°旋转算子进行变换，将变换块添加至初始特征块之后，构成特征更加丰富的特征块训练集；

步骤三、块变列，列降维：对特征训练集中每个高分辨率特征块变换成一个列向量，同一样本的中高分辨率不同特征块变换成一个列向量，并应用主成分分析PCA的方法进行线性降维；

步骤四、求取聚类中心：根据第三步得到的不同分辨率特征向量，应用k-svd字典训练方法，联合训练得到不同分辨率的对应原子；

步骤五、求取映射矩阵：以联合训练得到的原子为聚类中心，由近邻特征样本为邻域聚类；并根据最小误差变换聚类样本数目，由公式C＝w^Tv(vv^T+λI)^-1,v＝(X_lf ^T1),w＝X_hf ^T，可求得更精确的映射矩阵；

基于以上过程步骤，在线重建部分包括以下部分：

步骤六、低分辨率测试图像预处理：其处理方法与低分辨率训练图像集一致，参照步骤一、二、三；

步骤七、基于稀疏系数得到组合映射：由训练过程的聚类中心原子，通过OMP算法，计算每个测试特征块的稀疏系数；将以稀疏系数为权重，与稀疏系数对应原子的映射矩阵组合，得到与测试块匹配的映射矩阵；

步骤八、简单重建：直接根据步骤七求得的映射矩阵与测试特征块相乘得到高分辨率特征块。

2.根据权利要求1所述的一种基于稀疏编码与组合映射的单帧超分辨率重建方法，其特征在于，所述步骤五中为进一步论述其映射关系由以下公式进行推导：

其中，C为高分辨率特征块X_hf与降维后的中高分辨率特征块X_lf之间的对应映射矩阵，1为与X_lf相同列数的全1行向量；由此限定：

其中，λ为平衡系数；为求取映射矩阵C，由以上公式进一步推导可以得到：

为了求得更精确的映射矩阵，应用误差阈值，来循环迭代变换聚类邻域求取映射矩阵；其限定约束可表示为：

其中，ε为限定误差的阈值。

3.根据权利要求2所述的一种基于稀疏编码与组合映射的单帧超分辨率重建方法，其特征在于，所述组合映射在计算时采用将稀疏系数作为权重，以聚类中求得的每一个映射矩阵为一个组合元素，匹配组合得到重建图像所需要的映射关系：

C＝∑α_iC_i (10)

其中，α_i是插值后的中高分辨率测试特征量Y_lf稀疏表示后的第i个稀疏系数，C_i是稀疏系数中元素α_i所对应的字典原子所形成聚类的映射矩阵，每个映射矩阵的计算方法遵循权利要求2中的映射关系；

重建高分辨率特征量；公式表征如下：

其中，Y_hf即为所求高分辨率特征量。

Images