CN110211037A - 一种基于多级稀疏字典学习的图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于多级稀疏字典学习的图像超分辨率方法，该方法采用多级稀疏字典训练方法，训练多级子字典。在数据预处理阶段，对原始高分辨率图像的退化图像，使用一阶及二阶梯度算子滤波，并提取块特征，构成低分辨率块特征训练集。字典训练阶段，基于特征集离线训练低分辨率多级别稀疏字典，根据广义逆计算多级别高分辨率字典。重建阶段，对所有级别子字典，求解输入低分辨率图片特征块对应的1‑稀疏系数，根据对应多级高分辨率字典计算对应高分辨率图像块，最后对重叠部分采用平滑处理重建得高分辨率图像。本发明方法克服了一般方法稀疏度不够导致图像重建效果不理想，泛化能力弱的问题，有效提高最终图像超分辨率质量。

Description

一种基于多级稀疏字典学习的图像超分辨率方法

技术领域

本发明涉及一种基于多级稀疏字典学习的图像超分辨率方法，属于单帧图像超分辨率重建技术领域。

背景技术

目前随着人工智能浪潮和万物互联概念的兴起，各个领域对高质量高分辨率图像的需求越发旺盛。然而事实上，由于成本限制以及传感环境的噪声影响等因素，在图像获取阶段得到高质高分辨率图像往往是困难的。因此，研究如何从获取的原始低分辨率图像复原出高分辨率图像具有十分重要的意义。超分辨率技术即解决由单帧或多帧低分辨率图像重建高分辨率图像的问题。

压缩感知和稀疏表示方法自2008年以来被引入到超分辨率领域以来，已持续取得了算法性能上的突破。基于稀疏表示的图像超分辨率方法一般从原始高分辨率图像集以及其退化集中提取对应的高低分辨率图像块或特征作为训练集，应用稀疏字典训练方法获得对应的高低分辨率字典。采取最优化方法求解输入低分辨率图像块在低分辨率字典上的系数向量，并根据求得的系数向量和高分辨率字典重建高分辨率图片。

由于超分辨率问题的病态问题属性，解空间的选择对最终重建结果具有巨大的影响。如何选择及训练出合适的全局稀疏字典来表示图像块，并使其在不同的测试集上具有良好的泛化能力仍是一个极具挑战的问题。

发明内容

本发明所要解决的技术问题是：提供一种基于多级稀疏字典学习的图像超分辨率方法，该方法在字典训练阶段训练一个全局多级字典，该字典每一级均有一个子字典，相比传统基于K-SVD字典的方法泛化性能和重建效果均得到了提升。

本发明为解决上述技术问题采用以下技术方案：

一种基于多级稀疏字典学习的图像超分辨率方法，包括如下步骤：

步骤1，根据原始高分辨率图像，建立用于多级稀疏字典学习的低分辨率图像训练集；

步骤2，利用低分辨率图像训练集训练低分辨率多级稀疏字典，且每一级子字典的原子个数根据最小描述长度策略自适应确定，并根据广义逆计算高分辨率多级稀疏字典；

步骤3，对输入的待重建低分辨率图像，基于双三次插值变换为目标高分辨率尺寸的退化图像，并提取该退化图像的一、二阶梯度特征，根据一、二阶梯度特征得到待重建低分辨率图像的特征矩阵，求解特征矩阵对应的低分辨率多级稀疏字典每一级的稀疏表示系数；

步骤4，根据步骤3求得的稀疏表示系数，对应得到高分辨率多级稀疏字典每一级的稀疏表示系数，根据高分辨率多级稀疏字典与高分辨率多级稀疏字典每一级的稀疏表示系数，计算得到高分辨率图像块，并将高分辨率图像块融合得到高分辨率重建图像。

作为本发明的一种优选方案，所述步骤1的具体过程如下：

1.1提取原始高分辨率图像的亮度通道，基于双三次插值得到与原始高分辨率图像同尺寸的退化图像，并提取退化图像的一阶及二阶梯度特征；

1.2拼接一阶及二阶梯度特征为高维特征列向量，并将所有高维特征列向量合并为一个训练矩阵Y；

1.3基于主成分分析法对训练矩阵Y进行降维处理，得到低分辨率图像训练集 的尺寸为M*T，M为高维特征列向量的维度，T为高维特征列向量的个数。

作为本发明的一种优选方案，步骤2所述利用低分辨率图像训练集训练低分辨率多级稀疏字典，其训练模型为：

其中，Ψ_l表示低分辨率多级稀疏字典的第l级子字典，A_l表示第l级稀疏表示系数矩阵，Y_l-1表示第l-1级的样本残差，a_l,i表示第l级稀疏表示系数矩阵的第i个原子；且Y_l-1、Ψ_l及A_l之间的关系如下：

Y_l-1＝Ψ_lA_l+Y_l,for l＝1,...,L

其中，L为低分辨率多级稀疏字典的最大级别数，L与第1级稀疏表示系数矩阵中非零系数的数目相等；

第l级的样本残差Y_l选取原则如下：

其中，y_l-1,i表示Y_l-1的第i个原子，ε为目标误差，从Y_l-1中选取大于目标误差ε的原子构成下一级Y_l。

作为本发明的一种优选方案，步骤2所述每一级子字典的原子个数根据最小描述长度策略自适应确定，公式为：

其中，Y_l-1表示第l-1级的样本残差，Ψ_l表示低分辨率多级稀疏字典的第l级子字典，A_l表示第l级稀疏表示系数矩阵，K_l表示第l级字典原子数目，表示第l级样本方差，T为高维特征列向量的个数，y_l-1,i表示Y_l-1的第i个原子，a_l,i表示第l级稀疏表示系数矩阵的第i个原子，M为高维特征列向量的维度。

作为本发明的一种优选方案，步骤2所述根据广义逆计算高分辨率多级稀疏字典，模型如下：

其中，Φ_l表示高分辨率多级稀疏字典的第l级子字典，A_l表示高分辨率多级稀疏字典的第l级稀疏表示系数矩阵，P表示从原始高分辨率图像提取的图像块矩阵。

作为本发明的一种优选方案，步骤3所述求解特征矩阵对应的低分辨率多级稀疏字典每一级的稀疏表示系数，公式为：

其中，z_l,i表示第l级输入第i个向量，Ψ_l表示低分辨率多级稀疏字典的第l级子字典，α_l,i表示z_l,i对应的稀疏表示系数。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明基于输入训练图像的一二阶横向及纵向梯度特征作为字典训练特征，有效建立了对输入图像特征的映射空间，在重建过程中有利于恢复更多的高频信息。

2、本发明在稀疏字典训练过程中应用一种多级别稀疏字典训练方法，对每一个输入的特征向量，寻找对应的子字典1-稀疏表示，最大化保留了边缘信息，并且相较其他方法具有良好的泛化能力。

3、本发明在建立高低分辨率字典关联时采用基于广义逆的方法，相比协同训练高低分辨率字典更大程度建立了对应的稀疏系数关系，提高了对输入向量表示的准确度，提高了重建效果。

附图说明

图1是本发明一种基于多级稀疏字典学习的图像超分辨率方法的流程示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，一种基于多级稀疏字典学习的图像超分辨率技术，具体步骤如下：

步骤一：建立用于多级别稀疏字典训练的低分辨率图像特征块训练集。选取一个外部先验高分辨率图像集，选取原则应尽量包含多种类图片及复杂边缘特征等信息。假设目标超分辨率放大倍数为n，对读取的原始高分辨率图像应用双三次插值法，先缩小n倍，再放大n倍，得到与原始高分辨率图像同尺寸的对应退化图像。由于超分辨率技术难点在于恢复丢失的高频信息，故对提取的低分辨率图像提取一阶二阶横向及纵向梯度特征，并转换拼接为列向量形式，将所有提取到的特征向量合并为一个训练矩阵Y。

由于提取的图像块特征向量是高维向量，为了提高计算效率，并考虑到图像具有冗余性，使用主成分分析法对Y作降维操作，保留99％的能量，得到新的训练集尺寸为M*T，其中M表示特征列向量维度，T表示训练特征向量数。

步骤二：基于多级稀疏字典训练方法训练一个低分辨率多级字典，对于每一级子字典的原子个数，基于最小描述长度策略自适应确定。然后，从原始高分辨率外部图像集直接提取图像块，滑动窗口大小及重叠像素与步骤一保持一致，将所有高分辨率图像块向量合并为一个矩阵P，基于广义逆计算得对应的高分辨率字典。具体过程如下：

a、建立多级稀疏字典训练模型：

式(1)中，Ψ_l表示第l级子字典，A_l表示第l级稀疏表示系数矩阵，Y_l-1表示第l-1级的样本残差，a_l,i表示第l级稀疏表示系数矩阵的第i个原子。Y_l-1与Ψ_l及A_l之间的关系如式(2)所示：

Y_l-1＝Ψ_lA_l+Y_l,for l＝1,...,L (2)

当l-1＝0时，表示训练图像块矩阵，L为多级稀疏字典最大级别数。

字典训练过程中，级数L与稀疏表示系数的非零系数最大数目相等，残差Y_l选取原则如式(3)所示：

其中，y_l-1,i表示Y_l-1的第i个原子，ε为目标误差，从Y_l-1中选取大于目标误差ε的原子构成下一级Y_l。

重建时，对于输入特征向量z_i，有以下表示：

字典训练算法如表1所示：

表1多级字典训练方法

b、计算高分辨率多级稀疏字典

从原始高分辨率外部图像集直接提取图像块，滑动窗口大小及重叠像素与步骤一保持一致，将所有高分辨率图像块向量合并为一个矩阵P。基于广义逆直接计算Ψ_l对应的高分辨率多级字典，模型如下：

基于式(5)得到的高分辨率多级字典Φ_l与低分辨率字典Ψ_l在同一输入图像块上的稀疏表示系数是渐近的，保证了最后重建的精度。

c、根据最小描述长度策略确定每一级子字典原子数，预测模型如下：

其中，第一项表示数据描述长度，第二项表示编码T个非零系数所需位数，每个系数使用0.5log(MT)位，第三项表示编码位置所需位数，第四项表示编码所有字典元素所需位数。

步骤三：对输入的待重建低分辨率图像，基于双三次插值变换为目标尺寸并提取图像一二阶梯度特征，求解对应的低分辨率字典每一级的稀疏表示系数。通过求解输入图像特征向量的1-稀疏表示向量，最大化恢复其高频信息。求解过程如式(7)：

其中z_l,i表示第l级输入第i个向量，α_l,i表示对应的表示系数。求解时从l＝1时开始求解，求解方法基于正交匹配跟踪方法(Orthogonal Matching Pursuit，OMP)。每一级求得编码系数稀疏度应不大于1，再根据公式(3)得到下一级的输入特征。重复求解过程，直到所有输入特征均求得对应的编码向量。

步骤四：基于步骤三所求稀疏系数表示，对应每一级高分辨率块表示系数，根据高分辨率多级系数字典计算高分辨率图像块，对重叠像素部分均值化处理，拼接得到最终的高分辨率重建图像。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种基于多级稀疏字典学习的图像超分辨率方法，其特征在于，包括如下步骤：

步骤1，根据原始高分辨率图像，建立用于多级稀疏字典学习的低分辨率图像训练集；

步骤2，利用低分辨率图像训练集训练低分辨率多级稀疏字典，且每一级子字典的原子个数根据最小描述长度策略自适应确定，并根据广义逆计算高分辨率多级稀疏字典；

步骤3，对输入的待重建低分辨率图像，基于双三次插值变换为目标高分辨率尺寸的退化图像，并提取该退化图像的一、二阶梯度特征，根据一、二阶梯度特征得到待重建低分辨率图像的特征矩阵，求解特征矩阵对应的低分辨率多级稀疏字典每一级的稀疏表示系数；

步骤4，根据步骤3求得的稀疏表示系数，对应得到高分辨率多级稀疏字典每一级的稀疏表示系数，根据高分辨率多级稀疏字典与高分辨率多级稀疏字典每一级的稀疏表示系数，计算得到高分辨率图像块，并将高分辨率图像块融合得到高分辨率重建图像。

2.根据权利要求1所述基于多级稀疏字典学习的图像超分辨率方法，其特征在于，所述步骤1的具体过程如下：

1.1提取原始高分辨率图像的亮度通道，基于双三次插值得到与原始高分辨率图像同尺寸的退化图像，并提取退化图像的一阶及二阶梯度特征；

1.2拼接一阶及二阶梯度特征为高维特征列向量，并将所有高维特征列向量合并为一个训练矩阵Y；

1.3基于主成分分析法对训练矩阵Y进行降维处理，得到低分辨率图像训练集 的尺寸为M*T，M为高维特征列向量的维度，T为高维特征列向量的个数。

3.根据权利要求1所述基于多级稀疏字典学习的图像超分辨率方法，其特征在于，步骤2所述利用低分辨率图像训练集训练低分辨率多级稀疏字典，其训练模型为：

其中，Ψ_l表示低分辨率多级稀疏字典的第l级子字典，A_l表示第l级稀疏表示系数矩阵，Y_l-1表示第l-1级的样本残差，a_l,i表示第l级稀疏表示系数矩阵的第i个原子；且Y_l-1、Ψ_l及A_l之间的关系如下：

Y_l-1＝Ψ_lA_l+Y_l,for l＝1,...,L

其中，L为低分辨率多级稀疏字典的最大级别数，L与第1级稀疏表示系数矩阵中非零系数的数目相等；

第l级的样本残差Y_l选取原则如下：

其中，y_l-1,i表示Y_l-1的第i个原子，ε为目标误差，从Y_l-1中选取大于目标误差ε的原子构成下一级Y_l。

4.根据权利要求1所述基于多级稀疏字典学习的图像超分辨率方法，其特征在于，步骤2所述每一级子字典的原子个数根据最小描述长度策略自适应确定，公式为：

其中，Y_l-1表示第l-1级的样本残差，Ψ_l表示低分辨率多级稀疏字典的第l级子字典，A_l表示第l级稀疏表示系数矩阵，K_l表示第l级字典原子数目，表示第l级样本方差，T为高维特征列向量的个数，y_l-1,i表示Y_l-1的第i个原子，a_l,i表示第l级稀疏表示系数矩阵的第i个原子，M为高维特征列向量的维度。

5.根据权利要求1所述基于多级稀疏字典学习的图像超分辨率方法，其特征在于，步骤2所述根据广义逆计算高分辨率多级稀疏字典，模型如下：

其中，Φ_l表示高分辨率多级稀疏字典的第l级子字典，A_l表示高分辨率多级稀疏字典的第l级稀疏表示系数矩阵，P表示从原始高分辨率图像提取的图像块矩阵。

6.根据权利要求1所述基于多级稀疏字典学习的图像超分辨率方法，其特征在于，步骤3所述求解特征矩阵对应的低分辨率多级稀疏字典每一级的稀疏表示系数，公式为：

其中，z_l,i表示第l级输入第i个向量，Ψ_l表示低分辨率多级稀疏字典的第l级子字典，α_l,i表示z_l,i对应的稀疏表示系数。