CN108447019A - 一种基于对偶图的图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于对偶图的图像超分辨率方法。本发明通过引进图模型来探索图像内部像素的拓扑特性和自相似性。提出了基于向量的行图模型和基于向量的列图模型，将每个像素看成是一个节点的图模型，而是通过构造相似块组从而将每一列或每一行看成是一个节点，节点间的距离计算即为列向量或行向量之间的欧氏距离。最终得到的超分辨率的表达式的正则项为对偶图，二次项为超分辨组与字典的乘积、待处理组之间的偏差。最后引入了图像正则化技术，将图像处理后的偏差进行一个回传正则化迭代，进一步对提出的方法进行优化。本发明将图模型延伸到了向量节点模式，并非单一的像素节点模式，并应用在了图像超分辨率领域。

Description

一种基于对偶图的图像超分辨率方法

技术领域

本发明属于图像处理领域中的图像超分辨率，主要为了提高图像的分辨率，具体涉及一种基于对偶图的图像超分辨率方法。

背景技术

超分辨率(Super Resolution)意味着将一幅低分辨率(Low Resolution)图像转变成一幅高分辨率(High Resolution)图像，通常可以提高图像质量、清晰度。在日常生活中，图像质量会受到相机硬件、相机运动、图像传输过程等方面的限制，清晰度会大大受损，同时随着当今生活水平的快速提高，视频网站作为一种长期娱乐方式，人们对其的图像视频质量要求也越来越高。在科研方面，各领域如生物、医学、天文学等方面对获取的图像质量要求很高，一幅高质量精确的图像对于科研人员进一步研究后续课题意义重大。从而如何用有效、精确的方法提高图像的分辨率成为了当今时代科研人员必不可少的研究课题。

常规的图像超分辨率方法是先对一幅图片进行下采样，然后对下采样的图片进行处理得到高分辨率图像。图像超分辨率是一个不确定的逆向问题，方法主要分为三种：基于插值、基于重建和基于学习的方法。插值比较典型的为双三次插值，插值的原理是通过估计图像内部像素间的像素运动并对像素进行非均匀插值得到高分辨率图像；基于重建的方法是通过建立能刻画低分辨率图像和高分辨率图像之间关系的模型，一般采用最大后验概率估计模型，并用此模型对低分辨率图像进行映射得到高分辨率图像；而基于学习的方法是通过训练样本获取高分辨率图像与低分辨率图像之间的先验知识，从而建立相关的映射模型。

图模型作为一种探索图像内部特性的方法，在多个领域得到了广泛的应用，如地理图像处理、高光谱图像处理等，将图模型方法引进图像超分辨率领域是之前从未有过的创新，可以进一步地通过探索图像内部的拓扑特性来提高图像的分辨率。同时，基于向量的图模型是常规利用基于像素的图模型的改进，能更有效的对图像进行相关的处理，将基于向量的对偶图模型应用于图像超分辨率领域能更好的发挥图模型的作用。

发明内容

本发明提出了一种基于对偶图的图像超分辨率方法，旨在探索图像内部特性进行超分辨率，通过引进图模型来探索图像内部像素的拓扑特性和自相似性。提出了基于向量的行图模型和基于向量的列图模型，区别于传统的将每个像素看成是一个节点的图模型，而是通过构造相似块组从而将每一列或每一行看成是一个节点，节点间的距离计算即为列向量或行向量之间的欧氏距离。最终得到的超分辨率的表达式的正则项为对偶图，二次项为超分辨组与字典的乘积、待处理组之间的偏差。在发明的最后，引入了图像正则化技术，将图像处理后的偏差进行一个回传正则化迭代，进一步对提出的方法进行优化。本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：设置下采样倍率，对原始图像X使用双三次插值进行下采样和上采样，得到双三次插值的高分辨率图像I,计算此时的PSNR值；

步骤2：将双三次插值后的高分辨率图像I分成若干个重叠小块，对于每一个小块在搜索窗内寻找K个相似块，并拉成列向量，构造相似块组G；

步骤3：针对构造的相似块组G，将其每一个列向量看成是一个节点，构造基于向量的列Graph模型；同时将其每一个行向量看成是一个节点，构造基于向量的行Graph模型；

步骤4：将对偶图(行图和列图)作为正则项，设置字典D为单位矩阵，将相似块组G与字典D的乘积DG'和相似块组G之间的偏差平方作为二次项，对表达式进行凸优化处理求解；

步骤5：处理完每一个重叠小块对应的相似块组后，采用加权平均对高分辨率图像I进行更新，得到超分辨率图像Y，并计算原始图片X与经过对偶图模型处理完后的超分辨率图像Y之间的PSNR值；

步骤6：对得到的超分辨率图像Y进行正则化迭代，多次利用对偶图模型，得到最优的PSNR值。

本发明有益效果如下：

本发明的创新性在于将图模型延伸到了向量节点模式，并非单一的像素节点模式，并应用在了图像超分辨率领域，这是图像超分辨率领域的新方法，同时利用了图像的正则化方法，能很好地对图像进行超分辨率操作。

附图说明

图1是构造基于向量的图模型的节点表示。

具体实施方式

本发明主要针对压缩重建的重建进行算法创新，对于图模型的构造进行了详细的分析，探索了图像内部像素的自相似性和拓扑特性，详细的算法处理步骤如下：

步骤一、以Cones测试图片为例，首先对原始图片X利用双三次插值进行下采样并上采样，得到一个经双三次插值的超分辨率图像I，具体为：

针对测试图片X，设置倍率为2或3，利用双三次插值对其进行下采样，得到一张低分辨率图片，并在此基础上进行双三次插值上采样，倍率与下采样一样，得到一张与原始测试图片相同大小的经双三次插值得到的高分辨率图像I，并计算原始测试图片X与双三次插值后的高分辨图像I之间的峰值信噪比，记为PSNR1。

步骤二、对双三次插值操作的超分辨率图片I中的每一个重叠小块，寻找到K个与其相似的块，并将其每个小块拉长列向量，组成相似块组G,具体的操作如下：

首先将图片I进行分成若干个5×5的重叠小块，重叠的间隔为3,设置局部搜索为10×10，搜索出16个与其相似的小块，并将各相似小块拉成列向量，得到一个相似块组G。即对于每一个重叠小块均可得到一个25×16的相似块组G，后续的操作会针对相似块组G构造图模型，同时对每一个小块对应的相似块组G进行超分辨率操作。

步骤三、将相似块组的每一列看成是一个节点，构造一个基于向量的列Graph模型，同时将相似块组G的每一行看成是一个节点，构造一个基于向量的行Graph模型，详细的方法如下：

Graph模型描述了矩阵内部的特性，主要由各节点组成，节点之间的关系程度可以用加权矩阵W来表示。图拉普拉斯矩阵L是图||x_G||²的关键要素，可以用公式||x_G||²＝tr(x^TLx)来表示图模型，x通常为列向量，x的维数代表了节点的个数。构造图模型的关键是构造出图拉普拉斯矩阵，传统的计算拉普拉斯矩阵L的方法决定于加权邻接矩阵W，其计算方式如下L＝Δ-W。而加权矩阵W的计算方式与节点间距离的高斯核有关：

其中d_ij为节点d_i与d_j之间的相似度，σ为固定值，ε为最小的距离阈值。在我们的发明中，将25×16的相似块组G的每一列或每一行看成是一个节点构造加权矩阵，d_ij即为列向量之间的欧式距离。具体的构造基于向量的构造Graph方式如下：

对于25×16相似块组G，即

将G看作其中是一个行向量，与的欧式距离作为节点与之间的相似度，此时将G看成是多个25个行向量，计算其相似度，即有

基于向量的图模型节点表达方式可参照附录1。通过以上方程，即可得到基于向量的行拉普拉斯矩阵L_r，同理，将相似块组G的每一列看成是一个节点，可得到基于向量的列拉普拉斯矩阵L_c，最终构造出对偶图模型。

步骤四、将对偶图作为正则项，构造基于对偶图的图像超分辨率方程，具体操作如下：

首先引入稀疏矩阵，并将稀疏矩阵D设置为单位矩阵，将上一步骤得到的对偶图作为正则项，待恢复的相似块组G与超分辨率后的组G'与稀疏矩阵的乘积DG’作为二次项构造优化方程求解：

其中，θ₁与θ₂对应的是行图与列图的正则化参数，在我们的发明中设置为0.4和0.6。此方程通凸优化工具在Matlab中进行求解，最终得到超分辨率后的相似块组。

步骤五、在处理完每一个重叠小块对应的相似块组之后，进行图像的更新：

图像更新的目的是将处理后的每一个重叠小块对应的相似块组转换成最终的图片，其原理是记录相似块所参与超分辨率的次数进行加权平均更新，得到一次迭代生成的图片结果Y，并计算处理后的图片Y与原始图片X之间的PSNR值。

步骤六、将图片进行整体正则化迭代，进一步增强图像质量：

正则化迭代的原理为将每一次处理完后图片的偏差回传到双三次插值超分辨率后的图片，进行迭代操作，得出最优结果，具体的迭代方程如下：

yⁱ⁺¹＝y+δ(y-yⁱ)

yⁱ对应的为第i此迭代对应的超分辨率结果图，设置迭代次数i为5，分别计算5次迭代的结果与原始图的PSNR值，结果表明多次迭代的PSNR值要好于双三次插值的超分辨率PSNR1值。

Claims (6)

1.一种基于对偶图的图像超分辨率方法，其特征在于包括如下步骤：

步骤1：设置下采样倍率，对原始图像X使用双三次插值进行下采样和上采样，得到双三次插值的高分辨率图像I,计算此时的PSNR值；

步骤2：将双三次插值后的高分辨率图像I分成若干个重叠小块，对于每一个小块在搜索窗内寻找K个相似块，并拉成列向量，构造相似块组G；

步骤3：针对构造的相似块组G，将其每一个列向量看成是一个节点，构造基于向量的列Graph模型；同时将其每一个行向量看成是一个节点，构造基于向量的行Graph模型；

步骤4：将对偶图作为正则项，设置字典D为单位矩阵，将相似块组G与字典D的乘积DG'和相似块组G之间的偏差平方作为二次项，对表达式进行凸优化处理求解；

步骤5：处理完每一个重叠小块对应的相似块组后，采用加权平均对高分辨率图像I进行更新，得到超分辨率图像Y，并计算原始图片X与经过对偶图模型处理完后的超分辨率图像Y之间的PSNR值。

步骤6：对得到的超分辨率图像Y进行正则化迭代，多次利用对偶图模型，得到最优的PSNR值；

2.根据权利要求1所述的一种基于对偶图的图像超分辨率方法，其特征在于步骤2具体如下：

首先将图片I进行分成若干个5×5的重叠小块，重叠的间隔为3,设置局部搜索为10×10，搜索出16个与其相似的小块，并将各相似小块拉成列向量，得到一个相似块组G；即对于每一个重叠小块均可得到一个25×16的相似块组G，后续的操作会针对相似块组G构造图模型，同时对每一个小块对应的相似块组G进行超分辨率操作。

3.根据权利要求2所述的一种基于对偶图的图像超分辨率方法，其特征在于步骤3具体如下：

Graph模型描述了矩阵内部的特性，主要由各节点组成，节点之间的关系程度可以用加权矩阵W来表示；图拉普拉斯矩阵L是图||x_G||²的关键要素，可以用公式||x_G||²＝tr(x^TLx)来表示图模型，x通常为列向量，x的维数代表了节点的个数；构造图模型的关键是构造出图拉普拉斯矩阵，传统的计算拉普拉斯矩阵L的方法决定于加权邻接矩阵W，其计算方式如下L＝Δ-W；而加权矩阵W的计算方式与节点间距离的高斯核有关：

其中d_ij为节点d_i与d_j之间的相似度，σ为固定值，ε为最小的距离阈值；将25×16的相似块组G的每一列或每一行看成是一个节点构造加权矩阵，d_ij即为列向量之间的欧式距离；具体的构造基于向量的构造Graph方式如下：

对于25×16相似块组G，即将G看作其中是一个行向量，与的欧式距离作为节点与之间的相似度，此时将G看成是多个25个行向量，计算其相似度，即有

从而得到基于向量的行拉普拉斯矩阵L_r，同理，将相似块组G的每一列看成是一个节点，可得到基于向量的列拉普拉斯矩阵L_c，最终构造出对偶图模型。

4.根据权利要求3所述的一种基于对偶图的图像超分辨率方法，其特征在于步骤4具体如下：

首先引入字典D作为稀疏矩阵，并将稀疏矩阵设置为单位矩阵，将步骤3得到的对偶图作为正则项，待恢复的相似块组G与超分辨率后的组G'与稀疏矩阵的乘积DG’作为二次项构造优化方程求解：

其中，θ₁与θ₂对应的是行图与列图的正则化参数，在我们的发明中设置为0.4和0.6；此方程通凸优化工具在Matlab中进行求解，最终得到超分辨率后的相似块组。

5.根据权利要求4所述的一种基于对偶图的图像超分辨率方法，其特征在于步骤5具体如下：

图像更新的目的是将处理后的每一个重叠小块对应的相似块组转换成最终的图片，其原理是记录相似块所参与超分辨率的次数进行加权平均更新，得到一次迭代生成的超分辨率图像Y，并计算处理后的超分辨率图像Y与原始图片X之间的PSNR值。

6.根据权利要求5所述的一种基于对偶图的图像超分辨率方法，其特征在于步骤6具体如下：

将每一次处理完后图片的偏差回传到双三次插值超分辨率后的图片，进行迭代操作，得出最优结果，具体的迭代方程如下：

yⁱ⁺¹＝y+δ(y-yⁱ)

yⁱ对应的为第i此迭代对应的超分辨率结果图，设置迭代次数i为5，分别计算5次迭代的结果与原始图的PSNR值，结果表明多次迭代的PSNR值要好于双三次插值的超分辨率PSNR1值。