CN106683049A - 一种基于显著图和稀疏表示的图像超分辨率重构方法 - Google Patents

Abstract

本发明公开了一种基于显著图和稀疏表示的图像超分辨率重构方法，基于全局对比度的FT算法，与超分辨率重构算法相互结合，通过对低分辨率图像进行插值分块得到低分辨率图像块，以及采取FT算法检测得到的显著图进行二值化，按照图像块是否包含二值化显著图的显著点来判定是否为图像的显著区域，然后对图像的显著区域通过来联合训练方法对高低分辨率的字典对进行训练，并采取基于稀疏表示的超分辨率重构算法进行重构，非显著区域则采取双三次插值法，最后将各个图像块合并连接，得到最终的高分辨率图像。与现有的技术相比，本发明具有更快速的重构速率、有针对性地重构显著区域的优点。

Description

一种基于显著图和稀疏表示的图像超分辨率重构方法

技术领域

本发明涉及信号处理领域，尤其是指一种基于显著图和稀疏表示的图像超分辨率重构方法。

背景技术

随着现代科技的进步，数学图像得到越来越广泛的应用，逐渐演变为最重要的信息，而图像的分辨率是评价一幅图像的内容丰富程度的客观标准，分辨率越高说明图像内容越丰富，人们可以从中分析得到的信息越多。根据实验表明，传统的基于双三次插值的图像超分辨率重构算法和Yang的基于稀疏表示的图像超分辨率重构算法各有各的优点和缺陷，前者运行速度比较快，但是随之带来的就是就是重构效果比较差，相比前者，后者虽然运行速度比较慢，计算运行效率低，但是重构效果比较好。

研究表明，人类从外界接收到的信息有七成是通过视觉来获取的，人类的视觉系统能够根据先验条件快速注意到该物体最显著最重要的位置上，这种信息筛选机制就是视觉注意机制。图像的显著检测性方法在图像处理方面上有着广泛的应用，例如图像分割，提取图像信息等。对图像做显著区域检测处理，使得可以用较小的空间保存所需较多的图像信息，大大提高了数据传输的速率和处理速度等。

在很多应用背景下，例如检测某场景下的目标物体，对图像进行显著分割等，这样的情景下往往我们所关注的显著区域才是起关键性作用的，于是我们可以把图像显著性检测和超分辨率重构算法结合起来，对显著区域重点进行超分辨率重构，从而达到我们所预期的速率和效果。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供了一种基于显著图和稀疏表示的图像超分辨率重构方法，该方法具有更快速的重构速率、有针对性地重构显著区域的优点。

为实现上述目的，本发明所提供的技术方案为：一种基于显著图和稀疏表示的图像超分辨率重构方法，基于全局对比度的FT算法，与超分辨率重构算法相互结合，通过对低分辨率图像进行插值分块得到低分辨率图像块，以及采取FT算法检测得到的显著图进行二值化，按照图像块是否包含二值化显著图的显著点来判定是否为图像的显著区域，然后对图像的显著区域通过来联合训练方法对高低分辨率的字典对进行训练，并采取基于稀疏表示的超分辨率重构算法进行重构，非显著区域则采取双三次插值法，最后将各个图像块合并连接，得到最终的高分辨率图像。

本发明上述基于显著图和稀疏表示的图像超分辨率重构方法，包括以下步骤：

1)根据基于全局对比度的FT算法，对低分辨率图像进行显著性检测，计算出该图像的显著图，对显著图进行二值化，得到二值化显著图；

2)将输入的低分辨率图像进行插值分块，得到插值图像块；

3)依照步骤1)得到的二值化显著图，通过步骤2)得到的插值图像块是否包含显著图像像素点来判定采取哪种方法进行重构，若图像块包含显著图像像素点，采用基于稀疏表示的超分辨率重构方法，得到的重构图像块为x_t；否则采用双三次插值法进行重构，得到的重构图像块为y_t；

4)将步骤3)得到的重构后的图像块x_t和y_t进行拼接合并处理，得到最终的高分辨率图像X，然后对高分辨率图像X进行全局优化得到最终的高分辨率图像X^*。

所述步骤3)包含以下内容：

3.1)基于稀疏表示的超分辨率重构方法采用联合训练高、低分辨率字典对方法来保持高、低分辨率字典对的同构性，具体过程如下：

3.1.1)输入训练样本X＝{x₁,x₂,···,x_t}；

3.1.2)采用高斯随机矩阵对字典D进行初始化，并归一化字典D的每一列；

3.1.3)当字典D固定，先用OMP算法来求解下列方程，来更新稀疏系数α：

3.1.4)当稀疏系数α固定，采用K-SVD算法更新字典D，并同时更新稀疏系数α时，迭代直至收敛为止，此时将问题转化为以下方程：

其中，λ是系数矩阵的稀疏度和字典的保真度，||α||₁是L₁范数，用来保证系数的稀疏度，是L₂范数，用来去除模糊、噪声的干扰；

3.2)根据步骤3.1)的单个字典训练法，为了保证高、低频部分字典对所对应的稀疏表示系数是一样的，采用联合字典的训练方法进行训练高、低分辨率字典对，具体过程如下：

3.2.1)假设获取的字典训练图像对为{X^h,Y^l}，其中X^h＝{x₁,x₂,...,x_n}是高分辨率纹理图像块集，Y^l＝{y₁,y₂,...y_n}是低分辨率图像块特征集；

3.2.2)针对高低分辨率部分的字典分别为：

将以上两个式子结合起来为：

其中，N,M分别为高低分辨率部分训练数据的向量形式的维度，1/N,1/M是平衡权重系数，上式转化为：

其中：

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明利用基于全局对比度的FT算法进行显著性检测，提高了显著区域的亮度，而且在自然图像数据库中能够较好地检测出显著目标，计算运行效率也比较高，其分辨率也比较高。

2、本发明在训练样本的过程中利用K-SVD算法进行联合训练的方法，加快了字典的更新速度，并且降低了算法的复杂度，更加简单，高效。

3、本发明将超分辨率重构与FT算法结合起来，能够针对性地恢复图像的显著性区域，具有更快速的重构速率，有针对性地重构显著区域的优点。

附图说明

图1为本发明基于显著图和稀疏表示的超分辨率重构方法的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的图像超分辨率重构方法，是基于全局对比度的FT算法，与超分辨率重构算法相互结合，通过对低分辨率图像进行插值分块得到低分辨率图像块，以及采取FT算法检测得到的显著图进行二值化，按照图像块是否包含二值化显著图的显著点来判定是否为图像的显著区域，然后对图像的显著区域通过来联合训练方法对高低分辨率的字典对进行训练，并采取基于稀疏表示的超分辨率重构算法进行重构，非显著区域则采取双三次插值法，最后将各个图像块合并连接，得到最终的高分辨率图像。

如图1所示，上述的图像超分辨率重构方法，包括以下步骤：

1)根据基于全局对比度的FT算法，对低分辨率图像进行显著性检测，计算出该图像的显著图，对显著图进行二值化，得到二值化显著图。

2)将输入的低分辨率图像进行插值分块，得到插值图像块。

3)依照步骤1)得到的二值化显著图，通过步骤2)得到的插值图像块是否包含显著图像像素点来判定采取哪种方法进行重构；图像块如果包含显著图像像素点，我们采取重构效果比较好，计算速率比较慢的基于稀疏表示的超分辨率重构方法，得到的重构图像块为x_t；否则我们则采取重构效果稍差，计算速率快的双三次插值法进行重构，得到的重构图像块为y_t；其具体如下：

3.1)基于稀疏表示的超分辨率重构方法采用联合训练高、低分辨率字典对方法来保持高、低分辨率字典对的同构性，具体过程如下：

3.1.1)输入训练样本X＝{x₁,x₂,···,x_t}；

3.1.2)采用高斯随机矩阵对字典D进行初始化，并归一化字典D的每一列；

3.1.3)当字典D固定，先用OMP算法来求解下列方程，来更新稀疏系数α：

3.1.4)当稀疏系数α固定，采用K-SVD算法更新字典D，并同时更新稀疏系数α时，迭代直至收敛为止，此时将问题转化为以下方程：

其中，λ是系数矩阵的稀疏度和字典的保真度，||α||₁是L₁范数，用来保证系数的稀疏度，是L₂范数，用来去除模糊、噪声的干扰；

3.2)根据步骤3.1)的单个字典训练法，为了保证高、低频部分字典对所对应的稀疏表示系数是一样的，采用联合字典的训练方法进行训练高、低分辨率字典对，具体过程如下：

3.2.1)假设获取的字典训练图像对为{X^h,Y^l}，其中X^h＝{x₁,x₂,...,x_n}是高分辨率纹理图像块集，Y^l＝{y₁,y₂,...y_n}是低分辨率图像块特征集；

3.2.2)针对高低分辨率部分的字典分别为：

将以上两个式子结合起来为：

其中，N,M分别为高低分辨率部分训练数据的向量形式的维度，1/N,1/M是平衡权重系数，上式可以转化为：

其中：

4)将步骤3)得到的重构后的图像块x_t和y_t进行拼接合并处理，得到最终的高分辨率图像X，然后对高分辨率图像X进行全局优化得到最终的高分辨率图像X^*。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于显著图和稀疏表示的图像超分辨率重构方法，其特征在于：基于全局对比度的FT算法，与超分辨率重构算法相互结合，通过对低分辨率图像进行插值分块得到低分辨率图像块，以及采取FT算法检测得到的显著图进行二值化，按照图像块是否包含二值化显著图的显著点来判定是否为图像的显著区域，然后对图像的显著区域通过来联合训练方法对高低分辨率的字典对进行训练，并采取基于稀疏表示的超分辨率重构算法进行重构，非显著区域则采取双三次插值法，最后将各个图像块合并连接，得到最终的高分辨率图像。

2.根据权利要求1所述的一种基于显著图和稀疏表示的图像超分辨率重构方法，其特征在于，包括以下步骤：

1)根据基于全局对比度的FT算法，对低分辨率图像进行显著性检测，计算出该图像的显著图，对显著图进行二值化，得到二值化显著图；

2)将输入的低分辨率图像进行插值分块，得到插值图像块；

3)依照步骤1)得到的二值化显著图，通过步骤2)得到的插值图像块是否包含显著图像像素点来判定采取哪种方法进行重构，若图像块包含显著图像像素点，采用基于稀疏表示的超分辨率重构方法，得到的重构图像块为x_t；否则采用双三次插值法进行重构，得到的重构图像块为y_t；

4)将步骤3)得到的重构后的图像块x_t和y_t进行拼接合并处理，得到最终的高分辨率图像X，然后对高分辨率图像X进行全局优化得到最终的高分辨率图像X^*。

3.根据权利要求2所述的一种基于显著图和稀疏表示的图像超分辨率重构方法，其特征在于，所述步骤3)包含以下内容：

3.1)基于稀疏表示的超分辨率重构方法采用联合训练高、低分辨率字典对方法来保持高、低分辨率字典对的同构性，具体过程如下：

3.1.1)输入训练样本X＝{x₁,x₂,…,x_t}；

3.1.2)采用高斯随机矩阵对字典D进行初始化，并归一化字典D的每一列；

3.1.3)当字典D固定，先用OMP算法来求解下列方程，来更新稀疏系数α：

$\mathrm{\α}=\arg \underset{\mathrm{\α}}{\min }\left|\right|X-D\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1$

3.1.4)当稀疏系数α固定，采用K-SVD算法更新字典D，并同时更新稀疏系数α时，迭代直至收敛为止，此时将问题转化为以下方程：

$\begin{array}{cc}D=\arg \underset{\mathrm{\α}}{\min }\left|\right|X-D\mathrm{\α}|{|}_2^2& s.t.\left|\right|D_i|{|}_2^2\≤1,1,2,\mathrm{...},K\end{array}$

其中，λ是系数矩阵的稀疏度和字典的保真度，||α||₁是L₁范数，用来保证系数的稀疏度，是L₂范数，用来去除模糊、噪声的干扰；

3.2)根据步骤3.1)的单个字典训练法，为了保证高、低频部分字典对所对应的稀疏表示系数是一样的，采用联合字典的训练方法进行训练高、低分辨率字典对，具体过程如下：

3.2.1)假设获取的字典训练图像对为{X^h,Y^l}，其中X^h＝{x₁,x₂,...,x_n}是高分辨率纹理图像块集，Y^l＝{y₁,y₂,...y_n}是低分辨率图像块特征集；

3.2.2)针对高低分辨率部分的字典分别为：

$D_h=\arg \underset{D,\mathrm{\α}}{\min }\left|\right|X^h-D\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1$

$D_l=\arg \underset{D,\mathrm{\α}}{\min }\left|\right|Y^l-D\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1$

将以上两个式子结合起来为：

$\underset{\{D_h,D_l,\mathrm{\α}\}}{\min }\frac{1}{N}\left|\right|X^h-D_h\mathrm{\α}\left|{|}_2^2\frac{1}{M}\right||Y^l-D_l\mathrm{\α}|{|}_2^2+\mathrm{\λ}(\frac{1}{M}+\frac{1}{N})\left|\right|\mathrm{\α}|{|}_1$

其中，N,M分别为高低分辨率部分训练数据的向量形式的维度，1/N,1/M是平衡权重系数，上式转化为：

$\underset{\{D_h,D_l,\mathrm{\α}\}}{\min }\frac{1}{N}\left|\right|X_c-D_c\mathrm{\α}|{|}_2^2+\mathrm{\λ}(\frac{1}{M}+\frac{1}{N})|\left|\mathrm{\α}\right|{|}_1$

其中：