CN103049340A - 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，属于图像超分辨率研究领域。本发明针对现有方法的不足，通过组合聚类学习低分辨率视觉词汇到高分辨率视觉词汇一一映射的几何特征共生先验知识，使得几何特征的相似性保持在每一对低分辨率和高分辨率的视觉词汇之间，满足了基于实例法的假设条件，确保还原的高分辨率图像细节的准确性，并建立了一个两步的图像超分辨率重建框架，该框架由纹理上下文特征使用最大后验方法有效地评估真实高分辨率图像所属的视觉词汇，并且通过子空间约束和重构约束由低分辨率图像构建高分辨率图像细节。相比现有的方法，通过本发明提取出来的高分辨率图像细节更加真实清晰，符合实际情况。

Description

基于纹理上下文约束的视觉词汇的图像超分辨率重建方法

技术领域

本发明涉及图像超分辨率研究领域，特别涉及一种基于纹理上下文约束的视觉词汇的图像超分辨率重建方法。 

背景技术

在实际应用中，由于摄像机与感兴趣景物距离较远、或由于硬件原因使所拍摄图像的分辨率很低，感兴趣景物在图像中所占的像素个数很少，从而缺少细节信息，导致难以从图像中识别和提取感兴趣的区域。图像超分辨率研究技术因为可解决上述问题而得到广泛关注。 

传统的图像超分辨率重建方法是通过同一场景的多个低分辨率图像对高分辨率图像进行估计，但这种方法对于多个子像素精度的低分辨图像的对齐是困难的，并且现在许多的应用只允许单幅输入的低分辨率图像。 

单幅图像的图像超分辨率方法可以分为三种：基于插值的方法，基于重构的方法和基于实例的方法。传统的插值方法和重构方法需要配合先验知识，但是常用的关于边缘的先验知识无法从低分辨率图像的大部分平滑图像区域中构造出高分辨率的边缘细节；基于实例的方法虽然能通过学习高分辨率和低分辨率图像块对来恢复丢失的高分辨率图像细节信息，但是基于实例的方法关于低分辨率图像间的相似意味着相应的高分辨率图像间的相似的假设实际上不一定成立，因此不能保证还原的高分辨率图像细节的准确性。 

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，该方法能够使提取出来的高分辨率图像细节更加真实清晰，更加符合实际情况。 

本发明的目的通过以下的技术方案实现：基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，包括以下步骤： 

(1)训练阶段：分为两个部分， 

（1-1）第一个部分：把成对的同一场景下的高分辨率训练图像块和低分辨率训练图像块的梯度域特征组合在一起，对组合的特征进行聚类分析，把聚类 得到的成对的高分辨率的视觉词汇和低分辨率的视觉词汇作为几何共生特征先验知识，并通过主成分分析找到表达每一个高分辨率视觉词汇的子空间； 

（1-2）第二个部分：通过图像分割，从高分辨率图像训练集中产生带有连续纹理特征的高分辨率图像区域库，然后通过降采样得到对应的低分辨率区域库，从而构建出一个由高分辨率图像区域和低分辨率图像区域对组成的数据库； 

（2）测试阶段：把输入的低分辨率图像分为若干个图像块和图像区域，通过基于纹理上下文中的词频信息的最大后验概率标准找到最优候选视觉词汇，然后实施子空间约束和重构约束构建高分辨率图像块，最后施加邻近高分辨率图像块间的兼容性约束构建整个图像。 

优选的，所述步骤（1-1）中，本发明通过计算水平和竖直的一阶梯度作为局部特征，并且把一个图像块的所有像素点的梯度特征连接起来形成一个向量作为梯度域特征，从而得到每一个图像块的局部几何特征表示，然后再连接高、低分辨率图像块的局部几何特征作为组合的特征。 

作为优选方案，所述步骤（1-1）中，聚类分析采用B.J.Frey等人提出的仿射传播聚类算法(参考：B.J.Frey and D.Dueck,“Clustering by passing messages between data points,”Science,2007)，该算法是把所有的数据点作为同等的聚类中心的候选，得到初始的聚类结果。 

更进一步的，在初始的聚类结果上采取增量方式的竞争学习方法改善聚类结果并且增加训练样本的数量。增量方式的竞争学习方法如下：设经过仿射传播聚类后有N个聚类C₁…C_N，X_n=x_n1,…,x_nM}是聚类C_n的M个成员，聚类中心计算为成员的均值 协方差矩阵计算公式为 

对于每一个新的特征向量x，考虑到聚类的采样分布，计算它与每一个聚类中心的马氏距离 把x分配到与它的马氏距离最小的聚类并更新这个聚类，假设更新的聚类是C_n，采用留一逼近法找到C_n中“最差的”样本，在C_n中选择一个样本，计算这个样本与C_n中剩下的样本的中心的马氏距离，计算得到的马氏距离最大的样本则为“最差的”样本，如果这个样本距离聚类C_n中心的马氏距离小于它距离其他聚类中心的马 氏距离，则聚类C_n保留这个样本，否则去除它并且分配给其他聚类。 

所述步骤（1-2）中，图像分割方法使用的是伯克利分割引擎法(BSE)(参考:C.Fowlkes,D.Martin,and J.Malik,“Learning affinity functions for image segmentation:Combining patch-based and gradient-based approaches,”Proc.IEEE Conf.Computer Vision and Pattern Recognition,2003、D.Martin,C.Fowlkes,and J.Malik,“Learning to detect natural image boundaries using local brightness,color and texture cues,”IEEE Trans.Pattern Analysis and Machine Intelligence,vol.26,no.5,pp.530–549,2004)，对分割后的区域计算纹理特征从而产生带有连续纹理特征的高分辨率图像区域库，纹理特征是通过计算滤波器的响应得到的，本方法的滤波器组包含三个尺度、六个方向的一阶和二阶高斯差分滤波器加上一个围绕中心的高斯差分滤波器(DOG)共19个，对每一个滤波器i，本方法把滤波器的响应量化为20个区间 

然后两个图像区域的S¹和S²的纹理相似性通过它们对应的滤波器响应直方图的χ²差分算子衡量： 

${\mathrm{\χ}}^2(S^1,S^2)=\underset{i=1}{\overset{19}{\mathrm{\Σ}}}\underset{b=1}{\overset{20}{\mathrm{\Σ}}}\frac{{(h_{i,b}^1-h_{i,b}^2)}^2}{h_{i,b}^1+h_{i,b}^2}.$

所述步骤（2）中，使用最大后验概率标准找最优候选视觉词汇的公式表达为： 

$\underset{C_n}{\max }p\left(C_n\right|x_l,T),$

其中x_l是低分辨率输入图像块，C_n是可能的视觉词汇，n=1…N，T是纹理上下文特征，基于贝叶斯理论，可以得到 $p\left(C_n\right|x_l,T)=\frac{1}{Z}p\left(x_l\right|C_n,T)p\left(C_n\right|T),$ 其中Z是一个常数，由于对于一个给定的视觉词汇C_n，x_l和T是条件独立的，因此有 $p\left(C_n\right|x_l,T)=\frac{1}{Z}p\left(x_l\right|C_n)p\left(C_n\right|T),$ 最后公式等价于 

设低分辨率视觉词汇满足高斯分布，则p(x_l|C_n)公式为： 

$p\left(x_l\right|C_n)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_{\ln }\right|}^{1/2}}\exp [-\frac{1}{2}{(x_l-\stackrel{\‾}{x_{\ln }})}^T{{\mathrm{\Σ}}_{\ln }}^{-1}(x_l-\stackrel{\‾}{x_{\ln }})],$

其中 

是第n个低分辨率视觉词汇的样本均值，∑_ln是第n个低分辨率视觉 词汇的样本协方差，d是样本维数；关于条件先验知识p(C_n|T)：通过把纹理上相似的图像区域对中的高分辨率和低分辨率图像块对划分到同一个视觉词汇，可以得到关于视觉词汇的词频统计，从而近似得到条件先验知识p(C_n|T)，由于本方法中词汇码书数量很大，通过硬分配方法进行词频统计需要的样本数量过大，因此本方法通过软分配方法使用高斯函数把每一个样本按权重分配给多个视觉词汇：第i个图像块对第n个视觉词汇的权值为 

其中D_i,n是第i个图像块和第n个视觉词汇马氏距离，第n个视觉词汇总的权值是所有样本图像块的权值之和得到： 

然后对权值进行L1范数归一化，使得：  $\underset{n}{\mathrm{\Σ}}{w}_{i,n}=1$ 和 $\underset{n}{\mathrm{\Σ}}{W}_n=1.$

由于图像分割存在错误，纹理上下文约束并不总是有效的，为了避免过于依赖p(C_n|T)的先验知识而导致一些错误的产生，本方法通过阈值措施使用可能性最大的方法先确定一些候选的视觉词汇，具体步骤如下：首先对每一个视觉词汇设定一个半径阈值作为它和样本之间的最大马氏距离，然后对每一个输入的低分辨率图像，选择若干个最有可能的低分辨率视觉词汇并且排除掉和低分辨率输入图像的马氏距离大于半径阈值的视觉词汇，把其他的视觉词汇添加到候选视觉词汇集S，如果所选的视觉词汇都是异常值，则把所有词汇全部选中，从而得到候选视觉词汇集S，并通过最大后验概率估计最优视觉词汇，公式为：  $C_{\mathrm{opt}}=\arg \underset{\mathrm{Cn}}{\max }p\left(x_l\right|C_n)p\left(C_n\right|T),C_n\∈S.$

所述步骤（2）中，子空间约束中的子空间模型建立方法为：给定属于某一个高分辨率视觉词汇的K个样本图像块{L₁,…L_K}，L_i是第i个图像块的灰度向量，计算这些向量的样本均值 

并且通过主成分分析（PCA）方法得到特征向量矩阵P=[P₁,…,P_J]，其中J是高分辨率视觉词汇子空间的维数，特征向量P_i是基向量，则在子空间中的任意图像块L可表达为样本均值和基向量的加权线性组合： 其中α=[α₁,…,α_J]^T。子空间模型建立后，高分辨率图像块可以通过权值α和特征向量矩阵P的线性组合重构。 

所述步骤（2）中，实施重构约束构建高分辨率图像块的具体步骤为：低分辨率图像l是高分辨率图像L模糊和降采样后的结果 

其中 

和p_i是模糊和降采样后的 

和P_i，p=[p₁,…p_J]， 

如果高分辨率视觉词汇子空间的维数大于输入的低分辨率图像的维数，则这是一个病态方程问题，转化为： 

$\min {\left|\right|\mathrm{\α}\left|\right|}_{0}s.t.l=\stackrel{\‾}{l}+\mathrm{p\α},$

上述问题为一个NP最优化问题，在α足够稀疏条件下通过求解L1范数最优化问题近似： $\min {\left|\right|\mathrm{\α}\left|\right|}_{1}s.t.l=\stackrel{\‾}{l}+\mathrm{p\α};$

如果高分辨率视觉词汇子空间的维数不大于输入低分辨率图像维数，这是一个过定问题，用最小二乘法求解： 

$\underset{\mathrm{\α}}{\min }{\left|\right|l-\stackrel{\‾}{l}-\mathrm{p\α}\left|\right|}^2,$

得到最优参数α^*后将高分辨率图像块L^*重构为： 

最后通过相邻图像块间重叠区域平均灰度值的方法得到整个图像。 

本发明与现有技术相比，具有如下优点和有益效果： 

1、本发明针对已有方法的不足，通过组合聚类学习低分辨率视觉词汇到高分辨率视觉词汇一一映射的几何特征共生先验知识，使得几何特征的相似性保持在每一对低分辨率和高分辨率的视觉词汇之间，满足了基于实例法的假设条件，确保还原的高分辨率图像细节的准确性。 

2、本发明建立了一个两步的超分辨率图像匹配框架，该框架基于纹理上下文特征并使用最大后验方法有效地评估真实高分辨率图像所属的视觉词汇并且通过子空间约束和重构约束由低分辨率图像提取出高分辨率图像细节。相比现有的方法，通过本发明的框架构建出来的高分辨率图像细节更加真实清晰，符 合实际情况。 

附图说明

图1为本发明方法的算法流程图。 

图2(a)~(h)为本发明方法和现有方法对纹理图像1的超分辨率重建结果对比图； 

图3(a)~(h)为本发明方法和现有方法对纹理图像2的超分辨率重建结果对比图； 

图4(a)为本发明的方法和其他方法关于最小均方误差MSE数值的对比图； 

图4(b)为本发明的方法和其他方法关于结构相似性指标SSIM数值的对比图。 

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。 

实施例1 

本实施例基于纹理上下文约束的视觉词汇的图像超分辨率重建方法的算法流程如图1所示，包括下述步骤： 

(1)训练阶段：分为两个部分，详述如下。 

(1-1)训练阶段1，把成对的同一场景下的高分辨率训练图像块和低分辨率训练图像块的梯度域特征组合在一起，对组合的特征进行聚类分析，把聚类得到的成对的高分辨率的视觉词汇和低分辨率的视觉词汇作为几何共生特征先验知识，并找到表达每一个高分辨率视觉词汇的子空间。 

本实施例通过计算水平和竖直的一阶梯度作为局部特征，并且把一个图像块的所有像素点的梯度特征连接起来形成一个向量作为梯度域特征，从而得到每一个图像块的局部几何特征表示，然后再连接高、低分辨率图像块的局部几何特征作为组合的特征。 

本实施例中聚类分析采用B.J.Frey等人提出的仿射传播聚类算法。该算法是把所有的数据点作为同等的聚类中心的候选，得到初始的聚类结果，本实施例所采用算法是在上述初始的聚类结果上继续采取增量方式的竞争学习方法来进一步改善聚类结果并且增加训练样本的数量。 

增量方式的竞争学习方法如下：设经过仿射传播聚类后有N个聚类C₁…C_N， X_n={x_n1,…,x_nM}是聚类C_n的M个成员，聚类中心计算为成员的均值 协方差矩阵计算公式为 

对于每一个新的特征向量x，考虑到聚类的采样分布，计算它与每一个聚类中心的马氏距离 

把x分配到与它的马氏距离最小的聚类并更新这个聚类，假设更新的聚类是C_n，采用留一逼近法找到C_n中“最差的”样本，在C_n中选择一个样本，计算这个样本与C_n中剩下的样本的中心的马氏距离，计算得到的马氏距离最大的样本则为“最差的”样本，如果这个样本距离聚类C_n中心的马氏距离小于它距离其他聚类中心的马氏距离，则聚类C_n保留这个样本，否则去除它并且分配给其他聚类。 

(1-2)训练阶段2，通过图像分割，从高分辨率图像训练集中产生带有连续纹理特征的高分辨率图像区域库，然后通过降采样得到对应的低分辨率区域库，从而构建出一个由高分辨率图像区域和低分辨率图像区域对组成的数据库. 

本实施例中，图像分割方法使用的是伯克利分割引擎法(BSE)。本方法中纹理特征是通过滤波器的响应衡量的，本方法的滤波器组包含三个尺度、六个方向的一阶和二阶高斯差分滤波器加上一个围绕中心的高斯差分滤波器(DOG)共19个，对每一个滤波器i，本方法把滤波器的响应量化为20个区间 

然后两个图像区域的S¹和S²的纹理相似性是通过它们对应的滤波器响应直方图的χ²差分算子衡量： 

${\mathrm{\χ}}^2(S^1,S^2)=\underset{i=1}{\overset{19}{\mathrm{\Σ}}}\underset{b=1}{\overset{20}{\mathrm{\Σ}}}\frac{{(h_{i,b}^1-h_{i,b}^2)}^2}{h_{i,b}^1+h_{i,b}^2}.$

(2)测试阶段，把输入的低分辨率图像分为若干个图像块和图像区域，通过基于纹理上下文中的词频信息的最大后验概率标准找到最优候选视觉词汇，然后实施子空间约束和重构约束构建高分辨率图像块，最后施加邻近高分辨率图像块间的兼容性约束构建整个图像。 

在本实施例中，在寻找最优视觉词汇前先确定一些候选的视觉词汇，具体步骤如下：首先对每一个视觉词汇设定一个半径阈值作为它和样本之间的最大 马氏距离，然后对每一个输入的低分辨率图像，选择若干个最有可能的低分辨率视觉词汇并且排除掉和低分辨率输入图像的马氏距离大于半径阈值的视觉词汇，把其他的视觉词汇添加到候选视觉词汇集S，如果所选的视觉词汇都是异常值，则把所有词汇全部选中，从而得到候选视觉词汇集S，并通过最大后验概率估计最优视觉词汇，公式为： $C_{\mathrm{opt}}=\arg \underset{\mathrm{Cn}}{\max }p\left(x_l\right|C_n)p\left(C_n\right|T),C_n\∈S.$

而使用最大后验概率标准找最优候选视觉词汇的公式为： 

其中x_l是低分辨率输入图像块，C_n是可能的视觉词汇，n=1…N，T是纹理上下文特征，基于贝叶斯理论，可以得到 $p\left(C_n\right|x_l,T)=\frac{1}{Z}p\left(x_l\right|C_n,T)p\left(C_n\right|T),$ 其中Z是一个常数，由于对于一个给定的视觉词汇C_n，x_l和T是条件独立的，因此有  $p\left(C_n\right|x_l,T)=\frac{1}{Z}p\left(x_l\right|C_n)p\left(C_n\right|T),$ 最后公式等价于 

设低分辨率视觉词汇满足高斯分布，则p(x_l|C_n)公式为  $p\left(x_l\right|C_n)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_{\ln }\right|}^{1/2}}\exp [-\frac{1}{2}{(x_l-\stackrel{\‾}{x_{\ln }})}^T{{\mathrm{\Σ}}_{\ln }}^{-1}(x_l-\stackrel{\‾}{x_{\ln }})],$ 其中 

是第n个低分辨率视觉词汇的样本均值，∑_ln是第n个低分辨率视觉词汇的样本协方差，d是样本维数；关于条件先验知识p(C_n|T)：通过把纹理上相似的图像区域对中的高分辨率和低分辨率图像块对划分到同一个视觉词汇，可以得到关于视觉词汇的词频统计，从而近似得到条件先验知识p(C_n|T)，由于本方法中词汇码书数量很大，通过硬分配方法进行词频统计需要的样本数量过大，因此本方法通过软分配方法使用高斯函数把每一个样本按权重分配给多个视觉词汇：第i个图像块对第n个视觉词汇的权值为 

其中D_i,n是第i个图像块和第n个视觉词汇马氏距离，第n个视觉词汇总的权值是所有样本图像块的权值之和得到： 

然后对权值进行L1范数归一化，使得： 

和 

在实施子空间约束构建高分辨率图像块前需要建立子空间模型，子空间约束中的子空间模型建立方法为：给定属于某一个高分辨率视觉词汇的K个样本 图像块{L₁,…L_K}，L_i是第i个图像块的灰度向量，计算这些向量的样本均值 

并且通过主成分分析方法得到特征向量矩阵P=[P₁,…,P_J]，其中J是高分辨率视觉词汇子空间的维数，特征向量P_i是基向量，在子空间中的任意图像块L表达为样本均值和基向量的加权线性组合： 

其中α=[α₁,…,α_J]^T；子空间模型建立后，高分辨率图像块可以通过权值a和特征向量矩阵P的线性组合重构。 

重构约束的内容为：低分辨率图像l是高分辨率图像L模糊和降采样后的结果 其中 

和p_i是模糊和降采样后的 

和P_i，p=[p₁,…p_J]，如果J大于输入低分辨率图像的维数则这是一个病态方程问题转化为 

这是一个NP最优化问题，在α足够稀疏条件下可以通过求解L1范数最优化问题近似： 如果J不大于输入低分辨率图像维数，这是一个过定问题，可以用最小二乘法求解： 

得到最优参数α^*后高分辨率图像块L^*重构为： 

最后通过相邻图像块间重叠区域平均灰度值的方法得到整个图像。 

本实施例通过以下实验对本发明的效果进行说明：实验选择LabelMe数据库，BSDS500数据集和网上的图片集共5000张作为训练图像，把训练图像限制为以下几种：人类、植物、动物、建筑物和常见的纹理图像。对于彩色图片，本实验仅使用YCbCr颜色模型中的灰度成分Y来进行超分辨率图像重建，其余成分通过低分辨率图像的简单插值得到。图像的放大倍数设置为3，低分辨率图像块设置为3×3且相邻的图像块之间有1重叠像素，而对应的高分辨率图像块设置为9×9且相邻的图像块之间有3重叠像素。本实验从训练图像中随机抽取200000对高分辨率和低分辨率图像块来组合学习高分辨率和低分辨率视觉词汇，其中40000对是用于仿射传播聚类算法的，其余160000对用于增量方式的竞争学习聚类方法，聚类数量为3226个。实验还从训练图像中选择100000对图像区域来进行上下文约束训练，其中20对纹理上最相似的图像区域被选择作为纹 理上下文约束，对于PCA算法，视觉词汇子空间中维数J的选择选择标准是前J个主成分可以取得95%累积特征值比率。 

本实验还比较得出了本实施例所述方法和几种常用的图像超分辨率重建方法的效果，本次实验中采用的现有的算法有双三次插值法、邻域嵌入法、稀疏编码法、上下文约束法，为了证实纹理上下文约束的效果，还比较了仅使用最近邻视觉词汇估计的方法，比较的结果如图2、3所示，对于图2的纹理图像1，(a)为低分辨率输入图像，其中黑色框区域是后面用来重建的部分，(b)是双三次插值法超分辨率重建结果，(c)是邻域嵌入法超分辨率重建结果，(d)是稀疏编码法超分辨率重建结果，(e)是上下文约束法超分辨率重建结果，(f)是不带纹理上下文约束本实施例的方法的超分辨率重建结果，(g)是本实施例所述方法的超分辨率重建结果，(h)是原本高分辨率图像。对于图3的纹理图像2，(a)为低分辨率输入图像，其中黑色框区域是后面用来重建的部分，(b)是双三次插值法超分辨率重建结果，(c)是邻域嵌入法超分辨率重建结果，(d)是稀疏编码法超分辨率重建结果，(e)是上下文约束法超分辨率重建结果，(f)是不带纹理上下文约束本实施例的方法的超分辨率重建结果，(g)是本实施例方法的超分辨率重建结果，(h)是原本高分辨率图像。比较的结果表明本实施例所述方法得到的高分辨率图像比其它的方法得到的图像细节更真实清晰，恢复了更多细节，更接近原本图像。为了定量评价不同图像超分辨率方法的效果，本实验使用真实图像和超分辨率图像之间的均方误差(MSE)和结构相似性指标(SSIM)对匹配效果进行评价，得到的实验结果如图4（a）、（b）所示，在图中，①表示采用双三次插值法，②表示采用邻域嵌入法，③表示采用稀疏编码法，④表示采用上下文约束法，⑤表示采用不带纹理上下文约束本实施例的方法，⑥表示采用本实施例方法，由图可见本实施例所述的方法性能优于其他方法，MSE最小并且SSIM最大。 

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。 

Claims (9)

1.基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，包括以下步骤：

(1)训练阶段：分为两个部分，

（1-1）第一个部分：把成对的同一场景下的高分辨率训练图像块和低分辨率训练图像块的梯度域特征组合在一起，对组合的特征进行聚类分析，把聚类得到的成对的高分辨率的视觉词汇和低分辨率的视觉词汇作为几何共生特征先验知识，并通过主成分分析找到表达每一个高分辨率视觉词汇的子空间；

（1-2）第二个部分：通过图像分割，从高分辨率图像训练集中产生带有连续纹理特征的高分辨率图像区域库，然后通过降采样得到对应的低分辨率区域库，从而构建出一个由高分辨率图像区域和低分辨率图像区域对组成的数据库；

（2）测试阶段：把输入的低分辨率图像分为若干个图像块和图像区域，通过基于纹理上下文中的词频信息的最大后验概率标准找到最优候选视觉词汇，然后实施子空间约束和重构约束构建高分辨率图像块，最后施加邻近高分辨率图像块间的兼容性约束构建整个图像。

2.根据权利要求1所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，所述步骤（1-1）中，通过计算水平和竖直的一阶梯度作为局部特征，并且把一个图像块的所有像素点的梯度特征连接起来形成一个向量作为梯度域特征，从而得到每一个图像块的局部几何特征表示，然后再连接高、低分辨率图像块的局部几何特征作为组合的特征。

3.根据权利要求1所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，所述步骤（1-1）中，对组合的特征进行聚类分析后，在初始的聚类结果上采取增量方式的竞争学习方法改善聚类结果，具体步骤如下：

设经过仿射传播聚类后有N个聚类C₁…C_N，X_n={x_n1,…,x_nM}是聚类C_n的M个成员，聚类中心计算为成员的均值 

协方差矩阵计算公式为 对于每一个新的特征向量x，考虑到聚类的采样分布，计算它与每一个聚类中心的马氏距离 把x分配到与它的马氏距离最小的聚类并更新这个聚类，假设更新的聚类是C_n，采用留一逼近法找到C_n中“最差的”样本，在C_n中选择一个样本，计算这个样本与C_n中剩下的样本的中心的马氏距离，计算得到的马氏距离最大的样本则为“最差的” 样本，如果这个样本距离聚类C_n中心的马氏距离小于它距离其他聚类中心的马氏距离，则聚类C_n保留这个样本，否则去除它并且分配给其他聚类。

4.根据权利要求1所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，所述步骤（1-2）中纹理特征是通过计算滤波器的响应得到的，滤波器组包含三个尺度、六个方向的一阶和二阶高斯差分滤波器加上一个围绕中心的高斯差分滤波器共19个，对每一个滤波器i，把滤波器的响应量化为20个区间 

然后两个图像区域的S¹和S²的纹理相似性通过它们对应的滤波器响应直方图的χ²差分算子衡量：

5.根据权利要求1所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，所述步骤（2）中，使用最大后验概率标准找最优候选视觉词汇的公式表达为：

其中x_l是低分辨率输入图像块，C_n是可能的视觉词汇，n=1…N，T是纹理上下文特征，公式（1）等价于：

设低分辨率视觉词汇满足高斯分布，则p(x_l|C_n)公式为：

其中 是第n个低分辨率视觉词汇的样本均值，∑_ln是第n个低分辨率视觉词汇的样本协方差，d是样本维数；

对于纹理上相似的图像区域对，把其中的高分辨率和低分辨率图像块对划分到同一个视觉词汇，得到关于视觉词汇的词频统计，从而近似得到条件先验知识p(C_n|T)。

6.根据权利要求5所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，求取视觉词汇的词频统计时，通过软分配方法使用高斯函数把每一个样本按权重分配给多个视觉词汇，具体为：第i个图像块对第n个视觉词汇的权值为 

其中D_i,n是第i个图像块和第n个视觉词汇马氏距离，第n个视觉词汇总的权值是所有样本图像块的权值之和得到： 然后对权值进行L1范数归一化，使得： 和 

7.根据权利要求5所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，在寻找最优视觉词汇前先确定一些候选的视觉词汇，具体步骤如下：首先对每一个视觉词汇设定一个半径阈值作为它和样本之间的 最大马氏距离，然后对每一个输入的低分辨率图像，选择若干个最有可能的低分辨率视觉词汇并且排除掉和低分辨率输入图像的马氏距离大于半径阈值的视觉词汇，把其他的视觉词汇添加到候选视觉词汇集S，如果所选的视觉词汇都是异常值，则把所有词汇全部选中，从而得到候选视觉词汇集S，并通过最大后验概率估计最优视觉词汇，公式为：

C_n∈S。

8.根据权利要求1所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，所述步骤（2）中，子空间约束中的子空间模型建立方法为：给定属于某一个高分辨率视觉词汇的K个样本图像块{L₁,…L_K}，L_i是第i个图像块的灰度向量，计算这些向量的样本均值 

并且通过主成分分析方法得到特征向量矩阵P=[P₁,…,P_J]，其中J是高分辨率视觉词汇子空间的维数，特征向量P_i是基向量，则在子空间中的任意图像块L表达为样本均值和基向量的加权线性组合：

其中α=[α₁,…,α_J]^T；

子空间模型建立后，高分辨率图像块通过权值α和特征向量矩阵P的线性组合重构。

9.根据权利要求8所述的基于纹理上下文约束的视觉词汇的图像超分辨率重建方法，其特征在于，所述步骤（2）中，实施重构约束构建高分辨率图像块的具体步骤为：设低分辨率图像l是高分辨率图像L模糊和降采样后的结果 

其中 

和p_i是模糊和降采样后的 

和P_i，p=[p₁,…p_J]，

如果高分辨率视觉词汇子空间的维数大于输入的低分辨率图像的维数，则在α足够稀疏条件下通过求解L1范数最优化问题近似求取α；

如果高分辨率视觉词汇子空间的维数不大于输入低分辨率图像维数，则用最小二乘法求解α，

得到最优参数α后将高分辨率图像块L^*重构为： 

最后通过相邻图像块间重叠区域平均灰度值的方法得到整个图像。 

Images