CN102880878B - 一种基于单幅图像进行超分辨率分析的方法及系统 - Google Patents

Abstract

本发明实施例公开了一种基于单幅图像进行超分辨率分析的方法及系统，预先创建训练数据库，该训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，其中，该方法包括：将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；对于每个低分辨率测试图像块，在低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；根据最大近邻低分辨率训练图像块，确定高分辨率测试图像块；将所述高分辨率测试图像块拼接成处理后的高分辨率测试图像。通过本发明，能够提高重建出的高分辨率测试图像块与真实的高分辨率图像块之间的一致性。

Description

一种基于单幅图像进行超分辨率分析的方法及系统

技术领域

本发明一般地涉及图像处理技术领域，尤其是一种基于单幅图像进行超分辨率分析的方法及系统。

背景技术

单幅图像超分辨率技术的目标是从一幅低分辨率输入图像恢复出成像过程中损失的高频信息，从而生成一幅与输入图像对应的高分辨率图像。超分辨率技术拥有广泛的应用领域，例如低分辨率文档复原、遥感卫星图像分析、医学图像分析、图像通信、传输、存储与压缩等等。

常用的单幅图像超分辨率方法通常分为三种类别，即插值方法，重建方法，和基于样本学习的方法。其中，基于样本学习的方法具有较强的推广能力，能从输入图像中合成出新的图像细节，因此受到广泛的关注。

基于样本学习的超分辨率方法依赖于一个预先收集的由大量低分辨率-高分辨率图像块组成的数据库，这些图像块即学习样本。在处理一幅输入图像(低分辨率)时，首先将其划分为若干图像块，每个图像块在学习数据库中搜索到最相似的低分辨率图像块，数据库中预存的与之对应的高分辨率图像块即作为目标图像(高分辨率)相应位置的图像块。

为了进一步提高超分辨率的质量，现有技术提出了一种基于流形进行学习的方法。其中，所谓流形学习，其数学定义是：在R^d空间中存在某个随机过程生成的数据经过某个函数f可以映射形成R^D(D＞d)空间中的观测数据{x_i＝f(y_i)}。流形学习的目标是在观测数据{x_i}中重构f和数据{y_i}，以达到数据压缩和降维的目的。与机器学习不同的是，流形学习强调整体结构，通过局部和整体相结合来发现和重构数据的内在规律性。

基于流形进行学习的基本原理在于：在高分辨率图像中的图像块不仅与对应的低分辨率中的图像块有关，而且与其相邻的高分辨率图像块有关。因此，在现有技术中，通常假设低分辨率图像块在特征空间中呈现一种流形分布，同样高分辨率图像块在其特征空间中也呈现一种流形分布，并且高分辨率的图像块与低分辨率图像块的流形结构是相似的。也就是说，如果高分辨率的图像块相邻(相似度高)，那么其降质后的低分辨率图像块(样本库中的低分辨率图像是由高分辨率图像降质后得到的，例如可以通过低通滤波和降采样等技术得到)也相邻。这样，如果获得输入的低分辨率的图像块与训练样本中的低分辨率图像块之间的重建系数(例如，该重建系数可以为权值矩阵w，该系数可以通过流形学习算法LLE等获得)，则保持重建系数不变，即可通过训练样本中的高分辨率图像块重建待复原的高分辨率的图像块

上述基于流形的学习方法，是在前述假设条件成立的情况下进行的，但是，在实际应用中，前述假设条件却往往是不成立的。例如，如图1所示，灰色区域表示低/高分辨率块流形上的局部区域，称为胞元。低分辨率图像块I_x的近邻块分布于低分辨率块流形的某一胞元，而与之对应的高分辨率图像块的近邻块却分散于多个相邻的胞元(已经落在了灰色区域以外)。显然，这一情形与低/高分辨率图像块流形局部区域保形的假设相悖，以至于最终重建出的待复原的高分辨率图像块与真实的高分辨率图像块之间的一致性较低，限制了超分辨率质量及有效性的提高。

发明内容

有鉴于此，本发明实施例提供了基于单幅图像进行超分辨率分析的方法及系统，能够使得最终重建出的高分辨率图像块与真实的高分辨率图像块之间的一致性得到提高，进而提高超分辨率分析的质量及有效性。

根据本发明实施例的一个方面，提供一种基于单幅图像进行超分辨率分析的方法，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述方法包括：将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率图像块；按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

根据本发明实施例的另一个方面，提供一种基于单幅图像进行超分辨率分析的系统，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述系统包括：预处理单元，配置为将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；查找单元，配置为对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；确定单元，配置为根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；后处理单元，配置为按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述基于单幅图像进行超分辨率分析的方法。

此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述基于单幅图像进行超分辨率分析的方法。

根据本发明实施例的上述方法，通过在训练数据库中保存低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，使得在进行超分辨率分析时，可以利用流形局部区域一致性信息对训练数据库中的低分辨率训练图像块进行筛选，只有流形局部区域一致性信息满足一定条件的低分辨率训练图像块才有可能成为待处理低分辨率测试图像块的最大近邻。这样，相当于既考虑了图像块之间的相似度，还考虑了流形局部区域一致性信息，因此，能够使得最终重建出的高分辨率测试图像块与真实的高分辨率图像块之间的一致性得到提高，进而提高了超分辨率分析的质量及有效性。

在下面的说明书部分中给出本发明实施例的其他方面，其中，详细说明用于充分地公开本发明实施例的优选实施例，而不对其施加限定。

附图说明

下面结合具体的实施例，并参照附图，对本发明实施例的上述和其它目的和优点做进一步的描述。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。

图1是示出作为流形局部区域对应不一致时的示意图；

图2是示出作为本发明实施例提供的方法的流程图；

图3是示出作为本发明实施例提供的实施方式的示意图；

图4是示出作为本发明实施例提供的第一装置的示意图；

图5是示出作为本发明实施例提供的第二装置的示意图；

图6是示出作为本发明实施例提供的第三装置的示意图；和

图7是示出作为本发明的实施例中所采用的信息处理设备的个人计算机的示例性结构的框图。

具体实施方式

下面参照附图来说明本发明实施例。

首先需要说明的是，为了便于描述，将训练样本中的图像块称为训练图像块，根据分辨率不同，分为高分辨率训练图像块以及低分辨率图像块；将需要进行超分辨率处理的图像块称为测试图像块，并且进行超分辨率处理前的是低分辨率测试图像块，处理后得到的是高分辨率测试图像块。

本发明人在实现本发明的过程中发现，之所以会产生图1所示的情况，是因为：训练样本中的低分辨率训练图像块是由高分辨率训练图像块降质得到的，例如，可以从高分辨率训练图像块中抽出一些像素，剩余的像素即可作为与该高分辨率训练图像对应的低分辨率训练图像；这样就可能出现以下情况：原本相似性并不大的两个高分辨率图像块，在降质的过程中，抽出的可能恰好是能够体现出这两个图像块之间的区别的像素，以至于最终得到的两幅低分辨率训练图像块的相似度较高，甚至可能是相同的(在这种情况下，一个低分辨率训练图像块可能会对应多个高分辨率训练图像块)。因此，实际的情况是，如果两幅低分辨率训练图像块相邻，那么其各自对应的高分辨率训练图像块则不一定相邻。正是因为如此，现有技术中关于“高分辨率的训练图像块与低分辨率训练图像块的流形结构是相似的”这一假设在实际应用中并不一定总是成立。在这一假设不成立的情况下，如果仍然按照同样的方法进行重建，则重建得到的高分辨率测试图像块与实际的高分辨率图像块的一致性自然会比较低。

为此，在本发明实施例中，首先对训练数据库进行改造，在训练数据库中增加关于低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息(为方便描述，以下简称一致性信息)。也就是说，在训练数据库中，每个低分辨率训练图像块都对应着该一致性信息。需要说明的是，由于一个低分辨率训练图像块可能对应多个高分辨率训练图像块，因此，一个低分辨率训练图像块可能会对应着多个该一致性信息。

具体实现时，该一致性信息可以有多种具体的表现形式，例如，在本发明实施例中，可以表现为：从低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向，也即，可以由该最佳投影方向，来表示该一致性信息。其中，最佳投影方向是从低分辨率训练图像块到对应的高分辨率训练图像块的图像清晰度逐渐变化的一种体现，换言之，低分辨率训练图像块可以沿着其最佳投影方向逐渐变化到高分辨率训练图像块。因此，如果某两个低分辨率训练图像块相邻，并且两者的最佳投影方向基本一致，则可以证明这两个低分辨率训练图像块对应的高分辨率训练图像块也相邻，这也恰恰满足了流形结构相似这一假设条件。

在本发明实施例中，可以通过以下方式获取从某低分辨率训练图像块到其对应的高分辨率训练图像块的最佳投影方向：

首先，针对该高分辨率训练图像块在高分辨率训练图像块集合中，查找M个最大近邻高分辨率训练图像块，其中，M为正整数；然后，在训练集的低分辨率训练图像块集合中查找最大近邻高分辨率训练图像块对应的低分辨率训练图像块，并计算最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；同时，可以获取该高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数。最后，就可以根据该最优重建系数以及差分向量，计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向。例如，具体的计算公式可以是：

$\stackrel{\→}{n_s}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{wH}}_i(h_i-{\mathrm{Fl}}_i)$

(1)

其中，为低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；wH_i为高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；h_i为各最大近邻高分辨率训练图像块的特征向量；Fl_i为各最大近邻高分辨率训练图像块对应的低分辨率训练图像块的特征向量；h_i-Fl_i为最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；M为正整数。当然，也可以通过其他方式来计算最佳投影方向。

其中，具体在获取高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数时，可以根据已有技术中的方法来实现，例如，可以是流形学习算法LLE等来实现，这里不再赘述。

从以上获取最佳投影方向的过程可以看出，本发明实施例采用的是“从高分辨率训练图像块到低分辨率训练图像块”的方式进行的。也就是说，并不是首先找低分辨率训练图像块的近邻低分辨率训练图像块，然后再找近邻低分辨率训练图像块对应的高分辨率训练图像块，而是首先找高分辨率训练图像块的近邻高分辨率训练图像块，然后再找近邻高分辨率训练图像块对应的低分辨率训练图像块。这样做的好处在于：如前文所述，一个低分辨率训练图像块可能对应多个高分辨率训练图像块，如果采用“从低分辨率训练图像块到高分辨率训练图像块”的方式，则在找近邻低分辨率训练图像块对应的高分辨率训练图像块时，就可能会发生错误。但是，一个高分辨率训练图像块仅对应一个低分辨率训练图像块，因此，采用“从高分辨率训练图像块到低分辨率训练图像块”的方式实现时，不会发生上述出错现象，可以保证最佳投影方向的准确度。

需要说明的是，在本发明实施例中，在获取到一致性信息之后，在训练数据库中可以保存高分辨率训练图像块，也可以不保存，后文中会对此进行详细地介绍。

在获得了一致性信息之后，本发明实施例就可以基于单幅图像进行超分辨率分析了，下面对具体方法进行详细地介绍。

参见图2，该方法可以包括以下步骤：

S201：将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；

需要说明的是，预处理的过程可以与已有技术相同，包括对原始低分辨率测试图像取出低频信息并进行局部灰度归一化，以及图像块的划分等等，具体的方法这里均不再赘述。

S202：对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；

以输入低分辨率测试图像中的某低分辨率测试图像块为例，具体实现时，可以首先在训练数据库中的低分辨率训练图像块中，找出该低分辨率测试图像块的近邻低分辨率训练图像块(通常是多个)；然后在近邻低低分辨率训练图像块中，判断各自的一致性信息是否符合预置的条件，如果符合则留下，不符合则剔除；接下来在留下的近邻低分辨率训练图像块中取出最大的几个(具体的数目可以根据实际的需要来确定)作为最大近邻低分辨率训练图像块。可见，相当于对近邻低分辨率训练图像块进行筛选，只有一致性信息符合预置条件的低分辨率训练图像块样本才会被留下，并参与后续高分辨率测试图像块的重建。

需要说明的是，本发明实施例中“相邻”的含义是指图像块的特征向量之间的相似度，关于这种相似度的计算可以通过向量之间的夹角计算等来实现，这里不再赘述。另外，本发明实施例中的“一致性信息符合预置条件的低分辨率训练图像块”可以存在以下情况：首先，如果某低分辨率训练图像块只对应一个一致性信息，那么只要其一致性信息符合预置条件，则该低分辨率训练图像块就是一致性信息符合预置条件的低分辨率训练图像块；如果某低分辨率训练图像块对应多个一致性信息，在这多个一致性信息中有一个或几个一致性信息符合预置条件，则该低分辨率训练图像块也属于一致性信息符合预置条件的低分辨率训练图像块，当然，只有其中符合预置条件的一致性信息，才会参与后续的高分辨率测试图像块重建。

其中，对于各种一致性信息的不同表现形式，预置条件也可以进行相应的设置。例如，当以前述最佳投影方向为一致性信息时，该预置条件可以设置为：如果某近邻低分辨率训练图像块的最佳投影方向与近邻低分辨率训练图像块集合中的多数基本一致，则该近邻低分辨率训练图像块的一致性信息符合预置条件。也就是说，对于某近邻低分辨率训练图像块集合而言，可能存在以下情况：其中存在部分近邻低分辨率训练图像块的最佳投影方向基本一致，还有部分近邻低分辨率训练图像块的最佳投影方向可能比较分散，则最佳投影方向基本一致的这部分近邻低分辨率训练图像块，就属于一致性信息符合条件的近邻低分辨率训练图像块。需要说明的是，“最佳投影方向”可以由向量来表示，因此，在评判两个低分辨率测试图像块的最佳投影方向的一致性时，可以计算两个向量之间的夹角，如果夹角小于某阈值，则可以证明这两个低分辨率测试图像块的最佳投影方向基本一致。

当然，除了最佳投影方向以外，一致性信息还可以有其他的表现方式，例如，还可以通过最小二乘法等方式得到一变换矩阵，等等，这里不再一一详述。

S203：根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；

在根据低分辨率测试图像块的最大近邻低分辨率训练图像块确定处理后高分辨率测试图像块时，具体的实现方法可以有多种。例如，在其中一种实现方式下，训练数据库中还可以保存有各个低分辨率训练图像块对应的高分辨率训练图像，在这种情况下，具体在确定处理后的高分辨率测试图像块时，可以采用与现有技术类似的方法。也即，首先找到最大近邻低分辨率训练图像块对应的高分辨率训练图像块，同时，可以获取低分辨率测试图像块与各个低分辨率训练图像块之间的最优重建系数，最后利用该最优重建系数以及高分辨率训练图像块，计算出处理后的高分辨率测试图像块的特征向量，按照该特征向量即可显示出处理后的高分辨率测试图像块。当然，与已有技术不同的是，本发明实施例中的最大近邻低分辨率训练图像块，都是一致性信息符合预置条件的低分辨率训练图像块。

另外，针对以投影方向作为一致性信息的情况，本发明实施例还提供了另一种根据低分辨率测试图像块的最大近邻低分辨率训练图像块确定处理后高分辨率测试图像块的方法。在该方法中，可以不必在训练数据库中保存高分辨率训练图像块，只需要保存以下参数即可：高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量到最佳投影方向的投影值。也就是说，在建立训练数据库时，在计算出各个低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向之后，可以计算出该投影值(可以采用数学上的方法来实现)，将各个低分辨率训练图像块对应的最佳投影方向及投影值都保存在训练数据库中。这样，训练数据库中不必再保存高分辨率训练图像块，即可根据最大近邻低分辨率训练图像块以及各自的最佳投影方向及投影值，确定出低分辨率测试图像块对应的处理后高分辨率测试图像块。

其中，投影值代表低分辨率训练图像块在其最佳投影方向上，分辨率最高能够达到的程度。从这个角度上而言，对于某低分辨率训练图像块，其最佳投影方向与投影值的乘积实际上就是其对应的高分辨率训练图像块的特征向量。

具体在用这种方式来确定低分辨率测试图像块对应的处理后高分辨率测试图像块时，可以利用以下公式进行：

$h=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i(l_i+\mathrm{\μ}*v_i\stackrel{\→}{n_i})---\left(2\right)$

其中，h为处理后的高分辨率测试图像块的特征向量；w_i为原始低分辨率测试图像中的低分辨率测试图像块与最大近邻低分辨率训练图像块之间的最优重建系数；l_i为最大近邻低分辨率训练图像块的特征向量；v_i为最大近邻低分辨率训练图像块对应的投影值；为最大近邻低低分辨率训练图像块对应的最佳投影方向；K为正整数，也即最大近邻低分辨率训练图像块的数目；μ为大于0小于等于1的预置的控制参数。

需要说明的是，在上述使用最佳投影方向以及投影值来确定处理后的高分辨率测试图像块的方式下，至少可以获得以下优点：第一，训练数据库中不需要再保存高分辨率训练图像块，而投影值所占的存储空间远远小于高分辨率训练图像块所占的存储空间，因此可以节省存储空间。第二，公式(2)中的参数μ相当于是一个调整因子，能够通过调整μ的值来改变输出的高分辨率测试图像块的分辨率。例如，当μ的取值为0.5时，则输出的高分辨率测试图像块的分辨率可能是高分辨率训练图像块的分辨率的0.5倍，当μ的取值为0.8时，则输出的高分辨率测试图像块的分辨率可能是高分辨率训练图像块的分辨率的0.8倍，以此类推，因此，使得“连续变焦”成为可能；也就是说，在这种方式下，可以根据实际的需要来选择输出的高分辨率测试图像块的分辨率，而不是仅仅输出与高分辨率训练图像块的分辨率对应的图像块。

S204：按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

在针对各个低分辨率测试图像块得到处理后的高分辨率测试图像块之后，就可以按照低分辨率测试图像块在原始低分辨率测试图像中的位置，将各个处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

总之，在本发明实施例中，通过在训练数据库中保存低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，使得在进行超分辨率分析时，可以利用流形局部区域一致性信息对训练数据库中的低分辨率训练图像块进行筛选，只有流形局部区域一致性信息满足一定条件的低分辨率训练图像块才有可能成为待处理低分辨率测试图像块的最大近邻。这样，相当于既考虑了图像块之间的相似度，还考虑了流形局部区域一致性信息，因此，能够使得最终重建出的高分辨率测试图像块与真实的高分辨率图像块之间的一致性得到提高，进而提高了超分辨率分析的质量及有效性。

其次，可以将从低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向作为上述一致性信息，并且还可以在训练数据库中保存高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量到所述最佳投影方向的投影值，这样，能够实现“连续变焦”，并且由于不需要在训练数据库中保存高分辨率训练图像块，因此，能够减小训练数据库所占用的存储空间。

与本发明实施例提供的基于单幅图像进行超分辨率分析的方法相对应，本发明实施例还提供了一种基于单幅图像进行超分辨率分析的系统，在该系统中，首先需要根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，该训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，在此基础上，参见图3，该系统包括：

预处理单元301，配置为将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；

查找单元302，配置为对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；

确定单元303，配置为根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率图像块；

后处理单元304，配置为按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

其中，具体实现时，流形局部区域一致性信息可以是指从低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向，此时，查找单元302具体可以配置为查找最佳投影方向符合预置条件的最大近邻低分辨率训练图像块。例如，在查找出近邻低分辨率训练图像块之后，可以将最佳投影方向基本一致的近邻低分辨率训练图像块留下，然后再从中找出一定数目的最大近邻低分辨率训练图像块。

在以上述最佳投影方向为流形局部区域一致性信息的情况下，可以有多种确定低分辨率测试图像块对应的处理后高分辨率测试图像块的实现方式。例如，在一种实现方式下，可以在训练数据库中保存各个低分辨率训练图像块对应的高分辨率训练图像块，此时，参见图4，确定单元303具体可以包括：

获取子单元3031，配置为获取所述训练库中与所述最大近邻低分辨率训练图像块对应的高分辨率训练图像块；

第一确定子单元3032，配置为根据所述最大近邻低分辨率训练图像块对应的高分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块。

这种方式下，在选定最大近邻低分辨率训练图像块之后，具体的确定低分辨率测试图像块对应的处理后高分辨率测试图像块的方法相当于与已有技术的方法可以是相同的，当然，不同之处在于，本发明实施例在选择最大近邻低分辨率训练图像块时，考虑了最佳投影方向的因素，会将一些最佳投影方向不符合条件的低分辨率训练图像块剔除，这样，可以使得重建出的高分辨率测试图像块更接近于实际的情况。

在另一种方式下，还可以在训练数据库中保存高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量到所述最佳投影方向的投影值；此时，参见图5，确定单元203可以包括：

第二确定子单元3033，配置为根据所述最大近邻低分辨率训练图像块、所述最佳投影方向以及所述投影值，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块。

具体地，第二确定子单元3033可以通过公式(2)来计算处理后的高分辨率测试图像块的特征向量h，并根据得到的特征向量h来确定所述处理后高分辨率测试图像块。

在这种方式下，相当于实现了“连续变焦”，可以根据实际的需要来选择输出的高分辨率测试图像块的分辨率，而不是仅仅输出与高分辨率训练图像块的分辨率对应的图像块。

另外，参见图6，在本发明实施例的系统中，还可以包括：

最佳投影方向获取单元305，配置为获取从某低分辨率训练图像块到其对应的高分辨率训练图像块的最佳投影方向；

具体地，该最佳投影方向获取单元305具体可以包括：

查找子单元3051，配置为针对该高分辨率训练图像块在高分辨率训练图像块集合中，查找M个最大近邻高分辨率训练图像块，其中，M为正整数；

第一计算子单元3052，配置为在所述训练集的低分辨率训练图像块集合中查找所述最大近邻高分辨率训练图像块对应的低分辨率训练图像块，并计算所述最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；

最优重建系数获取子单元3053，配置为获取该高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；

第二计算子单元3054，配置为根据该最优重建系数以及差分向量，计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向。

其中，第二计算子单元3054具体可以通过公式(1)来计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向。

总之，通过在训练数据库中保存低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，使得在进行超分辨率分析时，可以利用流形局部区域一致性信息对训练数据库中的低分辨率训练图像块进行筛选，只有流形局部区域一致性信息满足一定条件的低分辨率训练图像块才有可能成为待处理低分辨率测试图像块的最大近邻。这样，相当于既考虑了图像块之间的相似度，还考虑了流形局部区域一致性信息，因此，能够使得最终重建出的高分辨率测试图像块与真实的高分辨率图像块之间的一致性得到提高，进而提高了超分辨率分析的质量及有效性。

另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图7所示的通用个人计算机700安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图7中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，也根据需要存储当CPU 701执行各种处理等等时所需的数据。

CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。

下述部件连接到输入/输出接口705：输入部分706，包括键盘、鼠标等等；输出部分707，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分708，包括硬盘等等；和通信部分709，包括网络接口卡比如LAN卡、调制解调器等等。通信部分709经由网络比如因特网执行通信处理。

根据需要，驱动器710也连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

虽然已经详细说明了本发明及其优点，但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

关于包括以上实施例的实施方式，还公开下述附记：

附记1、一种基于单幅图像进行超分辨率分析的方法，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述方法包括：

将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；

对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；

根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；

按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

附记2、根据附记1所述的方法，所述流形局部区域一致性信息包括从低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；

所述查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块样本包括：

查找最佳投影方向符合预置条件的最大近邻低分辨率训练图像块。

附记3、根据附记2所述的方法，所述训练数据库中还保存有各个低分辨率训练图像块对应的高分辨率训练图像；

所述根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块包括：

获取所述训练库中与所述最大近邻低分辨率训练图像块对应的高分辨率训练图像块；

根据所述最大近邻低分辨率训练图像块对应的高分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块。

附记4、根据附记2所述的方法，所述训练数据库中还保存有高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量到所述最佳投影方向的投影值；

所述根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块包括：

根据所述最大近邻低分辨率训练图像块、所述最佳投影方向以及所述投影值，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块。

附记5、根据附记4所述的方法，所述根据所述最大近邻低分辨率训练图像块、所述最佳投影方向以及所述投影值，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块包括通过如下方式计算处理后的高分辨率测试图像块的特征向量h，并根据得到的特征向量h来确定所述处理后高分辨率测试图像块：

$h=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i(l_i+\mathrm{\μ}*v_i\stackrel{\→}{n_i})$

其中，w_i为原始低分辨率图像中的图像块与最大近邻低分辨率训练图像块之间的最优重建系数；

l_i为最大近邻低分辨率训练图像块的特征向量；

v_i为最大近邻低分辨率训练图像块对应的投影值；

为最大近邻低分辨率训练图像块对应的最佳投影方向；

K为表示最大近邻低分辨率训练图像块的数目的正整数，μ为大于0小于等于1的预置的控制参数。

附记6、根据附记2至5任一项所述的方法，还包括：通过以下方式获取从某低分辨率训练图像块到其对应的高分辨率训练图像块的最佳投影方向：

针对该高分辨率训练图像块在高分辨率训练图像块集合中，查找M个最大近邻高分辨率训练图像块，其中，M为正整数；

在所述训练集的低分辨率训练图像块集合中查找所述最大近邻高分辨率训练图像块对应的低分辨率训练图像块，并计算所述最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；

获取该高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；

根据该最优重建系数以及差分向量，计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向。

附记7、根据附记6所述的方法，所述根据该最优重建系数以及差分向量，计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向包括：

$\stackrel{\→}{n_s}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{wH}}_i(h_i-{\mathrm{Fl}}_i)$

其中，为低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；

wH_i为高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；

h_i为各最大近邻高分辨率训练图像块的特征向量；

Fl_i为各最大近邻高分辨率训练图像块对应的低分辨率训练图像块的特征向量；

h_i-Fl_i为最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；

M为正整数。

附记8、一种基于单幅图像进行超分辨率分析的系统，预先根据训练集中的高分辨率图像块块样本以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述系统包括：

预处理单元，配置为将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；

查找单元，配置为对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；

确定单元，配置为根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；

后处理单元，配置为按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

附记9、根据附记8所述的系统，所述流形局部区域一致性信息包括从低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；

所述查找单元具体配置为：

查找最佳投影方向符合预置条件的最大近邻低分辨率训练图像块。

附记10、根据附记9所述的系统，所述训练数据库中还保存有各个低分辨率训练图像块对应的高分辨率训练图像；

所述确定单元包括：

获取子单元，配置为获取所述训练库中与所述最大近邻低分辨率训练图像块对应的高分辨率训练图像块；

第一确定子单元，配置为根据所述最大近邻低分辨率训练图像块对应的高分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块。

附记11、根据附记9所述的系统，所述训练数据库中还保存有高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量到所述最佳投影方向的投影值；

所述确定单元包括：

第二确定子单元，配置为根据所述最大近邻低分辨率训练图像块、所述最佳投影方向以及所述投影值，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块。

附记12、根据附记11所述的系统，所述第二确定子单元通过如下方式计算处理后的高分辨率测试图像块的特征向量h，并根据得到的特征向量h来确定所述处理后高分辨率测试图像块：

$h=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i(l_i+\mathrm{\μ}*v_i\stackrel{\→}{n_i})$

其中，w_i为原始低分辨率测试图像中的低分辨率测试图像块与最大近邻低分辨率训练图像块之间的最优重建系数；

l_i为最大近邻低分辨率训练图像块的特征向量；

v_i为最大近邻低分辨率训练图像块对应的投影值；

为最大近邻低分辨率训练图像块对应的最佳投影方向；

K为表示最大近邻低分辨率训练图像块的数目的正整数，μ为大于0小于等于1的预置的控制参数。

附记13、根据附记9至12任一项所述的系统，还包括：

最佳投影方向获取单元，配置为获取从某低分辨率训练图像块到其对应的高分辨率训练图像块的最佳投影方向；

所述最佳投影方向获取单元具体包括：

查找子单元，配置为针对该高分辨率训练图像块在高分辨率训练图像块集合中，查找M个最大近邻高分辨率训练图像块，其中，M为正整数；

第一计算子单元，配置为在所述训练集的低分辨率训练图像块集合中查找所述最大近邻高分辨率训练图像块对应的低分辨率训练图像块，并计算所述最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；

最优重建系数获取子单元，配置为获取该高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；

第二计算子单元，配置为根据该最优重建系数以及差分向量，计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向。

附记14、根据附记13所述的系统，所述第二计算子单元具体通过以下方式计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向：

$\stackrel{\→}{n_s}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{wH}}_i(h_i-{\mathrm{Fl}}_i)$

其中，为低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；

wH_i为高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；

h_i为各最大近邻高分辨率训练图像块的特征向量；

Fl_i为各最大近邻高分辨率训练图像块对应的低分辨率训练图像块的特征向量；

h_i-Fl_i为最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；

M为正整数。

Claims (10)

1.一种基于单幅图像进行超分辨率分析的方法，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述方法包括：

将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；

对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；

根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；

按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

2.根据权利要求1所述的方法，所述流形局部区域一致性信息包括从低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；

所述查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块包括：

查找最佳投影方向符合预置条件的最大近邻低分辨率训练图像块。

3.根据权利要求2所述的方法，所述训练数据库中还保存有高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量到所述最佳投影方向的投影值；

所述根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块包括：

根据所述最大近邻低分辨率训练图像块、所述最佳投影方向以及所述投影值，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块。

4.根据权利要求3所述的方法，所述根据所述最大近邻低分辨率训练图像块、所述最佳投影方向以及所述投影值，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块包括通过如下方式计算处理后的高分辨率测试图像块的特征向量h，并根据得到的特征向量h来确定所述处理后高分辨率测试图像块：

$h=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i(l_i+\mathrm{\μ}*v_i\stackrel{\→}{n_i})$

其中，w_i为低分辨率测试图像块与最大近邻低分辨率训练图像块之间的最优重建系数；

l_i为最大近邻低分辨率训练图像块的特征向量；

v_i为最大近邻低分辨率训练图像块对应的投影值；

为最大近邻低分辨率训练图像块对应的最佳投影方向；

K为表示最大近邻低分辨率训练图像块的数目的正整数，μ为大于0小于等于1的预置的控制参数。

5.根据权利要求2至4任一项所述的方法，还包括：通过以下方式获取从某低分辨率训练图像块到其对应的高分辨率训练图像块的最佳投影方向：

针对该高分辨率训练图像块在高分辨率训练图像块集合中，查找M个最大近邻高分辨率训练图像块，其中，M为正整数；

在所述训练集的低分辨率训练图像块集合中查找所述最大近邻高分辨率训练图像块对应的低分辨率训练图像块，并计算所述最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；

获取该高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；

根据该最优重建系数以及差分向量，计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向。

6.根据权利要求5所述的方法，所述根据该最优重建系数以及差分向量，计算得到低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向包括：

$\stackrel{\→}{n_s}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{wH}}_i(h_i-{\mathrm{Fl}}_i)$

其中，为低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；

wH_i为高分辨率训练图像块与各个最大近邻高分辨率训练图像块之间的最优重建系数；

h_i为各最大近邻高分辨率训练图像块的特征向量；

Fl_i为各最大近邻高分辨率训练图像块对应的低分辨率训练图像块的特征向量；

h_i-Fl_i为最大近邻高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量；

M为正整数。

7.一种基于单幅图像进行超分辨率分析的系统，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述系统包括：

预处理单元，配置为将原始低分辨率图像进行预处理，得到多个低分辨图像块；

查找单元，配置为对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；

确定单元，配置为根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；

后处理单元，配置为按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

8.根据权利要求7所述的系统，所述流形局部区域一致性信息包括从低分辨率训练图像块到对应的高分辨率训练图像块的最佳投影方向；

所述查找单元具体配置为：

查找最佳投影方向符合预置条件的最大近邻低分辨率训练图像块。

9.根据权利要求8所述的系统，所述训练数据库中还保存有高分辨率训练图像块与对应的低分辨率训练图像块之间的差分向量到所述最佳投影方向的投影值；

所述确定单元包括：

第二确定子单元，配置为根据所述最大近邻低分辨率训练图像块、所述最佳投影方向以及所述投影值，确定所述低分辨率测试图像块对应的处理后高分辨率图像块。

10.根据权利要求9所述的系统，所述第二确定子单元通过如下方式计算处理后的高分辨率测试图像块的特征向量h，并根据得到的特征向量h来确定所述处理后高分辨率测试图像块：

$h=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i(l_i+\mathrm{\μ}*v_i\stackrel{\→}{n_i})$

其中，w_i为低分辨率测试图像块与最大近邻低分辨率训练图像块之间的最优重建系数；

l_i为最大近邻低分辨率训练图像块的特征向量；

v_i为最大近邻低分辨率训练图像块对应的投影值；

为最大近邻低分辨率训练图像块对应的最佳投影方向；

K为表示最大近邻低分辨率训练图像块的数目的正整数，μ为大于0小于等于1的预置的控制参数。