CN106796716A - 用于为低分辨率图像提供超分辨率的设备和方法 - Google Patents

Abstract

公开一种用于为低分辨率图像提供超分辨率的设备。所述设备可包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示，以生成所述低分辨率图像的高分辨率图像。还公开一种用于为低分辨率图像提供超分辨率的方法。

Description

用于为低分辨率图像提供超分辨率的设备和方法

技术领域

本申请总体涉及图像处理的领域，确切地说，涉及用于为低分辨率图像提供超分辨率的设备和方法。

背景技术

超分辨率(SR)是提高成像系统的分辨率的一类技术。用于单个图像的超分辨率的近来现有技术方法多数是基于实例的(example-based)。这些方法利用相同图像的内部相似度，或者从外部低分辨率和高分辨率实例对中学习映射函数。基于外部实例的方法通常具有充足的样本，但其难点在于如何有效并简要地对数据进行建模。

一类现有技术SR方法学习高/低分辨率图像块(patch)之间的映射。这些研究的不同之处在于如何学习简明字典(compact dictionary)或多方面的空间(manifold space)以将低/高分辨率图像块关联起来，并且在如何在此类空间中建立表示方案(representation scheme)的方面也是不同的。在这些方法中，图像块的优化是焦点；图像块提取和聚合步骤被视作预处理/后处理并且单独地进行处理。

卷积神经网络(CNN)追溯到数十几年前，而近年来，部分地由于它成功进行图像分类而异常流行起来。卷积神经网络通常应用于自然图像去噪和去除噪音图案(污物/雨)，但从未用于图像超分辨率问题。

发明内容

根据本申请的实施方式，公开了用于为低分辨率图像提供超分辨率的设备。所述设备可包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示以生成所述低分辨率图像的高分辨率图像。

根据本申请的实施方式，公开了用于为低分辨率图像提供超分辨率的方法，所述方法可包括：通过包括第一组滤波器的图像块提取与表示装置从低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量；通过包括第二组滤波器的映射装置将每个高维向量非线性地映射为高分辨率图像块表示；以及聚合高分辨率图像块表示，以生成高分辨率图像。

根据本申请的实施方式，公开了对用于为低分辨率图像提供超分辨率的卷积神经网络系统进行训练的方法，并且所述方法可包括：1)从预定训练集中对低分辨率子图像及其对应的标定真实高分辨率子图像进行采样；2)通过卷积神经网络系统将低分辨率子图像重建到高分辨率子图像；3)通过比较重建的高分辨率子图像与标定真实高分辨率子图像之间的不同来生成重建误差；4)通过卷积神经网络系统将重建误差反向传播，以便调整卷积神经网络系统的神经元之间的连接的权重；以及重复步骤1)到4)，直到重建误差的平均值小于预设阈值。

根据本申请的实施方式，公开了用于为低分辨率图像提供超分辨率的设备，所述设备可包括：重建单元，其被配置成基于预定参数将低分辨率图像重建到高分辨率图像；以及训练单元，其被配置成使用预定训练集来训练卷积神经网络系统，以便确定由重建单元使用的参数。重建单元可包括：图像块提取与表示装置，其被配置成从低分辨率图像中提取图像块并且基于预定参数将所提取的每个图像块表示为高维向量；映射装置，其被配置成将每个高维向量非线性地映射为高分辨率图像块表示；以及聚合装置，其被配置成聚合高分辨率图像块表示以生成高分辨率图像。图像块提取与表示装置、映射装置和聚合装置包括多个卷积层，并且多个卷积层相继连接到彼此以形成卷积神经网络系统。

与现有方法相比，本申请没有直接(explicitly)学习用于对图像块空间建模的字典或多样空间。这些经由卷积层而间接(implicitly)实现。此外，图像块提取和聚合也建模为卷积层并在优化中进行使用。在本申请的方法和设备中，使用较少的预处理/后处理通过训练来完全获取整个卷积神经网络。通过轻质的结构，本申请的设备和方法实现了比现有技术方法优越的性能。

附图说明

下文参考附图描述本发明的示例性非限制实施方式。附图是说明性的，并且一般不按确切比例。不同图上的相同或类似元件引用相同的附图标号。

图1是示出根据本申请的实施方式的用于为低分辨率图像提供超分辨率的设备的示意图。

图2是示出根据本申请的另一实施方式的用于为低分辨率图像提供超分辨率的设备的示意图。

图3是示出根据一些公开实施方式的卷积神经网络系统的示意图。

图4是示出根据一些公开实施方式的设备的训练单元的示意图。

图5是示出根据一些公开实施方式的训练单元的训练集准备装置的示意图。

图6是示出根据一些公开实施方式的用于为低分辨率图像提供超分辨率的设备在软件中实施时的示意图。

图7是示出根据一些公开实施方式的用于为低分辨率图像提供超分辨率的方法的示意流程图。

图8是示出符合一些公开实施方式的用于对为低分辨率图像提供超分辨率的训练卷积神经网络系统进行训练的方法的示意流程图。

具体实施方式

本部分将详细说明示例性实施方式，这些实施方式的实例将在附图中说明。在适当的时候，附图中相同的附图标号始终指代相同或相似部分。图1是示出符合一些公开实施方式的用于为低分辨率图像提供超分辨率的示例性设备1000的示意图。

参考图1，其中设备1000由硬件实施，它可包括图像块提取与表示装置100、映射装置200和聚合装置300。在图l所示的实施方式中，图像块提取与表示装置100可包括第一组滤波器，该组滤波器被配置成从低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量。映射装置200可包括第二组滤波器，该组滤波器被配置成将每个高维向量非线性地映射为高分辨率图像块。聚合装置300可被配置成聚合高分辨率图像块表示，以生成低分辨率图像的高分辨率图像。

根据实施方式，第一组滤波器被配置成从低分辨率图像中提取图像块并且根据第一参数的第一非线性函数将所提取的每个图像块表示为高维向量，其中第一参数是从与低分辨率图像相关联的预定参数中确定的。

根据实施方式，第二组滤波器被配置成根据第二参数的第二非线性函数将每个高维向量非线性地映射为高分辨率图像块表示，其中第二参数是从与高维向量相关联的预定参数中确定的。

在下文中，将进一步详细论述上文提及的第一组滤波器、第二组滤波器和聚合装置。为便于描述，低分辨率图像由Y表示，并且高分辨率图像由F(Y)表示，其尽可能地类似于标定真实高分辨率图像X。

第一组滤波器被配置成从低分辨率图像Y中提取图像块并且将所提取的每个图像块表示为高维向量。在实施方式中，这些向量包括特征图的集合，其中特征图的数量等于向量的维度。图像恢复的普遍策略是密集地提取图像块随后用预先训练的主要成分来表示所述图像块，诸如，PCA(主成分分析)、DCT(离散余弦变换)、Haar等。

根据实施方式，第一组滤波器可被模拟为运算F₁：

F₁(Y)＝F′(W₁*Y+B₁) (1)

其中W₁和B₁分别代表滤波器和偏差。此处，F'(x)是非线性函数，例如，max(0,x)、tanh(x)或l/(l+exp(-x))。在该实施方式中，W₁具有尺寸c×f₁×f₁×n₁，其中c是输入图像中的通道的数量，例如，如果输入图像是彩色图像，那么c是3，并且f₁是滤波器的空间尺寸，以及n₁是滤波器的数量。直观地说，W₁将n₁个卷积应用于图像，并且每个卷积具有核尺寸c×f₁×f₁。输出由n₁个特征图组成。B₁是n₁维向量，它的每个元素与滤波器相关联。

第二组滤波器被配置成将每个高维向量非线性地映射为另一高维向量。在该实施方式中，第一组滤波器提取每个图像块的n₁维特征。第二组滤波器将这些n₁维向量中的每个映射为n₂维向量中。每个映射的向量在概念上是高分辨率图像块的表示。这些向量包括特征图的另一集合。

根据实施方式，第二组滤波器可被模拟为运算F₂：

F₂(Y)＝F"(W2*F₁(Y)+B₂),(2)

其中W₂具有尺寸n₁×1×1×n₂，并且B₂是n₂维向量。此处，F"(x)是非线性函数，例如，max(0,x)、tanh(x)或l/(l+exp(-x))。在该实施方式中，输出的n₂维向量中的每个在概念上是将用于重建的高分辨率图像块的表示。

或者，有可能添加更多卷积层(其空间支持是l×l)以提高非线性。但这可显著增加卷积神经网络系统的复杂性，因而需要更多的训练数据和时间。

聚合装置300聚合高分辨率图像块表示以生成高分辨率图像。聚合装置300可被模拟为运算F₃：

F(Y)＝W₃*F₂(Y)+B₃,(3)

其中W₃具有尺寸n₂×f₃×f₃×c，并且B₃是c维向量。

如果高分辨率图像块的表示在图像域中(即，每个表示(representation)可简单地再成形以形成图像块)，那么滤波器可充当平均滤波器。如果高分辨率图像块的表示(representation)在一些其他域中(例如，就一些主要成分而言的系数)，那么W₃可表现为首先将系数投射到图像域上随后进行平均。在任一方式中，W₃都是一组线性滤波器。

根据实施方式，设备1000还可包括比较装置(未示出)，该比较装置被配置成从预定训练集中对与低分辨率图像对应的标定真实高分辨率图像进行采样，并且比较聚合的高分辨率图像与采样的标定真实高分辨率图像之间的不同，以生成重建误差。例如，重建误差包括均方误差。重建误差进行反向传播以确定参数，即，W₁、W₂、W₃、B₁、B₂和B₃。

在一个实施方式中，设备1000还可包括放大单元(未示出)，并且该放大单元被配置成将低分辨率图像放大到预定尺寸。例如，可通过使用双三次插值来放大低分辨率图像。在该实施方式中，放大是唯一的预处理。

图2是示出符合本申请的另一实施方式的用于为低分辨率图像提供的超分辨率的设备1000’的示意图。如图2所示，其中设备1000’由硬件实施，它可包括重建单元100’和训练单元200’。重建单元100’被配置成基于预定参数将低分辨率图像重建为高分辨率图像。

根据图2所示的实施方式，重建单元100’还可包括图像块提取与表示装置110’、映射装置120’和聚合装置130’。在该实施方式中，图像块提取与表示装置110’、映射装置120’和聚合装置130’可连接在一起以形成卷积神经网络系统。图3示出数学模拟模型中的卷积神经网络系统的层配置。在一个实施方式中，图像块提取与表示装置110’、映射装置120’和聚合装置130’中的每个可分别被模拟为至少一个卷积层。不同的操作分别在不同的卷积层执行。

在该实施方式中，图像块提取与表示装置110’被配置成从低分辨率图像中提取图像块并且基于预定参数将所提取的每个图像块表示为高维向量。这相当于通过如上文提及的一组滤波器来对图像进行卷积。

映射装置120’被配置成将每个高维向量非线性地映射为高分辨率图像块表示。这相当于应用如上文提及的具有微不足道的空间支持l×l的第二组滤波器。或者，有可能添加更多卷积层(其空间支持是l×l)以提高非线性。但这可显著增加卷积神经网络系统的复杂性，因而需要更多的训练数据和时间。

聚合装置130’被配置成聚合高分辨率图像块表示，以生成高分辨率图像。

在实施方式中，训练单元200’被配置成使用预定训练集来训练卷积神经网络系统，以确定由重建单元使用的参数，例如，W₁、W₂、W₃、B₁、B₂、B₃。根据如图5所示的实施方式，训练单元200’可包括采样装置210’、比较装置220’和反向传播装置230’。

采样装置210’可被配置成从预定训练集中对低分辨率子图像及其对应的标定真实高分辨率子图像进行采样，并且将低分辨率子图像输入到卷积神经网络系统。此处，“子图像”指的是被当作小“图像”而不是“图像块”的这些样本，在某种意义上，“图像块”是重叠的并且需要某一平均作为预处理，但“子图像”不需要。

比较装置220’可被配置成比较基于来自卷积神经网络系统的输入低分辨率子图像的所重建的高分辨率子图像与对应的标定真实高分辨率子图像之间的不同以生成重建误差。例如，重建误差可包括均方误差，并且通过使用随机梯度下降与标准反向传播来将该误差最小化。

反向传播装置230’被配置成将重建误差反向传播通过卷积神经网络系统，以调整卷积神经网络系统的神经元之间的连接的权重。

应注意，卷积神经网络系统并不排除其他种类的重建误差的使用，只要可导出重建误差即可。如果在训练期间给定更佳的感知激励度量，那么卷积神经网络系统可灵活地适应该度量。

在一个实施方式中，训练单元200’还可包括训练集准备装置，其被配置成准备用于训练卷积神经网络系统的预定训练集。图5是示出训练单元200’的训练集准备装置的示意图。如图所示，训练集准备装置可包括裁剪器241’、低分辨率子图像生成器242’、配对装置243’和收集器244’。

裁剪器241’可被配置成从随机选择的训练图像中随机裁剪多个子图像，以生成标定真实高分辨率子图像的集合。例如，裁剪器241’可裁剪各自具有m×m个像素的n个子图像。低分辨率子图像生成器242’可被配置成基于标定真实高分辨率子图像的集合来生成低分辨率子图像的集合。配对装置243’可被配置成将每个标定真实高分辨率子图像与对应的低分辨率子图像进行配对。收集器244’可被配置成收集所有的对，以形成预定训练集。

根据实施方式，低分辨率子图像生成器242’可包括模糊装置、采样装置和放大装置。模糊装置可被配置成通过高斯核而使每个标定真实高分辨率子图像模糊。采样装置可被配置成以预定比例因子对模糊的标定真实高分辨率子图像进行采样。放大装置可被配置成以预定比例因子放大采样的标定真实高分辨率子图像，以生成低分辨率子图像的集合。

应了解，设备1000和1000’可使用某一硬件、软件或它们的组合来实施。此外，本发明的实施方式可适于计算机程序产品，所述计算机程序产品体现在含有计算机程序代码的一个或多个计算机可读存储介质上(包括但不限于，磁盘存储器、CD-ROM、光学存储器等)。图6是示出符合一些公开实施方式的用于为低分辨率图像提供超分辨率的设备1000和1000’在软件中实施时的示意图。

在用软件实施设备1000和1000’的情况下，设备1000和1000’可包括通用计算机、计算机集群、主流计算机、专用于提供在线内容的计算装置，或者计算机网络，所述计算机网络包括一组以集中或分布方式操作的计算机。如图4所示，设备1000和1000’可包括一个或多个处理器(处理器102、104、106等)、存储器112、存储装置116以及促进设备1000的各种部件之间的信息交换的总线。处理器102到106可包括中央处理单元(“CPU”)、图形处理单元(“GPU”)或者其他合适的信息处理装置。根据所使用的硬件的类型，处理器102到106可包括一个或多个印刷电路板和/或一个或多个微处理器芯片。处理器102到106可执行计算机程序指令的序列，以执行将在下文更详细地说明的各种方法。

存储器112可尤其包括随机存取存储器(“RAM”)和只读存储器(“ROM”)。计算机程序指令可由存储器112存储、访问和从该存储器中读取，以便由处理器102到106中的一个或多个处理器执行。例如，存储器112可存储一个或多个软件应用。此外，存储器112可存储整个软件应用或者只存储可由处理器102到106中的一个或多个处理器执行的软件应用的一部分。应注意，尽管图1中只示出一个框，但存储器112可包括安装在中央处理装置或不同计算装置上的多个物理装置。

图7是示出符合一些公开实施方式的用于为低分辨率图像提供超分辨率的方法2000的示意流程图。下文可参考图7详细地描述方法2000。

在步骤S210处，由包括第一组滤波器的图像块提取与表示装置从低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量。在实施方式中，这些向量包括特征图的集合，其中特征图的数量等于向量的维度。图像恢复的普遍策略是密集地提取图像块随后用预先训练的主要成分来表示所述图像块，诸如，PCA、DCT、Haar等。

在步骤S220处，由包括第二组滤波器的映射装置将每个高维向量非线性地映射为高分辨率图像块表示。在该实施方式中，第一组滤波器提取每个图像块的n₁维特征。第二组滤波器将这些n₁维向量中的每个映射到n₂维向量中。在实施方式中，每个映射的向量在概念上是高分辨率图像块的表示。这些向量包括特征图的另一集合。

在步骤S230处，将高分辨率图像块表示聚合，以生成高分辨率图像。在实施方式中，这些步骤S210到S230可由上述公式(1)到(3)模拟。

根据实施方式，可从低分辨率图像中提取图像块并且根据第一参数的第一非线性函数将所提取的每个图像块表示为高维向量，其中第一参数是从与低分辨率图像相关联的预定参数中确定的。例如，F'(第一参数)可以是max(0，第一参数)、tanh(第一参数)或者l/(l+exp(-第一参数))。

根据实施方式，每个高维向量可根据第二参数的第二非线性函数映射为高分辨率图像块表示，其中第二参数是从与高维向量相关联的预定参数中确定的。例如，F"(第二参数)可以是max(0，第二参数)、tanh(第二参数)或者l/(l+exp(-第二参数))。

根据实施方式，在将高分辨率图像块表示聚合以生成高分辨率图像之后，方法2000还可包括从预定训练集中对与低分辨率图像对应的标定真实高分辨率图像进行采样的步骤，以及比较聚合的高分辨率图像与对应的标定真实高分辨率图像之间的不同以生成重建误差的步骤。重建误差进行反向传播，以便确定参数，即，W₁、W₂、W₃、B₁、B₂和B₃。

根据实施方式，在从预定训练集中对与低分辨率图像对应的标定真实高分辨率图像进行采样之前，方法2000还包括准备预定训练集的步骤。具体而言，首先从随机选择的训练图像中裁剪多个子图像，以生成标定真实高分辨率子图像的集合。例如，可裁剪各自具有m×m个像素的n个子图像。接下来，基于标定真实高分辨率子图像的集合来生成低分辨率子图像的集合。随后，将每个标定真实高分辨率子图像与对应的低分辨率子图像进行配对。随后，收集所有的对，以形成预定训练集。

之后是生成低分辨率子图像的可能方式。例如，每个标定真实高分辨率子图像被高斯核模糊，并且以预定比例因子对模糊的标定真实高分辨率子图像进行下采样。随后，以相同的预定比例因子将下采样的子图像放大，以便生成低分辨率子图像的集合。

在一个实施方式中，方法2000还可包括下列步骤：在从低分辨率图像中提取图像块之前，将低分辨率图像放大到预定尺寸(未示出)。

根据实施方式，示出用于针对为低分辨率图像提供超分辨率来训练卷积神经网络系统的方法3000。下文可参考图8详细地描述方法3000。

如图8所示，在步骤S310处，从预定训练集中对低分辨率子图像及其对应的标定真实高分辨率子图像进行采样。在步骤S320处，由卷积神经网络系统从低分辨率子图像中重建高分辨率子图像。在步骤S330处，通过比较重建的高分辨率子图像与标定真实高分辨率子图像之间的不同来生成重建误差。在步骤S340处，将重建误差反向传播通过卷积神经网络系统，以调整卷积神经网络系统的神经元之间的连接的权重。重复步骤S310到S340，直到重建误差的平均值小于预设阈值，例如，预定训练集中的低分辨率子图像与高分辨率子图像之间的均方误差的一半。

与现有方法相比，本申请没有明确学习用于对图像块空间建模的字典或多空间(manifold)。这些经由卷积层而暗示地实现。此外，图像块提取和聚合也制定为卷积层并包含在优化中。在本申请的方法和设备中，使用较少的预处理/后处理通过训练来完全获取整个卷积神经网络。通过轻质的结构，本申请的设备和方法实现了比现有技术方法优越的性能。

尽管已描述了本发明的优选实例，但在了解本发明基本概念后，所属领域的技术人员可对这些实例进行变化或更改。所附权利要求书意图包括落入本发明的范围内的优选实例和所有变化或更改。

显然，在不脱离本发明的精神和范围的情况下，所属领域的技术人员可对本发明进行变化或更改。因此，如果这些变化或更改属于权利要求书和等效技术的范围，那么它们也可落入本发明的范围内。

Claims (18)

1.一种用于为低分辨率图像提供超分辨率的设备，包括：

图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量的第一组滤波器；

映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及

聚合装置，其被配置成聚合所述高分辨率图像块表示，以生成所述低分辨率图像的高分辨率图像。

2.根据权利要求1所述的设备，其中所述第一组滤波器被配置成从所述低分辨率图像中提取所述图像块并且根据第一参数的第一非线性函数将所提取的每个图像块表示为所述高维向量，其中所述第一参数是从与所述低分辨率图像相关联的预定参数中确定的。

3.根据权利要求1或2所述的设备，其中所述第二组滤波器被配置成根据第二参数的第二非线性函数将每个所述高维向量非线性地映射为所述高分辨率图像块表示，其中所述第二参数是从与所述高维向量相关联的预定参数中确定的。

4.根据权利要求3所述的设备，其还包括：

比较装置，其被配置成从预定训练集中对与所述低分辨率图像对应的标定真实高分辨率图像进行取样，并且比较所述聚合的高分辨率图像与对应的标定真实高分辨率图像之间的不同以生成重建误差，其中所述重建误差进行反向传播，以确定所述第一参数和所述第二参数。

5.根据权利要求4所述的设备，还包括训练集准备装置，其中所述训练集准备装置还包括：

裁剪器，其被配置成从随机选择的训练图像中随机裁剪多个子图像，以生成标定真实高分辨率子图像的集合；

低分辨率子图像生成器，其被配置成基于所述真实高分辨率子图像的集合来生成低分辨率子图像的集合；

配对装置，其被配置成将所述标定真实高分辨率子图像中的每个与对应的低分辨率子图像进行配对；以及

收集器，其被配置成收集配对的标定真实高分辨率子图像和所述低分辨率子图像，以形成所述预定训练集。

6.根据权利要求5所述的设备，其中所述低分辨率子图像生成器还包括：

模糊装置，其被配置成通过高斯核而使每个所述标定真实高分辨率子图像模糊；

下采样装置，其被配置成以预定比例因子对模糊的标定真实高分辨率子图像进行下采样；以及

放大装置，其被配置成以预定放大因子放大下采样的标定真实高分辨率子图像，以生成所述低分辨率子图像的集合。

7.根据权利要求1所述的设备，其还包括：

放大单元，其被配置成将所述低分辨率图像放大到预定尺寸。

8.根据权利要求4所述的设备，其中所述重建误差包括均方误差。

9.一种用于为低分辨率图像提供超分辨率的方法，包括：

由包括第一组滤波器的图像块提取与表示装置从所述低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量；

由包括第二组滤波器的映射装置将每个所述高维向量非线性地映射为分辨率图像块表示；以及

聚合所述高分辨率图像块表示，以生成高分辨率图像。

10.根据权利要求9所述的方法，其中从所述低分辨率图像中提取图像块并且将所提取的每个图像块表示为高维向量还包括：

从所述低分辨率图像中提取图像块并且根据第一参数的第一非线性函数将所提取的每个图像块表示为所述高维向量，其中所述第一参数是从与所述低分辨率图像相关联的预定参数中确定的。

11.根据权利要求9或10所述的方法，其中将每个所述高维向量非线性地映射为高分辨率图像块表示还包括：

根据第二参数的第二非线性函数将每个所述高维向量非线性地映射为所述高分辨率图像块表示，其中所述第二参数是从与所述高维向量相关联的预定参数中确定的。

12.根据权利要求11所述的方法，其还包括：

从预定训练集中对与所述低分辨率图像对应的标定真实高分辨率图像进行采样；以及

比较所述聚合的高分辨率图像与对应的标定真实高分辨率图像之间的不同，以生成重建误差，其中所述重建误差进行反向传播，以确定所述第一参数和所述第二参数。

13.根据权利要求12所述的方法，其中在从预定训练集中对与所述低分辨率图像对应的标定真实高分辨率图像进行采样之前，还包括：

从随机选择的训练图像中随机裁剪多个子图像，以生成标定真实高分辨率子图像的集合；

基于所述标定真实高分辨率子图像的集合来生成低分辨率子图像的集合；

将每个所述标定真实高分辨率子图像与对应的低分辨率子图像进行配对；以及

收集配对的标定真实高分辨率子图像和所述低分辨率子图像，以形成所述预定训练集。

14.根据权利要求13所述的方法，其中基于所述标定真实高分辨率子图像的集合来生成低分辨率子图像的集合的步骤还包括：

通过高斯核而使每个所述标定真实高分辨率子图像模糊；

以预定比例因子对模糊的标定真实高分辨率子图像进行下采样；以及

以预定放大因子放大下采样的标定真实高分辨率子图像，以生成所述低分辨率子图像的集合。

15.根据权利要求9所述的方法，在从所述低分辨率图像中提取图像块之前，还包括：

将所述低分辨率图像放大到预定尺寸。

16.根据权利要求12所述的方法，其中所述重建误差包括均方误差。

17.一种对用于为低分辨率图像提供超分辨率的卷积神经网络系统进行训练的方法，包括：

1)从预定训练集中对低分辨率子图像及其对应的标定真实高分辨率子图像进行采样；

2)通过卷积神经网络系统将所述低分辨率子图像重建到高分辨率子图像；

3)通过比较重建的高分辨率子图像与所述标定真实高分辨率子图像之间的不同来生成重建误差；

4)将所述重建误差反向传播通过所述卷积神经网络系统，以调整所述卷积神经网络系统的神经元之间的连接的权重；以及

重复步骤l)到4)，直到所述重建误差的平均值小于预设阈值。

18.一种用于为低分辨率图像提供超分辨率的设备，其包括：

重建单元，其被配置成基于预定参数将所述低分辨率图像重建到高分辨率图像，其中所述重建单元包括：

图像块提取与表示装置，其被配置成从所述低分辨率图像中提取图像块并且基于所述预定参数将所提取的每个图像块表示为高维向量；

映射装置，其被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示；以及

聚合装置，其被配置成聚合所述高分辨率图像块表示，以生成高分辨率图像；其中所述图像块提取与表示装置、所述映射装置和所述聚合装置包括多个卷积层，所述多个卷积层相继连接到彼此以形成卷积神经网络系统；

训练单元，其被配置成使用预定训练集来训练所述卷积神经网络系统，以更改由所述重建单元使用的所述预定参数。