CN107590775B - 一种利用回归树场的图像超分辨率放大方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，提供了一种利用回归树场的图像超分辨率放大方法，对于单幅图像的超分辨率重建融合来说，主要由准备数据集、分析不同超分辨率融合算法的优缺点和选择需要融合的超分辨率算法以及选择用于融合的算法三部分构成。本发明的所采用的方法好处如下：(1)时间成本与硬件需求低；(2)采用开创性的算法融合。

Description

一种利用回归树场的图像超分辨率放大方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及面单幅图像的超分辨率重建的方法。

背景技术

图像的分辨率大小是决定一幅图像视觉效果好坏的一个很重要的因素，随着网络的发展以及手机等电子产品的广泛使用，人们对分辨率更高、视觉体验更好的图像的需求变得越来越大。提高图像的分辨率可以通过硬件或者软件实现，但前者存在着价格昂贵、仪器携带不便等问题，因此通过计算机软件的处理将低分辨率图片变成高分辨率图片的价格优势和方便性十分突出，并且不受到硬件性能的限制，可以按照自己的意愿将图片进行超分辨率放大。

图像超分辨率(简称SR)是计算机视觉领域中一个基础而重要的问题，随着科学技术的发展，超分辨率技术及其相关领域的研究不断取得新的突破。输入一张低分辨率的图片，超分辨率算法会生成一张高分辨率图片作为输出。在超分辨率领域应用的算法种类很多，根据对图像的处理方式的不同，大致可以分为以下的四种类型。

(1)传统处理方式

早期图像的超分辨率重建的方法是基于图像的插值，其中包括nearest neighbor插值算法，bilinear插值方法，bicubic插值算法和Lanczos插值算法。由于在处理时间和在平滑区域处理效果很好这些处理方式被广泛的应用，在画图和PhotoShop等软件中集成的改变图像大小的算法就是双三次插值算法。这些传统的超分辨率重建算法适合于并行计算，对图像的重建速度较快，能够满足实时处理的需求，但由于在放大的过程张不能够提供额外的高频信息，因此在最终超分辨率放大的结果中很难得到锐化的效果，即在区域的边界和高频信息较多的区域处理的效果较差。在高频信息较多区域例如人脸、头发、纹理信息较多的区域，传统的处理方式处理的结果会形成模糊的效果。在高频和低频交界的区域即图像中的轮廓区域，会形成条纹状的噪声。

(2)基于学习的处理方式

基于学习的图像超分辨率方法主要集中于学习低分辨率图片(简称LR)和高分辨率图片(简称HR)之间的映射关系。利用高分辨率图像的先验信息进行超分辨率重建以获得高分辨率图像。总体上看，有两种不同的映射关系：利用外部数据库学习映射关系以及通过内部数据库直接学习映射关系。

很多的超分辨率方法从外部数据库中学习高分辨率图片和低分辨率图片之间的映射关系，然后以块编码策略的方式利用不同的复杂的模型刻画这种映射关系。有些方法用核主成分分析的方式学习映射关系，有的超分辨率算法寻找低分辨率图像块和与之对应的高分辨率图像块之间的稀疏表示来刻画他们之间的映射关系，有的超分辨率算法使用与编码低分辨率图像块和高分辨率图像块相似但完全不同的模块。

总体来说利用外部数据库可以从大量的外部数据击中学习得到很多维度的映射关系，可以达到一个很好的结果。但是这些算法需要在超分过程中大量的寻找匹配的高分辨率图像块，这样做的效率很低，所花费的时间很长。另外，这些方法不能够做到任意尺寸的超分辨率放大，如果训练的模型是放大2倍的模型，那么这个模型不能够用于处理放大3倍，必须重新训练用于放大3倍的新模型才能够用于测试放大3倍的图片。这就造成了基于学习的模型不具有任意尺寸放大的普适性。

基于内部数据库的学习方法充分地利用输入图片，把输入图片切割成图像块建立数据库，然后直接从输入的图像中学习映射关系。例如，通过下采样图像金字塔来探索在输入的低分辨率图像之中的自相似性。此外，有的超分辨率算法使用一个改进的图像块匹配算法，将每一个低分辨率图像块扭曲，在输入的低分辨率图像中找到与之匹配最好的图像块，然后将匹配到的图像块反扭曲之后得到的图像块作为高分辨率图像块。这两篇文章的方法都避免了在学习映射关系时的大量的计算代价，但是如果输入的低分辨率图片没有很多的自相似性的话，这样的得到的结果会不可避免的变差。所以这类方法更适合于处理像建筑物这样本身自相似性很强的图片，但是遇到人脸等一些自相似性不高的图片，结果就会变得很差。

(3)深度学习模型

深度学习的概念起源于对人工神经网络的研究，是机器学习分支中的一个新的研究领域和研究热点，主要目标是建立和模拟人的大脑进行分析学习的神经网络，它模仿人的大脑思考的机制来解释数据，例如图像、声音和文本等。深度学习技术在超分辨率重建领域的应用使得超分辨率算法最终生成图像的质量得到了很大的提升，香港中文大学汤晓鸥教授的实验室提出的SRCNN(Super ResolutionConvolutional Neural Network)与传统的超分辨率方法不同，SRCNN直接学习低分辨率图像经过双三次插值放大之后的图像和高分辨率图像之间的非线性映射关系，这种端对端的学习方式确保了学习的准确性，效果提高也很明显。SRCNN仅有三层网络结构，DRSR(Deeply-recursive convolutional networkfor image superresolution)通过循环设置卷积层将SRCNN扩展到一个很深的网络结构，处理的效果提升很多然而在计算的时间上消耗很多。最近汤晓鸥教授等人的团队在SRCNN的基础上对神经网络的结构进行改进，提出了一个加速的高速神经网络FSRCNN(Accelerating the super-resolutionconvolutional neural network)。FSRCNN与SRCNN不同的地方在于FSRCNN直接学习低分辨率图像和高分辨率图像之间的映射关系，另外它也提出了一个沙漏状的网络结构。输入的低分辨率图像不需要先用双三次插值的方式放大到与原始图片一样大，可以在没有预处理的情况下直接送到网络中，在最后利用反卷积层将图像进行放大，这样直接学习输入图像和输出图像的映射关系让处理结果更好，丢失的细节信息也变得更少。FSRCNN在恢复图像高质量的前提下，处理时间也很快。相对于SRCNN，FSRCNN超分辨率的处理速度提高了数十倍，能够在普通的CPU上实现对图像的实时处理，但是在普通CPU上面处理的速度较慢。

发明内容

本发明基于回归树场的超分辨率融合算法，对于单幅图像的超分辨率重建融合来说，主要由准备数据集、分析不同超分辨率融合算法的优缺点和选择需要融合的超分辨率算法以及选择用于融合的算法三部分构成。

一种利用回归树场的图像超分辨率放大方法，步骤如下：

(1)数据集的建立：

训练集的好坏很大程度上影响了超分辨率算法训练的模型的好坏，具体包括以下两点：

第一，为了在模型的训练过程中能够训练到不同的图片场景，本发明在ImageNet数据集的图片根据人物、动物、飞机、车辆、水果、建筑物、自然场景等不同的场景进行选择，得到了包含种类更多的新的包含300-400张图片的训练集；

第二，在测试阶段，为了让测试结果更具有说服力，建立一个包含多种种类的测试集对于评价一个超分辨率放大的模型很关键。本发明在ImageNet数据集上面的图片根据人物、动物、飞机、车辆、水果、建筑物、自然场景等不同的场景进行选择，得到了与训练图片完全不同的包含300-400张不同场景的测试图片，来检测不同超分辨率算法处理自然图片的普适性。以及人物、建筑物、人脸等不同类别的测试集，每个类别的测试集50-100张图片，运用这些不同种类的测试集可以明显的看出不同的超分辨率算法在不同类别的图片上的处理性能的优劣。

(2)超分辨率算法的分析与选择：

不同的超分辨率算法有着自己的优点。传统的处理方法在平滑区域处理速度较快，基于学习的处理方式的测试时间较短，网络以及深度学习的处理方式效果较好。本发明选择优势互补的A+(A+:Adjusted anchoredneighborhood regression for fast super-resolution)、SRCNN(Super ResolutionConvolutional Neural Network)、JOR(Jointlyoptimized regressors forimage super-resolution)和ANR(Anchored neighborhoodregressionfor fast example-based super-resolution)等算法进行融合。

(3)超分辨率算法的融合：

①图像的加权平均

图像的简单进行求平均值对所生成的结果的质量影响很大。所有超分辨率算法的权重相同，会导致所生成的图像效果好的超分辨率算法不能够起到很好的影响作用，而所生成图像的质量较差的超分辨率算法会在很大程度上降低最终超分辨率融合的图像质量。为了让峰值信噪比更高视觉效果更好的图片在求平均的过程中站到更大的比重，在尝试了简单的求平均之后，本发明采用了加权求平均的做法。加权平均满足公式(1)。

其中P_r是加权平均之后得到的图像块，n为所融合的超分辨率算法的数目，是第i个超分辨率算法的图像块，w_i即为第i个图像块所占的权重，P_i是第i个超分辨率算法所得到结果对应的图像块减去双三次插值结果所对应的图像块通过计算得到的方差。由于在几种超分辨率算法中之后传统的处理方式例如Bicubic的结果的质量是最差的，而其他的超分辨率算法所生成的图像的质量均优于双三次插值得到的结果。这意味着其他的超分辨率算法与双三次插值得到的结果做差之后是其他方法在双三次插值基础上对最终结果进行的提升，如果这样算得的方差越大，这意味着两者之间的相差很多，也就是这种超分辨率算法的结果比双三次插值得到的结果更好。但效果仍然比不上目前先进的算法所生成结果的效果。

②利用回归树场进行算法融合：

回归树场(Regression Tree Fields,简称RTF)，是一个用于图像标注问题的完全条件的随机场模型。为了解决图像标注问题，本发明训练了两个概率图模型(RTF)，附图2是本发明核心算法的概述，在具体实施方法中会进行详细地解释。

特征图像块的确定：针对训练集和测试集中的每幅图像，为了能够计算图像超分辨率放大的质量，将原图利用双三次插值的方法进行下采样缩小处理来得到低分辨率图像，这样再将低分辨率图像进行超分辨率放大之后即可得到与原图大小一致的高分辨率图像。将低分辨率图像再次运用双三次插值的方式放大到与原图一样的大小，在放大的图像X中每一个图像块x_i，在特征图像{X¹,X²,...,Xⁿ}中确定特征图像块

其中n为用于超分辨率融合的算法的数目；这些特征图像块被级联成矢量化的形式来对图像块x_i进行描述：

其中i∈[1,m]，m表示在图像X中图像块的总的数目。特征像素点的确定与特征图像块的确定过程相似，只需要把图像块替换成为像素点，这样就得到了矢量化的特征像素点：

图像块阶段融合：在将训练集和测试集的图像X转换成图像块过程中，采用一个2x2像素大小的滑动窗口，并且将特征图像也转换成与之相对应的特征图像块。从图像X中所得到的每一个图像块x_i以及其所对应的特征图像块

被认为是概率图模型中的一个节点。经过图像块阶段融合，可以得到粗糙的融合结果图像X_p。

像素点阶段融合：从图像块阶段融合得到的图像X_p比较粗糙，因为用RGB颜色的均值来描述每一个图像块。在图像块融合的基础上，本发明将图像X_p送到像素点融合阶段来提高图像最终的重建质量。两个融合阶段在一定程度上具有一定的相似性，很大的不同就是在像素点融合阶段的特征是像素点而不是图像块。我们把整张图像X_p认为是一张图，每一个像素点x_i以及其所对应的特征像素点

被认为是概率图模型中的一个节点。

本发明的有益效果：

(1)时间成本与硬件需求

①时间成本：

超分辨率重建方法很多，本发明把研究角度放在融合上，提出一种全新的适用于图像超分辨率研究领域的算法融合的方案。本发明充分地考虑了时间成本，由于神经网络的训练模型所需要的时间以及测试图片所需要的时间相对较长，本发明未采用很热门的神经网络作为超分辨率算法融合的首选算法，而采用训练时间和测试时间均较快的回归树场进行算法的融合。

②硬件需求：

本发明充分考虑了硬件需求，神经网络的训练通常需要GPU，通过GPU所具有的极强的计算能力来缩短在CPU上面神经网络高额的训练时间和测试时间，如若用CPU来训练网络往往时间会很长。因此神经网络需要更加强大的硬件需求，而本文提出的利用回归树场进行融合不需要很强大的GPU进行硬件支持，在CPU上即可快速完成模型的训练以及测试。

(2)开创性的算法融合：

算法分为两部分，第一部分利用到其余先进的超分辨率算法，第二部分将这些方法进行融合。在第一部分我们需要做的是调整不同方法的输出结果以适用于后续的融合，因此在第一部分是其他超分辨率算法的直接地学习低分辨率图像和高分辨率图像之间的映射关系，这样保证了我们所融合的算法能保证自己算法上的优点。在第二部分，我们用回归树场将不同算法得到的结果进行融合，将不同算法的优点融合互相补充，对超分辨率重建的图片的准确率进行提升。

附图说明

图1是传统处理方法效果展示，(a)原图(b)传统处理方式结果(c)残差图。

图2是超分辨率算法融合算法概况图。

图3是特征图像块的确定过程图。

图4是概率图模型图。

具体实施方式

为了更好地分析不同超分辨率算法的优劣，我们选择用残差图来比较算法处理结果的视觉效果，图1即为对传统处理方式得到的结果的分析。图1(a)是原图，(b)为传统处理方法放大之后的结果，(c)为原图减去传统处理方式放大结果之后的图像。由于原图减去传统处理结果所得到的残差图像在很多区域的像素值为0，为了得到更好的视觉效果比较将得到的残差结果的每一个像素点的像素值加上255的一半，因此得到了(c)的灰度图片。从中间的图像可与看出传统处理方法得到的结果有明显的模糊。为了更好地观察传统处理方式结果与原图之间的区别，通过观察(c)的残差图像便可以看到。在(c)中可以清晰地看到花的轮廓和背景的边界，这说明在这些轮廓区域传统处理方式的结果与原图之间相差的最多，从侧面可以说明传统处理方式的结果在轮廓区域也就是高频信息较多的区域处理的效果不佳。

本发明的核心算法流程如图2所示。LR即低分辨率输入图像，低分辨率图像经过Bicubic插值放大之后与JOR、A+和SRCNN等算法一同送到回归树场中进行第一阶段的融合。在第一阶段在不同超分辨率算法得到的图像的相同位置提取出特征图像块并串成特征向量送到回归树场中进行训练以及测试。在第一阶段结束后，第一阶段生成的图像与JOR、A+和SRCNN等算法一同再次送到回归树场中进行第二阶段的融合。第二阶段的融合是第一阶段融合的细化，第一阶段以图像块的形式进行融合，第二阶段以像素点的形式进行融合，类似的在第二阶段每种超分辨率算法得到的图像的对应像素点提取出特征像素点，将这些特征像素点串成特征向量送到回归树场中进行训练以及测试得到最终我们的结果。

特征图像块的确定如图3所示。给出低分辨率图像X_L，用Bicubic插值方法将图片放大得到与高分辨率图像像素点相同的图像X。同时利用低分辨率图像X_L，使用不同的超分辨率算法得到n个特征图像{X¹,X²,...,Xⁿ}。在图像X中的图像块x₁，它在特征图像中所对应的图像块即为它的特征图像块

图4介绍了概率图模型。在图像块融合阶段将图像块作为概率图的节点。给出一个3x3大小的图像和一个2x2大小的图像块。我们应用一个2x2像素大小的滑动窗口滑过图像，将当前滑动窗口内像素点的均值和协方差送入到图中的节点。

Claims (1)

1.一种利用回归树场的图像超分辨率放大方法，其特征在于，步骤如下：

(1)数据集的建立

第一，在ImageNet数据集的图片根据人物、动物、飞机、车辆、水果、建筑物、自然场景不同的场景进行选择，得到300-400张包含不同场景图片的训练集；

第二，在ImageNet数据集的图片根据人物、动物、飞机、车辆、水果、建筑物、自然场景不同的场景进行选择，得到与训练集完全不同的300-400张包含不同场景的总测试集以及有针对的不同类别的测试集，每个类别的测试集包括50-100张图片；

(2)超分辨率算法的分析与选择

选择优势互补的A+、SRCNN、JOR和ANR四种超分辨率算法进行融合；

(3)超分辨率算法的融合

①图像的加权平均

本方法采用加权求平均法，加权平均满足公式(1)：

其中，P_r是加权平均之后得到的图像块；n为所融合的超分辨率算法的数目，是第i个超分辨率算法的图像块；w_i即为第i个图像块所占的权重；P_i是第i个超分辨率算法所得到结果对应的图像块减去双三次插值结果所对应的图像块，通过计算得到的方差；

②利用回归树场进行算法融合：

本方法训练了两个概率图模型

特征图像块的确定：针对训练集和测试集中的每幅图像，为了计算图像超分辨率放大的质量，将原图像利用双三次插值方法进行采样缩小处理，得到低分辨率图像，再将低分辨率图像进行超分辨率放大，即得到与原图像大小一致的高分辨率图像；将低分辨率图像再次运用双三次插值的方式放大到与原图像一样的大小，在放大的图像X中每一个图像块x_i，在特征图像{X¹,X²,...,Xⁿ}中确定特征图像块

其中n为用于超分辨率融合的算法的数目；上述特征图像块被级联成矢量化的形式来对图像块x_i进行描述：

其中，i∈[1,m]，m表示在图像X中图像块的总的数目；特征像素点的确定与特征图像块的确定过程相同，只需要把图像块替换成为像素点，得到矢量化的特征像素点：

图像块阶段融合：在将训练集和测试集的图像X转换成图像块过程中，采用一个2x2像素大小的滑动窗口，并且将特征图像也转换成与之相对应的特征图像块；从图像X中所得到的每一个图像块x_i以及其所对应的特征图像块

被认为是概率图模型中的一个节点；经过图像块阶段融合，得到粗糙的融合结果图像X_p；

像素点阶段融合：在图像块阶段融合的基础上，将图像X_p送到像素点融合阶段来提高图像最终的重建质量；两个融合阶段具有相似性，不同就是在像素点融合阶段的特征是像素点而不是图像块；把整张图像X_p认为是一张图，每一个像素点x_i以及其所对应的特征像素点

被认为是概率图模型中的一个节点。

Images