CN101639937A

CN101639937A - 一种基于人工神经网络的超分辨率方法

Info

Publication number: CN101639937A
Application number: CN200910195043A
Authority: CN
Inventors: 刘广明; 郭跃飞; 路红; 张军平
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2009-09-03
Filing date: 2009-09-03
Publication date: 2010-02-03
Anticipated expiration: 2029-09-03
Also published as: CN101639937B

Abstract

本发明属于统计模式识别与图像处理技术领域，具体为是一种基于人工神经网络的超分辨率方法。本发明利用人工神经网络，表达出低分辨率图像和高分辨率图像之间的函数映射关系，具体步骤包括创建训练集，建立BP神经网络进行训练，把训练得到的高分辨率图像按对应关系“粘贴”起来，既得超分辨率图像。本发明克服了以往以流形学习为基础的超分辨率算法耗时的缺点，得到了较好的效果。

Description

一种基于人工神经网络的超分辨率方法

技术领域

本发明属于统计模式识别与图像处理技术领域，具体涉及一种基于人工神经网络的超分辨率方法。

背景技术

超分辨率是图像处理领域中重要的研究任务之一。它是指利用一幅或者多幅低分辨率图像，通过相应的算法来获得一幅清晰的高分辨率图像。高分辨率意味着图像具有高象素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现的。

因此，利用现有的设备，通过超分辨率技术获取高分辨率图像具有重要的现实意义。具体来说，在社会安全和反恐中，要从低分辨率的图像和视频中发现潜在的危险往往是很困难的，尤其在距离较远时，人们希望能通过高分辨率图像捕获一些异常行为来提前预警。其次，传统的压缩技术存在理论上的上界，而如果引入超分辨技术，压缩前首先缩小图像，解码后再利用超分辨率技术还原图像，则可以进一步提高压缩率，这在手机、互联网、军事等场合低比特率传输以及高清电视和图像存贮方面都有着重要的市场前景，在天文学与航天上的超距图像传输也能从这一技术中获益。第三，高分辨率图像具有更多的重要细节信息，如高分辨率医学图像对辅助医生做出正确诊断非常有用；高分辨率卫星图像可以比较容易地区分相似物体等。第四，图像超分辨率技术，可以帮助修复破损的电影胶片、照片以及合成某些未知的虚幻脸，后者能帮助提高诸如人脸检测、识别等生物认证技术的性能。

当前，已提出了很多超分辨率算法：

文[1][2][3]是基于插值的超分辨率算法中的典型方法。这类算法很直观，首先估计各帧图像之间的相对运动信息，获得高分辨率图像在非均匀间距采样点上的象素值，接着通过非均匀插值得到高分辨率栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。

文[4][5][6]是基于重建的超分辨率算法，这类方法假定超分辨率图像在适当的变形、平移和子采样及噪声干扰下，利用多帧低分辨率图像作为数据一致性约束，并结合图像先验知识(通常是平滑性等)进行求解，一般包括两个部分：配准和重建。配准是获得其它低分辨率图像与参考低分辨率图像之间的亚象素精度的相对运动；重建是利用先验知识，对目标图像进行优化求解。

文[7][8]中利用隐马尔可夫模型作为超分辨率算法的基础。图像在训练集中是被分割成小块(patch)进行存放的，相邻的小块之间会有几个像素的交叠(overlap)，根据最大后验概率的准则构造目标函数，在训练集中找到待恢复图像每一个小块的候选块，通过最大化目标函数得到最后的结果。这种基于学习的方法相对于传统的基于插值和基于重建的方法，可以获得更加丰富的高频信息，恢复效果比较好。但是它的缺点是对训练样本的要求比较高。

文[9][10]中采用了流形学习的观点去看待低分辨率图像和高分辨率图像之间的关系。它假定了高分辨率和对应的低分辨率图像块在特征空间可以形成具有相同局部几何结构的流形。首先通过训练得到高分辨率图像块(patch)和低分辨率图像块的流形，接着对于测试样本中的每一个图像快，寻找其在低维流形中的k近邻表示，最后使用这些系数加权得到其在高维流形中的图像块的估计，作为返回的结果。文[9][10]中使用局部线性嵌入(Locally Linear Embedding)的思想从训练集中找到符合条件的高变分辨图像块通过加权计算得到最后的结果。局部线性嵌入实际上是隐式的反映出高维流形(对应高分辨率图像块)和低维流形(对应低分辨率图像块)之间的映射关系，并没有直观的给出映射函数，而是通过保持局部的几何结构进行计算。使用局部线性嵌入的超分辨率算法显而易见的缺点是耗时很多，对于每一个测试样本的图像块，都要先在训练集中找到它的k近邻，在训练集比较大的情况下，效率是非常低的。

文[11]把基于学习的超分辨率算法和基于重建的超分辨率算法相结合，在采用隐马尔可夫模型的基础之上又引入了点扩散函数参数作为一个结点，通过不断的迭代得到最后的结果。

发明内容

本发明的目的在于提出一种效率高的人脸识别、检测方法。

本发明提出的人脸识别、检测方法是一种基于人工神经网络的针对人脸超分辨率问题的方法。本发明方法的基础同样是用流形学习的观点去对待高分辨率图像和低分辨率图像之间的关系，即假定相似的图像，它们的高分辨率和对应的低分辨率图像块在特征空间上的映射关系也是相似的。本发明试图找到一个显式的映射函数去表达低维流形和高维流形之间的映射关系，以克服使用局部线性嵌入所存在的缺点。本发明通过对BP神经网络的训练，来寻找到低维流形和高维流形之间的映射函数的一个逼近，具体的步骤如下：

1，创建训练集。从人脸数据库中选取适当数量的图像作为训练集。针对人脸的超分辨率问题，我们以ORL人脸数据库为例。ORL数据库中包含40个人的人脸图像，每个人10幅，共400幅。我们选取ORL人脸数据库的200幅作为训练集，也就是每人5幅图像。对训练集中每一个图像(即高分辨率图像)，进行下采样(例如，2倍)，得到其低分辨率的版本，然后把两个版本的图像分别分割成若干像素值为2n×2n以及n×n的小块(patch)，小块包含的像素值依据图像的大小和计算代价确定，也就是说，小块包含的像素值比较少时，计算精度会增加，但是当图像很大的时候，小块数量会很多，直接增大了计算代价，相反小块包含的像素值比较多时，计算精度会降低，但是计算效率相对会提高，一般地，针对不同的数据集，可以通过实验来确定小块包含的像素个数。为了保证块与块之间的过渡平滑，小块之间有交叠(overlap)，交叠的像素值是一个可调的参数，小块在两个版本的图像中位置上是一一对应的(附图1)。每一个小块通过行扫描被拉成一个向量，向量的维数等于小块包含的像素个数。创建完成的训练集包括两组向量，维数分别为2n×2n以及n×n，对于在某一组中的一个向量，在另一组中就有一个和它对应的向量，它们之间的对应关系，就是由在对高分辨率和低分辨率版本图像分割时，图像块的位置对应关系所决定的。

2，建立BP神经网络进行训练。BP(Back Propagation)神经网络，即基于误差反向传播算法的人工神经网络，它的特点是可以逼近任意连续函数，具有很强的非线性映射能力，而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大。BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。BP神经网络的结构见附图2，设BP神经网络的结构包括输入层、隐层、输出层，其中，P是输入向量，IW和b₁分别是输入层到隐层的连接权值和偏差，LW和b₂分别是隐层到输出层的连接权值和偏差。训练BP神经网络的步骤如下：

(1)初始化，随机给定各连接权IW和LW以及偏差b₁和b₂。

(2)由给定的输入输出模式对计算隐层、输出层各单元输出。

(3)计算新的连接权及偏差，X_k+1＝X_k-α_kζ_k，其中X_k分别表示是当前的连接权值和偏差，即X_k表示当前的IW或LW或b₁或b₂，ζ_k是相应于当前的连接权IW或LW或偏差b₁或b₂梯度，由反向误差计算得到，α_k是设定的相应于当前连接权或偏差的学习率，它限定了每次修改连接权或偏差的尺度的大小。

(4)选取下一个输入模式对返回第2步，反复训练，直到网络输出误差达到要求，结束训练。

在本发明中，BP神经网络的输入是低分辨率图像块拉成的向量，输出的目标是与之对应的高分辨率图像块拉成的向量，中间隐层的神经元个数是一个可调的参数。使用第一步创建的训练集训练这一BP神经网络。训练好的BP神经网络可以看作是一个非线性的映射函数，把反映了低分辨率图像和高分辨率图像的映射关系，也就是说，当我们对其输入一个低分辨率图像块拉成的n×n维向量时，就可以显示的得到一个对应的高分辨率版本的2n×2n维向量，用这个向量就可以恢复得到一个高分辨率图像块。

3，对于新进的一个测试样本，也就是一幅低分辨率的图像，首先，按照第一步的方式把其分割成图像块，每块的大小为n×n，对于每一个图像块通过行扫描拉成一个向量，作为已经训练好的BP神经网络的输入，输出的结果是一个维数增加(分辨率增加)的2n×2n维向量，把这一向量恢复成图像块。把得到高分辨率图像块按照对应的位置关系“粘贴”起来，用求均值的方法得到图像块之间的交叠部分的像素值，这样就得到了最后的超分辨率的返回结果。

值得注意的是，本发明引用了局部线性嵌入(LLE)的思想，即认为高分辨率图像(高维流形)和低分辨率图像(低维流形)之间存在映射关系，但是基于局部线性嵌入的超分辨率方法只能隐式的表达这种映射关系，因此对于新的输入样本，总是必须先在训练集中找到与之邻近的训练样本，然后通过加权计算得到其高分辨率的结果，因为在训练集中查找K近邻的代价很高，尤其是当训练集很大的时候，所以基于局部线性嵌入的超分辨率算法效率不高。采用BP神经网络的超分辨率算法可以解决这个问题，因为训练好的神经网络就是一个反应这种映射关系的非线性函数，新的测试样本进入时，可以直接计算出其对应的高维输出，所以本发明是一种高效快速，计算代价小的超分辨率方法。

附图说明

图1：高低分辨率图像分割出的图像块以及图像块之间的交叠图示。其中(a)为宏观图示，d表示交叠部分，(b)为微观交叠图示，(c)为具体像素交叠图示。

图2：BP神经网络结构图示。

图3：ORL人脸数据库的部分数据。

图4：对训练集中图片，交叠像素为0的实验结果，从左到右依次是，真实的高分辨率图像，两倍下采样的得到的低分辨率图像，本发明恢复的结果。

图5：交叠像素为0的实验结果，从左到右依次是，真实的高分辨率图像，两倍下采样的得到的低分辨率图像，本发明恢复的结果。

图6：对训练集中图片，交叠像素为1的实验结果，从左到右依次是，真实的高分辨率图像，两倍下采样的得到的低分辨率图像，本发明恢复的结果。

图7：交叠像素为1的实验结果，从左到右依次是，真实的高分辨率图像，两倍下采样的得到的低分辨率图像，本发明恢复的结果。

具体实施方式

下面以在ORL人脸数据库上的应用作为例子进一步描述本发明。ORL数据库中包含40个人的人脸图像，每个人10幅，同400幅，每个图像的大小是92×112个像素，我们选取其中的200幅作为训练集，也就是每人5幅图像，剩下的200幅作为测试集。包含两组实验，对应的是交叠像素为0和1两种情况。在实验中，低分辨率图像被分割成3×3的图像块，高分辨率图像被分割成6×6的图像块，BP神经网络输入层的神经元个数为9，输出层神经元个数为36，中间隐层的神经元个数为25。训练集中的高低分辨率图像分别被打散成54000个6×6像素和3×3像素的图像块，这些图像块被抽拉成向量对建立的BP神经网络进行训练。用测试集中的图像对训练好的BP神经网络进行测试，附图4-7中给出了测试结果。

图4是用训练集中的图像对训练好的BP神经网络进行测试，交叠像素值为0的超分辨率实验结果。

图5是用测试集中的图像对训练好的BP神经网络进行测试，交叠像素值为0的超分辨率实验结果。

图6是用训练集中的图像对训练好的BP神经网络进行测试，交叠像素值为1的超分辨率实验结果。

图7是用测试集中的图像对训练好的BP神经网络进行测试，交叠像素值为1的超分辨率实验结果。

引用资料：

[1]Rajan D，Chaudhuri S.Generalized interpolation and its application in super-resolutionimaging[J].Image and Vision Computing，2001，19(13)：957-969.

[2]Tao H J，Tang X J，J Liu，J W Tian.Super Resolution Remote Sensing Image ProcessingAlgorithm Based on Wavelet Transform and Interpolation[C].Proceedings of SPIE，Hangzhou，China：Society of Photo-Optical Instrumentation Engineers，2003：259-263.

[3]Lertrattanapanich S，Bose N K.High Resolution Image Formation From Low ResolutionFrames Using Delaunay Triangulation[J].IEEE Trans.Image Processing，2002，11(12)：1427-1441.

[4]Irani M，Peleg S.Super resolution from image sequences[J].ICPR-C，1990，90：115-120.

[5]Schultz R，Stevenson R.Improved definition video frame enhancement[C].Proceedings ofthe IEEE international Conference on Acoustics，Speech and Signal Processing，Detroit，MI：IEEE Press，1995：2169-2172.

[6]Stark H，Oskoui P.High-resolution image recovery from image-plane arrays，using convexprojections[J].Journal ofthe Optical Society of America A，1989，6(11)：1715-1726.

[7]Freeman W T，Jones T R，E C Pasztor.Example based superresolution[J].IEEE ComputerGraphics and Applications，2002，22(2)：56-65.

[8]Freeman W T，Pasztor E C，O T Carmichael.Learning low-level vision[J].InternationalJournal of Computer Vision，2000，40(1)：25-47.

[9]Chang H，Yeung D Y，Xiong Y.Super-Resolution Through Neighbor Embedding[C].Proc.of IEEE Conf.CVPR，Washington，DC：IEEE Press，2004：275-282.

[10]Su K，Qi T，Qing X，Sebe N，Ma J.Neighborhood Issue in Single-Frame ImageSuper-Resolution[C].IEEE International Conference on Multimedia and Expo，Amsterdam，the Netherlands：IEEE Press，2005：1122-1125.

Q.Wang，X.Tang，and H.Shum.Patch based blind image super resolution.In Proc.ICCV，volume 1，pages 709-716，2005。

Claims

1.一种基于人工神经网络的超分辨率的方法，其基础是用流形学习的观点去对待高分辨率图像和低分辨率图像之间的关系，即假定相似的图像，它们的高分辨率和对应的低分辨率图像块在特征空间上的映射关系也是相似的；其特征在于通过对BP神经网络的训练，来寻找到低维流形和高维流形之间的映射函数的一个逼近，具体的步骤如下：

一、创建训练集从人脸数据库中选取适当数量的图像作为训练集，对训练集中每一个图像即高分辨率图像，进行下采样，得到其低分辨率的版本，然后把两个版本的图像分别分割成若干像素值为2n×2n以及n×n的小块，小块包含的像素值依据图像的大小和计算代价确定；小块之间有交叠，交叠的像素值是一个可调的参数，小块在两个版本的图像中位置上是一一对应的；每一个小块通过行扫描被拉成一个向量，向量的维数等于小块包含的像素个数；创建完成的训练集包括两组向量，维数分别为2n×2n以及n×n，对于在某一组中的一个向量，在另一组中就有一个和它对应的向量，它们之间的对应关系，是由在对高分辨率和低分辨率版本图像分割时，图像块的位置对应关系所决定的；

二、建立BP神经网络进行训练设BP神经网络的结构包括输入层、隐层、输出层，其中，P是输入向量，IW和b₁分别是输入层到隐层的连接权值和偏差，LW和b₂分别是隐层到输出层的连接权值和偏差，训练BP神经网络的步骤如下：

(1)初始化，随机给定各连接权IW和LW以及偏差b₁和b₂；

(2)由给定的输入输出模式对计算隐层、输出层各单元输出；

(3)计算新的连接权及偏差，X_k+1＝X_k-α_kζ_k，其中，X_k表示当前的IW或LW或b₁或b₂，ζ_k是相应于当前的连接权IW或LW或偏差b₁或b₂的梯度，由反向误差计算得到，α_k是设定的相应于当前连接权或偏差的学习率；

(4)选取下一个输入模式对返回第2步，反复训练，直到网络输出误差达到要求，结束训练；

三，对于新进的一个测试样本，首先，按照第一步的方式把其分割成图像块，每块的大小为n×n，对于每一个图像块通过行扫描拉成一个向量，作为已经训练好的BP神经网络的输入，输出的结果是一个2n×2n维向量，把这一向量恢复成图像块；把得到高分辨率图像块按照对应的位置关系粘贴起来，用求均值的方法得到图像块之间的交叠部分的像素值，即得到最后的超分辨率的返回结果。