CN104657962B - 基于级联线性回归的图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于级联线性回归图像超分辨重建方法，主要解决现有方法重建过程不稳定、效率低，生成的高分辨图像存在过多伪像的问题。其实现过程是：(1)构建训练图像集；(2)对训练图像进行学习求出T组线性回归器和T组聚类中心；(3)对测试的低分辨图像进行预处理，得到初始估计高分辨图像，并提取图像不同分量；(4)对亮度分量进行分块，并对亮度特征块进行初始估计；(5)对初始估计特征块进行迭代更新和重建，得到高分辨图像块；(6)对高分辨图像块进行组合，得到高分辨亮度分量图像；(7)高分辨亮度分量图像与色度分量进行拼接，得到高分辨图像。本发明减少了伪像的产生，提高了重构图像的清晰度，可用于高清晰视频显示。

Description

基于级联线性回归的图像超分辨重建方法

技术领域

本发明属于图像处理技术领域，涉及图像超分辨重建方法，可用于卫星遥感成像领域、公共安全领域，高清晰视频显示、医学成像领域、计算机识别。

背景技术

图像在获得的过程中往往会受到大气的扰动、成像系统物理分辨率的限制，以及场景运动变化等诸多因素的影响，使得实际成像过程中往往存在光学模糊、运动模糊、欠采样和噪声等退化因素，导致成像系统只能得到质量较差、分辨率较低的图像或者图像序列，给后续的图像处理、分析和理解带来诸多困难。超分辨率重建技术是通过信号处理技术从单幅或者多幅可观察到的低分辨率图像重建高分辨率清晰图像，是提高降质图像分辨率的有效手段之一，因此在图像处理领域受到广泛的关注。

目前，大量关于图像超分辨重建方法被提出，主要分为三类：基于插值的方法、基于重构的方法和基于实例学习的方法。

一.基于插值的方法，是利用基函数或插值核来逼近损失的图像信息，从而实现图像的放大，如双线性插值、双立方插值等。基于插值的方法简单、高效，便于实时应用，但是该类方法不能有效恢复高频信息，易导致图像模糊，满足不了实际应用要求。

二.基于重构的方法，是通过利用多帧低分辨图像之间的互补信息，并将对图像的先验知识作为约束条件加入到图像的超分辨重建过程中，来求解成像系统的逆过程即去模糊、上采样和去噪，从而恢复成像过程中丢失的细节信息。这类方法的重建效果依赖于约束项的构造以及多帧图像之间配准的精确度，且不适用于放大倍数较大的超分辨重建。

三.基于学习的方法，是通过在训练数据集中学习低分辨与高分辨图像之间的映射关系，来预测低分辨图像中丢失的高频细节信息，从而实现高分辨图像的重建。基于学习的方法是目前研究较多的方法，主要分成基于概率图模型的方法、基于流形学习的方法、基于稀疏表示的方法、基于自相似的方法以及基于回归的方法。

a)基于概率图模型的方法基于概率图模型的方法，最早是由Freeman等人2000年在“W.Freeman,E.Pasztor,and O.Carmichael.Learning low-levelvision.International Journal of Computer Vision,40(1):25–47,2000.”中提出的，该方法使用Markov网络建立低分辨图像和高分辨场景之间的关系模型，并通过信念传播算法实现高分辨图像的最大后验估计。该方法依赖于大量样本的学习，计算复杂度较高。依赖于大量样本的学习，计算复杂度较高。

b)基于流形学习的方法，是将流形学习的思想引入到超分辨中，假设低分辨块与高分辨块之间流形结构是局部相似的，通过在训练集中寻找与输入的低分辨图像块相匹配的K个近邻，计算最小化重构误差，得到重构权值，并将权值应用到高分辨块的线性组合中，从而实现低分辨图像与高分辨图像之间的关系映射。由于自然图像结构的复杂性，使得低分辨图像块上的相似匹配在高分辨图像块上并非一致，同时该类方法中最近邻的个数k是固定的，从而该类方法易导致重建图像模糊和失真。

c)基于稀疏表示的方法，是将压缩感知理论应用到超分辨重建中，该方法首先通过训练生成一个由低分辨与高分辨图像块对构成的字典对，然后估计输入的低分辨图像块与训练集中低分辨字典中的原子之间的系数关系,并利用获得的系数关系线性组合对应高分辨字典中的原子，从而重建高分辨图像块。当训练数据集选择不合适时，这类方法重建图像中易产生伪像。

d)基于自相似的方法，是利用图像内部以及不同尺度的图像之间存在自相似冗余结构来获取重建所需的冗余信息，从而利用这些信息进行学习来估计高分辨图像。这类方法不依赖外部数据库，但是重建效果依赖于在图像内部以及不同尺度的图像之间是否存在足够的自相似冗余结构。

e)基于回归的方法，是通过首先在训练集中学习低分辨到高分辨的回归函数，然后利用学到的回归函数，将输入的低分辨图像映射为高分辨图像。虽然基于回归的方法能减少重建的伪像，但是由于现有回归函数的确定需要估计过多的参数，从而导致算法的泛化能力较差，而简单的回归函数又难以对高分辨图像与低分辨图像的复杂映射关系进行建模。

发明内容

本发明的目的在于针对上述现有方法的不足，提出一种基于级联线性回归的图像超分辨重建方法，以简单、快速、稳定和高效的重建图像细节，提高重建高分辨图像的清晰度。

实现本发明目的的技术方案包括如下步骤：

(1)从网络上选择N幅高分辨自然图像，并将这N幅高分辨图像从RGB空间转换到YCbCr空间，然后下采样s倍得到对应的低分辨图像，提取高分辨图像的亮度分量和低分辨图像的亮度分量构成训练数据集s>0，N>0；

(2)对训练数据集进行训练学习，得到T组线性回归系数和T组线性回归偏置以及T组估计特征块集合的聚类中心其中T为训练迭代次数，C为训练聚类的类数；

(3)给定任意一张测试的低分辨图像Y，将其从RGB空间转换到YCbCr空间，并利用双立方插值方法对低分辨图像Y进行上采样，得到初始估计高分辨图像并提取初始估计高分辨图像的亮度分量蓝色色度分量以及红色色度分量

(4)将亮度分量分为大小相同且相互重叠的图像块并计算每个图像块的均值{s_i}_i＝1,…,Q，其中Q为图像块的总个数；

(5)根据步骤(4)得到的参数计算初始估计的特征块：

(6)对初始估计特征块进行迭代更新，得到估计特征块

(7)利用步骤(6)得到的估计特征块和步骤(3)得到的图像块均值s_i重建高分辨亮度分量图像块

(8)将步骤(7)重建的图像块融合生成一幅对应于测试图像的清晰的高分辨亮度分量图像

(9)将步骤(8)生成的亮分辨度分量图像与步骤(3)得到的蓝色色度分量红色色度分量进行组合，得到组合图像并将组合图像由YCbCr空间转换到RGB空间，得到重建高分辨图像

与现有技术相比，本发明具有以下优点：

1.本发明由于采用了简单的线性回归函数，使得时间复杂度低，因此重建速度更快；

2.本发明由于在训练线性回归系数和线性回归偏置时以及在重建过程更新估计特征块时，采用了级联的回归形式，使得回归误差逐步减小，因此重建图像更加清晰。

附图说明

图1为本发明的实现总流程图；

图2为本发明的训练回归系数的子流程图；

图3为本发明的测试低分辨图像的估计特征块迭代更新子流程图；

图4为本发明方法与现有的BPJDL方法和SPM方法重建的高分辨图像的实验对比图。

具体实施方式

参照图1，本实例的实施步骤如下：

步骤1，构建训练图像集。

(1a)从网络上选择N幅高分辨自然图像，并将这N幅高分辨图像从RGB空间转换到YCbCr空间，然后下采样s倍得到对应的低分辨图像,N>0,s>0；

(1b)提取高分辨图像的亮度分量和低分辨图像的亮度分量构成训练数据集

步骤2，对高分辨图像进行初始估计。

利用双立方插值法对低分辨图像的亮度分量进行上采样s倍，作为相应的高分辨图像的初始估计

步骤3，构建训练特征块集合。

(3a)将初始估计图像和其对应的高分辨图像分为大小相同且相互重叠的图像块；

(3b)随机选择M对图像块作为训练图像块集

(3c)用训练图像块集中的每一个图像块的像素值减去其均值作为特征，构成训练特征块集合

步骤4，对训练特征块集合迭代求解T组级联的线性回归系数、线性回归偏置以及估计特征块集合的聚类中心。

参照图2，本步骤的具体实现如下：

(4a)在第t步，计算特征估计误差块

(4b)利用K-means方法对估计的特征块集合聚为C类，并得到C个聚类中心

(4c)求解C类特征块的的线性回归系数和线性回归偏置

(4c1)求第k类特征块的回归参数矩阵R：

其中()^T表示矩阵的转置，I为单位矩阵，M_k表示属于第k类的特征块个数，1≤k≤C；β>0，λ>0；

(4c2)求第k类的线性回归系数和线性回归偏置将回归参数矩阵R的前L-1列作为将回归参数矩阵R的最后1列作为其中L为R的列数；

(4c3)重复执行(4c1)至(4c2)，直至执行完C步；求得线性回归系数和线性回归偏置

(4d)重复执行(4a)-(4c)，直到T步迭代级联完成为止，从而得到T组线性回归系数和T组线性回归偏置以及T组估计特征块集合的聚类中心

步骤5，对测试的低分辨图像进行预处理。

(5a)给定任意一张测试的低分辨图像Y，将其从RGB空间转换到YCbCr空间；

(5b)利用双立方插值方法对低分辨图像Y进行上采样s倍，得到初始估计高分辨图像其中s>0；

(5c)提取初始估计高分辨图像的亮度分量蓝色色度分量以及红色色度分量

步骤6，对测试初始估计图像的亮度分量进行分块。

将亮度分量分为大小相同且相互重叠的图像块并计算每个图像块的均值{s_i}_i＝1,…,Q，其中Q为图像块的总个数。

步骤7，根据步骤6中的参数，对特征块进行初始估计。

将特征块的初始估计表示为其计算公式为：

步骤8，对初始估计的特征块进行迭代更新。

参照图3，本步骤的具体实现如下：

(8a)设迭代步数为T，在第m步计算每个估计特征块与C个类中心的距离，并找到与估计特征块距离最小的类中心其中1≤l≤C，1≤m≤T，T≥1；

(8b)利用步骤4中得到的线性回归系数以及线性回归偏置计算估计特征块误差

(8c)更新估计特征块为：

(8d)重复执行步骤(8a)-(8c)，直至执行完T步，得到估计特征块

步骤9，重建高分辨亮度分量图像块。

将重建的高分辨亮度分量图像块表示为计算公式如下：

其中为估计特征块，s_i为图像块均值；i＝1,…,Q。

步骤10，生成高分辨亮度分量图像。

将重建的图像块按照分割位置排列，生成一幅对应于测试图像的清晰的高分辨亮度分量图像其中两个图像块重叠像素点的像素值取两个块对应像素点的均值。

步骤11，生成重建高分辨图像。

(11a)求组合图像将生成的亮分辨度分量图像作为的亮度分量，将蓝色色度分量作为的蓝色色度分量，将红色色度分量作为的红色色度分量；

(11b)将组合图像由YCbCr空间转换到RGB空间，得到重建高分辨图像

本发明的效果可以通过以下仿真实验来进一步说明：

1,实验条件与实验说明

实现本发明的软件环境为美国Mathworks公司开发MATLAB R2012b，所用计算机为中央处理器为Intel Core i5-34703.20GHz、内存4G的个人电脑，所用操作系统为WINDOWS7操作系统。

实验中所用对比算法包括如下2种：

一是基于Beta过程联合字典学习(BPJDL)的重建方法，实验中记为BPJDL；参考文献为L.He,H.Qi,R.Zaretzki.Beta process joint dictionary learning for coupledfeature spaces with application to single image super-resolution.InProceedings of IEEE Conference on Computer Vision Pattern Recognition,pp.345-352,2013；

二是基于统计预测模型(SPM)的重建方法，实验中记为SPM；参考文献为PelegM.Elad.A statistical prediction model based on sparse representations forsingle image super-resolution.IEEE Transactions on Image Processing.vol.23,no.6,pp.2569–2582,2014。

实验中从网络上下载了57幅图像用于训练，上采样的倍数为3；图像分成9×9大小的图像块，相邻图像块之间重叠6个像素，级联迭代步数T设为6。

2,实验内容

实验1：对低分辨图像进行超分辨重建

实验中首先构建57对高低分辨率图像的训练集，并将BPJDL方法、SPM方法以及本发明的方法在57对图像集中进行训练；最后利用训练结果对随机选择的10幅低分辨图像进行超分辨重建。实验中将10幅低分辨图像对应的原始高分辨图像作为标准图像。

随机选取1幅低分辨图像，用本发明的方法、BPJDL方法和SPM方法对其进行3倍超分辨重建。实验结果如图4，其中图4(a)是原始的高分辨图像，图4(b)和图4(c)分别是BPJDL方法和SPM方法重建图像，图4(d)是本发明重建的结果。

从图4的结果对比中可以看出，本发明的方法较对比方法的重建图像更加清晰，能在抑制伪像的同时较清晰的重建图像的细节。

实验2：对超分辨重建图像进行客观质量评价

实验中，利用峰值信噪比PSNR和结构相似度SSIM两个评价指标对三种方法重建的图像进行客观评价，PSNR和SSIM越大，说明重建图像质量越好；对比结果如表1所示：

表1三种方法重建结果的客观评价值

从表1中可以看出，10幅重建图像的平均PSNR和SSIM均高于两种对比方法，说明本发明方法重建的图像更接近于原始清晰的图像，取得较好的重建效果。

另外，在重建过程中，计算三种方法平均处理10⁴个像素消耗的时间，对比三种重建方法的重建过程快慢，对比结果如表2：

表2平均重建时间(秒/10⁴像素)

方法	BPJDL	SPM	本发明
				时间(秒)	25.97	1.61	0.53

从表2中看出本发明的方法重建所需要消耗的时间最少，效率最高。

Claims (2)

1.一种基于级联线性回归的图像超分辨率重建方法，包括如下步骤：

(1)从网络上选择N幅高分辨自然图像，并将这N幅高分辨图像从RGB空间转换到YCbCr空间，然后下采样s倍得到对应的低分辨图像，提取高分辨图像的亮度分量和低分辨图像的亮度分量构成训练数据集s＞0，N＞0；

(2)对训练数据集进行训练学习，得到T组线性回归系数和T组线性回归偏置以及T组估计特征块集合的聚类中心其中T为训练迭代次数，C为训练聚类的类数；

(3)给定任意一张测试的低分辨图像Y，将其从RGB空间转换到YCbCr空间，并利用双立方插值方法对低分辨图像Y进行上采样，得到初始估计高分辨图像并提取初始估计高分辨图像的亮度分量蓝色色度分量以及红色色度分量

(4)将亮度分量分为大小相同且相互重叠的图像块并计算每个图像块的均值{s_i}_{i＝1,···,Q}，其中Q为图像块的总个数；

(5)根据步骤(4)得到的参数计算初始估计的特征块：

(6)对初始估计特征块进行迭代更新，得到估计特征块

6a)设迭代步数为T，在第m步计算每个估计特征块与C个类中心的距离，并找到与估计特征块距离最小的类中心其中1≤l≤C，1≤m≤T，T≥1；

6b)利用线性回归系数以及线性回归偏置计算估计特征块误差

6c)更新估计特征块为：

6d)重复执行步骤6a)-6c)，直至执行完T步，得到估计特征块

(7)利用步骤(6)得到的估计特征块和步骤(4)得到的图像块均值s_i重建高分辨亮度分量图像块

(8)将步骤(7)重建的图像块融合生成一幅对应于测试图像的清晰的高分辨亮度分量图像

(9)将步骤(8)生成的高分辨亮度分量图像与步骤(3)得到的蓝色色度分量红色色度分量进行组合，得到组合图像并将组合图像由YCbCr空间转换到RGB空间，得到重建高分辨图像

2.根据权利要求1所述的基于级联线性回归的图像超分辨率重建方法，其特征在于，步骤(2)所述的对训练数据集进行训练学习，按如下步骤进行：

(2.1)利用双立方插值法对低分辨图像的亮度分量进行上采样s倍，作为相应的高分辨图像的初始估计图像

(2.2)将初始估计图像和其对应的高分辨图像亮度分量分为大小相同且相互重叠的图像块；随机选择M对图像块作为训练图像块集；用训练图像块集中的每一个图像块的像素值减去其均值作为特征，构成训练特征块集合

(2.3)迭代求解T组级联的线性回归系数和T组线性回归偏置以及T组估计特征块集合的聚类中心

2.3a)在第t步，计算特征估计误差块

2.3b)利用K-means方法将训练特征块集合聚为C类，并得到C个聚类中心

2.3c)求解C类特征块的线性回归系数和线性回归偏置

(2.3c1)求第k类特征块的回归参数矩阵R：

其中()^T表示矩阵的转置，I为单位矩阵，M_k表示属于第k类的特征块个数，1≤k≤C；β＞0，λ＞0；

(2.3c2)求第k类的线性回归系数和线性回归偏置将回归参数矩阵R的前L-1列作为将回归参数矩阵R的最后1列作为其中L为R的列数；

(2.3c3)重复执行(2.3c1)至(2.3c2)，直至执行完C步；求得线性回归系数和线性回归偏置

2.3d)重复执行2.3a)至2.3c)，直到执行完T步，得到T组线性回归系数和T组线性回归偏置以及T组估计特征块集合的聚类中心