CN103854268B - 基于多核高斯过程回归的图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于多核高斯过程回归的图像超分辨重建方法，主要解决现有超分辨方法产生边缘锯齿效应和重建纹理不丰富的问题。其实现步骤是：1）获取低分辨亮度图像和插值图像，并进行分块；2）提取低分辨亮度图像块的中心像素和八邻域来训练高斯过程回归上采样模型；3）使用上采样模型预测初始高分辨亮度图像块的像素值；4）将所有的初始高分辨亮度图像块组合得到初始高分辨亮度图像；5）获取模拟低分辨图像，并进行分块；6）提取模拟低分辨图像块的中心像素训练高斯过程回归去模糊模型；7）使用去模糊模型预测高分辨亮度图像块的像素值；8）将所有的高分辨亮度图像块组合得到高分辨率亮度图像。本发明可用于视频监控、高清电视成像。

Description

基于多核高斯过程回归的图像超分辨重建方法

技术领域

本发明属于图像处理技术领域，具体地说是基于机器学习的单帧图像的超分辨重建方法，可用于视频监控、高清晰电视HDTV成像。

背景技术

自二十世纪八十年代起，以电荷耦合设备(Charge Coupled Device,CCD)与互补型金属氧化半导体(Complementary Metal-Oxide-Semiconductor Transistor,CMOS)为代表的感光元器件被广泛用于电子成像设备中，人们获取数字图像的方式越来越简单便利。然而，在数字图像的获取过程中，由于受电子成像硬件设备的限制和场景实时环境的影响，几乎不可能获取到能包含原始场景所有信息的高分辨图像，只能得到模糊且含有噪声的低分辨图像(Low Resolution,LR)，这在很大程度上满足不了人们的视觉体验追求。因而，如何获得能包含原始场景大部分信息的高分辨率图像也就成为研究学者们关注的热点。根据图像的成像系统原理，提高图像分辨率的最直接方法是增加成像设备的感光点数量，即通过减小每个感光器的面积或增大感光器阵列的容量来增加感光点数量，从而提高像素利用率以便采集到原始场景的精细影像。但是，一方面，由于传感器面积的减小使得受到噪声污染的像元数量增多，得到的图像更加的不理想；另一方面，感光器阵列容量的增大将减慢电荷传输速率；同时，考虑到设计高精度感光器的成本非常高而且升级硬件将带来很大的技术困难，因而在实际应用中改进硬件设备的研究进展很慢。

考虑到图像本身也是一种信号，人们将解决方法从改进硬件设备转移到信号处理技术上，研究适于图像信号的处理技术以提高图像的分辨率，这种用于改善图像质量并提高图像分辨率的图像处理被称为图像超分辨(Super Resolution,SR)重建。在计算机视觉领域，越来越多的学者致力于各种提高图像分辨率的算法研究，使得SR重建技术得到快速发展。

回归模型是数理统计中发展较早、理论丰富，应用性较强的模型，核回归作为一种非线性方法，已经应用在图像处理的多个方面。在图像超分辨重建中，根据图像的先验知识来构造线性回归系数，利用得到的回归系数建立低分辨率图像块与高分辨率像素之间的映射关系。然而，这种映射关系往往是高度非线性、甚至不存在显式映射函数的。He等人在文献“H.He and W.Siu.Single Image Super-Resolution using Gaussian ProcessRegression.In CVPR,2011。”中提出的高斯过程回归(Gaussian Process Regression,GPR)方法能很好地避免这一弊端。高斯过程回归通过高斯分布模型来寻找输入与输出的内在联系而不是一组预定义的基函数，对处理高维数、小样本、非线性等复杂问题具有很好的自适应性。He等人巧妙地将这一思想用于图像超分辨重建，验证了高斯过程回归解决超分辨问题的可行性。但是，其仅仅利用图像自身的局部结构信息作为训练样本库，使得可利用的数据信息有限，在放大因子较大和低分辨率图像能提供的信息不足的情况下，重建质量会急剧下降。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于多核高斯过程回归的图像超分辨方法，以实现单帧图像的超分辨重建，提高图像的峰值信噪比，得到重建图像的清晰边缘和丰富纹理。

本发明的技术方案包括如下步骤：

（1）从网上随机下载一幅低分辨亮度图像I_L；

（2）利用matlab软件中的imresize函数将低分辨亮度图像I_L进行双立方插值放大，放大倍数为2，得到插值图像I_H；

（3）分别对低分辨亮度图像I_L和插值图像I_H进行分块，得到N个低分辨图像块和N个插值图像块，并用这些低分辨图像块组成低分辨集P_N、用这些插值图像块组成插值集Q_N；

（4）取低分辨集P_N中的第i个低分辨图像块P_i进行像素重排，得到低分辨图像块P_i的中心像素列向量α_i和邻域矩阵A_i，其中i=1,…,N，N为图像块的数目；再对中心像素列向量α_i与邻域矩阵A_i进行回归计算，得到高斯过程回归上采样模型M_i；

（5）取步骤（3）中的插值集Q_N的第i个插值图像块Q_i进行像素重排,得到插值图像块Q_i的插值中心像素列向量γ_i和插值邻域矩阵R_i；再将插值邻域矩阵R_i和步骤（4）中的中心像素列向量α_i与邻域矩阵A_i作为高斯过程回归上采样模型M_i的输入，进行高斯过程回归计算，得到初始高分辨率亮度图像块

（6）将i>N作为循环终止条件，如果i的值不满足i>N，则将i值增1后返回步骤（4），否则直接执行步骤（7）；

（7）将所有的初始高分辨率亮度图像块进行组合，得到初始亮度图像

（8）利用matlab软件中的过滤函数imfilter对低分辨亮度图像I_L进行高斯低通滤波，得到模拟低分辨图像

（9）分别对模拟低分辨图像和初始亮度图像进行分块，得到N个模拟低分辨图像块和N个初始亮度图像块，并用这些模拟低分辨图像块组成模拟低分辨集用这些初始亮度图像块组成初始亮度集Z_N；

（10）取模拟低分辨集中的第i个模拟图像块进行像素重排，得到模拟图像块的模拟中心像素列向量和模拟邻域矩阵

（11）对步骤（4）中的中心像素列向量α_i、邻域矩阵A_i和步骤（10）中的模拟中心像素列向量进行回归计算，得到高斯过程回归去模糊模型

（12）取步骤（9）中的初始亮度集Z_N，将集合中的第i个图像块Z_i作为高斯过程回归去模糊模型的输入，进行高斯过程回归计算，得到高分辨亮度图像块

（13）将i>N作为循环终止条件，如果i的当前值不满足i>N，将i值增1后返回步骤（10），否则直接执行步骤（14）；

（14）将所有高分辨亮度图像块进行组合，得到高分辨亮度图像

本发明的具有如下优点：

1.本发明由于利用单帧图像自身的结构信息作为先验知识来训练高斯过程回归模型，利用无参数贝叶斯估计方法寻找高分辨图像与低分辨图像之间的高度非线性映射关系来实现图像的超分辨重建，可以得到边缘锐化的重建图像。

2.本发明由于利用具有不同特性的核函数，可以获得多类核函数的优点，得到更优的映射性能；在图像信息不足时，利用多核高斯过程训练模型可有效地回归图像区域的局部结构和非局部结构，预测高分辨区域，实现图像超分辨重建，得到纹理丰富的重建图像。

附图说明

图1是本发明的总体流程图；

图2是使用本发明和现有两种方法对Baby图像进行超分辨重建得到的图像；

图3是使用本发明和现有两种方法对Flower图像进行超分辨重建得到的图像。

具体实施方案

参照图1，本发明的实施步骤包括上采样重建和去模糊重建两部分：

一.上采样重建：

步骤1，获取插值图像I_H。

从互联网上随机下载一幅大小为m×n的低分辨亮度图像I_L，并利用matlab软件中的imresize函数将该低分辨亮度图像I_L进行2倍的双立方插值放大，得到大小为2m×2n的插值图像I_H。

步骤2，分别对低分辨亮度图像I_L和插值图像I_H进行分块，并对图像块进行集合。

（2a）对低分辨亮度图像I_L进行分块，块大小为9×9，相邻块之间重叠3×3个像素，得到N个低分辨图像块，用这些低分辨图像块组成低分辨集P_N；

（2b）对插值图像I_H进行分块，块大小为18×18，相邻块之间重叠6×6个像素，得到N个插值图像块，用这些插值图像块组成插值集Q_N。

步骤3，由低分辨集得到高斯过程回归上采样模型M_i。

（3a）取低分辨集P_N中的第i个低分辨图像块P_i进行像素重排，得到低分辨图像块P_i的中心像素列向量α_i和邻域矩阵A_i，其中i=1,…,N，N为图像块的数目；

（3a1）用低分辨图像块P_i中非边界像素点组成子区域Φ，区域Φ的大小为7×7，再将子区域Φ拉成列向量，得到中心像素列向量α_i；

（3a2）将子区域Φ中所有像素点的各方向上的邻域排成列向量β_j，其中，j=1,2,…,8分别表示左上角邻域、正上方邻域、右上角邻域、左中邻域、右中邻域、左下角邻域、正下方邻域和右下角邻域；再将列向量组β₁,β₂,…,β₈排成邻域矩阵A_i；

（3b）对中心像素列向量α_i与邻域矩阵A_i进行回归计算，得到高斯过程回归上采样模型M_i：

（3b1）定义高斯过程回归拟合函数f(x)为：

式中，是正态分布符号，x是输入向量，m(x)为均值函数，cov(x,x′)是协方差函数，cov(x,x′)=K(x,x′)+σ²I，其中σ为高斯噪声方差，K(x,x′)是多核函数，表达式如下：

$\begin{array}{c}K(x,x^{\′})=k_{\mathrm{add}1}(x,x^{\′})+k_{\mathrm{add}2}(x,x^{\′})+\·\·\·+k_{\mathrm{addn}}(x,x^{\′}),\\ k_{\mathrm{add}1}(x,x^{\′})={\mathrm{\σ}}_1^2\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{k}_i(x_i,x_i^{\′}),\\ k_{\mathrm{add}2}(x,x^{\′})={\mathrm{\σ}}_2^2\underset{i=1}{\overset{D}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{D}{\mathrm{\Σ}}}{k}_i(x_i,x_i^{\′})k_j(x_j,x_j^{\′}),\\ \·\\ \·\\ \·\\ k_{\mathrm{addn}}(x,x^{\′})={\mathrm{\σ}}_n^2\underset{i=1}{\overset{D}{\∏}}{k}_i(x_i,x_i^{\′}),\end{array}$

式中，σ_n为阶数方差，n=1,2,…,8表示函数的阶数；D=8表示八个方向，即：左上角、正上方、右上角、左中、右中、左下角、正下方和右下角，k_i(x_i,x′_i)为一维核函数，表征(x,x′)之间的相似程度， $k_i(x_i,x_i^{\′})={\mathrm{\σ}}_f^2\exp (-\frac{1}{2}\frac{(x_i-x_i^{\′})(x_i-x_i^{\′})}{l^2}),$ σ_f为输入变量的方差，l为核函数的尺度因子；

（3b2）利用高斯过程回归拟合函数f(x)，将中心像素列向量α_i作为高斯过程回归拟合函数f(x)的输出，将邻域矩阵A_i作为高斯过程回归拟合函数f(x)的输入，通过如下公式计算得到高斯过程回归拟合函数的超参数θ_i：

$\frac{\∂l}{{\∂\mathrm{\θ}}_i}=\frac{1}{2}{y}^T{K}^{-1}\frac{\∂K}{{\∂\mathrm{\θ}}_i}{K}^{-1}y-\frac{1}{2}\mathrm{tr}\left(K^{-1}\frac{\∂K}{{\∂\mathrm{\θ}}_i}\right),$

式中， $l=\frac{1}{2}{y}^T{K}^{-1}y-\frac{1}{2}\log \left|K\right|-\frac{1}{2}\log 2\mathrm{\π},K=\mathrm{cov}(x,x^{\′}),x$ 为输入向量，y为输出值，tr为矩阵的迹；

（3b3）将超参数θ_i代入高斯过程回归拟合函数f_i(x)，得到更新后的拟合函数将拟合函数记为高斯过程回归上采样模型M_i。

步骤4，由插值集预测初始高分辨率亮度图像块

（4a）取步骤（2）中的插值集Q_N的第i个插值图像块Q_i进行像素重排,得到插值图像块Q_i的插值中心像素列向量γ_i和插值邻域矩阵R_i；

（4a1）将插值图像块Q_i中非边界像素点组成插值子区域插值子区域的大小为16×16，再将插值子区域拉成列向量，得到中心像素列向量γ_i；

（4a2）将插值子区域中所有像素点的各方向上的邻域排成列向量η_j，其中，j=1,2,…,8；再将列向量组η₁,η₂,…,η₈排成插值邻域矩阵R_i；

（4b）将插值邻域矩阵R_i和步骤（3）中的中心像素列向量α_i与邻域矩阵A_i作为高斯过程回归上采样模型M_i的输入进行高斯过程回归计算，得到初始高分辨亮度图像块

步骤5，将i>N作为循环终止条件，如果i的值不满足i>N，则将i值增1后返回步骤（3），否则直接执行步骤（6）。

步骤6，将所有的初始高分辨率亮度图像块进行组合，得到初始亮度图像

二.去模糊重建：

步骤7，利用matlab软件中的过滤函数imfilter对低分辨亮度图像I_L进行高斯低通滤波，选用的高斯低通滤波的窗口大小为3×3，过滤因子为0.6，得到模拟低分辨图像。

步骤8，分别对模拟低分辨图像和初始亮度图像进行分块，并对图像块进行集合。

（8a）对模拟低分辨亮度图像进行分块，块大小为9×9，相邻块之间重叠3×3个像素，得到N个模拟低分辨图像块，用这些模拟低分辨图像块组成模拟低分辨集

（8b）对初始亮度图像进行分块，块大小为18×18，相邻块之间重叠6×6个像素，得到N个初始亮度图像块，用这些初始亮度图像块组成初始亮度集Z_N。

步骤9，取模拟低分辨集中的第i个模拟图像块进行像素重排，得到模拟图像块的模拟中心像素列向量和模拟邻域矩阵

步骤10，对步骤（3）中的中心像素列向量α_i、邻域矩阵A_i和步骤（9）中的模拟中心像素列向量进行回归计算，得到高斯过程回归去模糊模型其中，回归计算过程与步骤（3）相同。

步骤11，取步骤（8）中的初始亮度集Z_N，将集合中的第i个图像块Z_i作为高斯过程回归去模糊模型的输入进行高斯过程回归计算，得到高分辨亮度图像块

步骤12，将i>N作为循环终止条件，如果i的当前值不满足i>N，将i值增1后返回步骤（9），否则直接执行步骤（13）。

步骤13，将所有高分辨亮度图像块进行组合，得到高分辨亮度图像

本发明的优点可通过以下仿真实验进一步说明。

1.仿真条件：

选择CPU为Interi3-2100，主频为3.1GHZ，内存为4G，操作系统为WIN7，仿真平台为Matlab2010b。

仿真使用的方法：利用本发明方法和现有方法，其中现有方法采用双立方插值方法和GPR方法，GPR方法的参考文献为“H.He and W.Siu.Single Image Super-Resolutionusing Gaussian Process Regression.In CVPR,2011.”。

2.实验内容及结果分析：

实验一，用本发明和现有方法进行超分辨重建仿真。

选用Baby低分辨亮度图像，采用本发明和所述的两种现有方法分别进行输出2倍超分辨重建。重建的结果如图2所示，其中图2（a）是现有双立方插值的结果；图2（b）是现有GPR超分辨重建的结果；图2（c）是本发明超分辨重建的结果，每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。

图2的仿真结果说明：图2（a）中边缘和纹理不清晰，图2（b）的结果在一定程度上有尖锐的边缘，但有一些伪边效应，图2（c）的超分辨重建的结果不仅边缘保持很好而且细节也很丰富，说明本发明对自然图像有较好的重建性能。

实验二，用本发明和现有方法进行超分辨重建仿真。

选用Flower低分辨亮度图像，采用本发明和所述的两种现有方法分别进行输出2倍超分辨重建。重建的结果如图3所示，其中图3（a）是现有双立方插值的结果；图3（b）是现有GPR超分辨重建的结果；图3（c）是本发明超分辨重建的结果，每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。

图3的仿真结果说明：图3（a）中花瓣边缘产生锯齿效应，并且图像出现过平滑现象；图3（b）中花瓣的高频保存较好，但边缘产生振铃效应；图3（c）花瓣的边缘锐化，并且振铃效应较小，整体效果自然，说明本发明对自然图像有较好的重建性能。

Claims (4)

1.一种基于多核高斯过程回归的图像超分辨重建方法，包括：

(1)从网上随机下载一幅低分辨亮度图像I_L；

(2)利用matlab软件中的imresize函数将低分辨亮度图像I_L进行双立方插值放大，得到插值图像I_H；

(3)分别对低分辨亮度图像I_L和插值图像I_H进行分块，得到N个低分辨图像块和N个插值图像块，并用这些低分辨图像块组成低分辨集P_N、用这些插值图像块组成插值集Q_N；

(4)取低分辨集P_N中的第i个低分辨图像块P_i进行像素重排，得到低分辨图像块P_i的中心像素列向量α_i和邻域矩阵A_i，其中i＝1,…,N，N为图像块的数目；再对中心像素列向量α_i与邻域矩阵A_i进行回归计算，得到高斯过程回归上采样模型M_i：

(4a)将低分辨图像块P_i的非边界像素点组成的子区域Φ拉成列向量，得到图像块中心像素列向量α_i；

(4b)将子区域Φ中所有像素点的各方向上的邻域排成列向量β_j，其中，j＝1,2,…,8分别表示左上角邻域、正上方邻域、右上角邻域、左中邻域、右中邻域、左下角邻域、正下方邻域和右下角邻域；再将列向量组β₁,β₂,…,β₈排成邻域矩阵A_i；

(5)取步骤(3)中的插值集Q_N的第i个插值图像块Q_i进行像素重排,得到插值图像块Q_i的插值中心像素列向量γ_i和插值邻域矩阵R_i；再将插值邻域矩阵R_i和步骤(4)中的中心像素列向量α_i与邻域矩阵A_i作为高斯过程回归上采样模型M_i的输入，进行高斯过程回归计算，得到初始高分辨率亮度图像块

(6)将i>N作为循环终止条件，如果i的值不满足i>N，则将i值增1后返回步骤(4)，否则直接执行步骤(7)；

(7)将所有的初始高分辨率亮度图像块进行组合，得到初始亮度图像

(8)利用matlab软件中的过滤函数imfilter对低分辨亮度图像I_L进行高斯低通滤波，得到模拟低分辨图像

(9)分别对模拟低分辨图像和初始亮度图像进行分块，得到N个模拟低分辨图像块和N个初始亮度图像块，并用这些模拟低分辨图像块组成模拟低分辨集用这些初始亮度图像块组成初始亮度集Z_N；

(10)取模拟低分辨集中的第i个模拟图像块进行像素重排，得到模拟图像块的模拟中心像素列向量和模拟邻域矩阵

(11)对步骤(4)中的中心像素列向量α_i、邻域矩阵A_i和步骤(10)中的模拟中心像素列向量进行回归计算，得到高斯过程回归去模糊模型

(12)取步骤(9)中的初始亮度集Z_N，将集合中的第i个图像块Z_i作为高斯过程回归去模糊模型的输入，进行高斯过程回归计算，得到高分辨亮度图像块

(13)将i>N作为循环终止条件，如果i的当前值不满足i>N，将i值增1后返回步骤(10)，否则直接执行步骤(14)；

(14)将所有高分辨亮度图像块进行组合，得到高分辨亮度图像

2.根据权利要求1所述的基于多核高斯过程回归的图像超分辨重建方法，其中步骤(4)所述的对中心像素列向量α_i与邻域矩阵A_i进行回归计算，按如下步骤进行：

(4.1)将中心像素列向量α_i作为高斯过程回归拟合函数f_i(x)的输出，邻域矩阵A_i作为高斯过程回归拟合函数f_i(x)的输入进行高斯过程回归计算，得到高斯过程回归拟合函数的超参数θ_i；

(4.2)将超参数θ_i代入高斯过程回归拟合函数f_i(x)，得到更新后的拟合函数将拟合函数记为高斯过程回归上采样模型M_i。

3.根据权利要求2所述的基于多核高斯过程回归的图像超分辨重建方法，其中所述的高斯过程回归拟合函数f_i(x)，表达如下：

式中，是正态分布符号，x是输入向量，m(x)为均值函数，cov(x,x′)是协方差函数，cov(x,x′)＝K(x,x′)+σ²I，其中σ为高斯噪声方差，K(x,x′)是多核函数，表达式如下：

$\begin{array}{c}K(x,x^{\′})=k_{add1}(x,x^{\′})+k_{add2}(x,x^{\′})+\mathrm{...}+k_{addn}(x,x^{\′}),\\ k_{add1}(x,x^{\′})={\mathrm{\σ}}_1^2\underset{i=1}{\overset{D}{\Σ}}{k}_i(x_i,x_i^{\′}),\\ k_{add2}(x,x^{\′})={\mathrm{\σ}}_2^2\underset{i=1}{\overset{D}{\Σ}}\underset{j=i+1}{\overset{D}{\Σ}}{k}_i(x_i,x_i^{\′})k_j(x_j,x_j^{\′}),\\ .\\ .\\ .\\ k_{addn}(x,x^{\′})={\mathrm{\σ}}_n^2\underset{i=1}{\overset{D}{\Π}}{k}_i(x_i,x_i^{\′}),\end{array}$

式中，σ_n为阶数方差，n＝1,2,…,8表示函数的阶数；D＝8表示八个方向，即：左上角、正上方、右上角、左中、右中、左下角、正下方和右下角，k_i(x_i,x′_i)为一维核函数，表征(x,x′)之间的相似程度，σ_f为输入变量的方差，为核函数的尺度因子。

4.根据权利要求2所述的基于多核高斯过程回归的图像超分辨重建方法，其中步骤(4.1)所述的计算高斯过程回归拟合函数的超参数θ_i，通过如下公式计算：

$\frac{\∂l}{\∂{\mathrm{\θ}}_i}=\frac{1}{2}{y}^T{K}^{-1}\frac{\∂K}{\∂{\mathrm{\θ}}_i}{K}^{-1}y-\frac{1}{2}tr\left(K^{-1}\frac{\∂K}{\∂{\mathrm{\θ}}_i}\right),$

式中，x为输入向量，y为输出值，tr为矩阵的迹。