CN103500445A - 一种彩色视频的超分辨率处理方法 - Google Patents

Abstract

本发明提出一种彩色视频的超分辨率处理方法，包括步骤：（1）对给定的低分辨率RGB彩色图像采用常规插值算法进行放大，得到插值后的彩色图像。（2）将给定的低分辨率视频序列的亮度分量进行超分辨率重构，得到高分辨率图像的亮度分量；（3）由高分辨率图像的亮度分量与插值图像的亮度分量之差的范数求得补偿系数矩阵；（4）对插值图像的R、G、B分量进行补偿，获得高分辨率的彩色图像。本发明通过将超分辨率处理后的亮度分量作为约束补偿的方法，对亮度分量进行超分辨率重构，增大了视频序列重构信息量，所提出的算法经过验证，效果要优于经典的双立方插值算法。

Description

一种彩色视频的超分辨率处理方法

技术领域

本发明涉及图像处理的技术领域，具体地涉及一种彩色视频的超分辨率处理方法。

背景技术

随着人们生活水平的提高和图像处理应用的需要，人们对图像分辨率的要求越来越高。但是从硬件上提高获得图像的分辨率，不仅成本高，风险也大。图像超分辨率技术是一种基于信号处理方法获得较高分辨率图像的技术。

视频超分辨率重构的主要目的是通过图像/视频处理技术从多帧低分辨率视频序列中获得高分辨率视频序列，这项技术可以广泛应用于图像和视频的处理领域，如：视频监控，医学成像和卫星成像。

针对彩色图像的视频超分辨率重构，传统的方法是采用双立方插值的方法对R、G、B三通道都进行处理，再合成一幅彩色图像。这种算法只用了一幅低分辨率图像进行处理，信息量不足。随着放大倍数的增大，缺失的信息越来越多。而且，不具有去模糊、去噪的能力，对于带噪声和模糊的图像恢复效果差，所得的图像往往带有较多的噪声和模糊。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提供一种高效的彩色视频超分辨率处理方法，具体技术方案如下。

一种彩色视频的超分辨率处理方法，包括以下步骤：

（1）对给定的低分辨率（Low resolution,LR）RGB彩色图像采用插值算法进行放大，得到插值后的彩色图像；

（2）将给定的低分辨率视频序列图像的亮度分量进行超分辨率重构，得到对应的高分辨率图像的亮度分量；

（3）将步骤（2）得到的高分辨率图像的亮度分量与插值后的彩色图像的亮度分量之差的范数平方取最小值，求得补偿系数矩阵；

（4）将所获得的补偿系数矩阵对插值后的彩色图像的R、G、B分量进行补偿，最终，将补偿后的R、G、B分量合成高分辨率的彩色图像。

优选的，所述步骤（3）将所得的高分辨率图像的亮度分量与插值后的彩色图像的亮度分量之差的范数,采用二范数的平方，对其取最小值求得补偿系数矩阵η。但本发明不仅限于采用二范数，还包括其他范数。

优选的，上述彩色视频超分辨率处理方法中，用补偿系数矩阵η对插值后的彩色图像的R、G、B分量进行补偿，获得高分辨率的彩色图像。

与现有技术相比，本发明通过将超分辨率处理后的亮度分量作为约束补偿的方法，对亮度分量进行超分辨率重构，增大了视频序列重构信息量，所提出的算法经过验证，效果要优于经典的双立方插值算法。

附图说明

图1为本发明的一种彩色视频超分辨率处理方法的流程图。

具体实施方式

以下结合附图对本发明的实施作进一步说明，但本发明的实施和保护不限于此。

如图1所示，本发明的彩色视频超分辨率处理的系统和方法，包括以下步骤：

（1）对给定的低分辨率RGB彩色图像y(k)采用双立方插值算法进行放大处理，得到插值后的彩色图像，将其分成R、G、B三个通道分量等待补偿，并提取插值后彩色图像的亮度分量y_Y_插值(k)，其中k为视频序列的第k帧图像。

（2）将给定的低分辨率图像y(k)作为参考帧，用其相邻的多帧视频序列做补偿。通过对低分辨率视频序列的亮度分量y_Y(k)进行3DSKR（Three DimensionalSteering Kernel Regression）超分辨率重构，得到对应高分辨率图像的亮度分量z_Y(k)；

（3）将所得的高分辨率图像的亮度分量z_Y(k)与双立方插值图像的亮度分量y_Y_插值(k)之差除以y_Y_插值(k)，求得补偿系数矩阵η；

补偿系数矩阵η的推导如下：

1)令ΔY＝z_Y(k)-y_Y_插值(k)，

亮度由通过一定比例组合而成的，即：Y＝α₁R+α₂G+α₃B，（其中α₁＝0.2989,α₂＝0.5870,α₃＝0.1140）；

2)通过超分辨率处理后的亮度信息对双立方插值得到的R、G、B分量进行补偿，表达式如下：

z_R(k)=(1+η)·y_R(k)，

z_G(k)=(1+η)·yG(k)，

z_B(k)(1+η)·y_B(k)；                     （1）

其中，z_R(k)、z_G(k)、z_B(k)为补偿后的R、G、B分量；

3)由约束

再将2）中的表达式代入约束中，可得：

4)式 $\left|\right|\mathrm{\ΔY}-[{\mathrm{\α}}_1{\mathrm{\ηy}}_R\left(k\right)+{\mathrm{\α}}_2{\mathrm{\ηy}}_G\left(k\right)+{\mathrm{\α}}_3{\mathrm{\ηy}}_B\left(k\right)]{\left|\right|}_2^2$ 对η求导，可得：

令上式等于零，求η的最优值：

-[ΔY-ηy_Y(k)][α₁y_R(k)+α₂y_G(k)+α₃y_B(k)]^T＝0         （4）

则有：

当y_Y(k)≠0时，

当y_Y(k)=0时，y_R=y_G=y_B=0；          （6）

（4） 通过所获得的补偿系数矩阵η对双立方算法获得的R、G、B分量根据式（1）进行补偿，最终，将补偿后的R、G、B分量z_R(k)、z_G(k)、z_B(k)合成一幅彩色图像，从而获得高分辨率的图像Z(k)。

本发明将超分辨率处理后图像的亮度信息z_Y(k)作为约束，令补偿后的亮度分量y_Y_补偿(k)无限逼近z_Y(k)，从而获得补偿的信息量，同时，避免了对R、G、B三通道都进行超分辨率的复杂处理。

为了比较本算法超分辨率重构的质量，下面给出重构的彩色图像及其峰值信噪比PSNR，结构相似指标SSIM的比较结果：

首先，我们将视频calendar和foliage进行退化处理，选取视频的前30帧图像，图像大小为720*480，采用3*3的统一点扩散函数进行模糊处理，空间下采样系数为4，再加上标准差σ＝2的加性高斯白噪声。我们选取视频calendar的第11帧和视频foliage的第6帧，分别通过传统的算法和本文的算法对退化图像进行处理。

我们采用PSNR和SSIM值客观评价各种算法的效果，如表1所示。结果显示本文的算法重建结果的PSNR和SSIM值，要比传统的算法更大。这表明本文的算法比传统算法的效果好。

表1采用不同图像重构方法对应的PSNR和SSIM值

根据仿真结果可知，本文算法处理后的图像效果要优于传统的算法，本文算法的效果有明显的改善，恢复了图像的大部分结构，较好地去除了模糊和噪声。

Claims (3)

1.一种彩色视频的超分辨率处理方法，包括以下步骤：

（1）对给定的低分辨率RGB彩色图像采用插值算法进行放大，得到插值后的彩色图像；

（2）将给定的低分辨率视频序列图像的亮度分量进行超分辨率重构，得到对应的高分辨率图像的亮度分量；

（3）将步骤（2）得到的高分辨率图像的亮度分量与步骤（1）得到的插值后的彩色图像的亮度分量之差的范数平方取最小值，求得补偿系数矩阵；

（4）将所获得的补偿系数矩阵对插值后的彩色图像的R、G、B分量进行补偿，最终，将补偿后的R、G、B分量合成高分辨率的彩色图像。

2.根据权利要求1所述的彩色视频超分辨率处理方法，其特征在于：所述步骤（3）将所得的高分辨率图像的亮度分量与插值后的彩色图像的亮度分量之差的范数,采用二范数的平方，对其取最小值求得补偿系数矩阵η。

3.根据权利要求2所述的彩色视频超分辨率处理方法，其特征在于：用补偿系数矩阵η对插值后的彩色图像的R、G、B分量进行补偿，  获得高分辨率的彩色图像。