CN103500436A

CN103500436A - 图像超分辨率处理方法和系统

Info

Publication number: CN103500436A
Application number: CN201310426171.6A
Authority: CN
Inventors: 肖思达; 刘伟俭
Original assignee: Vtron Technologies Ltd
Current assignee: Vtron Technologies Ltd
Priority date: 2013-09-17
Filing date: 2013-09-17
Publication date: 2014-01-08

Abstract

本发明提供一种图像超分辨率处理方法，包括：将待放大的图像序列进行小波变换得到子带图像，分别为低频子带、水平高频子带、垂直高频子带和对角线高频子带；将所述待放大的图像序列进行超分辨率重建处理得到超分图像；分别对所述水平高频子带、垂直高频子带和对角线高频子带分量进行插值后得到对应的插值图像；将所述超分图像和所述插值图像进行小波逆变换，得到放大的图像。本发明还提供对应的系统，能将低分辨率图像重建为高分辨率图像，计算量较小。

Description

图像超分辨率处理方法和系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率处理方法，以及一种图像超分辨率处理系统。

背景技术

随着CCD和COMS图像传感器的飞速发展，数字视频摄像技术和处理技术被广泛运用到数字电视、网络播放、交通管理等与人们生活息息相关的领域，人们对图像分辨率的要求也越来越高。但是从硬件上提高图像的分辨率，不仅成本高，风险也大，不利于实际应用推广。视频图像超分辨率处理是一种通过图像/视频处理从多帧低分辨率（LR，Low Resolution）视频序列中获得高分辨率（HR，High Resolution）视频序列的技术，近年来成为了图像处理领域的热点研究方向。

现有的算法架构都是基于单一的复杂超分辨率重建算法，将LR视频序列进行超分辨率处理，从而获得高分辨率的视频序列，超分辨率重建是把一幅或多幅低分辨率观测图像重建为一幅高分辨率图像，它可以改善图像的质量，从本质上提升图像的分辨率，使重建后的图像比原图像更清晰。但传统的超分辨率处理存在计算量巨大的缺陷，这也是该算法在实时处理应用中的关键技术瓶颈。

发明内容

基于此，本发明提供一种图像超分辨率处理方法及系统，能将低分辨率图像重建为高分辨率图像，计算量较小。

一种图像超分辨率处理方法，包括如下步骤：

将待放大的图像序列进行小波变换得到子带图像，分别为低频子带、水平高频子带、垂直高频子带和对角线高频子带；

将所述待放大的图像序列进行超分辨率重建处理得到超分图像；

分别对所述水平高频子带、垂直高频子带和对角线高频子带进行插值后得到对应的插值图像；

将所述超分图像和所述插值图像进行小波逆变换，得到放大的图像。

一种图像超分辨率处理系统，包括：

小波变换模块，用于将待放大的图像序列进行小波变换得到子带图像，分别为低频子带、水平高频子带、垂直高频子带和对角线高频子带；

超分重建模块，用于将所述待放大的图像序列进行超分辨率重建处理得到超分图像；

插值模块，用于分别对所述水平高频子带、垂直高频子带和对角线高频子带进行插值后得到对应的插值图像；

小波逆变换模块，用于将所述超分图像和所述插值图像进行小波逆变换，得到放大的图像。

上述图像超分辨率处理方法及系统，对待放大的低分辨率图像序列进行超分辨率处理得到超分图像，对低分辨率图像序列进行小波变换得到的不同子带，其中的高频子带插值后与超分图像一起进行小波逆变换，由于图像通常具有相对重要的低频信号，当图像进行小波变换后，图像的能量集中在相对低频的子带内，其他的三个高频子带集中的能量较低；因此进行小波逆变换时相当于只对低频子带进行超分辨率处理，既能保证图像重建的质量，又可显著地降低计算量；本发明的处理方法快速高效，大大降低了算法的复杂度，能促进超分辨率算法在硬件上的实时实现。

附图说明

图1为本发明图像超分辨率处理方法在一实施例中的流程示意图。

图2为视频图像calendar和foliage进行超分辨率重建的对比示意图。

图3为图2中的细节对比示意图。

图4为本发明图像超分辨率处理系统在一实施例中的结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细说明，但本发明的实施方式不限于此。

如图1所示，是本发明图像超分辨率处理方法在一实施例中的流程示意图，包括如下步骤：

S11、将待放大的图像序列进行小波变换得到子带图像，分别为低频子带、水平高频子带、垂直高频子带和对角线高频子带；

对给定的待放大的低分辨率图像序列进行小波变换，得到不同的子带图像，分别为低频子带LL、水平高频子带LH、垂直高频子带HL和对角线高频子带HH；对于运动的视频图像，则获取连续的多帧图像，构成所述图像序列；对于一般的图像，则选取多幅低分辨率图像，构成所述图像序列；

当图像进行小波变换后，从能量的角度来说，图像的能量集中在相对低频的子带内，即上述的低频子带LL，记录图像大部分的细节信息；而水平高频子带LH、垂直高频子带HL和对角线高频子带HH，这三个高频子带集中的能量较低，一般是记录原始图像的纹理或边缘等信息。

S12、将所述待放大的图像序列进行超分辨率重建处理得到超分图像；

对给定的待放大低分辨率图像序列进行超分辨率重建处理，其中，根据预设的图像放大倍数，由于原始低分辨率的图像是小波分解后的子带图像的两倍，因此超分辨率重建处理的放大倍数为所述预设的图像放大倍数的二分之一，得到超分辨率重建处理后的图像，即所述超分图像。

S13、分别对所述水平高频子带、垂直高频子带和对角线高频子带分量进行插值后得到对应的插值图像；

从步骤S11中得到不同的子带图像，分别为低频子带LL、水平高频子带LH、垂直高频子带HL和对角线高频子带HH，在本步骤中，只对水平高频子带LH、垂直高频子带HL和对角线高频子带HH进行插值处理；其中，插值处理的放大倍数可等于预设的图像放大倍数，得到插值后的图像。

S14、将所述超分图像和所述插值图像进行小波逆变换，得到放大的图像；

在本步骤中，进行小波逆变换时的四个分量为所述超分图像，以及水平高频子带LH、垂直高频子带HL和对角线高频子带HH分别插值后的图像，也就是将超分图像代替低频子带分量，与其他三个分量进行小波逆变换，得到放大的高分辨率图像。

本实施例中，将进行超分辨率处理得到的超分图像，代替进行小波变换得到的低频子带，与三个高频子带插值后的插值图像一起进行小波逆变换，因此既能保证图像重建的质量，又可显著地降低计算量；处理过程快速高效，大大降低了算法的复杂度，能促进超分辨率算法在硬件上的实时实现。

为了更好的比较本发明超分辨率重建的质量，下面再通过一具体实施例阐述利用本发明重建的彩色图像及其峰值信噪比PSNR，结构相似指标SSIM与传统技术的比较结果。

首先，将视频calendar和foliage进行退化处理，选取视频的前30帧图像，图像大小为720*480，采用3*3的统一点扩散函数进行模糊处理，空间下采样系数为4，再加上标准差σ＝2的加性高斯白噪声。

选取视频calendar的第11帧和视频foliage的第6帧，分别通过传统技术和本发明方法对退化图像进行处理，本实施例中小波变换采用53提升小波算法，插值算法采用双立方插值，效果如图2、3所示；图2a为双立方插值方法，图2b为传统的超分辨率算法，图2c为本发明方法；图3a～图3c为图2对应的细节对比示意图。

接着采用PSNR和SSIM值客观评价各种方法的效果，如表1所示。结果显示本发明重建结果的PSNR和SSIM值，接近现有方法重建的值。这表明本文的算法接近现有算法的处理效果，其结果也与我们人眼主观观察相一致。

表1采用不同图像重建方法对应的PSNR和SSIM值

计算量方面，本实施例基于Intel的i5-2400芯片，4GB的RAMs平台，在Matlab R2009a上实现基于7帧图像的彩色视频超分辨率重建，放大倍数为4，获得1帧704*576的高分辨率图像。

现有方法和本实施例分别对Calendar和Foreman视频序列进行处理的计算量对比如表2所示，表中给出了现有方法和本发明的总时长，本发明中的小波变换处理相对于超分辨率处理，其计算量可以忽略不计，因此只给出超分辨重建的处理时间。由表中数据对比可得，本发明的计算量比现有方法降低了将近30%。

表2采用不同图像重建方法的计算量对比

	现有方法耗时（s）	本发明耗时（s）
			Calendar	237.3	171.4
Foreman	254.8	178.3

如图4所示，是本发明一种图像超分辨率处理系统在一较佳实施例中的结构示意图，包括：

小波变换模块41，用于将待放大的图像序列进行小波变换得到子带图像，分别为低频子带、水平高频子带、垂直高频子带和对角线高频子带；

对给定的待放大低分辨率图像序列进行小波变换，得到不同的子带图像，分别为低频子带LL、水平高频子带LH、垂直高频子带HL和对角线高频子带HH；当图像进行小波变换后，从能量的角度来说，图像的能量集中在相对低频的子带内，即上述的低频子带LL，记录图像大部分的细节信息；而水平高频子带LH、垂直高频子带HL和对角线高频子带HH，这三个高频子带集中的能量较低，一般是记录原始图像的纹理或边缘等信息。

超分重建模块42，用于将所述待放大的图像序列进行超分辨率重建处理得到超分图像；

对给定的待放大低分辨率图像序列进行超分辨率重建处理，其中，根据预设的图像放大倍数，由于原始低分辨率的图像是小波分解后的子带图像的两倍，因此，超分辨率重建处理的放大倍数为所述预设的图像放大倍数的二分之一，得到超分辨率重建处理后的图像，即所述超分图像。

插值模块43，用于分别对所述水平高频子带、垂直高频子带和对角线高频子带分量进行插值后得到对应的插值图像；

从小波变换模块41中得到不同的子带图像，分别为低频子带LL、水平高频子带LH、垂直高频子带HL和对角线高频子带HH，在本步骤中，只对水平高频子带LH、垂直高频子带HL和对角线高频子带HH进行插值处理；其中，插值处理的放大倍数可等于预设的图像放大倍数，得到插值后的图像。

小波逆变换模块44，用于将所述超分图像和所述插值图像进行小波逆变换，得到放大的图像；

在本模块中，进行小波逆变换时的四个分量为所述超分图像，水平高频子带LH、垂直高频子带HL和对角线高频子带HH分别插值后的图像，也就是将超分图像代替低频子带分量与其他3个分量进行小波逆变换，得到放大的高分辨率图像。

本发明图像超分辨率处理方法及系统，通过将小波变换得到的低频子带图像进行超分辨率处理，其他的子带图像插值后与超分图像一起进行小波逆变换，由于图像通常具有相对重要的低频信号，当图像进行小波变换后，图像的能量集中在相对低频的子带内，其他的三个高频子带集中的能量较低；因此进行小波逆变换时相当于只对低频子带进行超分辨率处理，既能保证图像重建的质量，又可显著地降低计算量；本发明的处理方法快速高效，大大降低了算法的复杂度，能促进超分辨率算法在硬件上的实时实现。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种图像超分辨率处理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的图像超分辨率处理方法，其特征在于，所述分别对所述水平高频子带、垂直高频子带和对角线高频子带分量进行插值的步骤中，进行插值处理的放大倍数等于预设的图像放大倍数。

3.根据权利要求1或2所述的图像超分辨率处理方法，其特征在于，所述将所述待放大的图像进行超分辨率重建处理得到超分图像的步骤中，超分辨率重建处理的放大倍数等于预设的图像放大倍数的二分之一。

4.一种图像超分辨率处理系统，其特征在于，包括：

插值模块，用于分别对所述水平高频子带、垂直高频子带和对角线高频子带分量进行插值后得到对应的插值图像；

5.根据权利要求4所述的图像超分辨率处理系统，其特征在于，所述插值模块中进行插值处理的放大倍数等于预设的图像放大倍数。

6.根据权利要求4或5所述的图像超分辨率处理系统，其特征在于，所述超分重建模块中超分辨率重建处理的放大倍数等于预设的图像放大倍数的二分之一。