CN106846250A - 一种基于多尺度滤波的超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于多尺度滤波的超分辨率重建方法，该方法包括步骤：步骤1，获得N帧图像I；步骤2，从多帧图像I中选取参考图像，并计算参考图像与其它图像之间的运动信息；步骤3，计算高分辨率图像的初始值；步骤4，从所述高分辨率图像中模拟观测得到相同尺度的观测图像；步骤5，根据运动信息下采样得到模拟的低分辨率图像；步骤6，计算实际观测图像和对应的模拟观测低分辨率图像之间的误差；步骤7，将误差反投影到当前的高分辨率图像中；重复步骤4至步骤7，直到图像获得满意的结果。本发明的方法在误差反向投影时使用了多尺度滤波，使得更多尺度的信息可以更好的恢复，有更好的细节恢复能力。

Description

一种基于多尺度滤波的超分辨率重建方法

技术领域

本发明涉及图像及视频数据处理领域，特别涉及一种基于多尺度滤波的超分辨率重建方法。

背景技术

人类获取的信息大部分来自于视觉。在信息爆炸信息时代里，在不同的领域里越来越多的视频数据可以容易地获得，如安全监控摄像头，手机等。这些成像设备给社会管理和我们的生活带来极大的便利。由于受价格和制造工艺的限制，一些成像产品(如手机的摄像机模块)的图像和视频的分辨率较低。然而更好的视觉体验需要更高的分辨率。又如，虽然一些高清摄像头用于安全监控，提高了视频图像的质量。但是这些设备的拍摄参数绝大部分情况是固定的，在雾霾天、下雨天或者目标较远等情况下，视频的质量将会大大降低。

这些有硬件或特殊环境形成的低分辨率图像可以通过软件的方法来提高。我们常常称这类技术为超分辨率图像重建。超分辨率图像重建可以分为两大类：单图像的超分辨重建与多帧图像的超分辨率重建。近年来应用的更多的是多帧超分辨率的图像，其中一类通用算法是基于迭代反向投影的超分辨率算法。这类算法具有效果好，收敛快，易于理解和实现等优点。但是这类算法都是基于单尺度投影核函数的。缺点是重建的图像细节不够丰富。目前提高重建的细节的通用方法是，结合更好的图像配准方法来提高帧与帧之间的相对运动信息的准确性，进而提高超分辨率重建图像的细节。然而这种方法的提高是有极限的，一些细节信息仍然无法恢复。

发明内容

本发明针对现有技术的不足，提出一种新的视频图像处理方法。这种方法是基于多尺度滤波的，以获得更多尺度的结构，达到更好的重建效果。

根据本发明提出的一种基于多尺度滤波的超分辨率重建方法，该方法包括步骤：步骤1，获得N帧图像I，N是大于等于2；步骤2，从所述多帧图像I中选取一幅参考图像，并参考图像与其它图像之间的运动信息；步骤3，计算初始高分辨率图像；步骤4，从当前高分辨率图像中模拟观测得到相同尺度的模糊图像；步骤5，根据运动信息下采样所述模糊图像得到模拟的低分辨率图像；步骤6，计算实际观测图像和对应的模拟观测低分辨率图像之间的误差；步骤7，将所述误差反投影到当前的高分辨率图像中，在反向投影核函数的尺度会随着迭代次数的变化而变化；重复步骤4至步骤7，直到图像获得满意的结果。

本发明的方法在误差反向投影时使用了多尺度滤波，使得更多尺度的信息可以更好的恢复，有更好的细节恢复能力。

附图说明

图1是基于多尺度滤波的超分辨率重建方法的流程图。

图2是一幅用于做超分辨率重建的低分辨率图像。

图3是本发明方法重建出来的高分辨率图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出了一种基于多尺度滤波的超分辨率重建方法，该方法基于多尺度滤波，以获得更多尺度的结构，达到更好的重建效果。

图1为本发明提出基于多尺度滤波的超分辨率重建方法的流程图。

参照图1，该方法包括步骤：

步骤1，通过成像设备在同一场景中获取一段视频。

从视频中获取连续多帧图像I。这些图像将是一个四维数组其中x,y是每个通道的图像像素值的横坐标与纵坐标，即标明像素所在位置；k是图像的通道信息，对于彩色图像k＝3，常常是红绿蓝得顺序，如果是黑白图像，k＝1；n是图像的帧序数，n的范围一般在几十帧以内，取值范围取决具体的情况。考虑到重建图像质量和重建速度，一般在10帧以内较好。这里的图像可以是彩色视频也可以是黑白视频。该步骤中提到的成像设备可以是手机、数码相机等。我们通常叫这些图像为实际观测图像。

步骤2，针对步骤1中获取的多帧图像I，利用块区域匹配方法获得其中两帧图像之间相对运动信息。这些运动信息将提供低分辨率图像信息的在高分辨率图像中的具体位置。可以根据运动信息，将这些低分辨率图像放在对应的高分辨率图像中，然后进行后面的反向投影操作。

步骤2进一步包括：

步骤2.1，从获取的多帧图像I中选择其中一幅图像作为参考图像可以选择其中任何一帧作为参考图像。

步骤2.2，在参考图像中选择m块固定大小的区域作为匹配的目标位置，m＝1,2,…。为获得更好的效果，m一般大于2为宜。对于仅包含全局运动的情形，m＝2即可。如果图像之间同时包含局部运动的情形，m取值需要更大，如果预先知道局部运动块的数量m_l，那么m的最优取值是m_l+2，其中2是用于全局运动的数目。从运行时间的角度来说，一般不建议m取值太大。块的大小可以根据实际情况选择，一般3×3或者5×5即可；对于要求精确运行信息的情形，建议使用更大的块。m块区域一般应是包含高空间频率的部分，可以是手动选择，也可以是自动选择。自动选择的准则也可以是多种多样的，如最大差分和。

步骤2.3，两帧图像中另外一帧就是当前匹配图像使用与步骤2.2相同的方法为当前匹配图像选择匹配区域，即，在当前匹配图像中选择的匹配区域的数量、大小和位置与参考图像中完全一致。

步骤2.4，通过五步法对图像进行配准，获得图像与参考图像之间相对运动信息P_k,n。配准准则可以选择最小绝对误差或最小均方误差。

步骤3，计算初始的高分辨率图像此图像可以是纯黑图像(所有像素值为零)

或者是运动补偿后的多帧图像的一个平均图像

其中p和q代表高分辨率像素的坐标，即像素的位置信息；k是图像通道信息，对于彩色图像，k＝3；W所进行的操作是将观测图像放在高分辨率的栅格中；B是一个用于模糊的滤波器，本发明使用的是高斯滤波器，B可以和后面使用反向投影核函数相同；N是图像的帧数。这里所包含的具体操作是这样的：利用步骤2获得的相对运动信息P_k,n将低分辨率图像的像素值放在高分分辨率图像栅格中，再进行模糊滤波B并叠加在一起(在数学上使用卷积和加法)，然后除以图像的帧数得到平均图像。

步骤4，从当前高分辨率图像中模拟观测得到相同尺度的模糊图像，该图像表示为：

其中σ(p,q)为噪声水平，I^psf(p,q)为系统响应函数，这两个参数可通过成像设备的参数和成像时所用的一些参数得到。i表示当前的迭代次数，表示第k通道在第i次迭代后的高分辨率图像，是对当前高分辨率图像使用系统响应函数进行模糊和加上噪声σ(p,q)之后得到的模糊图像，*代表卷积运算。如果是第一次迭代，那么

步骤5，根据运动信息P_k,n并下采样模糊图像得到模拟的低分辨率图像。将当前的模糊后的图像按运动信息P_k,n进行位移和旋转。然后再进行下采样，得到模拟的低分辨率图像

其中，S是下采样矩阵，下采样率可以是2～8，为保证重建质量，不建议使用更高的下采样率，P_k,n()按照运动信息P_k,n对模糊后的图像进行位移和旋转。这里n是指图像帧数，其总和为N。也就是和用于超分辨率重建的实际观测图像的总帧数是相同的。

步骤6，计算实际观测图像和对应的模拟观测低分辨率图像之间的误差

步骤7，将误差反投影到当前的高分辨率图像中，在反向投影核函数的尺度会随着迭代次数的变化而变化。

其中，B^bp是反向投影核函数，这个函数形式可以根据需求选择，如果想获得平滑的结果，那么使用具有平滑作用的B^bp即可(如高斯函数)。在本发明方法中，反向投影核函数不再是同一个尺度，而是多个尺度。在本发明的方法中，测试时使用了二维高斯函数，这里高斯函数的变化是通过改变高斯函数的宽度实现的。具体方法是，本发明为每一帧模拟观测图像分配一个不同尺度的反向投影和函数，尺度是与下采样率有关。如果一共有N＝5帧图像，下采样率是4，那么本发明反向投影核函数的尺度是4-a，4-0.5a，4，4+0.5a，4+a，其中a是一个拓展长度，它的大小可以自己定义，实验建议a一般应该在几个像素以内。

重复步骤4至步骤7，直到获得满意的结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度滤波的超分辨率重建方法，该方法包括步骤：

步骤1，获得N帧图像I，N是大于等于2；

步骤2，从所述多帧图像I中选取一幅参考图像，并参考图像与其它图像之间的运动信息；

步骤3，计算初始高分辨率图像；

步骤4，从当前高分辨率图像中模拟观测得到相同尺度的模糊图像；

步骤5，根据运动信息下采样所述模糊图像得到模拟的低分辨率图像；

步骤6，计算实际观测图像和对应的模拟观测低分辨率图像之间的误差；

步骤7，将所述误差反投影到当前的高分辨率图像中，在反向投影核函数的尺度会随着迭代次数的变化而变化；

重复步骤4至步骤7，直到图像获得满意的结果。

2.根据权利要求1所述的方法，其特征在于，步骤2中是利用块区域匹配方法获得当前匹配图像与参考图像之间的运动信息。

3.根据权利要求1所述的方法，其特征在于，步骤2进一步包括：

步骤2.1，从获取的多帧图像中选择任何一帧作为参考图像；

步骤2.2，在参考图像中选择m块固定大小的区域作为匹配的目标位置；

步骤2.3，对当前匹配图像，使用与步骤2.2相同的方法为当前匹配图像选择匹配区域；

步骤2.4，对上述两帧图像利用块匹配方式进行配准，获得相对运动信息。

4.根据权利要求1所述的方法，其特征在于，在步骤1所获取的图像是四维数组I_k,n(x,y)，其中x,y是每个通道的图像的横纵坐标，k是图像的通道信息，n是图像的帧序数。

5.根据权利要求4所述的方法，其特征在于，

步骤3进一步包括：计算初始的高分辨率图像此图像是纯黑图像

$I_{0,k}^{hr}(p,q)=0$

或者是运动补偿后的多帧图像的一个平均图像

$I_{0,k}^{hr}(p,q)=\frac{1}{N}\underset{n=1}{\overset{N}{\Σ}}{\mathrm{BWI}}_{k,n}^{obs}(x,y)$

其中p和q代表高分辨率像素的坐标，k是图像通道信息，W所进行的操作是将观测图像放在高分辨率的栅格中，B是一个用于模糊的滤波器，N是图像的帧数；

步骤4，从当前高分辨率图像中模拟观测得到相同尺度的模糊图像，该图像表示为：

$I_{i,k}^{hr-psf}(p,q)=I_{i,k}^{hr}(p,q)*I^{psf}(p,q)+\mathrm{\σ}(p,q)$

其中σ(p,q)为噪声水平，I^psf(p,q)为系统响应函数，这两个参数通过成像设备的参数和成像时所用的一些参数得到，i表示当前的迭代次数，表示第k通道在第i次迭代后的高分辨率图像，是对当前高分辨率图像使用系统响应函数进行模糊和加上噪声σ(p,q)之后得到的模糊图像，*代表卷积运算，第一次迭代的情况下，

步骤5，根据所述运动信息P_k,n并下采样模糊图像得到模拟的低分辨率图像，将当前的模糊后的图像按运动信息P_k,n进行位移和旋转，然后再进行下采样，得到模拟的低分辨率图像

$I_{i,k,n}^{slr}(x,y)={\mathrm{SP}}_{k,n}\left(I_{i,k}^{hr-psf}\right(p,q\left)\right)$

其中，S是下采样矩阵，P_k,n()按照运动信息P_k,n对模糊后的图像进行位移和旋转；

步骤6，计算实际观测图像和对应的模拟观测低分辨率图像之间的误差

$I_{i,k,n}^{diff}(x,y)=I_{k,n}^{obs}(x,y)-I_{i,k,n}^{slr}(x,y)$

步骤7，将误差反投影到当前的高分辨率图像中，在反向投影核函数的尺度会随着迭代次数的变化而变化，

$I_{i+1,k}^{hr}(p,q)=I_{i,k}^{hr}(p,q)+\underset{n=1}{\overset{N}{\Σ}}{B}^{bp}{\mathrm{WI}}_{i,k,n}^{diff}(x,y)$

其中，B^bp是反向投影核函数，

令i＝i+1，返回步骤4，重复步骤4至步骤7，直到获得满意的结果。

6.根据权利要求3所述的方法，其特征在于，在步骤2.2，m大于2，m块区域是包含高空间频率的部分。

7.根据权利要求5所述的方法，其特征在于，块区域通过手动选择或是自动选择。

8.根据权利要求7所述的方法，其特征在于，自动选择的准则是最大差分和。

9.根据权利要求6所述的方法，其特征在于，在步骤2.3，配准准则是最小绝对误差或最小均方误差。

10.根据权利要求5所述的方法，其特征在于，在步骤5中，下采样率是2～8。