CN103606136A - 基于关键帧和非局部约束的视频超分辨方法 - Google Patents

Abstract

本发明公开了一种基于关键帧和非局部约束的视频超分辨方法，主要解决了超分辨时对匹配准则依赖性高的难题。其实现步骤为：(1)输入视频X；（2）对视频X中的一帧低分辨率图像作双三次插值放大获得放大图像；对距离放大图像最近的高分辨率图像作高通滤波，获得低、高频分量；(3)分别在放大图像和低频分量中提取图像块，并对低频图像块作K聚类；（4）将放大图像块与聚类中心作比较，找到最相似的类，在最相似类中找到相似的低频图像块；(5)由相似的低频图像块找到相对应的高频图像块，再对高频图像块作非局部加权，得到重构的高分辨率图像；(6)对视频每一帧低分辨率图像，重复步骤(2)～步骤(5)，获得高分辨率视频。本发明可用于视频的增强或恢复。

Description

基于关键帧和非局部约束的视频超分辨方法

技术领域

本发明属于视频图像处理技术领域，具体的说是一种对低分辨率的视频进行超分辨的方法，可用视频图像的增强或恢复。

背景技术

视频超分辨技术是为了获得更准确的视频信息，通过多种技术手段提高视频的清晰度，抑制噪声的一门学科。它是视频图像处理中重要而又富有挑战性的研究内容。对于视频超分辨问题，研究者已经提出了很多方法。

2008年Brandi et al.等人提出了一个有效的视频超分辨的方法，在传输压缩视频的时候传输几帧原始未压缩的图像作为关键帧，将这几帧关键帧作为数据库，因为与非关键帧有很大的相似度。因此非关键帧在这几个关键帧中配对时，配对出错率会大大降低，从而提高超分辨率算法的鲁棒性。见F.Brandi,R.De Queiroz and D.Mukherjee,”SuperResolution of Video Using Key Frames”,in IEEE ISCAS,May2008,pp.1608-1611.。输入的视频序列中包含高分辨率帧和低分辨率帧，其中定义包含高频信息的几帧为关键帧，其余帧仅包含低频信息为非关键帧,将关键帧与非关键帧独立编码。对关键帧进行处理，得到相应的高频信息和低频信息，找到关键帧与非关键帧的低频信息的对应关系，直接将关键帧的高频信息加到非关键帧中，实现直接运动补偿。但是，这个方法由于是传统的基于全局运动估计搜索方式，很难找到真实的运动向量，因此在运动补偿后会引起块效应而降低视频图像效果。

2010年，C.S.Byung在Brandi的方法上进行了改进，见C.S.Byung,J.Shin-Cheol andC.Yanglim,”Key frame-based video super-resolution using bi-directional overlapped blockmotion compensation and trained dictionary”,in IEEE IPTA,July2010,pp.181-186.在视频中传输几帧包含高频信息的关键帧，通过相邻的关键帧，经过双向运动估计及运动补偿，从而实现非关键帧的超分辨。其中所采用的运动补偿方法是重叠块的运动补偿，来寻找匹配的高频信息。相对于Brandi的直接运动补偿，效果更好点，高频信息的添加也精确一些，但是在运动补偿时，对匹配准则的要求很高，且添加的高频信息有限，造成视觉效果质量下降。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于关键帧和非局部约束的视频超分辨方法，以对视频中每一帧低分辨率图像，在不需要精确地匹配准则下能够获取更多的高频信息，更好的恢复低分辨率图像的高频信息，进而获得边缘清晰，视觉效果好的高分辨率视频。

为实现上述目的，本发明的技术步骤包括如下：

(1)输入视频X，提取其中的每一帧图像，得到高分辨率图像帧X_h,h＝1,...,M,和低分辨率图像帧X_t,t＝1,...,N,并定义这些高分辨率图像为关键帧，定义这些低分辨率图像为非关键帧，其中M为视频中高分辨率图像的帧数，N为视频中低分辨率图像的帧数；

(2)利用视频中高分辨率图像帧与低分辨率图像帧的关系，对低分辨率图像帧X_t中的任意一帧图像进行超分辨重建：

2a)对任意一帧低分辨率图像S进行双三次插值放大，放大因子λ＝2,获得低分辨率放大图像Y_o；

2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量X_p和低频分量X_o；

2c)在低频分量X_o中提取低频图像块

U为低频图像块的数目，在低分辨率放大图像Y_o中提取放大图像块

K为放大图像块的数目；

2d)对提取的低频图像块X_o ^j进行k-means聚类，将其分成50类，得到每一类的聚类中心；

2e)用放大图像块Y_o ⁱ与上步获得的聚类中心作比较，找到与其最为相似的那一类，并在这一类中找到与放大图像块Y_o ⁱ最相似的3个近邻低频图像块

q为最相似的近邻块的数目；

2f)利用上步得到的最相似的低频图像块

在高频分量X_p中找到与其相对应的高频图像块

并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{q}{\mathrm{\Σ}}{w}_i^q*y_h^q,$

其中，为非局部加权系数：

$w_i^q=\exp ({-\left|\right|{Y_0}^i-y_i^q\left|\right|}^2/h){/c}_i$

其中c_i为归一化参数， $c_i=\underset{q=1}{\overset{3}{\mathrm{\Σ}}}\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h),h=100;$

2g)根据合成的高频图像块Y_f ⁱ和低分辨率放大图像块Y_o ⁱ，得到高分辨图像块

$Y_h^i={Y_o}^i+{Y_f}^i;$

2h)对高分辨图像块

求和，得到高分辨图像Y_p：

$Y_p=\underset{i}{\mathrm{\Σ}}{Y}_h^i;$

(3)重复步骤2，对视频X中低分辨率图像的每一帧进行超分辨重建，得到重建后的高分辨率图像帧V_t；

(4)对视频X中原有的高分辨率图像帧X_h和重建后的高分辨率图像帧V_t求和，得到高分辨率视频Z：

Z=X_h+V_t。

本发明与现有的技术相比具有以下优点：

1.本发明用k-means算法对提取的低频图像块进行聚类，得到多块与放大图像块相似的图像块，解决了高频信息不够，且对匹配准则依赖性高的难题；

2.本发明利用非局部约束对得到的相似块进行加权重构，能够锐化图像边缘，且能够恢复更多的图像细节。

附图说明

图1是本发明的总流程图；

图2是本发明与现有两种方法在实验中应用的第1帧的foreman高分辨率图像；

图3是本发明与现有两种方法在实验中应用的第5帧的foreman高分辨率图像；

图4是本发明与现有两种方法在实验中应用的第5帧的foreman低分辨率图像；

图5是现有的Brandi方法在实验中得到的第5帧的foreman高分辨率图像；

图6是现有的C.S.Byung方法在实验中得到的第5帧的foreman高分辨率图像。

图7是本发明在实验中得到的第5帧的foreman高分辨率图像；

具体实施方式

参照图1，本发明的实现步骤如下：

步骤1，输入视频X，并提取其中的每一帧图像。

输入视频X，该视频中包括高分辨率图像和低分辨率图像，其图像分布关系为：首尾两帧为高分辨率图像，从首帧高分辨率图像开始每隔八帧低分辨率图像为一帧高分辨率图像，直到尾帧为止；

提取视频X的每一帧图像，得到高分辨率的图像帧X_h,h＝1,...,M,和低分辨率的图像帧X_t,t＝1,...,N，并定义这些高分辨率图像为关键帧，定义这些低分辨率图像为非关键帧，其中M为视频中高分辨率图像的帧数，N为视频中低分辨率图像的帧数。

步骤2，利用视频中高分辨率图像帧与低分辨率图像帧的分部关系，对低分辨率图像帧X_t中的任意一帧图像进行超分辨重建。

2a)输入如图4所示的低分辨率图像，设放大因子λ＝2,对该低分辨率图像进行双三次插值放大，获得低分辨率放大图像Y_o；

2b)使用高通滤波器对如图2所示的高分辨率图像进行滤波，将其分解为高频分量X_p和低频分量X_o；

2c)在低频分量X_o中提取低频图像块U为低频图像块的数目，在低分辨率放大图像Y_o中提取放大图像块

K为预放大图像块的数目，其中图像块大小均为5×5，重叠块大小均为4×4；

2d)对提取的低频图像块X_o ^j进行k-means聚类，将低频图像块X_o ^j分成50类，得到每一类的聚类中心；

2e)对于低分辨率放大图像Y_o中的每一个图像块Y_o ⁱ，将其与步骤2d)得到的聚类中心作比较，找到与其最为相似的那一类，即先计算放大图像块Y_o ⁱ与每个聚类中心的均方差，再从这些均方差中找出最小值，该最小值所对应的聚类中心就是与放大图像块Y_o ⁱ最相似的块，包含这个最相似块的类即为最相似的那一类；

2f)从所找出的最为相似的这一类中，再找到与放大图像块Y_o ⁱ最相似的3个低频图像块

即计算放大图像块Y_o ⁱ与最相似类中每个图像块的均方差，再从这些均方差中找出最小的3个值，这些值所对应的图像块就是所要找的最相似的3个低频图像块，q＝1,...,3，q为最相似的图像块的数目；

2g)利用最相似的低频图像块

在高频分量X_h中找到其相对应的高频图像块

并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{q}{\mathrm{\Σ}}{w}_i^q*y_h^q,$

其中，

为非局部加权系数：

$w_i^q=\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h){/c}_i,$

其中c_i为归一化参数， $c_i=\underset{q=1}{\overset{3}{\mathrm{\Σ}}}\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h),h=100;$

2h)根据合成的高频图像块Y_f ⁱ和低分辨率放大图像块Y_o ⁱ，得到高分辨图像块

$Y_h^i={Y_o}^i+{Y_f}^i;$

2i)对高分辨图像块求和，得到高分辨图像

如图7所示。

步骤3，重复步骤2，对视频X中低分辨率图像的每一帧进行超分辨重建，得到重建后的高分辨率图像帧V_t。

步骤4，对视频X中原有的高分辨率图像帧X_h和重建后的高分辨率图像帧V_t求和，得到高分辨率视频Z：

Z=X_h+V_t。

本发明的效果可以通过下面的实验仿真进一步说明：

1、实验条件与方法

实验条件为：Intel Core2Duo CPU E65502.33GHZ、2GB RAM，编程平台为MATLABR2010a。实验所用到的视频图像为foreman视频，图像大小均为256×256，其中实验中用到的原始的高分辨率图像如图3所示，低分辨率图像如图4所示。

实验方法：采用现有的Brandi方法、C.S.Byung方法和本发明方法进行超分辨重建。

实验中，应用峰值信噪比PSNR值评价指标来评价超分辨结果的优劣，PSNR值的定义为：

${\mathrm{PSNR}=10\log }_{10}\left(\frac{{255}^2\×U\×V}{\mathrm{\Σ}{\left|\right|x-\hat{x}\left|\right|}^2}\right)$

其中：x为原始的高分辨率图像，

为仿真实验中得到的高分辨率图像，U和V为图像的行数和列数。

2、仿真内容与结果

本发明将图4所示的图像作为输入的低分辨率图像，大小为256×256。

仿真一，用现有的Brandi方法对图4进行超分辨重建，结果如图5所示。

由图5可见，该方法能够较好的恢复出图像的细节信息，但同时在图像的边界处产生了阶梯效应；

仿真二，用现有的C.S.Byung方法对图4进行超分辨重建，结果如图6所示。

由图6可见，该方法重建的图像视觉效果较好，能够很好地保持边界区域信息，但对非边界区域的保持则不够好，存在过平滑现象；

仿真三，用本发明对图4进行超分辨重建，结果如图7所示。

由图7可见，本发明的超分辨重建结果有最好视觉效果，同时保留了更多的图像边缘和细节信息。

本发明与两种对比方法在实验中获取的PSNR值如表1所示，其中，Alg1是现有的Brandi方法，Alg2是现有的C.S.Byung方法，Alg3是本发明的方法。

表1.本发明和对比方法在实验设置下得到的PSNR值

从表1中可以看出，本发明比其它两种对比方法具有更高的PSNR值，有更好的超分辨结果。

Claims (4)

1.一种基于关键帧和非局部约束的视频超分辨方法，包括如下步骤：

(1)输入视频X，提取其中的每一帧图像，得到高分辨率图像帧X_h,h＝1,...,M,和低分辨率图像帧X_t,t＝1,...,N,并定义这些高分辨率图像为关键帧，定义这些低分辨率图像为非关键帧，其中M为视频中高分辨率图像的帧数，N为视频中低分辨率图像的帧数；

(2)利用视频中高分辨率图像帧与低分辨率图像帧的关系，对低分辨率图像帧X_t中的任意一帧图像进行超分辨重建：

2a)对任意一帧低分辨率图像S进行双三次插值放大，放大因子λ＝2,获得低分辨率放大图像Y_o；

2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量X_p和低频分量X_o；

2c)在低频分量X_o中提取低频图像块

U为低频图像块的数目，在低分辨率放大图像Y_o中提取放大图像块

K为放大图像块的数目；

2d)对提取的低频图像块X_o ^j进行k-means聚类，将其分成50类，得到每一类的聚类中心；

2e)用放大图像块Y_o ⁱ与上步获得的聚类中心作比较，找到与其最为相似的那一类，并在这一类中找到与放大图像块Y_o ⁱ最相似的3个近邻低频图像块

为最相似的近邻块的数目；

2f)利用上步得到的最相似的低频图像块

在高频分量X_p中找到与其相对应的高频图像块

并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{q}{\mathrm{\Σ}}{w}_i^q*y_h^q,$

其中，

为非局部加权系数：

$w_i^q=\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h){/c}_i,$

其中c_i为归一化参数， $c_i=\underset{q=1}{\overset{3}{\mathrm{\Σ}}}\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h),h=100;$

2g)根据合成的高频图像块Y_f ⁱ和低分辨率放大图像块Y_o ⁱ，块得到高分辨图像块

$Y_h^i={Y_o}^i+{Y_f}^i;$

2h)对高分辨图像块

求和，得到高分辨图像Y_p：

$Y_p=\underset{i}{\mathrm{\Σ}}{Y}_h^i;$

(3)重复步骤2，对视频X中低分辨率图像的每一帧进行超分辨重建，得到重建后的高分辨率图像帧V_t；

(4)对视频X中原有的高分辨率图像帧X_h和重建后的高分辨率图像帧V_t求和，得到高分辨率视频Z：

Z=X_h+V_t。

2.根据权利要求1所述的非局部约束的视频超分辨方法，其中所述步骤(1)中的视频X，包括高分辨率图像和低分辨率图像，其图像分布为：首尾两帧为高分辨率图像，且从首帧高分辨率图像开始每隔八帧低分辨率图像就会出现一帧高分辨率图像，直到尾帧为止。

3.根据权利要求1所述的基于关键帧和非局部约束的视频超分辨方法，其中所述步骤(2c)中的低频图像块X_o ^j和低分辨率放大图像块Y_o ⁱ，其大小均为5×5，重叠块的大小均为4×4。

4.根据权利要求1所述的基于关键帧和非局部约束的视频超分辨方法，其中所述步骤(2e)所述的用放大图像块Y_o ⁱ与上步获得的聚类中心作比较，找到与其最为相似的那一类，是先计算放大图像块Y_o ⁱ与每个聚类中心的均方差，并找出其最小值，此最小值所对应的聚类中心就是与放大图像块Y_o ⁱ最相似的块，包含这个最相似块的类即为最相似的那一类;

Images