CN103914816A - 一种基于非局部正则化和关键帧的视频超分辨方法 - Google Patents

Abstract

本发明提出了一种基于非局部正则化和关键帧的视频超分辨方法，实现步骤为：(1)输入视频X；（2）对视频X中的一帧低分辨率图像作双三次插值放大获得放大图像；对距离放大图像最近的高分辨率图像作高通滤波，获得低、高频分量；(3)分别在放大图像和低频分量中提取图像块，并对放大图像块进行非局部正则化，低频图像块作k-means聚类；（4）将新的放大图像块与聚类中心作比较，找到最相似的类，在最相似类中找到相似的低频图像块；(5)由相似的低频图像块找到相对应的高频图像块，再对高频图像块作非局部加权，得到重构的高分辨率图像；(6)对视频每一帧低分辨率图像重复步骤(2)～(5)，获得高分辨率视频。本发明用于视频的增强或恢复。

Description

一种基于非局部正则化和关键帧的视频超分辨方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种基于非局部正则化和关键帧的视频超分辨方法，对低分辨率的视频进行超分辨，应用于视频图像的增强或恢复。

背景技术

视频超分辨技术是为了获得更准确的视频信息，通过多种技术手段提高视频的清晰度、抑制噪声的一门学科。它是视频图像处理中重要而又富有挑战性的研究内容，对于视频超分辨问题，研究者已经提出了很多方法。

2008年Brandietal.等人提出了一种有效的视频超分辨的方法，在传输压缩视频的时候，将传输的几帧原始未压缩的图像作为关键帧，将这几帧关键帧作为数据库，由于这几帧关键帧与非关键帧有很大的相似度，因此非关键帧在这几个关键帧中配对时，配对出错率会大大降低，从而提高超分辨率算法的鲁棒性，见F.Brandi,R.DeQueirozandD.Mukherjee,“SuperResolutionofVideoUsingKeyFrames”,inIEEEISCAS,May2008,pp.1608-1611.。输入的视频序列中包含高分辨率帧和低分辨率帧，其中定义包含高频信息的几帧为关键帧，其余帧仅包含低频信息为非关键帧，将关键帧与非关键帧独立编码，对关键帧进行处理，得到相应的高频信息和低频信息，找到关键帧与非关键帧的低频信息的对应关系，直接将关键帧的高频信息加到非关键帧中，实现直接运动补偿。但是，这种方法由于是传统的基于全局运动估计搜索方式，很难找到真实的运动向量，因此在运动补偿后会引起块效应而降低视频图像效果。

2010年，C.S.Byung在Brandi的方法上进行了改进，见C.S.Byung,J.Shin-CheolandC.Yanglim,“Keyframe-basedvideosuper-resolutionusingbi-directionaloverlappedblockmotioncompensationandtraineddictionary”,inIEEEIPTA,July2010,pp.181-186。在视频中传输几帧包含高频信息的关键帧，通过相邻的关键帧，经过双向运动估计及运动补偿，从而实现非关键帧的超分辨；其中所采用的运动补偿方法是重叠块的运动补偿，来寻找匹配的高频信息。相对于Brandi的直接运动补偿，效果更好点，高频信息的添加更加精确一些，但是当视频中具有噪声时，在运动补偿的过程中，对匹配准则的要求很高，且添加的高频信息有限，造成视觉效果质量下降。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于非局部正则化和关键帧的视频超分辨方法，以对视频中每一帧低分辨率含噪图像，在不需要精确地匹配准则下能够获取更多的高频信息，更好的恢复低分辨率含噪图像的高频信息，进而获得边缘清晰、视觉效果好的高分辨率视频。

为实现上述目的，本发明提出了一种基于非局部正则化和关键帧的视频超分辨方法，包括如下步骤：

(1)输入视频X，提取视频X中的每一帧图像，得到高分辨率图像帧X_h,h＝1,...,M，和低分辨率含噪图像帧X_t,t＝1,...,N，并定义高分辨率图像帧X_h为关键帧，定义低分辨率含噪图像帧X_t为非关键帧，其中M为视频X中高分辨率图像的帧数，N为视频X中低分辨率含噪图像的帧数；

(2)利用视频中高分辨率图像帧X_h与低分辨率含噪图像帧X_t的关系，对低分辨率含噪图像帧X_t中的任意一帧图像进行超分辨重建，重建过程如下：

2a)对任意一帧低分辨率含噪图像S进行双三次插值放大，放大因子λ＝2,获得低分辨率含噪放大图像Y_o；

2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量X_p和低频分量X_o；

2c)在低频分量X_o中提取含噪的低频图像块j＝1,...,U，U为含噪低频图像块的数目，在低分辨率含噪的放大图像Y_o中提取含噪的低分辨率放大图像块i＝1,...,K，K为放大图像块的数目；

2d)对含噪的低分辨率放大图像块进行非局部正则化，得到去噪的低分辨率放大图像块非局部正则化函数为：

$R_o^i=\underset{i\∈i}{\mathrm{\Σ}}\frac{1}{2}\∫\mathrm{\φ}\left(\right|Y_o^i-Y_o^j\left|\right)w(i,j)d_i{d}_j,$

其中，w(i,j)为非局部加权系数：

$w(i,j)=\exp (-{\left|\right|Y_o^i-T_o^j\left|\right|}^2/h)/c_i,$

其中c_i为归一化参数， $c_i=\underset{=1}{\overset{k}{\mathrm{\Σ}}}\exp (-{\left|\right|Y_o^i-Y_o^j\left|\right|}^2/h),$ h＝100；

2e)对提取的含噪的低频图像块X_o ^j进行k-means聚类，将其分成90类，得到每一类的聚类中心；

2f)用去噪的低分辨率放大图像块R_o ⁱ与步骤2e)中获得的聚类中心作比较，找到与去噪的低分辨率放大图像块R_o ⁱ最相似的那一类，并在这一类中找到与去噪的低分辨率放大图像块R_o ⁱ最相似的3个近邻低频图像块q＝1,...,3，q为最相似的近邻块的数目；

2g)利用步骤2f)中得到的最相似的3个近邻低频图像块在高频分量X_p中找到与这3个近邻低频图像块相对应的高频图像块并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{q}{\mathrm{\Σ}}{w}_i^q*y_h^q,$

其中，为非局部加权系数：

$w_i^q=\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h)/c_i,$

其中c_i为归一化参数， $c_i=\underset{q=1}{\overset{3}{\mathrm{\Σ}}}\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h),$ h＝100；

2h)根据合成的高频图像块Y_f ⁱ和去噪的低分辨率放大图像块R_o ⁱ，得到高分辨图像块 $Y_h^i:$

$Y_h^i={R_o}^i+{T_f}^i;$

2i)对高分辨图像块求和，得到高分辨图像Y_p：

$Y_p=\underset{i}{\mathrm{\Σ}}{Y}_h^i;$

(3)重复步骤2，对视频X中低分辨率含噪图像帧X_t的每一帧图像进行超分辨重建，得到重建后的高分辨率图像帧V_t；

(4)对视频X中原有的高分辨率图像帧X_h和重建后的高分辨率图像帧V_t求和，得到高分辨率视频Z：

Z=X_h+V_t。

所述步骤(1)中的视频X，包括高分辨率图像和低分辨率含噪图像，其图像分布为：首尾两帧为高分辨率图像，且从首帧高分辨率图像开始每隔八帧低分辨率含噪图像就会出现一帧高分辨率图像，直到尾帧为止。

所述步骤2c)中的含噪的低频图像块X_o ^j和含噪的低分辨率放大图像块Y_o ⁱ，其大小均为5×5，重叠块的大小均为4×4。

所述步骤2f)中寻找与去噪的低分辨率放大图像块R_o ⁱ最相似的那一类的过程为先计算去噪的低分辨率放大图像块R_o ⁱ与步骤2e)中的聚类中心的均方差，并找出这些均方差中的最小值，此最小值所对应的聚类中心就是与去噪的低分辨率放大图像块R_o ⁱ的最相似块，包含这个最相似块的类即为与去噪的低分辨率放大图像块R_o ⁱ最相似的那一类。

本发明的有益效果是：

第一，本发明用k-means算法对提取的低频图像块进行聚类，得到多块与放大图像块相似的图像块，解决了高频信息不够，且对匹配准则依赖性高的难题；

第二，本发明利用非局部约束对得到的相似块进行加权重构，能够锐化图像边缘，且能够恢复更多的图像细节。

附图说明

图1是本发明的总流程图；

图2是本发明与现有两种方法在实验中应用的第1帧的foreman高分辨率图像；

图3是本发明与现有两种方法在实验中应用的第5帧的foreman高分辨率图像；

图4是本发明与现有两种方法在实验中应用的第5帧的foreman低分辨率含噪图像；

图5是现有的Brandi方法在实验中得到的第5帧的foreman高分辨率图像；

图6是现有的C.S.Byung方法在实验中得到的第5帧的foreman高分辨率图像。

图7是本发明在实验中得到的第5帧的foreman高分辨率图像；

具体实施方式

下面结合附图对本发明进一步详细描述。

实施例1：

本发明提出了一种基于非局部正则化和关键帧的视频超分辨方法，如图1所示，本发明的实现过程包含如下步骤：

步骤1，输入视频X，并提取其中的每一帧图像。

输入视频X，该视频X中包括高分辨率图像和低分辨率图像，其图像分布关系为：首尾两帧为高分辨率图像，从首帧高分辨率图像开始每隔八帧低分辨率图像为一帧高分辨率图像，直到尾帧为止；

提取视频X中的每一帧图像，得到高分辨率图像帧X_h,h＝1,...,M，和低分辨率含噪图像帧X_t,t＝1,...,N，并定义高分辨率图像帧X_h为关键帧，定义低分辨率含噪图像帧X_t为非关键帧，其中M为视频X中高分辨率图像的帧数，N为视频X中低分辨率含噪图像的帧数；

步骤2，利用视频中高分辨率图像帧X_h与低分辨率含噪图像帧X_t的关系，对低分辨率含噪图像帧X_t中的任意一帧图像进行超分辨重建，重建过程如下：

2a)输入如图4所示的低分辨率图像，设放大因子λ＝2，对该低分辨率图像进行双三次插值放大，获得低分辨率含噪放大图像Y_o；

2b)使用高通滤波器对如图2所示的高分辨率图像进行滤波，将该高分辨率图像分解为高频分量X_p和低频分量X_o；

2c)在低频分量X_o中提取含噪的低频图像块j＝1,...,U，U为含噪低频图像块的数目，在低分辨率含噪的放大图像Y_o中提取含噪的低分辨率放大图像块Y_o ⁱ,i＝1,...,K，K为放大图像块的数目；其中含噪的低频图像块X_o ^j和含噪的低分辨率放大图像块Y_o ⁱ的大小均为5×5，重叠块大小均为4×4；

2d)对含噪的低分辨率放大图像块Y_o ⁱ进行非局部正则化，得到去噪的低分辨率放大图像块非局部正则化函数为：

$R_o^i=\underset{i\∈i}{\mathrm{\Σ}}\frac{1}{2}\∫\mathrm{\φ}\left(\right|Y_o^i-Y_o^j\left|\right)w(i,j)d_i{d}_j,$

其中，w(i,j)为非局部加权系数：

$w(i,j)=\exp (-{\left|\right|Y_o^i-T_o^j\left|\right|}^2/h)/c_i,$

其中ci为归一化参数， $c_i=\underset{=1}{\overset{k}{\mathrm{\Σ}}}\exp (-{\left|\right|Y_o^i-Y_o^j\left|\right|}^2/h),$ h＝100；

2e)对提取的低频图像块X_o ^j进行k-means聚类，将低频图像块X_o ^j分为90类，得到每一类的聚类中心；

2f)对于去噪的低分辨率放大图像块R_o ⁱ，将其与步骤2e)得到的聚类中心作比较，找到与其最为相似的那一类，即先计算去噪的放大图像块R_o ⁱ与每个聚类中心的均方差，再从这些均方差中找出最小值，该最小值所对应的聚类中心就是与去噪的放大图像块R_o ⁱ最相似的块，包含这个最相似块的类即为最相似的那一类；

2g)从所找出的最为相似的这一类中，再找到与去噪的放大图像块R_o ⁱ最相似的3个低频图像块即计算去噪的放大图像块R_o ⁱ与最相似类中每个图像块的均方差，再从这些均方差中找出最小的3个值，这些值所对应的图像块就是所要找的最相似的3个低频图像块，q＝1,...,3，q为最相似的图像块的数目；

2h)利用最相似的低频图像块在高频分量X_h中找到其相对应的高频图像块并对这些高频图像块进行非局部加权，得到合成的高频图像块

$Y_f^i=\underset{q}{\mathrm{\Σ}}{w}_i^q*y_h^q,$

其中，为非局部加权系数：

$w_i^q=\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h)/c_i,$

其中ci为归一化参数， $c_i=\underset{q=1}{\overset{3}{\mathrm{\Σ}}}\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h),$ h＝100；

2i)根据合成的高频图像块和去噪的低分辨率放大图像块R_o ⁱ，得到高分辨图像块 $Y_h^i:$

$Y_h^i={R_o}^i+{T_f}^i;$

2j)对高分辨图像块求和，得到高分辨图像如图7所示。

步骤3，重复步骤2，对视频X中低分辨率图像的每一帧进行超分辨重建，得到重建后的高分辨率图像帧V_t。

步骤4，对视频X中原有的高分辨率图像帧X_h和重建后的高分辨率图像帧V_t求和，得到高分辨率视频Z：

Z=X_h+V_t。

实施例2：

基于非局部正则化和关键帧的视频超分辨方法同实施例1，本发明的效果可以通过以下的实验仿真进一步说明：

实验条件为：IntelCore2DuoCPUE65502.33GHZ、2GBRAM，编程平台为MATLABR2010a。实验所用到的视频图像为foreman视频，图像大小均为256×256，视频中所含噪声的标准差为10db，其中实验中用到的原始的高分辨率图像如图3所示，低分辨率含噪图像如图4所示。

实验采用现有的Brandi方法、C.S.Byung方法和本发明方法进行超分辨重建。

实验中，应用峰值信噪比PSNR值评价指标来评价超分辨结果的优劣，PSNR值的定义为：

$\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2\×U\×V}{\mathrm{\Σ}{\left|\right|x-\hat{x}|}^2}\right)$

其中：x为原始的高分辨率图像，为仿真实验中得到的高分辨率图像，U和V为图像的行数和列数。

本实验将图4所示的图像作为输入的低分辨率含噪图像，大小为256×256。

其中，用现有的Brandi方法对图4进行超分辨重建，结果如图5所示；由图5可见，该方法能够较好的恢复出图像的细节信息，但同时在图像的边界处产生了阶梯效应；

用现有的C.S.Byung方法对图4进行超分辨重建，结果如图6所示；由图6可见，该方法重建的图像视觉效果较好，能够很好地保持边界区域信息，但对非边界区域的保持则不够好，存在过平滑现象；

用本发明方法对图4进行超分辨重建，结果如图7所示；由图7可见，本发明的超分辨重建结果有最好视觉效果，同时保留了更多的图像边缘和细节信息。

本发明与两种对比方法在实验中获取的PSNR值如表1所示，其中，Alg1是现有的Brandi方法，Alg2是现有的C.S.Byung方法，Alg3是本发明的方法。

表1.本发明和对比方法在实验设置下得到的PSNR值

从表1中可以看出，本发明的方法比其它两种对比方法具有更高的PSNR值，有更好的超分辨结果。

Claims (4)

1.一种基于非局部正则化和关键帧的视频超分辨方法，其特征在于：包括如下步骤：

(1)输入视频X，提取视频X中的每一帧图像，得到高分辨率图像帧X_h,h＝1,...,M，和低分辨率含噪图像帧X_t,t＝1,...,N，并定义高分辨率图像帧X_h为关键帧，定义低分辨率含噪图像帧X_t为非关键帧，其中M为视频X中高分辨率图像的帧数，N为视频X中低分辨率含噪图像的帧数；

(2)利用视频X中高分辨率图像帧X_h与低分辨率含噪图像帧X_t的关系，对低分辨率含噪图像帧X_t中的任意一帧图像进行超分辨重建，重建过程如下：

2a)对任意一帧低分辨率含噪图像S进行双三次插值放大，放大因子λ＝2,获得低分辨率含噪放大图像Y_o；

2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量X_p和低频分量X_o；

2c)在低频分量X_o中提取含噪的低频图像块j＝1,...,U，U为含噪低频图像块的数目，在低分辨率含噪的放大图像Y_o中提取含噪的低分辨率放大图像块Y_o ⁱ,i＝1,...,K，K为放大图像块的数目；

2d)对含噪的低分辨率放大图像块Y_o ⁱ进行非局部正则化，得到去噪的低分辨率放大图像块R_o ⁱ，非局部正则化函数为：

$R_o^i=\underset{i\∈i}{\mathrm{\Σ}}\frac{1}{2}\∫\mathrm{\φ}\left(\right|Y_o^i-Y_o^j\left|\right)w(i,j)d_i{d}_j,$

其中，w(i,j)为非局部加权系数：

$w(i,j)=\exp (-{\left|\right|Y_o^i-T_o^j\left|\right|}^2/h)/c_i,$

其中c_i为归一化参数， $c_i=\underset{=1}{\overset{k}{\mathrm{\Σ}}}\exp (-{\left|\right|Y_o^i-Y_o^j\left|\right|}^2/h),$ h＝100；

2e)对提取的含噪的低频图像块X_o ^j进行k-means聚类，将其分成90类，得到每一类的聚类中心；

2f)用去噪的低分辨率放大图像块R_o ⁱ与上步2e)中获得的聚类中心作比较，找到与去噪的低分辨率放大图像块R_o ⁱ最相似的那一类，并在这一类中找到与去噪的低分辨率放大图像块R_o ⁱ最相似的3个近邻低频图像块q＝1,...,3，q为最相似的近邻块的数目；

2g)利用上步2f)中得到的最相似的3个近邻低频图像块在高频分量X_p中找到与这3个近邻低频图像块相对应的高频图像块并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{q}{\mathrm{\Σ}}{w}_i^q*y_h^q,$

其中，为非局部加权系数：

$w_i^q=\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h)/c_i,$

其中c_i为归一化参数， $c_i=\underset{q=1}{\overset{3}{\mathrm{\Σ}}}\exp (-{\left|\right|{Y_o}^i-y_i^q\left|\right|}^2/h),$ h＝100；

2h)根据合成的高频图像块Y_f ⁱ和去噪的低分辨率放大图像块R_o ⁱ，得到高分辨图像块

$Y_h^i={R_o}^i+{T_f}^i;$

2i)对高分辨图像块求和，得到高分辨图像Y_p：

$Y_p=\underset{i}{\mathrm{\Σ}}{Y}_h^i;$

(3)重复步骤2，对视频X中低分辨率含噪图像帧X_t的每一帧图像进行超分辨重建，得到重建后的高分辨率图像帧V_t；

(4)对视频X中原有的高分辨率图像帧X_h和重建后的高分辨率图像帧V_t求和，得到高分辨率视频Z：

Z=X_h+V_t。

2.根据权利要求1所述的基于非局部正则化和关键帧的视频超分辨方法，其特征在于：所述步骤(1)中的视频X，包括高分辨率图像和低分辨率含噪图像，其图像分布为：首尾两帧为高分辨率图像，且从首帧高分辨率图像开始每隔八帧低分辨率含噪图像就会出现一帧高分辨率图像，直到尾帧为止。

3.根据权利要求1所述的基于非局部正则化和关键帧的视频超分辨方法，其特征在于：所述步骤2c)中的含噪的低频图像块X_o ^j和含噪的低分辨率放大图像块Y_o ⁱ，其大小均为5×5，重叠块的大小均为4×4。

4.根据权利要求1所述的基于非局部正则化和关键帧的视频超分辨方法，其特征在于：所述步骤2f)中寻找与去噪的低分辨率放大图像块R_o ⁱ最相似的那一类的过程为先计算去噪的低分辨率放大图像块R_o ⁱ与步骤2e)中的聚类中心的均方差，并找出这些均方差中的最小值，此最小值所对应的聚类中心就是与去噪的低分辨率放大图像块R_o ⁱ的最相似块，包含这个最相似块的类即为与去噪的低分辨率放大图像块R_o ⁱ最相似的那一类。