CN103400346A - 基于自适应的超像素导向自回归模型的视频超分辨率方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，为提供一种能广泛应用，且能得到高质量视频的视频超分辨率获取方法，本发明采取的技术方案是，一种基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，将视频帧分为关键帧和非关键帧：对关键帧采用基于稀疏回归和自然图像对的方法进行超分辨率，对非关键帧采用基于自适应的超像素导向自回归模型的视频超分辨率方法结合相邻最近的关键帧进行超分辨率，将得到的超分辨率关键帧和超分辨率非关键帧综合成超分辨率视频。本发明主要应用于视频处理。

Description

基于自适应的超像素导向自回归模型的视频超分辨率方法

技术领域

本发明属于计算机视觉技术领域，涉及基于GPU的光流理论、自回归模型理论、超像素理论、马尔科夫随机场理论及单张图像实现图像超分辨率方法，具体讲，涉及基于自适应的超像素导向自回归模型的视频超分辨率方法。

背景技术

长期以来，通过低分辨视频恢复到高分辨率视频已在关键技术上取得了重要突破，已经趋于成熟并在监控视频、互联网视频、数字电视、智能交通等多个领域获得广泛应用。然而，传统的方法做超分辨率视频需要视频中已经存在高分辨率的关键帧，并且得到的超分辨率结果存在块效应或噪声等问题。基于自适应的超像素导向自回归模型的视频超分辨率方法则可达到更高的分辨率，并且不要求视频中已经存在高分辨率的关键帧。相关研究在近年来开始成为研究热点。视频超分辨率方法技术在高清视频、高清度电视、监控视频、智能交通和安全监控等领域有着广泛应用。国际上多所著名大学与研究机构如：伊利诺伊大学，牛津大学，布朗大学，仁荷大学，萨里大学，布拉德福大学，新英格兰微软研究院，YUV软件公司等都在该领域有着深度的研究。现阶段，普遍的视频超分辨率技术由于非常依赖于借助视频关键帧的高频信息构造字典而难以获得用户满意的超分辨率效果。其中，要得到更精确的超分辨视频，一种方法是采用更精确的字典，但由于视频中关键帧的数量有限，不能满足需求。另一种方法是利用关键帧和非关键的时空关系构造自回归模型得到超分辨率的视频帧。仁荷大学（Byung Cheol Song,Shin-Cheol Jeong,Yanglim Choi.Image Video Super-Resolution AlgorithmUsing Bi-Directional Overlapped Block Motion Compensation and On-the-Fly Dictionary Training.IEEE Transaction on Circuits and Systerm for Video Technology,Vol.21,No.3,2011,274-286.）通过构建字典的方法实现了视频的超分辨率放大。但是该方法得到的结果图像质量有待提高，并且由于依赖视频中原始存在的高分辨率关键帧，不能应用到很多现实的视频中。

发明内容

本发明旨在解决克服现有技术的不足，提供一种能广泛应用，且能得到高质量视频的视频超分辨率获取方法，本发明采取的技术方案是，一种基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，将视频帧分为关键帧和非关键帧：对关键帧采用基于稀疏回归和自然图像对的方法进行超分辨率，对非关键帧采用基于自适应的超像素导向自回归模型的视频超分辨率方法结合相邻最近的关键帧进行超分辨率，将得到的超分辨率关键帧和超分辨率非关键帧综合成超分辨率视频。

基于自适应的超像素导向自回归模型的视频超分辨率方法具体步骤为：

1）对于输入视频，采用一种自适应的迭代方法计算选取关键帧的阀值T；

2）通过计算并判断当前帧与之前相邻最近的关键帧之间的运动误差是否大于阀值T来选择关键帧和非关键帧；

3）对步骤2）选择出的关键帧，采用基于稀疏回归和自然图像对的图像超分辨率方法进行超分辨率；

4）对步骤2）选择出的非关键帧，采用双三次差值的方法将其初始的放大到想要的分辨率；

5）基于步骤4）得到的初始放大非关键帧，采用基于GPU的光流方法将当前非关键帧之前相邻的最近的关键帧投影到当前帧；

6）根据初始非关键帧对步骤5）得到的投影图像进行修正，构造提出模型的数据项；

7）基于步骤4）得到的初始放大非关键帧，提取边缘几何流信息和超像素信息；

8）根据提取的几何流信息和超像素信息构造AR模型的系数项；

9）将步骤6）得到的数据项和步骤8）得到的系数项构造基于自适应的超像素导向自回归模型，用该模型恢复超分辨率的非关键帧；

10）将步骤3）得到的超分辨率关键帧和步骤9）得到的超分辨率非关键帧综合成超分辨率视频。

一种自适应的迭代方法计算阀值T，具体包括以下步骤：

11）计算每相邻两帧的运动误差e_i,i+1，根据大量实验统计定义阀值下限c₁和上限c₂；

12）求整段视频所有帧的平均误差，计算如下：

$\stackrel{\‾}{e}=\left(\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}{e}_{i,i+1}\right)/(N-1)---\left(1\right)$

其中，e_i,i+1是第i帧和第i+1帧的运动误差，N是整段视频里的帧的总数；

13）如果令

采用本发明所提出的方法选择关键帧，并统计关键帧所占帧总数的比例，根据关键帧的比例以0.1为步长，上下调整阀值T，直到关键帧的比例满足需要时确定最终的阀值。如果

直接得到阀值

关键帧与非关键帧选择的方法具体包括以下步骤：

21）定义视频第一帧为初始的关键帧；

22）对其后的视频帧，计算其与关键帧的运动误差，运动误差计算如下：

$e=\frac{f_{\mathrm{NZ}}(P\left(y\right)-P\left(y_{\mathrm{pre}}\right))}{z}---\left(2\right)$

其中，y和y_pre分别是当前帧和之前最近邻的关键帧，P(·)代表把RGB图像转换成灰度图像的一种操作，f_NZ是选取矩阵中非零项的函数，z代表误差矩阵中的非零项的个数。

23）如果运动误差e大于阀值T，当前帧被选取为关键帧；否则，当前帧被选取为非关键帧。

采用基于GPU的光流方法将当前非关键帧之前相邻的最近的关键帧投影到当前帧，具体如下：

x_kl=y_ij,(i∈(1,m),j∈(1,n)),

with

$k=i+O_{\mathrm{ij}}^1---\left(3\right)$

$l=j+O_{\mathrm{ij}}^2$

其中，y代表之前相邻最近的关键帧，m和n分别代表关键帧的高度和宽度，x代表当前非关键的高分辨率版本，O¹和O²分别代表光流O的第一和第二维度，当边界k和l超出图像边界的时候，忽略x的值。

根据非关键帧对投影得到的图像进行修正具体为：

with    （4）

其中，F⁰表示对投影图像修正后的图像，

表示投影得到的图像，

表示初始化放大后的非关键帧，p和q分别是帧的高度和宽度，u和v是RGB彩色空间的索引，t是用来修正投影图像的阀值。

基于初始放大非关键帧，提取边缘几何流信息和超像素信息具体为：

$c_{x,y}^B=\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{{2\mathrm{\σ}}_1^2})\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{2\×3\×{\mathrm{\σ}}_2^2})\×C^Y---\left(5\right)$

其中，c^B表示要提取的几何流信息，σ₁和σ₂分别是用来调整空间距离和像素强度的滤波器系数，x代表要恢复的点，y∈N_x代表图像中以x为中心的邻域内的像素点，C^Y是一个光照强度滤波器，具体为：

$C_{x,y}^Y=\exp (-\frac{{({\hat{I}}_x^Y-{\hat{I}}_y^Y)}^2}{{2\mathrm{\σ}}_3^2})---\left(6\right)$

其中，

是图像在YCbCr空间亮度域Y的值，σ₃是用来调整亮度域影响的参数。

$c_{x,y}^S=\left\{\begin{array}{cc}1& {\mathrm{SP}}_x={\mathrm{SP}}_y\\ 0.3& {\mathrm{SP}}_x\≠{\mathrm{SP}}_y\end{array}\right.---\left(7\right)$

其中，c^S表示要提取的超像素信息，SP_x和SP_y分别代表x和y点处超像素的值，采用SLIC的方法产生超像素。

构造基于自适应的超像素导向自回归模型具体如下：

$\underset{F}{\min }{E}_{\mathrm{data}}(F,F^0)+{\mathrm{\λE}}_{\mathrm{AR}}\left(F\right)---\left(8\right)$

其中，E_data(F,F⁰)是用来保证超分辨率后的非关键帧F和修正后的投影非关键一致的数据项，E_AR(F)是把自回归（AR）模型加入到非关键帧超分辨率的自回归项，λ是数据项和自回归项的权重；

数据项具体为：

$E_{\mathrm{data}}{(F,F^0)}_{\stackrel{\mathrm{\Δ}}{=}}{\mathrm{\Σ}}_{x\∈\mathrm{\Ω}}{(F_x-F_x^0)}^2---\left(9\right)$

自回归项具体为：

$E_{\mathrm{AR}}{\left(F\right)}_{\stackrel{\mathrm{\Δ}}{=}}{\mathrm{\Σ}}_x{(F_x-{\mathrm{\Σ}}_{y\∈N_x}{c}_{x,y}{F}_y)}^2$

with    (10)

$c_{x,y}=\frac{1}{N_x}{c}_{x,y}^B{c}_{x,y}^S$

其中，N_x是规一化系数，

和

分别是公式（5）的边缘几何流信息和公式（7）的超像素信息。

本发明的方法的特点及效果：

本发明方法提高了视频超分辨率的质量，通过自动的选择关键帧和非关键帧，使本方法可以应用到各类现实的视频实例中；通过基于稀疏回归和自然图像对的方法对选择出的关键帧进行超分辨率，实现了关键帧的高效放大；通过基于自适应的超像素导向自回归模型的方法实现了非关键帧的超分辨率，得到了非常好的结果，使视频超分辨后效果更精确。具有以下特点：

1.程序简单，易于实现。

2.针对输入视频，通过自动的方法将视频帧分为关键帧和非关键帧。

3.对关键帧采用了基于稀疏回归的超分辨率方法，对非关键帧采用了基于自适应的超像素导向自回归模型的方法，充分考虑了视频帧的时空因素，得到的视频分辨率更高。

4.程序运行时间短，方便现实应用。

本发明可以将所有帧均为低分辨率的视频进行超分辨率。所提出的方法具有很好的实用性，可以广泛的应用到各种现实视频实例中。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于自适应的超像素导向自回归模型的视频超分辨率方法流程图；

图2为本发明实施例采用所提出的发明方法和其他四种方法对Shield视频序列做超分辨率的结果；

图3为本发明实施例采用所提出的发明方法对现实监控视频序列做超分辨率的结果。

具体实施方式

本发明将低分辨率视频做超分辨率转化为对关键帧和非关键帧分别作图像超分辨率，其中用于超分辨率关键帧的稀疏回归方法用时少，结果好，同时考虑到视频帧的时空特性，对于非关键帧采用了基于自适应的超像素导向自回归模型的方法进行超分辨率，最终实现了视频的超分辨率。所得结果具有纹理细节丰富，分辨率更高的特点。

本发明的基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征在于：将视频帧分为关键帧和非关键帧，对关键帧采用一种基于稀疏回归和自然图像对的方法进行超分辨率，对非关键帧采用一种基于自适应的超像素导向自回归模型的方法结合之前最近邻的关键帧进行超分辨率，具体方法包括以下步骤：

1）对于输入视频，采用一种自适应的迭代方法计算选取关键帧的阀值T。迭代方法具体包括以下步骤：

11）计算每相邻两帧的运动误差e_i,i+1，根据大量实验统计定义阀值下限c₁和上限c₂；

12）求整段视频所有帧的平均误差，计算如下：

$\stackrel{\‾}{e}=\left(\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}{e}_{i,i+1}\right)/(N-1)---\left(1\right)$

其中，e_i,i+1是第i帧和第i+1帧的运动误差，N是整段视频里的帧的总数。

13）如果

令

采用本发明所提出的方法选择关键帧，并统计关键帧所占帧总数的比例，根据关键帧的比例以0.1为步长，上下调整阀值T，直到关键帧的比例满足需要时确定最终的阀值。如果

直接得到阀值

2）通过计算并判断当前帧与之前相邻最近的关键帧之间的运动误差是否大于阀值T来选择关键帧和非关键帧。关键帧与非关键帧选择的方法具体包括以下步骤：

21）定义视频第一帧为初始的关键帧；

22）对其后的视频帧，计算其与关键帧的运动误差，运动误差计算如下：

$e=\frac{f_{\mathrm{NZ}}(P\left(y\right)-P\left(y_{\mathrm{pre}}\right))}{z}---\left(2\right)$

其中，y和y_pre分别是当前帧和之前最近邻的关键帧，P(·)代表把RGB图像转换成灰度图像的一种操作，f_NZ是选取矩阵中非零项的函数，z代表误差矩阵中的非零项的个数。

23）如果运动误差e大于阀值T，当前帧被选取为关键帧；否则，当前帧被选取为非关键帧。

3）对选择出的关键帧，采用一种基于稀疏回归和自然图像对的图像超分辨率方法进行超分辨率。

4）对选择出的非关键帧，采用双三次差值的方法将其初始的放大到想要的分辨率；

5）采用基于GPU的光流方法将当前非关键帧之前相邻的最近的关键帧投影到当前帧，具体为：

x_kl=y_ij,(i∈(1,m),j∈(1,n)),

with

$k=i+O_{\mathrm{ij}}^1---\left(3\right)$

$l=j+O_{\mathrm{ij}}^2$

其中，y代表之前相邻最近的关键帧，m和n分别代表关键帧的高度和宽度，x代表当前非关键的高分辨率版本，O¹和O²分别代表光流O的第一和第二维度。当边界k和l超出图像边界的时候，我们忽略x的值。

6）根据非关键帧对投影得到的图像进行修正具体为：

with    （4）

其中，F⁰表示对投影图像修正后的图像，

表示投影得到的图像，表示初始化放大后的非关键帧，p和q分别是帧的高度和宽度，u和v是RGB彩色空间的索引，t是用来修正投影图像的阀值。

7）基于初始放大非关键帧，提取边缘几何流信息和超像素信息具体为：

$c_{x,y}^B=\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{{2\mathrm{\σ}}_1^2})\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{2\×3\×{\mathrm{\σ}}_2^2})\×C^Y---\left(5\right)$

其中，c^B表示要提取的几何流信息，σ₁和σ₂分别是用来调整空间距离和像素强度的滤波器系数，x代表要恢复的点，y∈N_x代表图像中以x为中心的邻域内的像素点，C^Y是一个光照强度滤波器，具体为：

$C_{x,y}^Y=\exp (-\frac{{({\hat{I}}_x^Y-{\hat{I}}_y^Y)}^2}{{2\mathrm{\σ}}_3^2})---\left(6\right)$

其中，

是图像在YCbCr空间亮度域Y的值，σ₃是用来调整亮度域影响的参数。

$c_{x,y}^S=\left\{\begin{array}{cc}1& {\mathrm{SP}}_x={\mathrm{SP}}_y\\ 0.3& {\mathrm{SP}}_x\≠{\mathrm{SP}}_y\end{array}\right.---\left(7\right)$

其中，c^S表示要提取的超像素信息，SP_x和SP_y分别代表x和y点处超像素的值。在本发明中，我们采用SLIC的方法产生超像素。

8）根据提取的几何流信息和超像素信息构造AR模型的系数项；

9）构造基于自适应的超像素导向自回归模型并用该模型恢复超分辨率的非关键帧，构造基于自适应的超像素导向自回归模型具体如下：

$\underset{F}{\min }{E}_{\mathrm{data}}(F,F^0)+{\mathrm{\λE}}_{\mathrm{AR}}\left(F\right)---\left(8\right)$

其中，E_data(F,F⁰)是用来保证超分辨率后的非关键帧F和修正后的投影非关键一致的数据项，E_AR(F)是把自回归（AR）模型加入到非关键帧超分辨率的自回归项，λ是数据项和自回归项的权重。

数据项具体为：

$E_{\mathrm{data}}{(F,F^0)}_{\stackrel{\mathrm{\Δ}}{=}}{\mathrm{\Σ}}_{x\∈\mathrm{\Ω}}{(F_x-F_x^0)}^2---\left(9\right)$

自回归项具体为：

$E_{\mathrm{AR}}{\left(F\right)}_{\stackrel{\mathrm{\Δ}}{=}}{\mathrm{\Σ}}_x{(F_x-{\mathrm{\Σ}}_{y\∈N_x}{c}_{x,y}{F}_y)}^2$

with    (10)

$c_{x,y}=\frac{1}{N_x}{c}_{x,y}^B{c}_{x,y}^S$

其中，N_x是规一化系数，

和

分别是公式（5）的边缘几何流信息和公式（7）的超像素信息。

10）将得到的超分辨率关键帧和超分辨率非关键帧综合成超分辨率视频。

本发明提出了一种基于自适应的超像素导向自回归模型的视频超分辨率方法，结合附图及实施例详细说明如下：

实现本发明方法的系统实施例为：Sheild公用YUV测试视频和现实监控视频实例。通过将输入视频分为关键帧和非关键，对关键帧采用一种基于稀疏回归和自然图像对的方法进行超分辨率，对非关键帧采用一种基于自适应的超像素导向自回归模型的方法进行超分辨率，得到了细节更为丰富，超分辨率效果更好的高分辨率视频。如图1所示，为本发明实施例的基于自适应的超像素导向自回归模型的视频超分辨率方法的流程图，包括以下步骤：

1）对于输入视频，采用一种自适应的迭代方法计算选取关键帧的阀值T。迭代方法具体包括以下步骤：

11）计算每相邻两帧的运动误差e_i,i+1，根据大量实验统计定义阀值下限c₁和上限c₂；

12）求整段视频所有帧的平均误差，计算如下：

$\stackrel{\‾}{e}=\left(\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}{e}_{i,i+1}\right)/(N-1)---\left(1\right)$

其中，e_i,i+1是第i帧和第i+1帧的运动误差，N是整段视频里的帧的总数。

13）如果

令

采用本发明所提出的方法选择关键帧，并统计关键帧所占帧总数的比例，根据关键帧的比例以0.1为步长，上下调整阀值T，直到关键帧的比例满足需要时确定最终的阀值。如果

直接得到阀值

2）通过计算并判断当前帧与之前相邻最近的关键帧之间的运动误差是否大于阀值T来选择关键帧和非关键帧。关键帧与非关键帧选择的方法具体包括以下步骤：

21）定义视频第一帧为初始的关键帧；

22）对其后的视频帧，计算其与关键帧的运动误差，运动误差计算如下：

$e=\frac{f_{\mathrm{NZ}}(P\left(y\right)-P\left(y_{\mathrm{pre}}\right))}{z}---\left(2\right)$

其中，y和y_pre分别是当前帧和之前最近邻的关键帧，P(·)代表把RGB图像转换成灰度图像的一种操作，f_NZ是选取矩阵中非零项的函数，z代表误差矩阵中的非零项的个数。

23）如果运动误差e大于阀值T，当前帧被选取为关键帧；否则，当前帧被选取为非关键帧。

3）对选择出的关键帧，采用一种基于稀疏回归和自然图像对的图像超分辨率方法进行超分辨率。

4）对选择出的非关键帧，采用双三次差值的方法将其初始的放大到想要的分辨率；

5）采用基于GPU的光流方法将当前非关键帧之前相邻的最近的关键帧投影到当前帧，具体为：

x_kl=y_ij,(i∈(1,m),j∈(1,n)),

with

$k=i+O_{\mathrm{ij}}^1---\left(3\right)$

$l=j+O_{\mathrm{ij}}^2$

其中，y代表之前相邻最近的关键帧，m和n分别代表关键帧的高度和宽度，x代表当前非关键的高分辨率版本，O¹和O²分别代表光流O的第一和第二维度。当边界k和l超出图像边界的时候，我们忽略x的值。

6）根据非关键帧对投影得到的图像进行修正具体为：

with    （4）

其中，F⁰表示对投影图像修正后的图像，

表示投影得到的图像，

表示初始化放大后的非关键帧，p和q分别是帧的高度和宽度，u和v是RGB彩色空间的索引，t是用来修正投影图像的阀值。

7）基于初始放大非关键帧，提取边缘几何流信息和超像素信息具体为：

$c_{x,y}^B=\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{{2\mathrm{\σ}}_1^2})\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{2\×3\×{\mathrm{\σ}}_2^2})\×C^Y---\left(5\right)$

其中，c^B表示要提取的几何流信息，σ₁和σ₂分别是用来调整空间距离和像素强度的滤波器系数，x代表要恢复的点，y∈N_x代表图像中以x为中心的邻域内的像素点，C^Y是一个光照强度滤波器，具体为：

$C_{x,y}^Y=\exp (-\frac{{({\hat{I}}_x^Y-{\hat{I}}_y^Y)}^2}{{2\mathrm{\σ}}_3^2})---\left(6\right)$

其中，

是图像在YCbCr空间亮度域Y的值，σ₃是用来调整亮度域影响的参数。

$c_{x,y}^S=\left\{\begin{array}{cc}1& {\mathrm{SP}}_x={\mathrm{SP}}_y\\ 0.3& {\mathrm{SP}}_x\≠{\mathrm{SP}}_y\end{array}\right.---\left(7\right)$

其中，c^S表示要提取的超像素信息，SP_x和SP_y分别代表x和y点处超像素的值。在本发明中，我们采用SLIC的方法产生超像素。

8）根据提取的几何流信息和超像素信息构造AR模型的系数项；

9）构造基于自适应的超像素导向自回归模型并用该模型恢复超分辨率的非关键帧，构造基于自适应的超像素导向自回归模型具体如下：

$\underset{F}{\min }{E}_{\mathrm{data}}(F,F^0)+{\mathrm{\λE}}_{\mathrm{AR}}\left(F\right)---\left(8\right)$

其中，E_data(F,F⁰)是用来保证超分辨率后的非关键帧F和修正后的投影非关键一致的数据项，E_AR(F)是把自回归（AR）模型加入到非关键帧超分辨率的自回归项，λ是数据项和自回归项的权重。

数据项具体为：

$E_{\mathrm{data}}{(F,F^0)}_{\stackrel{\mathrm{\Δ}}{=}}{\mathrm{\Σ}}_{x\∈\mathrm{\Ω}}{(F_x-F_x^0)}^2---\left(9\right)$

自回归项具体为：

$E_{\mathrm{AR}}{\left(F\right)}_{\stackrel{\mathrm{\Δ}}{=}}{\mathrm{\Σ}}_x{(F_x-{\mathrm{\Σ}}_{y\∈N_x}{c}_{x,y}{F}_y)}^2$

with    (10)

$c_{x,y}=\frac{1}{N_x}{c}_{x,y}^B{c}_{x,y}^S$

其中，N_x是规一化系数，

和

分别是公式（5）的边缘几何流信息和公式（7）的超像素信息。

10）将得到的超分辨率关键帧和超分辨率非关键帧综合成超分辨率视频。

本实施例对Sheild视频序列最终超分辨率结果及与其他方法的比较如图2所示，其中，(a)图为原始高分辨率帧，(b)图为采用双三次插值方法得到的超分辨率结果；(c)图为采用MSR方法（Song et al.,Video super-resolution algorithm using bi-directionaloverlapped block motion compensation and on-the-fly dictionary training,IEEE trans.CSVT,2011）得到的超分辨率结果；（d）图为采用Hybrid SR方法（Song et al.,Videosuper-resolution algorithm using bi-directional overlapped block motioncompensation and on-the-fly dictionary training,IEEE trans.CSVT,2011）得到的超分辨结果；（e）图为采用Huang的方法（Huang et al.,Video super-resolution usingcodebooks derived from key-frames,IEEE trans.CSVT,2012）得到的超分辨率结果；（f）图为采用本发明方法得到的超分辨率结果。

如图3所示，为采用所提出的发明方法对现实监控视频超分辨的结果。

选取关键帧和非关键是本发明的一个必要技术特征，没有这个步骤后面步骤无从谈起，本发明是包括选取关键帧和非关键帧及后续步骤的一个完整的技术方案，这个方案是若干必要技术特征的组合，不会因其中一个或多个必要技术特征被公开而破坏本发明的专利性，不会因其中一个或多个必要技术特征被公开而破坏，或者采用以现有技术进行简单替换获得的方法，自当属于本说明书表述的范围之内。

Claims (7)

1.一种基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，将视频帧分为关键帧和非关键帧：对关键帧采用基于稀疏回归和自然图像对的方法进行超分辨率，对非关键帧采用基于自适应的超像素导向自回归模型的视频超分辨率方法结合相邻最近的关键帧进行超分辨率，将得到的超分辨率关键帧和超分辨率非关键帧综合成超分辨率视频。

2.根据权利要求1所述的基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，具体步骤为：

1）对于输入视频，采用一种自适应的迭代方法计算选取关键帧的阀值T；

2）通过计算并判断当前帧与之前相邻最近的关键帧之间的运动误差是否大于阀值T来选择关键帧和非关键帧；

3）对步骤2）选择出的关键帧，采用基于稀疏回归和自然图像对的图像超分辨率方法进行超分辨率；

4）对步骤2）选择出的非关键帧，采用双三次差值的方法将其初始的放大到想要的分辨率；

5）基于步骤4）得到的初始放大非关键帧，采用基于GPU的光流方法将当前非关键帧之前相邻的最近的关键帧投影到当前帧；

6）根据初始非关键帧对步骤5）得到的投影图像进行修正，构造提出模型的数据项；

7）基于步骤4）得到的初始放大非关键帧，提取边缘几何流信息和超像素信息；

8）根据提取的几何流信息和超像素信息构造AR模型的系数项；

9）将步骤6）得到的数据项和步骤8）得到的系数项构造基于自适应的超像素导向自回归模型，用该模型恢复超分辨率的非关键帧；

10）将步骤3）得到的超分辨率关键帧和步骤9）得到的超分辨率非关键帧综合成超分辨率视频。

3.根据权利要求1所述的基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，自适应的迭代方法计算阀值T，具体包括以下步骤：

11）计算每相邻两帧的运动误差e_i,i+1，根据大量实验统计定义阀值下限c₁和上限c₂；

12）求整段视频所有帧的平均误差，计算如下：

$\stackrel{\‾}{e}=\left(\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}{e}_{i,i+1}\right)/(N-1)---\left(1\right)$

其中，e_i,i+1是第i帧和第i+1帧的运动误差，N是整段视频里的帧的总数；

13）如果

令

采用本发明所提出的方法选择关键帧，并统计关键帧所占帧总数的比例，根据关键帧的比例以0.1为步长，上下调整阀值T，直到关键帧的比例满足需要时确定最终的阀值。如果

直接得到阀值

4.根据权利要求2所述的基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，关键帧与非关键帧选择的方法具体包括以下步骤：

21）定义视频第一帧为初始的关键帧；

22）对其后的视频帧，计算其与关键帧的运动误差，运动误差计算如下：

$e=\frac{f_{\mathrm{NZ}}(P\left(y\right)-P\left(y_{\mathrm{pre}}\right))}{z}---\left(2\right)$

其中，y和y_pre分别是当前帧和之前最近邻的关键帧，P(·)代表把RGB图像转换成灰度图像的一种操作，f_NZ是选取矩阵中非零项的函数，z代表误差矩阵中的非零项的个数。

23）如果运动误差e大于阀值T，当前帧被选取为关键帧；否则，当前帧被选取为非关键帧。

采用基于GPU的光流方法将当前非关键帧之前相邻的最近的关键帧投影到当前帧，具体如下：

x_kl=y_ij,(i∈(1,m),j∈(1,n)),

with

$k=i+O_{\mathrm{ij}}^1---\left(3\right)$

$l=j+O_{\mathrm{ij}}^2$

其中，y代表之前相邻最近的关键帧，m和n分别代表关键帧的高度和宽度，x代表当前非关键的高分辨率版本，O¹和O²分别代表光流O的第一和第二维度，当边界k和l超出图像边界的时候，忽略x的值。

5.根据权利要求2所述的基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，根据非关键帧对投影得到的图像进行修正具体为：

with    （4）

其中，F⁰表示对投影图像修正后的图像，表示投影得到的图像，

表示初始化放大后的非关键帧，p和q分别是帧的高度和宽度，u和v是RGB彩色空间的索引，t是用来修正投影图像的阀值。

6.根据权利要求2所述的基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，基于初始放大非关键帧，提取边缘几何流信息和超像素信息具体为：

$c_{x,y}^B=\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{{2\mathrm{\σ}}_1^2})\exp (-\frac{{\left|\right|x-y\left|\right|}_2^2}{2\×3\×{\mathrm{\σ}}_2^2})\×C^Y---\left(5\right)$

其中，c^B表示要提取的几何流信息，σ₁和σ₂分别是用来调整空间距离和像素强度的滤波器系数，x代表要恢复的点，y∈N_x代表图像中以x为中心的邻域内的像素点，C^Y是一个光照强度滤波器，具体为：

$C_{x,y}^Y=\exp (-\frac{{({\hat{I}}_x^Y-{\hat{I}}_y^Y)}^2}{{2\mathrm{\σ}}_3^2})---\left(6\right)$

其中，

是图像在YCbCr空间亮度域Y的值，σ₃是用来调整亮度域影响的参数。

$c_{x,y}^S=\left\{\begin{array}{cc}1& {\mathrm{SP}}_x={\mathrm{SP}}_y\\ 0.3& {\mathrm{SP}}_x\≠{\mathrm{SP}}_y\end{array}\right.---\left(7\right)$

其中，c^S表示要提取的超像素信息，SP_x和SP_y分别代表x和y点处超像素的值，采用SLIC的方法产生超像素。

7.根据权利要求2所述的基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，构造基于自适应的超像素导向自回归模型具体如下：

$\underset{F}{\min }{E}_{\mathrm{data}}(F,F^0)+{\mathrm{\λE}}_{\mathrm{AR}}\left(F\right)---\left(8\right)$

其中，E_data(F,F⁰)是用来保证超分辨率后的非关键帧F和修正后的投影非关键一致的数据项，E_AR(F)是把自回归（AR）模型加入到非关键帧超分辨率的自回归项，λ是数据项和自回归项的权重；

数据项具体为：

$E_{\mathrm{data}}(F,F^0)\stackrel{\mathrm{\Δ}}{=}{\mathrm{\Σ}}_{x\∈\mathrm{\Ω}}{(F_x-F_x^0)}^2---\left(9\right)$

自回归项具体为：

$E_{\mathrm{AR}}\left(F\right)\stackrel{\mathrm{\Δ}}{=}{\mathrm{\Σ}}_x{(F_x-{\mathrm{\Σ}}_{y\∈N_x}{c}_{x,y}{F}_y)}^2$

with    (10)

$c_{x,y}=\frac{1}{N_x}{c}_{x,y}^B{c}_{x,y}^S$

其中，N_x是规一化系数，

和

分别是公式（5）的边缘几何流信息和公式（7）的超像素信息。

Images