CN101674478B - 基于压缩域的视频超分辨率方法 - Google Patents

Abstract

本发明公开了一种适用于压缩域的视频超分辨率方法，充分利用前后多帧的信息来超分辨率重建目标帧，主要包括以下步骤：首先，解压缩低分辨视频，得到各种信息；然后，利用得到的信息，使用贝叶斯框架，来分别得到当前窗口内的各单幅超分辨率图像；最后，利用当前窗口内的各单幅超分辨率图像来重建目标帧的最终的超分辨率图像。在此过程中，提出了超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，作为先验概率；使用了IRLS来构建目标函数，从而削弱离群点和噪声的影响，使得到的超分辨率图像具有较高的PSNR，较少引入新的噪声，且抑制编码噪声和“振铃”效应。利用依次滑动移动窗口，就得到超分辨率的视频。

Description

基于压缩域的视频超分辨率方法

技术领域：

本发明涉及一种适用压缩域的视频超分辨率方法，得到的超分辨率图像保持边界清晰，同时抑制编码噪声和“振铃”效应。这种方法充分利用了压缩码流中的信息，且同时解决校准、插值、复原和后处理等问题。可以应用于各种MPEG4格式的压缩视频。

背景技术：

由于成像设备自身限制、数据压缩算法和传输错误等方面的原因，实际应用中能够得到的视频图像分辨率常常满足不了高清晰度的要求。为了解决这一问题，人们提出了序列图像的超分辨率算法，从多幅质量较差、分辨率较低的图像重构出单幅质量更好、分辨率更高的图像。

目前国内外解视频超分辨率的方法主要可以分为空间域和变换域两大类。空间域方法是先将压缩视频解压缩，再使用空间域的传统超分辨方法。其缺点是量化误差信息被丢失，效果不好，尤其压缩比较高时。基于压缩域重建的方法主要是对成像模型和空域噪声/压缩噪声进行建模，需要完整地考虑成像过程，压缩过程，运动估计以及块效应、振铃效应等多个方面的影响。当活动窗口内帧间的运动较简单时，尤其是全局运动，现有的一些超分辨率方法效果挺好的。但是，当活动窗口内帧间的运动较复杂时，这些方法会引入新的噪声，尤其是运动物体部分，且“振铃效应”明显。分析其原因，是由于活动窗口内的所有帧所有像素点都参加了超分辨率运算。但事实上，有些窗口内的低分辨率图像像素点并不能通过目标帧的运动补偿被观察或预测到。

发明内容：

本发明要解决的是现有技术中存在的上述问题，旨在提供种新颖的基于压缩域的视频超分辨率方法。

解决上述问题采用的技术方案是：基于压缩域的视频超分辨率方法，其特征在于包括如下具体步骤：

1)对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；

2)对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系：高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系；

3)由上面建立的低分辨率图像和相应高分辨率图像之间的关系可以建模条件概率：在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模，所述化噪声的分布符合高斯分布；

4)对上面量化噪声的协方差矩阵进行建模：先求解变换域的协方差矩阵：由量化矩阵可以得到，再将变换域的协方差矩阵转换成空间域的协方差矩阵；

5)对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入量化噪声的分布来建模，所述运动估计引入噪声的分布符合高斯分布。

6)对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变换域的协方差矩阵：由量化矩阵和变换域系数可以得到，再将变换域的协方差矩阵转换成空间域的协方差矩阵；

7)建模高分辨率图像的先验概率：对图像的梯度分布用广义拉普拉斯分布来拟合，使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，而且超分辨率图像应该是平滑的，没有“块效应”；

8)使用贝叶斯模型MAP框架估计暂时的单幅超分辨率图像；

9)使用梯度下降来求解得到暂时的单幅超分辨率图像，超分辨率图像的初始值为双线性插值放大后的图像；

10)使用鲁棒性强的光流法来估计各单幅超分辨率图像和待处理单幅超分辨率图像之间的运动位移，作为各高分辨率图像和目标高分辨率图像之间的位移初始值；

11)建立当前窗口内的各低分辨率图像与目标高分辨率帧之间的关系：目标高分辨率图像通过运动位移/模糊/下采样/压缩/解压缩来得到当前窗口内的各低分辨率图像；

12)由当前窗口内的多帧暂时的单幅超分辨率图像，结合7)中的先验概率，使用IRLS(迭代重加权最小二乘法)来构建目标函数，从而削弱离群点和噪声的影响；

13)使用循环坐标下降来得到最终的超分辨率图像：先假设超分辨率图像已知，使用梯度下降法分别更新各运动位移；然后在求得的位移基础上，用梯度下降法重新求超分辨率图像，如此循环迭代，直至收敛；

本方法只超分辨率亮度分量，色度和色差分量只是双线性插值所得。

本发明涉及一种适用压缩域的视频超分辨率方法，这种方法充分利用了压缩码流中的信息，且同时解决校准、插值、复原和后处理等问题。通过对从自然场景到压缩视频的过程进行建模，使用IRLS(迭代重加权最小二乘法)来构建目标函数，从而削弱离群点和噪声的影响，使得到的超分辨率图像较少引入新的噪声，且抑制编码噪声和“振铃”效应。因此本方法不仅适用于帧间运动较简单的情况，也适用于运动较复杂的情况。

附图说明：

下面结合附图和实施例对本发明作进一步说明。

图1是本发明压缩域的视频超分辨率方法的流程图。

图2是图1中活动容器内各单副超分辨率图像的流程图。

具体实施方式：

参照附图，本发明的基于压缩域的视频超分辨率方法，按以下步骤进行：

1.解压缩

先将输入的低分辨率压缩视频解压缩，得到低分辨率的视频图像，量化矩阵，量化后的变换域系数，运动补偿后的预测视频图像，以及运动矢量等信息。

2.对从自然场景到压缩视频的过程进行建模

建立低分辨率图像和相应高分辨率图像之间的关系：高分辨率图像通过模糊/下采样/压缩/解压缩得到低分辨率图像。记解压后的第l帧低分辨率图像图像为y_l，相应高分辨率图像为f_l，模糊函数为H，下采样矩阵为A，在此过程中的量化噪声记为ε_Q，l，则y_l＝AHf_l+ε_Q，l。

建立运动补偿后的预测视频图像与对应高分辨率图像间的关系，记预测图像为

在此过程中的运动估计噪声记为η_MV，l，则

3.建模量化噪声

在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模：符合高斯分布ε_Q，l～N(0，K_Q，l)。记空间域量化噪声的协方差为K_Q，l，则 $p\left(y_l\right|f_l)\∝\exp \{-\frac{1}{2}{(y_l-{\mathrm{AHf}}_l)}^T{K}_{Q,l}^{-1}(y_l-\mathrm{AH}{f}_l)\}$

4.步骤3建模中空间域量化噪声的协方差矩阵

空间域量化噪声的协方差矩阵与变换域量化噪声的协方差矩阵之间的关系可以表示成：

式中T表示DCT变化，K_{Transform，l}表示变换域协方差矩阵。K_{Transform，l}为对角矩阵，每个对角元素为方差

其中q_l为量化步长。

5.建模运动估计引入的噪声

在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入噪声的分布来建模：符合高斯分布η_MV，l～N(0，K_MV，l)。记空间域运动估计引入噪声的协方差为K_MV，l，则 $p\left(v_l\right|f_l)\∝\exp \{-\frac{1}{2}{(y_l^{\mathrm{MV}}-{\mathrm{AHf}}_l)}^T{K}_{\mathrm{MV},l}^{-1}(y_l^{\mathrm{MV}}-\mathrm{AH}{f}_l)\}$

6.建模空间域运动估计噪声的协方差矩阵

空间域运动估计噪声的协方差矩阵与变换域运动估计噪声的协方差矩阵之间的关系可以表示成： $K_{\mathrm{MV},l}=T^{-1}{K}_{\mathrm{Transform},\mathrm{MVl}}{T}^{{-1}^T},$ K_{Transform，MVl}表示变换域协方差矩阵。K_{Transform，MVl}为对角矩阵，每个对角元素为方差 其中c_l为量化后的变换域系数。

7.建模高分辨率图像的先验概率

对图像的梯度分布用广义拉普拉斯分布来拟合，记图像梯度为der，包括水平方向的梯度derx，垂直方向的梯度dery，则

使用非线性最小二乘拟合法来求出相应的系数c，α和s，使得得到的拉普拉斯分布尽可能和低分辨图像的梯度分布一致。

使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，而且超分辨率图像应该是平滑的，没有“块效应”。因此有

$p\left(f_l\right)\∝{\mathrm{\λ}}_1\underset{\mathrm{derx}}{\mathrm{\Π}}p\left(\mathrm{derx}\right)\underset{\mathrm{dery}}{\mathrm{\Π}}p\left(\mathrm{dery}\right)\×\exp [-({\mathrm{\λ}}_2{\left|\right|Q_1{f}_l\left|\right|}^2+{\mathrm{\λ}}_3{\left|\right|Q_2\mathrm{AH}{f}_l\left|\right|}^2)]$

其中，Q₁为线性高通滤波算子(通常取离散二维拉普拉斯算子)，来惩罚不光滑的超分辨图像估计，Q₂是线性高通滤波算子(通常取边界差值)，来惩罚块边界的超分辨图像估计，λ₁，λ₂，λ₃控制上述各项各自的重要程度。

8.使用贝叶斯模型MAP(最大后验概率)框架估计暂时的单幅超分辨率图像

使用贝叶斯模型MAP(最大后验概率)框架来从压缩视频中估计暂时的单幅超分辨率图像，即

$\hat{f}=\underset{f_l}{\arg \max }p\left(f_l\right|y_l,v_l)=\underset{f_l}{\arg \max }\left\{\frac{p(y_l,v_l|f_l)p\left(f_l\right)}{p(y_l,v_l)}\right\},$ 取log运算后可得， $\hat{f}=\underset{f_l}{\arg \max }\{\log p\left(y_l\right|f_l)+\log p\left(v_l\right|f_l)+\log p\left(f_l\right)\},$ 再将上面建模的条件概率代入，可得

$\hat{f}=\underset{f_l}{\arg \min }\{{(y_l-\mathrm{AH}{f}_l)}^T{K}_{Q,l}^{-1}(y_l-\mathrm{AH}{f}_l)$

$+{(y_l^{\mathrm{MV}}-\mathrm{AH}{f}_l)}^T{K}_{\mathrm{MV},l}^{-1}(y_l^{\mathrm{MV}}-\mathrm{AH}{f}_l)$

$+{\mathrm{\λ}}_1(\underset{\mathrm{derx}}{\mathrm{\Σ}}{\left|\mathrm{derx}\right|}^{\mathrm{\α}}/s+\underset{\mathrm{dery}}{\mathrm{\Σ}}{\left|\mathrm{dery}\right|}^{\mathrm{\α}}/s)$

$+{\mathrm{\λ}}_2{\left|Q_1{f}_l\right|}^2+{\mathrm{\λ}}_3{\left|Q_2\mathrm{AH}{f}_l\right|}^2\}$

9.使用梯度下降来求解得到暂时的单幅超分辨率图像

超分辨率图像的初始值为双线性插值放大后的图像，使用梯度下降来求解得到暂时的单幅超分辨率图像。

10.使用光流法得到各单幅超分辨率图像和待处理单幅超分辨率图像之间的运动位移

使用鲁棒性强的光流法来估计当前窗口内各单幅超分辨率图像和待处理单幅超分辨率图像之间的运动位移，作为各高分辨率图像和目标高分辨率图像之间的位移初始值。

11.建立目标窗口内的各帧低分辨率图像与目标高分辨率帧之间的关系

从目标帧第k帧高分辨率图像与第l帧高分辨率图像的运动矢量矩阵记为C(d_l，k)，可建立目标窗口内的各帧低分辨率图像与目标高分辨率帧之间的关系如下：

y_l＝AHC(d_l，k)f_k+n_l，k

12.使用IRLS(迭代重加权最小二乘法)来构建鲁棒性强的目标函数第l帧的残差记为r_l，不相关权重记为v_l，l＝k-TB，...，k+TF，其中TB，TF分别表示用于重建目标帧的时间轴上向前向后的帧数(相对目标帧)。

$r_l=y_l-\mathrm{AHC}\left(d_{l,k}\right)f_k,v_l(i,j)=\left\{\begin{array}{cc}\frac{2}{2{\mathrm{\ϵ}}^2+r_l^2(i,j)}& \mathrm{if}{v}_l(i,j)\≥\mathrm{\τ}\\ 0& \mathrm{otherwise}\end{array}\right.$

τ为阈值，用于排除离群点，参数ε与窗口内各帧的相似度有关，通常相似度越高，ε越小。当活动窗口内所有帧的不相关权重都为0时，将目标帧对应的不相关权重置为1。而相关有关矩阵记为W_l，

$W_l(i,j)=v_l(i,j)/\underset{l=k-\mathrm{TB}}{\overset{k+\mathrm{TF}}{\mathrm{\Σ}}}{v}_l(i,j)$

因此，再结合8)中的先验概率，最后得到如下目标函数：

$E\left(I\right)=\underset{l=k-\mathrm{TB}}{\overset{k+\mathrm{TF}}{\mathrm{\Σ}}}{\left|\right|W_l(y_l-\mathrm{AHC}\left(d_{l,k}\right)f_k\left|\right|}^2$

$+{\mathrm{\λ}}_1(\underset{\mathrm{derx}}{\mathrm{\Σ}}{\left|\mathrm{derx}\right|}^{\mathrm{\α}}/s+\underset{\mathrm{dery}}{\mathrm{\Σ}}{\left|\mathrm{dery}\right|}^{\mathrm{\α}}/s)$

$+{\mathrm{\λ}}_2{\left|\right|Q_1{f}_l\left|\right|}^2+{\mathrm{\λ}}_3{\left|\right|Q_2\mathrm{AH}{f}_l\left|\right|}^2\}$

13.使用循环坐标下降来得到最终的超分辨率图像。

最后，通过循环坐标下降法来求得最优解。先假设超分辨率图像f_k已知，使用梯度下降法分别更新各位移d_l，k；然后在求得的d_l，k的基础上，用梯度下降法重新求f_k，如此循环迭代，直至收敛。

应该理解到的是：上述实施例只是对本发明的说明，而不是对本发明的限制，任何不超出本发明实质精神范围内的发明创造，均落入本发明的保护范围之内。

Claims (1)

1.一种适用于压缩域的视频超分辨率方法，其特征在于包括如下具体步骤：

1)对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；

2)对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系：高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系；

3)由上面建立的低分辨率图像和相应高分辨率图像之间的关系可以建模条件概率：在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模，所述量化噪声的分布符合高斯分布；

4)对上面量化噪声的协方差矩阵进行建模：先求解变换域的协方差矩阵：由量化矩阵可以得到，再将变换域的协方差矩阵转换成空间域的协方差矩阵；

5)对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入量化噪声的分布来建模，所述运动估计引入噪声的分布符合高斯分布；

6)对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变换域的协方差矩阵：由量化矩阵和变换域系数可以得到，再将变换域的协方差矩阵转换成空间域的协方差矩阵；

7)建模高分辨率图像的先验概率：对图像的梯度分布用广义拉普拉斯分布来拟合，使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，而且超分辨率图像应该是平滑的，没有“块效应”；

8)使用贝叶斯模型MAP框架估计暂时的单幅超分辨率图像；

9)使用梯度下降来求解得到暂时的单幅超分辨率图像，超分辨率图像的初始值为双线性插值放大后的图像；

10)使用鲁棒性强的光流法来估计各单幅超分辨率图像和待处理单幅超分辨率图像之间的运动位移，作为各高分辨率图像和目标高分辨率图像之间的位移初始值；

11)建立当前窗口内的各低分辨率图像与目标高分辨率帧之间的关系：目标高分辨率图像通过运动位移/模糊/下采样/压缩/解压缩来得到当前窗口内的各低分辨率图像；

12)由当前窗口内的多帧暂时的单幅超分辨率图像，结合7)中的先验概率，使用IRLS(迭代重加权最小二乘法)来构建目标函数，从而削弱离群点和噪声的影响；

13)使用循环坐标下降来得到最终的超分辨率图像：先假设超分辨率图像已知，使用梯度下降法分别更新各运动位移；然后在求得的位移基础上，用梯度下降法重新求超分辨率图像，如此循环迭代，直至收敛；

本方法只超分辨率亮度分量，色度和色差分量只是双线性插值所得。

Images