CN101605260B - 压缩视频超分辨率重建中构建代价函数的方法 - Google Patents

Abstract

本发明公开了一种压缩视频超分辨率重建方法构建代价函数的方法，其方法首先将MAP重建代价函数分为重建误差项、包含量化前系数分布参数的正则约束项和一般约束项三个部分；其次，推算出精确的量化噪声模型；再次，建立高分辨率图像重建误差项；然后，计算由高分辨率图像降质得到的低分辨率图像的量化前DCT分布参数方差，将其与原分布参数方差的差值最小化，建立包含频域系数分布参数的正则约束项；最后，将上述所得三项构建一个包含双域双变量的重建代价函数。本发明将频域分布系数引入量化噪声模型的推算中，计算出来的量化噪声模型更精确，基于量化噪声降质模型建立的代价函数则更加精确，提高了压缩视频超分辨率的重建质量。

Description

压缩视频超分辨率重建中构建代价函数的方法

技术领域

本发明涉及一种构建代价函数的方法，具体地说是一种压缩视频超分辨率重建方法构建代价函数的方法，属于视频图像处理领域。

背景技术

超分辨率重建技术是在现有成像设备和成像条件的基础上，利用质量较差、分辨率较低的单帧或多帧离散图像，或多组视频序列重建出质量更好、分辨率更高的离散图像或视频数据。由于当前大多视频均为压缩类型，而压缩产生的量化噪声是相对于非压缩视频的主要降质原因。因此在面向压缩视频的超分辨率重建时，构建包含精确量化噪声模型的代价函数具有重要意义。

在目前已有的方法中，通过在一个DCT域MAP的代价函数中假设量化噪声(频域)和加法噪声(空域)均服从正态分布，将加法噪声模型从空域变换到频域，得到一个包括量化噪声和加法噪声的频域联合噪声模型(Bahadir K.Gunturk，Yucel Altunbasak，Super-Resolution Reconstruction of Compressed VideoUsing Transform Domain Statistics，IEEE Tran.Image Processing，vol.13，no.1，January 2004)，但是这种方法由于没有考虑量化前系数分布对量化噪声的影响，其量化噪声的计算并不精确。此外还有提出一种基于自适应量化噪声矩阵的超分辨率重建算法，该算法对于空域量化噪声也采用高斯模型，对于频域量化噪声则给出了一种根据量化前系数计算频域量化噪声矩阵的方法，使得该矩阵能够根据量化前系数的特征进行自适应调整(S.C.Park，M.G.Kang，C.A.Segall，and A.K.Katsaggelos，Spatially adaptive high-resoltuion imagereconstruction of low-resolution dct-based compressed images，IEEE Trans.Image Processing，vol.13，no.4，pp.573-585，April 2004)。该算法考虑了量化前系数对于量化噪声的影响，相对于原有算法可以更精确地计算量化噪声。但是这种方法没有考虑重建过程中的高分辨率图像在迭代过程中存在较大估计误差，它会对量化前系数造成影响，因此仍然难以精确地对压缩视频超分辨率重建过程建模。

发明内容

本发明的目的在于克服上述现有技术之不足而提供一种基于双域双变量的压缩视频超分辨率重建代价函数。

本发明的技术方案包括以下步骤：

(1)将MAP重建代价函数分为A(Z，λ)，B(Z，λ)，C(Z)三项。其中Z为高分辨率图像，参数λ是量化前DCT系数分布参数；A(Z，λ)是考虑了量化噪声后的重建误差项，B(Z，λ)是利用量化系数分布特性形成的正则约束项，C(Z)是一般MAP重建正则项，MAP重建代价函数为J(Z，λ)＝A(Z，λ)+B(Z，λ)+C(Z)；

(2)根据量化步长q和量化后系数y_q，计算间隔[-q/2，+q/2]内的单个量化噪声方差的模型k，并将其作为矩阵元素构建构建量化噪声矩阵K_λ；

(3)根据计算的量化噪声模型，建立包含量化噪声的重建误差项A(Z，λ)；

(4)对高分辨率图像Z进行降质，并进行DCT变换，得到图像y’；

(5)计算图像y’的量化前DCT系数的方差表示σ_Y ²，并根据量化前的DCT系数分布特性进行概率统计，估算出y’所对应的分布系数λ′的方差表示λ′²；

(6)根据||λ′²-λ²||最小化，建立量化噪声正则约束项B(Z，λ)；

(7)将构建的重建误差项和正则约束项代入(1)中已建立的MAP代价函数中，形成具有空域系数Z和频域系数λ的双域双变量代价函数。

本发明首先将MAP重建代价函数分为重建误差项、包含量化前系数分布参数的正则约束项和一般约束项三个部分；其次，根据量化步长和量化后系数推算出精确的量化噪声模型；再次，根据计算出的量化噪声模型，建立高分辨率图像重建误差项；然后，计算由高分辨率图像降质得到的低分辨率图像的量化前DCT分布参数方差，将其与原分布参数方差的差值最小化，建立包含频域系数分布参数的正则约束项；最后，分别将上述三项代入代价函数中，构建一个包含双域双变量的重建代价函数。本发明将频域分布系数引入量化噪声模型的推算中，计算出来的量化噪声模型更精确，基于量化噪声降质模型建立的代价函数则更加精确，提高了压缩视频超分辨率的重建质量。

本发明与已有技术相对照，效果是积极且明显的：本发明引入了频域分布参数，精确计算出了量化噪声模型，由此构建的MAP代价函数能显著提高重建的高分辨率图像质量。

附图说明

图1为压缩视频中的图像原图。

图2为图1的压缩图像插值结果图。

图3为用本发明构建的代价函数进行超分辨率重建结果图。

具体实施方式

以下为本发明实施例的具体步骤：

为了说明计算步骤，从测试视频Forman中任意取一帧(如图1所示)来说明本发明方法。在该参考帧中任取一个8×8的DCT变换块，具体步骤如下：

(1)将MAP重建代价函数分为A(Z，λ)、B(Z，λ)和C(Z)三项，其中Z为高分辨率图像，参数λ是量化前DCT系数分布参数；A(Z，λ)是考虑了量化噪声后的重建误差项，B(Z，λ)是利用量化系数分布特性形成的正则约束项，C(Z)是一般MAP重建正则项，MAP重建代价函数为J(Z，λ)＝A(Z，λ)+B(Z，λ)+C(Z)；

(2)根据量化步长q和量化后系数y_q计算间隔[-q/2，+q/2]内的单个量化噪声方差的模型k，并将其作为矩阵元素构建量化噪声矩阵K_λ；根据下式计算间隔[-q/2，+q/2]内的单个量化噪声方差的模型：

$k=\frac{1}{q}{\∫}_{y_q-\frac{q}{2}}^{y_q+\frac{q}{2}}{(y-y_q)}^2\frac{\mathrm{\λ}}{2}{e}^{-\mathrm{\λ}\left|y\right|}\mathrm{dy}$

其中q为量化步长，y为量化前DCT系数，y_q为量化后DCT系数；

实施例中我们取图像块 $I=\left[\begin{array}{cccccccc}161& 139& 139& 138& 135& 132& 129& 118\\ 177& 161& 142& 141& 138& 135& 132& 125\\ 187& 179& 151& 140& 138& 136& 133& 130\\ 185& 185& 167& 142& 136& 135& 131& 128\\ 180& 183& 180& 155& 138& 134& 131& 129\\ 180& 182& 185& 175& 148& 140& 134& 129\\ 191& 188& 186& 187& 163& 145& 141& 134\\ 193& 189& 190& 189& 179& 151& 140& 141\end{array}\right]$

对I进行DCT变换后，得到量化前DCT系数矩阵y

$y=\left[\begin{array}{cccccccc}1232& 148& 9& 1& 1& 5& -2& 0\\ -84& -26& 30& 26& -3& 0& 0& 1\\ 5& -19& -22& 10& -3& 12& 5& 0\\ -19& -6& -12& -10& -3& 12& 5& 0\\ -6& -2& -2& -3& -3& -3& 5& 6\\ -2& 1& 1& 1& -1& 2& -1& 0\\ -1& -2& -2& -1& 0& -1& 2& 0\\ 0& 0& 2& 0& 1& 0& -1& 0\end{array}\right]$

实施例中，我们取量化步长q＝30，则得到量化后DCT系数矩阵y_q，

$y_q=\left[\begin{array}{cccccccc}41& 5& 0& 0& 0& 0& 0& 0\\ -3& -1& 1& 1& 0& 0& 0& 0\\ 0& -1& -1& 0& 1& 0& 0& 0\\ -1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]$

由式(1)计算出 $k=\frac{1}{30}{\∫}_{y_q-15}^{y_q+15}{(y-y_q)}^2\frac{\mathrm{\λ}}{2}{e}^{-\mathrm{\λ}\left|y\right|}\mathrm{dy},$ 由于k为λ的函数，可记为k＝f(λ)。

K_λ为空域量化噪声矩阵，是一个对角矩阵，其对角元素由频域量化噪声的方差k组成。因此K_λ也为包含λ的函数。

(4)根据计算的量化噪声模型，建立包含量化噪声的重建误差项A(Z，λ)；

A(Z，λ)＝||y-K_λHZ||²      (2)

其中，H为下采样与降晰操作，在本实施例中采用4取1的下采样操作以及高斯模糊的降晰操作。

(5)对高分辨率图像Z进行降质，并进行DCT变换，得到图像y’；根据下式计算y’。

y′＝T(HZ+n)                (3)

其中，H为下采样与降晰操作，T为DCT变换操作。

实施例中 $T=\left[\begin{array}{cccccccc}90& 90& 90& 90& 90& 90& 90& 90\\ 125& 106& 71& 25& -25& -71& -106& -125\\ 118& 49& -49& -118& -118& -49& 49& 118\\ 106& -25& -125& -71& 71& 125& 25& -106\\ 90& -90& -90& 90& 90& -90& -90& 90\\ 71& -125& 25& 106& -106& -25& 125& -71\\ 49& -118& 118& -49& -49& 118& -118& 49\\ 25& -71& 106& -125& 125& -106& 71& -25\end{array}\right]$

(6)计算图像y’的量化前DCT系数的方差表示σ_Y ²，并根据量化前的DCT系数分布特性进行概率统计，估算出y’所对应的分布系数λ′的方差表示λ′²；

${\mathrm{\σ}}_Y^2={\mathrm{\σ}}_Z^2{\left[{\mathrm{TK}}_1{T}^T\right]}_{k,k}{\left[{\mathrm{TK}}_2{T}^T\right]}_{l,l}---\left(4\right)$

${\mathrm{\λ}}^{\′2}=\frac{2}{{\mathrm{\σ}}_Y^2}---\left(5\right)$

其中σ_Z ²为图像y’减去DC部分以外的方差值，计算得出 ${\mathrm{\σ}}_Z^2=22296;$

K₁和K₂为由水平与垂直方向的一阶自相关数组成的对角矩阵。

$K_l=\begin{array}{}\left[\begin{array}{cccccccccc}1& -0.9& & -{0.9}^2& & L& L& & & {-0.9}^7\\ -0.9& 1& & & & & & & & \\ {-0.9}^2& & O& & & & & & M& \\ M& & & & & & & & & -0.9\\ {-0.9}^7& & & & L& & & & -0.9& 1\end{array}\right]\end{array}$

$K_2=\begin{array}{c}\left[\begin{array}{ccccccccc}1& 0.56& & {0.56}^2& & L& L& & {0.56}^7\\ 0.56& 1& & & & & & & \\ 0.56& & O& & & & & M& \\ M& & & & & & & & 0.56\\ {0.56}^7& & & & L& & & 0.56& 1\end{array}\right]\end{array}$

(7)根据||λ′²-λ²||最小化，建立的量化噪声正则约束项B(Z，λ)；

$B(Z,\mathrm{\λ})=\underset{\mathrm{\λ}}{\arg \min }\left(\right||{\mathrm{\λ}}^{\′2}-{\mathrm{\λ}}^2|\left|\right)---\left(6\right)$

(8)将步骤(4)所得重建误差项A(Z，λ)和步骤(7)所得正则约束项B(Z，λ)代入步骤(1)中已建立的MAP代价函数中，形成具有空域系数Z和频域系数λ的双域双变量代价函数。

$J(Z,\mathrm{\λ})={\left|\right|y-K_{\mathrm{\λ}}\mathrm{HZ}\left|\right|}^2+\left|\right|\frac{2}{{\mathrm{\σ}}_Z^2{\left[{\mathrm{TK}}_1{T}^T\right]}_{k,k}{\left[{\mathrm{TK}}_2{T}^T\right]}_{l,l}}-{\mathrm{\λ}}^2\left|\right|+{\left|\right|\mathrm{PZ}\left|\right|}^2---\left(7\right)$

C(Z)＝||PZ||²，其中P表示代表先验知识的高通矩阵。本实施例中取

$P=\left[\begin{array}{cccc}0.012652& -0.037955& 0.037955& -0.012652\\ 1& 2.0908& 1.7046& 0.51254\end{array}\right]$

将前面求出的σ_Z ²，K₁，K₂代入式(7)，然后通过最优化方法对其进行迭代求解。本实施例中，采用梯度下降法经过7次迭代后，得到Z值。

$Z=$

实现效果：本实施例对压缩格式图像进行了仿真实验。编码码率为128Kbps。压缩视频中的图像如图1所示，直接将压缩图像进行插值的结果如图2所示。采用本发明的方法对插值结果进行重建结果如图3所示。由此可以看出通过本发明构建的代价函数获得的超分辨率重建效果明显。

Claims (8)

1.一种压缩视频超分辨率重建中构建代价函数的方法，其特征在于包括以下步骤：

(1)将MAP重建代价函数分为A(Z，λ)、B(Z，λ)和C(Z)三项，A(Z，λ)是考虑了量化噪声后的重建误差项，B(Z，λ)是利用量化系数分布特性形成的正则约束项，C(Z)是一般MAP重建正则项，其中Z为高分辨率图像，参数λ是量化前DCT系数分布参数，则MAP重建代价函数为J(Z，λ)＝A(Z，λ)+B(Z，λ)+C(Z)；

(2)根据量化步长q和量化后DCT系数y_q，计算间隔[-q/2，+q/2]内的单个量化噪声方差的模型k，并将其作为矩阵元素构建构建量化噪声矩阵K_λ；

(3)根据计算的量化噪声方差的模型，建立包含量化噪声的重建误差项A(Z，λ)；

(4)对高分辨率图像Z进行降质，并进行DCT变换，得到图像y’；

(5)计算图像y’的量化前DCT系数的方差

并根据量化前的DCT系数分布特性进行概率统计，算出y’所对应的分布系数λ′的方差表示λ^′2；

(6)根据‖λ′²-λ²‖最小化，建立量化噪声正则约束项B(Z，λ)；

(7)将构建的重建误差项和正则约束项代入(1)中已建立的MAP代价函数中，形成具有空域系数Z和频域系数λ的双域双变量代价函数。

2.根据权利要求1所述压缩视频超分辨率重建中构建代价函数的方法，其特征在于步骤(2)中根据下式计算间隔[-q/2，+q/2]内的单个量化噪声方差的模型：

$k=\frac{1}{q}{\∫}_{y_q-\frac{q}{2}}^{y_q+\frac{q}{2}}{(y-y_q)}^2\frac{\mathrm{\λ}}{2}{e}^{-\mathrm{\λ}\left|y\right|}\mathrm{dy}---\left(1\right)$

其中q为量化步长，y为量化前DCT系数，y_q为量化后DCT系数；

然后构建空域量化噪声矩阵K_λ，它是一个对角矩阵，其对角元素由频域量化噪声的方差k组成。

3.根据权利要求1或2所述压缩视频超分辨率重建中构建代价函数的方法，其特征在于步骤(3)中根据下式计算重建误差项A(Z，λ)：

A(Z，λ)＝‖y-K_λHZ‖²                 (2)

其中，H为下采样与降晰操作。

4.根据权利要求1所述压缩视频超分辨率重建中构建代价函数的方法，其特征在于步骤(4)中根据下式计算y’：

y′＝T(HZ+n)               (3)

其中，H为下采样与降晰操作，T为DCT变换操作。

5.根据权利要求1所述压缩视频超分辨率重建中构建代价函数的方法，其特征在于：步骤(5)中根据下列两式计算y’所对应的分布系数λ′的方差表示：

${\mathrm{\σ}}_Y^2={\mathrm{\σ}}_Z^2{\left[{\mathrm{TK}}_1{T}^T\right]}_{k,k}{\left[{\mathrm{TK}}_2{T}^T\right]}_{l,l}---\left(4\right)$

${\mathrm{\λ}}^{\′2}=\frac{2}{{\mathrm{\σ}}_Y^2}---\left(5\right)$

其中

为减去图像块Z的DC部分以外的方差值，K₁和K₂为由水平与垂直方向的一阶自相关数组成的对角矩阵，T为DCT变换操作。

6.根据权利要求1或5所述压缩视频超分辨率重建中构建代价函数的方法，其特征在于步骤(6)中根据下式建立正则约束项B(Z，λ)：

$B(Z,\mathrm{\λ})=\underset{\mathrm{\λ}}{\arg \min }\left(\right||{\mathrm{\λ}}^{\′2}-{\mathrm{\λ}}^2|\left|\right)---\left(6\right)$

7.根据权利要求1所述压缩视频超分辨率重建中构建代价函数的方法，其特征在于：C(Z)＝‖PZ‖²，P表示代表先验知识的高通矩阵。

8.根据权利要求1所述压缩视频超分辨率重建中构建代价函数的方法，其特征在于步骤(7)中根据下式建MAP重建代价函数J：

$J(Z,\mathrm{\λ})={\left|\right|y-K_{\mathrm{\λ}}\mathrm{HZ}\left|\right|}^2+\left|\right|\frac{2}{{\mathrm{\σ}}_Z^2{\left[{\mathrm{TK}}_1{T}^T\right]}_{k,k}{\left[{\mathrm{TK}}_2{T}^T\right]}_{l,l}}-{\mathrm{\λ}}^2\left|\right|+{\left|\right|\mathrm{PZ}\left|\right|}^2---\left(7\right)$

，其中T为DCT变换操作，P表示代表先验知识的高通矩阵。

Images