CN101247489A - 一种用于数字电视细节实时重现的方法 - Google Patents

Abstract

本发明公开了一种用于数字电视细节实时重现的方法，主要包含确定放大区域、重建可行性判别、运动估计、超分辨率重建，以及画面显示五个步骤。在用户确定需放大的区域后，系统判别该区域是否适合超分辨率重建：如果不适合，则执行插值放大；如果适合，则对包含该区域的帧序列做运动估计，再进行超分辨率重建。重建后的图像即被显示到画面特定的区域，并循环执行下一帧图像。本发明利用视频数据在时间上的冗余信息，通过分析连续多帧的数字图像数据，按照用户的需求在画面的局部区域实时地恢复因采样而丢失的高频信息，构造出高于原始分辨率的、高清晰度的数字图像。具有广阔的市场前景和极高的经济价值。

Description

一种用于数字电视细节实时重现的方法

一、技术领域

本发明涉及一种能够实时重现数字电视图像细节的方法。具体说是一种在现有数字电视的硬件基础之上，利用超分辨率重建技术，通过分析连续多帧的数字图像数据，在画面所需要的局部区域实时地恢复因采样而丢失的高频信息，构造出高于原始分辨率的、高清晰度图像的实现方法。

二、背景技术

超分辨率重建是一种旨在通过综合低分辨图像序列的信息，构造一帧或多帧高分辨率、高质量数字图像的技术。该技术在近十年内得到广泛的研究，并取得了显著的成果。虽然目前还无法实现对于各类活动视频、所有运动模型均适用的重建运算，但对诸如平移、旋转等刚体的全局运动，现有算法已经可以实现有效提高分辨率，改善画面质量的目的，并且在诸如卫星遥感等领域得到了实际应用。

事实上，现实生活中存在许多需要提高现有视频分辨率的场合。例如安全领域的视频监控、家庭电视信号等。虽然市场上的数字电视产品宣称具备高分辨率、高清晰度的画面效果，但多数情况下视频信号源的分辨率是有限的，无法体现硬件设备的优越性能。此外，在某些场合人们需要对电视画面的局部区域进行放大。然而由于采样频率有限，单纯的拉伸数字信号，或者使用各类单帧插值算法均无法恢复高频信息以重建高清晰的画面。

然而，如果可以利用超分辨重建技术对图像序列做处理，就有可以在很大程度上改善放大区域的画面质量，甚至获得额外的高频信息。例如，原画面中有一张报纸，由于原始的采样频率有限，即便采用单帧插值放大也无法看清上面的文字。如果运用超分辨率重建，就可以通过多帧包含该报纸的图像信息，重建出高频细节信息，使得肉眼可以识别报纸上的文字。依据这一思想，我们提出一种基于超分辨重建技术的，能实时重现数字电视图像细节的方法。

三、发明内容

为了克服现有数字电视对低分辨率的信号无法展现高分辨率性能的问题，本发明提供一种数字电视细节实时重现的方法。该方法利用超分辨率重建技术，通过分析连续多帧的数字图像数据，按照用户的需求在画面的局部区域实时地恢复因采样而丢失的高频信息，并构造出高于原始分辨率的、高清晰度的数字图像。

根据本发明所述的数字电视细节实时重现方法，其主要步骤包括：

步骤1：确定放大区域。在用户选择细节重现功能时，屏幕上会出现类似画中画的显示窗口，并提示用户选择需放大的局部区域。

步骤2：重建可行性判别。即判断是否适合超分辨重建：若不适合超分辨率重建，则用单帧插值放大目标区域；若适合，则执行步骤3。

步骤3：运动估计。利用已获得的包含当前细节内容的帧序列，并以当前帧为参考帧，分别计算该参考帧与视频序列内其它帧之间的运动参数，构造帧间的映射关系，为下一步重建运算作必要的数值准备。

步骤4：重建超分辨率图像。根据帧序列数据和运动参数，采用基于最大后验概率估计(MAP)的优化方法，实现超分辨重建的目的。

步骤5：显示生成的超分辨率图像；读取下一帧画面，并跳至步骤2。

本发明的有益效果是：可以对数字电视画面中的局部细节做放大，并尽可能利用多帧图像信息实现高于原始分辨率的画面重建，使得观众可以获得在视频采样过程中丢失的高频信息，以满足各类需求。

四、附图说明

图1是本发明的实现流程；

图2是本发明效果图。

五、具体实施方式

一种本发明所述的数字电视细节实时重现方法，包含确定放大区域、重建可行性判别、运动估计、超分辨率重建，以及画面显示五个步骤组成。

在确定放大区域部分，主要由用户通过遥控器，在当前画面上选择需要细节重现的矩形目标区域。屏幕上会出现类似画中画的显示窗口，用以展现放大的效果。(见附图2)

步骤2重建可行性判别主要目的在于：判断关于选定场景的帧序列是否适合现有的超分辨率重建算法。判别主要依据相邻帧之间的变化强度，即计算两帧内同一目标区域之间的平均差值平方和s：

$s=\frac{1}{N}\underset{i\∈B}{\mathrm{\Σ}}{(g_i^m-g_i^n)}^2$

这里B代表目标块内的像素集合，其元素总数由N表示。如果s高于设定的阈值，则判定为不适合超分辨率重建，改用bicubic单帧插值法放大目标区域；否则执行步骤3。

步骤3运动估计算法的具体解决方式如下：由于针对同一场景的相邻帧之间图像变化相对较小，故采用先做粗略估计，再做亚像素估计的方式。

假设已有关于同一场景的帧序列g_j(j＝1，2，…J)，其中第s帧为参考帧。首先粗略地估计出参考帧内的目标区域在其它图像内的位移量。这里以差值的平方和为准则(SSD，Sumof Squared Difference)，通过基于目标块的全局搜索法找出使得SSD最小的位移系数。

而下一步的亚像素估计则利用基于光流公式的运动估计算法，以寻找更为精确的参数。这里采用仿射运动模型：

                       x₂＝p₁x1+p₂y₁+p₃

                       y₂＝p₄x₁+p₅y₁+p₆

首先按照所需的放大比例，采用bicubic插值法分别建立参考帧和目标帧u_s，u_t。定义运动参数向量：

                 p＝(p₁-1，p₂，p₃，p₄，p₅-1，p₆)^T

以及变换矩阵：

$W(x;p)=\left(\begin{array}{c}x+(p_1-1)x+p_{2}y+p_3\\ y+p_{4}x+(p_5-1)y+p_6\end{array}\right)$

将之前粗略估计得到的系数作为初始值赋予p，并做如下迭代：

                           p_n+1＝p_n+Δp

其中Δp满足：

$\widehat{\mathrm{\Δ}}p=\arg \underset{\mathrm{\Δp}}{\min }\underset{x\∈B}{\mathrm{\Σ}}{[u_t\left(x\right)-u_s\left(W(x;p)\right)-\▿u_s^T\frac{\∂W}{\∂p}\mathrm{\Δp}]}^2$

上式中

是u在W(x；p)处的梯度。另有：

$\frac{\∂W}{\∂p}=\left(\begin{array}{cccc}\frac{{\∂W}_x}{\∂p_1}& \frac{{\∂W}_x}{{\∂p}_2}& ...& \frac{{\∂W}_x}{{\∂p}_6}\\ \frac{{\∂W}_y}{{\∂p}_1}& \frac{{\∂W}_y}{\∂p_2}& ...& \frac{{\∂W}_y}{\∂p_6}\end{array}\right)$

根据上述迭代法计算出高精度运动系数p，并以此得到映射矩阵A，使得：

                               g_t≈A^ju_s

图像重建部分采用基于MAP估计的优化方法。MAP估计是期望获得如下所示最优解：

根据贝叶斯准则，后验概率可表示为先验概率和条件概率的乘积，转化为指数形式则有：

其中条件概率部分代表重建图像与含噪图像序列g之间的相似程度，而先验概率代表图像的平滑程度。基于MAP的优化准则最终表达为：

$z=\arg \min \{\underset{k=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{l=0}{\overset{N_2-1}{\mathrm{\Σ}}}\underset{m=0}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ρ}}_T\left(d_{k,l,m}^{t}z\right)+\mathrm{\λ}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}||g_j-A^{j}z|\left|\right\}$

这里λ控制先验概率与条件概率两部分的贡献比例；d_k，l，m ^tz用于表示每个像素与四周8个像素之间的差值，定义如下：

$d_{k,l,0}^{t}z=z_{k,l+1}-2z_{k,l}+z_{k,l-1}$

$d_{k,l,1}^{t}z=\frac{1}{2}(z_{k-1,l+1}-{2z}_{k,l}+z_{k+1,l-1})$

$d_{k,l,2}^{t}z=z_{k-1,l}-2z_{k,l}+z_{k+1,l}$

$d_{k,l,3}^{t}z=\frac{1}{2}(z_{k-1,l-1}-2z_{k,l}+z_{k+1,l+1})$

为了将有效的高频分量与噪声区别，本发明选用如下函数：

${\mathrm{\ρ}}_T\left(x\right)=\left\{\begin{array}{cc}{x}^2,& \left|x\right|\≤T\\ T^2,& \left|x\right|>T\end{array}\right.$

阈值T为定义域[0，255]内的整数。d_k，l，m ^tz高于T则视为非噪声，并赋予定值，这样在后面的优化过程中该区域像素值被保护。可以采用各种优化方法估计出最终的重建图像，例如最速下降法。

重建完成后，在画面规定的区域内显示生成的超分辨率图像，同时读取下一帧画面，并跳至步骤2。

本发明采用的超分辨率重建算法所涉及的运算量分析如下：假设目标区域原始分辨率为N_x×N_y，放大因子为P，帧序列数为J。这里主要考虑基于迭代的运算中实数乘法的数量。粗略运动估计中，参考帧与每一个目标帧所需的乘法运算量为N_x×N_y×ΔN²。其中ΔN表示位移范围，一般情况下相邻帧内同一物体的位移不大，ΔN取5即可。在亚像素估计阶段，对一个目标区域做bicubic插值需要4P²×N_x×N_y次乘法；运动向量p的计算采用迭代算法，而每次迭代中关于一个像素点需要82次乘法，故一次迭代运算量为82P²×N_x×N_y，实验显示多数情况下3次迭代即可达到需要的精度。在重建阶段，每次迭代中条件概率部分需要的乘法运算量≤P²×N_x×N_y×(2N_p-1)×J，其中N_p代表低分辨像素点在高分辨率图像上对应的扩散点数目(通常为9)；先验概率部分一次迭代乘法运算量≤7P²×N_x×N_y。通常重建计算需要3次迭代。

以目标区原始分辨率50×50，5帧视频序列，2倍放大因子为例，重建一帧超分辨率图像共需乘法运算13,010,000次，再加之其它加减运算，以每秒50场的运算速度，使用600M双核浮点DSP处理器便可以实现实时处理的要求。

Claims (4)

1、一种用于数字电视细节实时重现的方法，其特征是：它包括确定放大区域(1)、重建可行性判别(2)、运动估计(3)、超分辨率重建(4)，以及画面显示(5)五个步骤。

2、根据权利要求1所述的用于数字电视细节实时重现的方法，其特征是：针对非高清晰的活动视频，可以恢复采样过程中丢失的高频图像信息。

3、根据权利要求1所述的用于数字电视细节实时重现的方法，其特征是：能够智能判断针对选定区域的连续视频序列是否适合超分辨率重建：若适合，则做重建处理；否则采用单帧插值技术放大图像。

4、根据权利要求1所述的用于数字电视细节实时重现的方法，其特征是：采用基于光流公式的亚像素运动估计法分析多帧图像之间的映射关系，并利用所得信息重建超分辨率图像。

Images