CN105847804B

CN105847804B - 一种基于稀疏冗余表示模型的视频帧率上转换方法

Info

Publication number: CN105847804B
Application number: CN201610335408.3A
Authority: CN
Inventors: 李然; 郭华平; 董喜双; 刘宏兵
Original assignee: Xinyang Normal University
Current assignee: Xinyang Normal University
Priority date: 2016-05-18
Filing date: 2016-05-18
Publication date: 2017-12-15
Anticipated expiration: 2036-05-18
Also published as: CN105847804A

Abstract

本发明公开了一种基于稀疏冗余表示模型的视频帧率上转换方法，其步骤包括：(1)估计前帧f_t‑1与后帧f_t+1之间任意像素位置(i，j)处前向光流向量v_t‑1，t+1(i，j)；(2)根据运动对称假设，在前帧f_t‑1的前向光流场v_t‑1，t+1基础上，逐像素实施双向三维递归搜索，计算当前像素位置(i，j)处的最优光流向量v_t，t+1(i，j)；(3)逐像素对应光流场v_t，t+1中光流向量进行平滑，保证光流在局部区域内的一致性，以抑制错误光流向量出现；(4)利用前帧f_t‑1与后帧f_t+1、光流场v_t，t+1，构造当前帧f_t的稀疏重建模型；(5)估计稀疏重建模型中的正则化参数与稀疏表示字典；(6)采用非线性优化方法求解稀疏重建模型，获得当前帧估计与现有技术相比，本发明能够有效提升视频帧率上转换的性能。

Description

一种基于稀疏冗余表示模型的视频帧率上转换方法

技术领域

本发明属于视频编码技术领域，涉及一种视频帧率上转换方法，尤其是提出了利用稀疏冗余表示模型抑制在上转换过程由异常运动向量造成的模糊现象。

背景技术

高帧率视频可带来极佳的视觉体验，其展示画面更接近于真实，是超高清视频制作技术的新趋势。受限于普通电子消费类数码摄像机的采集速率，目前视频节目源帧率一般为每秒30帧，即30fps，它仍不足以流畅地刻画细腻动作，给人眼带来一定停滞感，长时间观看极易疲劳。直接以硬件方式提高设备采集速率，会成倍提高成本，不利于产品推广，因此，需要以软件方式利用低帧率视频源的相关冗余信息作帧率上转换，生成符合具有良好视觉质量的高帧率视频源。

帧率上转换可通过帧复制、帧平均方式实现，但这些简单方法无法较好地描述高速运动，常会产生大量的模糊效应。然而，运动补偿帧率上转换充分利用相邻视频帧间的物体运动轨迹，线性恢复出中间帧运动向量场，获得了良好的内插质量，成为主流的视频帧率上转换技术。块匹配算法因其简单性，常被用于运动补偿帧率上转换，它将视频帧划分为互不重叠的块，寻找到各块在参考帧上与其残差能量最小的匹配块，并确定相对坐标偏移作为最终线性运动向量。由于外部光照条件变化、物体表面相似性模式的存在，残差能量最小准则并不一定可反映真实物体运动，常由于过拟合问题导致内插帧出现边缘模糊、块效应现象。运动向量平滑与提纯可在一定程度上纠正运动向量异常，常用方法是加权中值滤波器，但它以连通区域内运动向量准确为前提假设，而现实情况下异常运动向量常成片出现，因此，运动向量平滑与提纯并无法从根本上抑制异常运动向量出现。由上可知，如何估计物体真实运动轨迹，抑制由异常运动向量引起的不良效应，确保高内插质量的帧率上转换是目前亟待解决的技术问题。

在现有技术中，文献“Direction-Select Motion Estimation for Motion-Compensated Frame Rate Up-Conversion”(Yoo Dong-Gon，Kang Suk-Ju，and Kim YoungHwan，Journal ofDisplay Technology，vol.9，no.10，pp.840-850，2013)针对异常运动向量问题，提出沿着前后向分别估计内插帧的运动向量场，通过增加运动向量候选的方式，提高运动估计可靠性，同时，也提出了二维加权运动向量平滑，进一步改善运动向量场估计精度。尽管该方法在一定程度提高了帧率上转换性能，但是它仍是使用块匹配算法，并以残差能量最小为准测挑选候选运动向量，因此，反映真实运动向量能力仍具有局限性。文献“High Visual Quality Based Frame Rate Up Conversion with AccelerationAssisted Motion Trajectory Calibration”(Tai Tsung-Han，and Lin Hsueh-Yi，Journal ofDisplay Technology，vol.8，no.6，pp.341-351，2012)为了保证运动向量真实性，选择采用单向运动估计，并不再将运动建模为匀速运动，而是增加了加速度参量，以二阶加速模型描述物体运动。然而，该方法造成了大量块重叠与空洞，需要借助后处理手段进行修饰，造成了较多模糊效应。由上可知，研究可确保运动向量真实性的帧率上转换技术，并在内插过程抑制异常运动向量造成的模糊效应，具有重要研究意义和实用价值。

发明内容

技术问题：本发明为提高运动估计准确性并抑制异常运动向量造成的模糊现象，提出了一种基于稀疏冗余表示模型的视频帧率上转换方法。该方法放弃传统的块匹配算法，而是利用光流法估计内插帧的真实运动向量。在内插过程，为了抑制异常运动造成的模糊效应，传统线性运动补偿内插由基于稀疏冗余表示模型的非线性重建方法代替。该方法借助于光流估计与稀疏冗余表示两大分析工具，可有效抑制异常运动向量带来的不良效应，进一步改善运动补偿帧率上转换性能。

技术方案：本发明方法利用光流法估计各像素的运动向量，并以像素为中心形成图像子块，依据图像子块的运动轨迹，建立内插帧的稀疏冗余表示模型，通过非线性最优化方法求解该模型以恢复内插帧。其特征包括如下：

1.前向光流场估计

利用Lucas-Kanade光流算法估计前帧f_t-1与后帧f_t+1之间任意像素位置(i，j)处前向光流向量v_t-1，t+1(i，j)。

2.双向光流场提纯

根据运动对称假设，在前帧f_t-1的前向光流场v_t-1，t+1基础上，逐像素实施双向三维递归搜索。当前帧f_t在像素位置(i，j)处的候选光流向量集合为

CS_i，j＝{v_t，t+1(i，j-1)，v_t，t+1(i-1，j)，v_t-1，t(i，j)，v_t-1，t(i，j+1)，

v_t-1，t(i+1，j)，v_t，t+1(i-1，j-1)+u_a，v_t，t+1(i+1，j+1)+u_b}

其中v_t-1，t＝v_t-1，t+1/2，u_a与u_b为更新向量，随机从以下集合中依次选取：

提取以像素位置(i，j)为中心的尺寸为w_p×w_p区域内所有像素位置组成Ω_i，j，计算当前像素位置(i，j)处的最优光流向量v_t，t+1(i，j)如下：

其中v为CS_i，j中的候选光流向量，s为Ω_i，j中的任意像素位置，||·||₂为l₂范数，τ取为0.3，Ω_i，j尺寸w_p设置为7。

3.光流场平滑

若当前像素位置(i，j)处的光流向量v_t，t+1(i，j)方向与其四连接区域像素的光流向量方向不一致时，就认为v_t，t+1(i，j)估计发生错误，并将其方向纠正，保持与四连接区域像素光流向量方向一致。从左至右，从上到下，逐像素对应光流场中光流向量进行平滑，保证光流在局部区域内的一致性，以抑制错误光流向量出现。

4.稀疏重建模型构造

提取当前帧f_t在以像素位置(i，j)为中心的尺寸为w_p×w_p区域Ω_i，j内所有像素亮度值，并按列排列为向量x_i，j，x_i，j为像素位置(i，j)处的图像子块，即满足

x_i，j＝R_i，jf_t

其中R_i，j是用于提取f_t中像素位置(i，j)处图像子块的矩阵，图像子块尺寸w_p设置为7。利用运动对称性，由线性内插法可计算x_i，j的估计p_i，j如下：

其中p_i，j(k)为p_i，j的第k个分量，Ω_i，j(k)是p_i，j(k)在Ω_i，j内对应的像素位置。p_i，j与x_i，j之间存在有一定预测误差，即

p_i，j(k)＝x_i，j(k)+n_i，j(k)

其中x_i，j(k)为原始图像子块x_i，j的第k个分量，n_i，j(k)为预测误差项。将n_i，j(k)建模为均值为0、方差为σ² _i，j的加性高斯噪声。原始图像子块x_i，j稀疏表示建模如下：

x_i，j＝D_i，jα_i，j+m_i，j

式中D_i，j为x_i，j的稀疏表示字典，α_i，j为x_i，j的稀疏表示系数，m_i，j为噪声项，其服从均值为0、方差为η² _i，j的加性高斯噪声。考虑f_t中所有像素对应的图像子块，可构造出最终的稀疏重建模型如下：

其中正则化参数

上式采用数值计算方法根据如下步骤求解：

步骤1：初始化待求解变量f_t ⁽⁰⁾为当前帧f_t的线性内插估计，设定最大迭代次数为10；

步骤2：固定f_t ⁽ⁿ⁾，稀疏重建模型化简为

等价于

式中||·||₀为l₀范数，即向量中非0分量个数，ε_i，j与μ_i，j成反比，可按经验固定为0.01。采用正交匹配追踪算法求得α_i，j的第n次迭代解α_i，j ⁽ⁿ⁾。

步骤3：固定α_i，j ⁽ⁿ⁾，稀疏重建模型化简为

有闭式解如下：

步骤4：重复步骤2至步骤3，直到满足||f_t ⁽ⁿ⁾-f_t ^(n-1)||₂≤0.001为止，此时迭代解即为当前帧估计。

5.正则化参数估计

正则化参数λ_i，j由σ² _i，j和η² _i，j决定。对于σ² _i，j，首先计算前后参考帧f_t-1与f_t+1沿着光流轨迹的亮度值绝对差值如下：

d_i，j＝|f_t-1(s+v_t，t-1(i，j))-f_t+1(s+v_t，t+1(i，j))|

其中s代表内插帧f_t在位置(i，j)处的像素坐标。利用上式估计σ² _i，j如下：

由数值分析结果分别设定a、b取值为0.75、3.5。对于η² _i，j，在求解稀疏重建模型的每次迭代中进行更新，首先利用第n次迭代的稀疏表示系数α_i，j ⁽ⁿ⁾计算图像子块估计如下：

接着，利用图像子块估计的样本方差估计η² _i，j如下

6.字典学习

首先，逐像素抽取前后参考帧f_t-1与f_t+1内图像子块组成训练集合S，接着，提取S内任意样本梯度值作为特征，利用K-mean算法根据特征将S划分为3个聚类{S₁，S₂，S₃}，计算聚类类内所有样本均值，的聚类中心{c₁，c₂，c₃}，最后，利用主成份分析算法计算各聚类的主成份，并组成对应于3个聚类的正交变换矩阵{P₁，P₂，P₃}。在求解稀疏重建模型的每次迭代中，利用图像子块x_i，j的第n-1次迭代选择学习字典如下：

有益效果：本发明利用光流法估计内插帧的真实运动向量，通过双向光流场提纯与光流场平滑方法抑制当前帧的异常光流向量。在内插过程，采用稀疏冗余表示模型实施非线性重建，减少由异常光流造成的模糊效应。与现有技术相比，本发明借助于光流估计与稀疏冗余表示两大分析工具，有效抑制异常光流向量带来的不良效应，有效提升了运动补偿帧率上转换性能。

附图说明

图1为本发明实施帧内插示例。

图2为本发明实施帧内插流程。

图3为双向光流场提纯采用的候选向量相对空间位置。

图4为异常光流向量示例，其中图4(a)为平滑光流场前的局部光流向量分布，图4(b)为平滑光流场后的局部光流向量分布。

图5为本发明与对比方法内插Foreman第58帧的主观视觉质量对比，其中图5(a)为Yoo et al.方法内插帧，图5(b)为Tai et al.方法内插帧，图5(c)为本发明内插帧。

具体实施方法

以下结合附图和实施例对本发明的技术方案作进一步描述。

如图1所示，本发明方法在获取前帧f_t-1与后帧f_t+1之间任意像素位置(i，j)处前向光流向量v_t-1，t+1(i，j)的前提下，根据双向对称性假设，在时空邻域内搜索出内插帧f_t中同一像素位置(i，j)处的前向光流向量v_t，t+1(i，j)，并利用该预测光流场重建中间帧f_t。通过周期性在相邻帧间利用本发明方法插入若干帧，即可实现视频帧率上转换。插帧算法流程如图2所示，首先，通过前向光流场估计生成前后参考帧f_t-1与f_t+1之间的前向光流场v_t-1，t+1，然后，利用双向光流场提纯预测内插帧f_t的前向光流场，经光流场平滑后获得最终光流场v_t，t+1，接着，根据前向光流场v_t，t+1，运行正则化参数估计和字典学习，计算出非线性内插必需的参数，即像素位置(i，j)处的噪声标准差σ_i，j与稀疏表示字典D_i，j；最后，构建稀疏重建模型，设计求解算法，生成内插帧估计本发明提出的插帧算法各组成部分具体实施方法说明如下：

1.前向光流场估计

利用Lucas-Kanade光流算法估计前帧f_t-1与后帧f_t+1之间任意像素位置(i，j)处前向光流向量v_t-1，t+1(i，j)。为了便于描述Lucas-Kanade光流算法实施过程，设f_t-1在像素位置(i，j)处取值为

f_t-1(i，j)＝I(i，j，h) (1)

其中I(i，j，h)代表在时刻h上像素位置(i，j)处的亮度。由于在极短时间间隔中，光流轨迹上像素亮度保持恒定，那么，f_t-1(i，j)沿着光流轨迹在后帧f_t+1上的匹配像素位置(i′，j′)处取值为

f_t+1(i′，j′)＝I(i+di，j+dj，h+dh) (2)

且满足光流约束方程

I(i+di，j+dj，h+dh)＝I(i，j，h) (3)

其中(di，dj)为像素位移，而dh为时间间隔。将式(3)左侧利用一级泰勒级数展开，可得

对比式(3)与式(4)，可得

式(5)左右两侧同时除以dh，整理可得

令

则式(6)等价于

I_iv₁+I_jv₂＝-I_h (7)

其中(v₁，v₂)^T就是像素位置(i，j)处前向光流向量v_t-1，t+1(i，j)，即

v_t-1，t+1(i，j)＝(v₁，v₂)^T (8)

上标T为矩阵转置运算。由于场景中物体总是占据图像某局部区域，因此，在以像素位置(i，j)为中心的局部邻域n＝n₁×n₂内各像素光流均为(v₁，v₂)^T，那么，可得到下列方程组：

令

则式(9)可记作

A·v_t-1，t+1(i，j)＝b (10)

由于式(10)为超定线性方程组，因此，利用最小二乘法可得其解为

v_t-1，t+1(i，j)＝(A^TA)^-1A^T(-b) (11)

2.双向光流场提纯

根据运动对称假设，在前帧f_t-1的前向光流场v_t-1，t+1基础上，逐像素实施双向三维递归搜索。三维递归搜索包括空间递归和时间递归，即认当前像素与当前帧中的空间相邻像素以及前一帧中时间相邻像素在运动上具有相关性，当前像素的光流向量可由时空相关向量“传播”得来。由于当前像素的光流向量与其时间、空间相邻像素的光流向量相近，但并非完全相同，若所有的候选向量都来自相邻像素光流向量的原始值，则不符合实际情况，因此，给原始光流向量加上一个更新向量，得到的候选光流向量将更接近实际、更准确。根据上述经验，当前帧f_t在像素位置(i，j)处的候选光流向量集合为

由此可知，候选的预测向量共有7个，如图3所示，包括：内插帧f_t中像素位置(i，j)的左边、上边、左上和右上像素；前帧f_t-1中处于(i，j)的像素，及其右边和下边像素。提取以像素位置(i，j)为中心的尺寸为w_p×w_p区域内所有像素位置组成Ω_i，j，计算当前像素位置(i，j)处的最优光流向量v_t，t+1(i，j)如下：

其中v为CS_i，j中的候选光流向量，s为Ω_i，j中的任意像素位置，||·||₂为l₂范数，τ为常数(按经验取为0.3)。式(14)首先计算相邻两帧中Ω_i，j内所有像素的双向绝对差和，再加上依赖于候选向量幅度值的惩罚项，选取双向绝对差和与运动幅度均较小的候选向量为当前像素的光流向量估计。

3.光流场平滑

由于视频帧具有空间结构相似性，在采用式(14)估计当前帧f_t的前向运动矢量场v_t，t+1时，最小匹配误差并不一定反映了真实光流轨迹，因此，前向运动矢量场v_t，t+1中总是存在若干错误估计的光流向量。如图4所示，若当前像素位置(i，j)处的光流向量v_t，t+1(i，j)方向与其四连接区域像素的光流向量方向不一致时，就认为v_t，t+1(i，j)估计发生错误，并将其方向纠正，保持与四连接区域像素光流向量方向一致。从左至右，从上到下，逐像素对应光流场中光流向量进行平滑，保证光流在局部区域内的一致性，以抑制错误光流向量出现。光流场v_t，t+1(i，j)经平滑后即为当前帧f_t的前向光流场，根据运动对称性，可获得当前帧f_t的后向运动矢量场为

v_t，t-1(i，j)＝-v_t，t+1(i，j) (15)

利用f_t-1、f_t+1、v_t，t+1(i，j)与v_t，t-1(i，j)即可构造稀疏重建模型。

4.稀疏重建模型构造

提取当前帧f_t在以像素位置(i，j)为中心的尺寸为w_p×w_p区域Ω_i，j内所有像素亮度值，并按列排列为向量x_i，j，称其为像素位置(i，j)处的图像子块，即满足

x_i，j＝R_i，jf_t (16)

其中p_i，j(k)为p_i，j的第k个分量，Ω_i，j(k)是p_i，j(k)在Ω_i，j内对应的像素位置。双向光流场提纯与光流场平滑并无法完全消除异常向量，因此，p_i，j与x_i，j之间存在有一定预测误差，即

p_i，j(k)＝x_i，j(k)+n_i，j(k) (17)

其中x_i，j(k)为原始图像子块x_i，j的第k个分量，n_i，j(k)为预测误差项。将n_i，j(k)建模为均值为0、方差为σ² _i，j的加性高斯噪声，即n_i，j(k)的概率密度函数为

那么，可推导出p_i，j(k)的条件概率密度函数为

由于各噪声项相互独立，因此，可得

式中||·||₂为l₂范数，N＝w_p ²。原始图像子块x_i，j稀疏表示建模如下：

x_i，j＝D_i，jα_i，j+m_i，j (21)

式中D_i，j为x_i，j的稀疏表示字典，α_i，j为x_i，j的稀疏表示系数，m_i，j为噪声项，其服从均值为0、方差为η² _i，j的加性高斯噪声。x_i，j的概率密度函数为

Pr[x_i，j]＝Pr[x_i，j|α_i，j]·Pr[α_i，j] (22)

其中

式(24)表示α_i，j服从参数为θ_i，j的拉普拉斯分布，即α_i，j中0分量出现的概率较大，||·||₁为l₁范数，因此，式(21)被称作稀疏表示模型。由贝叶斯推论可得

Pr[x_i，j|p_i，j]∝Pr[p_i，j|x_i，j]·Pr[x_i，j] (25)

由此可得到x_i，j的最大后验估计

将式(20)、式(23)和式(24)代入式(26)可得

其中

考虑f_t中所有像素对应的图像子块，可构造出最终的稀疏重建模型如下：

式(28)可采用数值计算方法根据如下步骤求解：

步骤2：固定f_t ⁽ⁿ⁾，式(28)化简为

式(29)等价于

式中||·||₀为l₀范数，即向量中非0分量个数，ε_i，j与μ_i，j成反比，可按经验固定为0.01。采用正交匹配追踪算法求解式(30)，得α_i，j的第n次迭代解α_i，j ⁽ⁿ⁾。

步骤3：固定α_i，j ⁽ⁿ⁾，式(28)化简为

式(31)有闭式解如下：

在式(28)数值求解过程中，正则化参数λ_i，j与字典D_i，j将在迭代过程中随迭代解变化而更新，具体更新方法如下叙述。

5.正则化参数估计

正则化参数λ_i，j由σ² _i，j和η² _i，j决定。σ² _i，j表示原始中间帧f_t与其线性内插估计之间预测误差项n_i，j的方差，η² _i，j表示图像子块由字典稀疏表示式产生的残留噪声项m_i，j的方差。由于缺乏原始中间帧f_t的信息，σ² _i，j和η² _i，j无法直接计算。对于σ² _i，j，首先计算前后参考帧f_t-1与f_t+1沿着光流轨迹的亮度值绝对差值如下：

d_i，j＝|f_t-1(s+v_t，t-1(i，j))-f_t+1(s+v_t，t+1(i，j))| (33)

其中s代表内插帧f_t在位置(i，j)处的像素坐标。利用式(33)可估计σ² _i，j如下：

由数值分析结果分别设定a、b取值为0.75、3.5。对于η² _i，j，在求解式(28)的每次迭代中进行更新，首先利用第n次迭代的稀疏表示系数α_i，j ⁽ⁿ⁾计算图像子块估计如下：

接着利用图像子块估计的样本方差估计η² _i，j如下

6.字典学习

首先，逐像素抽取前后参考帧f_t-1与f_t+1内图像子块组成训练集合S，接着，提取S内任意样本梯度值作为特征，利用K-mean算法根据特征将S划分为3个聚类{S₁，S₂，S₃}，计算聚类类内所有样本均值，的聚类中心{c₁，c₂，c₃}，最后，利用主成份分析算法计算各聚类的主成份，并组成对应于3个聚类的正交变换矩阵{P₁，P₂，P₃}。在求解式(28)的每次迭代中，利用图像子块x_i，j的第n-1次迭代选择学习字典如下：

本发明的仿真结果

本发明利用MATLAB 7.6进行仿真实验，测试序列包含CIF格式的Foreman、Football、Stefan、Tennis、Mobile、Bus。为了评估内插帧的质量，每个测试序列的前50个偶数帧被移除，接着，它们通过各种帧率上转换方案由前50个奇数帧再次生成，最后，再计算生成内插帧与原始帧之间的峰值信噪比(Peak Signal to Noise Ratio，PSNR)以反映内插帧的客观质量。对比方法分别来自文献“Direction-Select Motion Estimation forMotion-Compensated Frame Rate Up-Conversion”(Yoo Dong-Gon，Kang Suk-Ju，and KimYoung Hwan，Journal of Display Technology，vol.9，no.10，pp.840-850，2013)和文献“High Visual Quality Based Frame Rate Up Conversion with AccelerationAssisted Motion Trajectory Calibration”(Tai Tsung-Han，and Lin Hsueh-Yi，Journal of Display Technology，vol.8，no.6，pp.341-351，2012)。表1列出了不同测试序列下本发明与对比方法重建出内插帧的平均PSNR值，可看出本发明生成的内插帧获得了较高的PSNR值，平均分别比Yoo et al.方法、Tai et al.方法高0.73dB、1.64dB，这说明了本发明可确保上转视频具有良好的客观质量。图5显示了本发明与对比方法重建Foreman第58帧的主观视觉质量对比，可看出本发明抑制了由异常向量造成的模糊效应，尤其是在嘴唇区域，而对比方法不同程度出现了块效应与模糊，这说明了本发明可确保上转视频具有良好的主观质量。

表1不同测试序列下本发明与对比方法生成内插帧的平均PSNR值(dB)

Claims

1.一种基于稀疏冗余表示模型的视频帧率上转换方法，其特征在于该方法包括：双向光流场提纯、光流场平滑、稀疏重建模型构造、正则化参数估计以及字典学习；

双向光流场提纯方法为，根据运动对称假设，在由前帧f_t-1到后帧f_t+1的前向光流场v_t-1，t+1基础上，逐像素实施双向三维递归搜索，当前帧f_t在像素位置(i，j)处的候选光流向量集合为

v_t-1，t(i+1，j)，v_t，t+1(i-1，j-1)+u_a，v_t，t+1(i+1，j+1)+u_b}

其中v_t-1，t为由前帧f_t-1到当前帧f_t的前向光流场，v_t-1，t在像素位置(i，j)处的光流向量v_t-1，t(i，j)按下式计算：

u_a与u_b为更新向量，随机从以下集合中依次选取：

<mrow> <msub> <mi>v</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>v</mi> <mo>&Element;</mo> <msub> <mi>CS</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </munder> <mo>{</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>s</mi> <mo>&Element;</mo> <msub> <mi>&Omega;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </munder> <mo>|</mo> <msub> <mi>f</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>+</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>+</mo> <mi>&tau;</mi> <mo>|</mo> <mo>|</mo> <mi>v</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>}</mo> </mrow>

其中v为CS_i，j中的候选光流向量，s为Ω_i，j中的任意像素位置，f_t-1(s-v)是前帧f_t-1在像素位置s-v处的像素值，f_t+1(s+v)是前帧f_t+1在像素位置s+v处的像素值，||·||₂为l₂范数，τ为取为0.3，Ω_i，j尺寸w_p设置为7；

光流场平滑方法为，若当前像素位置(i，j)处的光流向量v_t，t+1(i，j)方向与其四连接区域像素的光流向量方向不一致时，就认为v_t，t+1(i，j)估计发生错误，并将其方向纠正，保持与四连接区域像素光流向量方向一致，从左至右，从上到下，逐像素对应光流场中光流向量进行平滑，保证光流在局部区域内的一致性，以抑制错误光流向量出现；

稀疏重建模型构造方法为，提取当前帧f_t在以像素位置(i，j)为中心的尺寸为w_p×w_p区域Ω_i，j内所有像素亮度值，并按列排列为向量x_i，j，称x_i，j为像素位置(i，j)处的图像子块，即满足

x_i，j＝R_i，jf_t

其中R_i，j是用于提取f_t中像素位置(i，j)处图像子块的矩阵，图像子块尺寸w_p设置为7，利用运动对称性，由线性内插法可计算x_i，j的估计p_i，j如下：

<mrow> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mrow> <mo>&lsqb;</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>&Omega;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>v</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>f</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>&Omega;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>v</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> <mo>&rsqb;</mo> </mrow> </mrow>

其中p_i，j(k)为p_i，j的第k个分量，Ω_i，j(k)是p_i，j(k)在Ω_i，j内对应的像素位置，p_i，j与x_i，j之间存在有一定预测误差，即

p_i，j(k)＝x_i，j(k)+n_i，j(k)

其中x_i，j(k)为原始图像子块x_i，j的第k个分量，n_i，j(k)为预测误差项，将n_i，j(k)建模为均值为0、方差为σ² _i，j的加性高斯噪声，原始图像子块x_i，j稀疏表示建模如下：

x_i，j＝D_i，ja_i，j+m_i，j

式中D_i，j为x_i，j的稀疏表示字典，a_i，j为x_i，j的稀疏表示系数，其服从参数为θ_i，j的拉普拉斯分布，m_i，j为噪声项，其服从均值为0、方差为η² _i，j的加性高斯噪声，考虑f_t中所有像素对应的图像子块，可构造出最终的稀疏重建模型如下：

<mrow> <msub> <mrow> <mo>{</mo> <msub> <mover> <mi>f</mi> <mo>^</mo> </mover> <mi>t</mi> </msub> <mo>,</mo> <msub> <mover> <mi>&alpha;</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>}</mo> </mrow> <mrow> <mo>&ForAll;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mrow> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>,</mo> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&mu;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>}</mo> </mrow>

其中正则化参数

<mrow> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>&eta;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mn>2</mn> </msubsup> <msubsup> <mi>&sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mn>2</mn> </msubsup> </mfrac> <mo>,</mo> <msub> <mi>&mu;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msubsup> <mi>&eta;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mn>2</mn> </msubsup> </mrow> <msub> <mi>&theta;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mfrac> </mrow>

上式采用数值计算方法根据如下步骤求解：

步骤2：固定f_t ⁽ⁿ⁾，稀疏重建模型化简为

<mrow> <msub> <mrow> <mo>{</mo> <msubsup> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>}</mo> </mrow> <mrow> <mo>&ForAll;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&mu;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>}</mo> </mrow>

等价于

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mrow> <mo>{</mo> <msubsup> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>}</mo> </mrow> <mrow> <mo>&ForAll;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>0</mn> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>&le;</mo> <msubsup> <mi>&epsiv;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced>

式中||·||₀为l₀范数，即向量中非0分量个数，ε_i，j与μ_i，j成反比，可按经验固定为0.01，采用正交匹配追踪算法求解得a_i，j的第n次迭代解a_i，j ⁽ⁿ⁾；

步骤3：固定a_i，j ⁽ⁿ⁾，稀疏重建模型化简为

<mrow> <msubsup> <mi>f</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msub> <mi>f</mi> <mi>t</mi> </msub> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msubsup> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>}</mo> </mrow>

有闭式解如下：

<mrow> <msubsup> <mi>f</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msup> <mrow> <mo>&lsqb;</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </munder> <mrow> <mo>(</mo> <msubsup> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msubsup> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&lsqb;</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </munder> <mrow> <mo>(</mo> <msubsup> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msubsup> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msubsup> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow>

其中上标T代表对矩阵进行转置运算，

步骤4：重复步骤2至步骤3，直到满足||f_t ⁽ⁿ⁾-f_t ^(n-1)||₂≤0.001为止，此时迭代解即为当前帧估计；

正则化参数估计方法为，正则化参数λ_i，j由σ² _i，j和η² _i，j决定，对于σ² _i，j，首先计算前后参考帧f_t-1与f_t+1沿着光流轨迹的亮度值绝对差值如下：

d_i，j＝|f_t-1(s+v_t，t-1(i，j))-f_t+1(s+v_t，t+1(i，j))|

其中s代表内插帧f_t在位置(i，j)处的像素坐标，f_t-1、f_t及f_t+1在s处的像素取值分别为f_t-1(s)、f_t(s)及f_t+1(s)，利用上式估计σ² _i，j如下：

<mrow> <msub> <mover> <mi>&sigma;</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>a</mi> <mo>&CenterDot;</mo> <msub> <mi>d</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <mi>b</mi> </mrow> 2

由数值分析结果分别设定a、b取值为0.75、3.5，对于η² _i，j，在求解稀疏重建模型的每次迭代中进行更新，首先利用第n次迭代的稀疏表示系数a_i，j ⁽ⁿ⁾计算图像子块估计如下：

<mrow> <msubsup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msubsup> <mi>&alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> </mrow>

接着，利用图像子块估计的样本方差估计η² _i，j如下

<mrow> <msubsup> <mover> <mi>&eta;</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mn>2</mn> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <munder> <mo>&Sigma;</mo> <mi>k</mi> </munder> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>&lsqb;</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munder> <mo>&Sigma;</mo> <mi>k</mi> </munder> <msubsup> <mover> <mi>x</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>;</mo> </mrow>

其中N为图像子块x_i，j的像素个数

字典学习方法为，首先，逐像素抽取前后参考帧f_t-1与f_t+1内图像子块组成训练集合S，接着，提取S内任意样本梯度值作为特征，利用K-mean算法根据特征将S划分为3个聚类{S₁，S₂，S₃}，计算聚类内所有样本均值作为聚类中心{c₁，c₂，c₃}，最后，利用主成份分析算法计算各聚类的主成份，并组成对应于3个聚类的正交变换矩阵{P₁，P₂，P₃}，在求解稀疏重建模型的每次迭代中，利用图像子块x_i，j的第n-1次迭代选择学习字典如下：

<mrow> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>P</mi> <msub> <mi>l</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </msub> <mo>.</mo> </mrow> 3