CN110740331A - 基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法 - Google Patents

Abstract

本发明公开一种基于自适应步长和Levenberg‑Marquardt优化的视频弹性运动估计方法，采用Levenberg‑Marquardt优化方法替代Guass‑Newton法来求解弹性运动估计模型，从而避免Guass‑Newton黑塞矩阵出现负定或者病态的情况，保证了迭代优化沿着正确的梯度下降方向进行；为Levenberg‑Marquardt对角矩阵引进了一个自适应加权系数，并提出一种自适应加权系数的正负交替更新策略，进而在保证黑塞矩阵正定的前提下，有效扩大了参数搜索的空间；最后，采用Guass‑Newton法在前两次迭代时的步长因子和预测误差，计算自适应加权系数的上界，并以此上界为约束。

Description

基于自适应步长和Levenberg-Marquardt优化的视频弹性运 动估计方法

技术领域

本发明涉及视频编码压缩领域，尤其是一种运算速度快、运动补偿质量高、搜索空间广、自适应能力强、基于自适应步长和Levenberg-Marquardt优化的弹性运动估计方法。

背景技术

自第一代视频编码标准发展至今，虽然压缩效率不断提高，可是视频编码技术的基本框架至今未发生本质改变，始终是以分块为单位的差分预测+变换的闭环混合结构。在这个框架下，运动估计是一种有效的时间维差分预测技术，被广泛应用于H.261/2/3、MPEG-1/2/4、H.264/AVC和AVS等视频编码标准中，而且多年来视频编码效率的大部分提升均是由于其采用了更为优秀的运动估计算法。然而，运动估计环节所消耗的计算资源往往占编码器全部资源的50％以上，甚至可达80％。因此，运动估计算法的效率是影响视频编码性能的关键技术之一。

虽然平移运动模型在视频编码标准中获得了广泛应用，有助于降低运动估计/补偿的计算复杂度，但是平移模型无法有效预测由物体的旋转、缩放、变形和摄像机运动产生的非刚性复合运动。于是，2010年以来有研究人员提出了一种弹性运动估计模型(ElasticMotion Estimation Model)，它可有效克服块平移模型的不足，最初主要广泛用于医学图像配准、物体追踪、图像稳定和运动分析等领域。

目前，关于视频弹性运动估计的研究和技术改进主要集中在以下两个方面：

首先，弹性运动模型与视频编码标准的结合方式。Muhit等人将弹性运动估计引进H.264，依据图像的几何特征，采用不同斜率的线段划分待预测块，获得其三角形或四边形网格表示，从而使弹性模型能更准确地描述复杂形状的运动区域、更好地适应多样的局部运动。Ahmmed等人将弹性运动估计作为HEVC的一种可选模式，通过已解码帧计算弹性运动场，再利用该运动场重建弹性变形后的参考帧，进而根据率失真准则在平移模型和弹性模型之间进行自适应地选择。但是，上述两项技术均简单地使用传统的Guass-Newton法求解弹性运动向量，既未能避免弹性运动估计的高计算量，又无法避免搜索陷入局部最优，这会从根本上影响弹性运动估计的有效性和实用性。

其次，弹性运动向量的优化求解。Haque等人提出了基于1bit深度像素的Guass-Newton迭代法，并进一步将其推广到了2bit深度像素的情况下。尽管这两种算法通过避免黑塞矩阵及其逆矩阵的计算、固定迭代步长的方式实现了较快的运动估计速度，可是由于只采用了2个梯度下降方向，并且低位深像素的梯度往往不同于8bit深度像素，其预测质量与基于8bit深度像素的弹性运动估计尚存在较大差距。Song等人则通过大量实验发现，弹性运动模型的Guass-Newton解法对初始迭代点和迭代步长较为敏感，即固定的初始迭代点和迭代步长无法求解出全局最优解，进而采用2bit深度像素和均匀搜索模板将初始迭代点置于全局最优解的单调区间内，再利用离散余弦变换的低频能量比率和黄金分割法调整迭代步长使之适应目标函数的线性程度，明显提升了弹性运动估计的计算效率和补偿质量。然而，作为一类Newton型优化求解方法，上述技术在本质上仍不可避免Newton型方法存在的不足，也就是说，目标函数偏离线性的程度越大，初始迭代点距离全局最优点越远，Guass-Newton法的收敛速度就越慢，甚至出现远离最优点或不收敛的现象。事实上，视频数据以及运动补偿误差的复杂性，匹配误差曲面往往不会呈现我们期望的理想线性。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种运算速度快、运动补偿质量高、搜索空间广、自适应能力强、基于自适应步长和Levenberg-Marquardt优化的弹性运动估计方法。

本发明的技术解决方案是：一种基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法，其特征在于按照如下步骤进行：

步骤1.输入最大迭代次数T_max和最小增量阈值T_m，并令λ_min←2，λ_max←10，δ←1，λ^*←λ_min，所述λ_min表示自适应步长的下界，λ_max表示自适应步长的上界，δ表示Levenberg-Marquardt对角矩阵的加权系数，λ^*表示自适应步长；

步骤2.若当前图像组(Group of Pictures,GOP)的所有宏块都已处理完毕，则算法结束；否则，从当前图像组中选取一个未处理过的、大小为M×N像素的宏块作为当前宏块I，并令x_i、y_i分别表示当前宏块中某个像素的横、纵坐标且0≤x_i≤M-1，0≤y_i≤N-1，其像素值为I(x_i,y_i)；

步骤2.1根据公式⑴的定义，初始化当前宏块的弹性运动模型：

所述m表示坐标(x_i,y_i)处的弹性运动向量，p表示预设的运动向量的分量个数，m_k表示m的第k个分量，

表示弹性运动的基函数，其定义由公式⑵给出：

且k＝su+v+1，u,v＝0,1,…,s-1，

步骤2.2将弹性运动向量m的所有分量m_k置0，所述1≤k≤p；

步骤2.3利用整像素精度的菱形搜索方法，计算当前宏块的平移运动向量m₁和m_p/2+1，并计算该运动向量的模长的平方||Δm₀||²＝(m₁)²+(m_p/2+1)²；

步骤2.4令迭代计数器t←1；

步骤3.对于当前宏块中的每个像素(x_i,y_i)，根据弹性运动向量m、公式⑴和公式⑵，在参考帧R中计算与其相匹配的像素坐标g(x_i,y_i；m)，并利用双线性插值方法，计算该匹配像素的值R(g(x_i,y_i；m))，再将所有匹配像素组成一个与当前宏块相匹配的参考宏块，所述R(·)表示参考帧中位于坐标“·”处的像素值；

步骤4.根据公式⑶的定义，计算弹性运动向量m所对应的初始运动补偿误差e₀：

步骤5.采用前向差分法，计算参考宏块的像素梯度

其中，

和

分别表示参考宏块沿着水平方向、竖直方向的偏导数；

步骤6.计算雅克比矩阵

其中

所述

分别表示

的第k个分量和第(p/2+k)个分量；

步骤7.计算最速下降方向其中所述

表示

的第k个分量；

步骤8.计算Guass-Newton黑塞矩阵H，其中

a,b∈[1,p]，所述T表示向量转置，H_a,b表示矩阵H中第a行、第b列的元素，

表示

的第a个分量，

表示的第b个分量；

步骤9.计算方向向量b，其中

所述b_k表示b的第k个分量；

步骤10.若t>1，则转入步骤11；否则，计算自适应步长的上界λ_max；

步骤10.1保留Guass-Newton黑塞矩阵H的对角线元素，而将其余元素清零，得到一个对角矩阵H′，并根据公式⑷的定义，计算其对角元素的绝对值之和S：

所述H′_i,i表示对角矩阵H′中第i行、第i列的元素；

步骤10.2计算对角矩阵H′的逆矩阵(H′)^-1；

步骤10.3计算对角矩阵所产生的弹性运动向量的增量Δm＝(H′)^-1b及其模长的平方||Δm||²；

步骤10.4令m′←m+Δm，并将m′代入公式⑴和公式⑵，计算在参考帧中，与当前宏块的每个像素(x_i,y_i)相匹配的像素坐标，并利用双线性插值方法，计算每个匹配像素的值R(g(x_i,y_i；m′))；

步骤10.5根据公式⑸的定义，计算弹性运动向量m′的运动补偿误差e；

步骤10.6根据公式⑹的定义，计算Levenberg-Marquardt对角矩阵的加权系数的上界δ_max：

步骤10.7根据公式⑺的定义，计算自适应步长的上界λ_max：

步骤11.根据公式⑻的定义，计算Levenberg-Marquardt黑塞矩阵H_LM：

步骤12.根据公式⑼的定义，计算第t次迭代后的弹性运动向量的增量Δm_t：

所述

表示H_LM的逆矩阵；

步骤13.根据公式⑽的定义，更新弹性运动向量m，并将其代入公式⑴和公式⑵，进而计算在参考帧中，与当前宏块的每个像素(x_i,y_i)相匹配的像素坐标，再利用双线性插值方法，计算每个匹配像素的值R(g(x_i,y_i；m))；

m←m+Δm_t ⑽

步骤14.根据公式⑾的定义，计算第t次迭代后的运动补偿误差e_t；

步骤15.根据公式⑿的定义，更新自适应步长λ*：

所述||Δm_t||和||Δm_t-1||分别表示第t次迭代和第(t-1)次迭代后，弹性运动向量的增量的模长；

步骤16.若e_t>e_t-1，则令δ←-δ×λ^*，并转入步骤11；否则，令δ←δ/λ^*，t←t+1；

步骤17.若t>T_max或||Δm_t||<T_m，则输出当前宏块的运动向量m，转入步骤2；否则，转入步骤5。

与现有技术相比，本发明的技术特点在于：第一，采用Levenberg-Marquardt优化方法替代Guass-Newton法来求解弹性运动估计模型，能够避免Guass-Newton黑塞矩阵出现负定或者病态的现象及其所导致的求解过程不收敛的问题，从而有利于保证迭代优化沿着正确的梯度下降方向进行；第二，为Levenberg-Marquardt对角矩阵引进了一个自适应加权系数，使得Levenberg-Marquardt优化方法在初始迭代点距离局部极小点较近时，能够表现出类似于Newton法和Guass-Newton法的快速收敛速度，而当初始迭代点距离局部极小点较远时，又能表现出近似于最速下降法和对角线法的优良收敛效率；第三，为自适应加权系数设计了一种基于上、下界的正负交替更新策略，在保证黑塞矩阵正定的前提下，可有效扩大传统Levenberg-Marquardt优化方法的参数搜索空间，进而有利于获得更加准确的弹性运动向量，更有效地逼近全局最优点；第四，自适应加权系数使Levenberg-Marquardt优化方法能够根据运动补偿误差曲面的情况，自适应地计算出恰当的迭代步长，一般只需1～2次迭代就能取得高于块平移全搜索和基于Guass-Newton法的传统弹性运动估计的峰值信噪比。因此，本发明具有运算速度快、运动补偿质量高、搜索空间广、自适应能力强等优点。

具体实施方式

一种供基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法，其特征在于按照如下步骤进行：

步骤1.输入最大迭代次数T_max和最小增量阈值T_m，并令λ_min←2，λ_max←10，δ←1，λ^*←λ_min，所述λ_min表示自适应步长的下界，λ_max表示自适应步长的上界，δ表示Levenberg-Marquardt对角矩阵的加权系数，λ^*表示自适应步长，本实施例中，令T_max＝15，T_m＝0.0001；

步骤2.若当前图像组(Group of Pictures,GOP)的所有宏块都已处理完毕，则算法结束；否则，从当前图像组中选取一个未处理过的、大小为M×N像素的宏块作为当前宏块I，并令x_i、y_i分别表示当前宏块中某个像素的横、纵坐标且0≤x_i≤M-1，0≤y_i≤N-1，其像素值为I(x_i,y_i)；

步骤2.1根据公式⑴的定义，初始化当前宏块的弹性运动模型：

所述m表示坐标(x_i,y_i)处的弹性运动向量，p表示预设的运动向量的分量个数，m_k表示m的第k个分量，

表示弹性运动的基函数，其定义由公式⑵给出：

且k＝su+v+1，u,v＝0,1,…,s-1，

本实施例中，令p＝8；

步骤2.2将弹性运动向量m的所有分量m_k置0，所述1≤k≤p；

步骤2.3利用整像素精度的菱形搜索方法，计算当前宏块的平移运动向量m₁和m_p/2+1，并计算该运动向量的模长的平方||Δm₀||²＝(m₁)²+(m_p/2+1)²；

步骤2.4令迭代计数器t←1；

步骤3.对于当前宏块中的每个像素(x_i,y_i)，根据弹性运动向量m、公式⑴和公式⑵，在参考帧R中计算与其相匹配的像素坐标g(x_i,y_i；m)，并利用双线性插值方法，计算该匹配像素的值R(g(x_i,y_i；m))，再将所有匹配像素组成一个与当前宏块相匹配的参考宏块，所述R(·)表示参考帧中位于坐标“·”处的像素值；

步骤4.根据公式⑶的定义，计算弹性运动向量m所对应的初始运动补偿误差e₀：

步骤5.采用前向差分法，计算参考宏块的像素梯度

其中，

和

分别表示参考宏块沿着水平方向、竖直方向的偏导数；

步骤6.计算雅克比矩阵

其中

所述

分别表示

的第k个分量和第(p/2+k)个分量；

步骤7.计算最速下降方向其中

所述

表示

的第k个分量；

步骤8.计算Guass-Newton黑塞矩阵H，其中

a,b∈[1,p]，所述T表示向量转置，H_a,b表示矩阵H中第a行、第b列的元素，

表示

的第a个分量，

表示

的第b个分量；

步骤9.计算方向向量b，其中

所述b_k表示b的第k个分量；

步骤10.若t>1，则转入步骤11；否则，计算自适应步长的上界λ_max；

步骤10.1保留Guass-Newton黑塞矩阵H的对角线元素，而将其余元素清零，得到一个对角矩阵H′，并根据公式⑷的定义，计算其对角元素的绝对值之和S：

所述H′_i,i表示对角矩阵H′中第i行、第i列的元素；

步骤10.2计算对角矩阵H′的逆矩阵(H′)^-1；

步骤10.3计算对角矩阵所产生的弹性运动向量的增量Δm＝(H′)^-1b及其模长的平方||Δm||²；

步骤10.4令m′←m+Δm，并将m′代入公式⑴和公式⑵，计算在参考帧中，与当前宏块的每个像素(x_i,y_i)相匹配的像素坐标，并利用双线性插值方法，计算每个匹配像素的值R(g(x_i,y_i；m′))；

步骤10.5根据公式⑸的定义，计算弹性运动向量m′的运动补偿误差e；

步骤10.6根据公式⑹的定义，计算Levenberg-Marquardt对角矩阵的加权系数的上界δ_max：

步骤10.7根据公式⑺的定义，计算自适应步长的上界λ_max：

步骤11.根据公式⑻的定义，计算Levenberg-Marquardt黑塞矩阵H_LM：

步骤12.根据公式⑼的定义，计算第t次迭代后的弹性运动向量的增量Δm_t：

所述

表示H_LM的逆矩阵；

步骤13.根据公式⑽的定义，更新弹性运动向量m，并将其代入公式⑴和公式⑵，进而计算在参考帧中，与当前宏块的每个像素(x_i,y_i)相匹配的像素坐标，再利用双线性插值方法，计算每个匹配像素的值R(g(x_i,y_i；m))；

m←m+Δm_t ⑽

步骤14.根据公式⑾的定义，计算第t次迭代后的运动补偿误差e_t；

步骤15.根据公式⑿的定义，更新自适应步长λ^*：

所述||Δm_t||和||Δm_t-1||分别表示第t次迭代和第(t-1)次迭代后，弹性运动向量的增量的模长；

步骤16.若e_t>e_t-1，则令δ←-δ×λ^*，并转入步骤11；否则，令δ←δ/λ^*，t←t+1；

步骤17.若t>T_max或||Δm_t||<T_m，则输出当前宏块的运动向量m，转入步骤2；否则，转入步骤5。

不同视频测试序列采用本发明实施例、基于块平移模型的全搜索、基于改进Guass-Newton法的弹性运动估计方法得到的平均运动补偿峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)结果如表1。

表1不同运动估计方法的运动补偿PSNR比较

从表1可见，对于具有不同空间分辨率、不同纹理复杂度和不同运动量的各个视频序列，本发明的运动补偿质量均优于高于基于块平移模型的全搜索和基于改进Guass-Newton法的弹性运动估计，其平均峰值信噪比分别比二者提高了2.74dB、1.70dB。

Claims (1)

1.一种基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法，其特征在于按如下步骤进行：

步骤1.输入最大迭代次数T_max和最小增量阈值T_m，并令λ_min←2，λ_max←10，δ←1，λ^*←λ_min，所述λ_min表示自适应步长的下界，λ_max表示自适应步长的上界，δ表示Levenberg-Marquardt对角矩阵的加权系数，λ^*表示自适应步长；

步骤2.若当前图像组的所有宏块都已处理完毕，则算法结束；否则，从当前图像组中选取一个未处理过的、大小为M×N像素的宏块作为当前宏块I，并令x_i、y_i分别表示当前宏块中某个像素的横、纵坐标且0≤x_i≤M-1，0≤y_i≤N-1，其像素值为I(x_i,y_i)；

步骤2.1根据公式⑴的定义，初始化当前宏块的弹性运动模型：

所述m表示坐标(x_i,y_i)处的弹性运动向量，p表示预设的运动向量的分量个数，m_k表示m的第k个分量，

表示弹性运动的基函数，其定义由公式⑵给出：

且k＝su+v+1，u,v＝0,1,…,s-1，

步骤2.2将弹性运动向量m的所有分量m_k置0，所述1≤k≤p；

步骤2.3利用整像素精度的菱形搜索方法，计算当前宏块的平移运动向量m₁和m_p/2+1，并计算该运动向量的模长的平方||Δm₀||²＝(m₁)²+(m_p/2+1)²；

步骤2.4令迭代计数器t←1；

步骤3.对于当前宏块中的每个像素(x_i,y_i)，根据弹性运动向量m、公式⑴和公式⑵，在参考帧R中计算与其相匹配的像素坐标g(x_i,y_i；m)，并利用双线性插值方法，计算该匹配像素的值R(g(x_i,y_i；m))，再将所有匹配像素组成一个与当前宏块相匹配的参考宏块，所述R(·)表示参考帧中位于坐标“·”处的像素值；

步骤4.根据公式⑶的定义，计算弹性运动向量m所对应的初始运动补偿误差e₀：

步骤5.采用前向差分法，计算参考宏块的像素梯度其中，

和

分别表示参考宏块沿着水平方向、竖直方向的偏导数；

步骤6.计算雅克比矩阵

其中

所述

分别表示的第k个分量和第(p/2+k)个分量；

步骤7.计算最速下降方向

其中

所述

表示的第k个分量；

步骤8.计算Guass-Newton黑塞矩阵H，其中

a,b∈[1,p]，所述T表示向量转置，H_a,b表示矩阵H中第a行、第b列的元素，

表示

的第a个分量，表示

的第b个分量；

步骤9.计算方向向量b，其中

所述b_k表示b的第k个分量；

步骤10.若t>1，则转入步骤11；否则，计算自适应步长的上界λ_max；

步骤10.1保留Guass-Newton黑塞矩阵H的对角线元素，而将其余元素清零，得到一个对角矩阵H′，并根据公式⑷的定义，计算其对角元素的绝对值之和S：

所述H′_i,i表示对角矩阵H′中第i行、第i列的元素；

步骤10.2计算对角矩阵H′的逆矩阵(H′)^-1；

步骤10.3计算对角矩阵所产生的弹性运动向量的增量Δm＝(H′)^-1b及其模长的平方||Δm||²；

步骤10.4令m′←m+Δm，并将m′代入公式⑴和公式⑵，计算在参考帧中，与当前宏块的每个像素(x_i,y_i)相匹配的像素坐标，并利用双线性插值方法，计算每个匹配像素的值R(g(x_i,y_i；m′))；

步骤10.5根据公式⑸的定义，计算弹性运动向量m′的运动补偿误差e；

步骤10.6根据公式⑹的定义，计算Levenberg-Marquardt对角矩阵的加权系数的上界δ_max：

步骤10.7根据公式⑺的定义，计算自适应步长的上界λ_max：

步骤11.根据公式⑻的定义，计算Levenberg-Marquardt黑塞矩阵H_LM：

步骤12.根据公式⑼的定义，计算第t次迭代后的弹性运动向量的增量Δm_t：

所述

表示H_LM的逆矩阵；

步骤13.根据公式⑽的定义，更新弹性运动向量m，并将其代入公式⑴和公式⑵，进而计算在参考帧中，与当前宏块的每个像素(x_i,y_i)相匹配的像素坐标，再利用双线性插值方法，计算每个匹配像素的值R(g(x_i,y_i；m))；

m←m+Δm_t ⑽

步骤14.根据公式⑾的定义，计算第t次迭代后的运动补偿误差e_t；

步骤15.根据公式⑿的定义，更新自适应步长λ^*：

所述||Δm_t||和||Δm_t-1||分别表示第t次迭代和第(t-1)次迭代后，弹性运动向量的增量的模长；

步骤16.若e_t>e_t-1，则令δ←-δ×λ^*，并转入步骤11；否则，令δ←δ/λ^*，t←t+1；

步骤17.若t>T_max或||Δm_t||<T_m，则输出当前宏块的运动向量m，转入步骤2；否则，转入步骤5。