CN105812818A - 基于改进列文伯格麦夸特优化的弹性运动估计方法 - Google Patents

Abstract

本发明公开一种基于改进列文伯格麦夸特优化的弹性运动估计方法，属于视频编码压缩领域，是针对传统高斯—牛顿算法求解弹性运动模型过程中需反复计算参考帧的黑塞矩阵(Hessian Matrix)及其逆矩阵的不足，借鉴列文伯格麦夸特(Levenberg‑Marquardt)算法的思想，采用当前帧的黑塞矩阵取代参考帧的黑塞矩阵，并用高斯—牛顿黑塞矩阵取代传统列文伯格麦夸特优化算法的混合黑塞矩阵，使得每次运动估计仅需计算一次黑塞矩阵及其逆矩阵，同时引入提前中止策略，从而达到了降低弹性运动估计计算复杂度的目的。

Description

基于改进列文伯格麦夸特优化的弹性运动估计方法

技术领域

本发明涉及视频编码压缩领域，尤其是一种运算速度快、运动补偿质量高的、基于改进列文伯格麦夸特优化的弹性运动估计方法。

背景技术

自第一代视频编码标准发展至今，虽然压缩效率不断提高，可是视频编码技术的基本框架至今未发生本质改变，始终是以分块为单位的差分预测+变换的闭环混合结构。在这个框架下，运动估计是一种有效的时间维差分预测技术，被广泛应用于H.261/2/3、MPEG-1/2/4、H.264/AVC和AVS等视频编码标准中，而且多年来视频编码效率的大部分提升均是由于其采用了更为优秀的运动估计算法。然而，运动估计环节所消耗的计算资源往往占编码器全部资源的50%以上，甚至可达80%。因此，运动估计算法的效率是影响视频编码性能的关键技术之一。

运动估计问题实际上一种匹配问题，其目标是根据当前帧中的像素点或者宏块，在参考帧中找到与之相对应的最佳匹配点或者匹配块。虽然平移运动模型在视频编码标准中获得了广泛应用，但是平移模型无法有效预测由物体的旋转、缩放、变形和摄像机运动产生的非刚性复合运动。于是，H.264/AVC和H.265/HEVC等编码标准不得不采用可变尺寸块结构来逼近复杂运动场，最小可以支持4×4像素的块运动估计。而随着块尺寸的减小，用于编码运动矢量的码流开销和各种软硬件计算开销也逐渐增加。有研究结论指出，当块尺寸减小至4×4像素时，软硬件开销的增加幅度已经超过其率失真性能的提升幅度，这说明仅仅依靠传统块平移模型来实现时间维预测的视频编码方法愈来愈无法很好地满足视频快速发展的需求。同时，基于块平移模型的运动估计通常不能获得平滑、连续的运动场，往往出现块效应，尤其是在低码率下，影响解码视频的主观质量。在这种情况下，2010年以来有研究人员提出了一种弹性(Elastic)运动估计模型，它可有效克服块平移模型的不足，最初主要广泛用于医学图像、物体追踪、图像稳定和运动分析等应用当中。一方面，现有实验结果表明，在相同码率下基于弹性运动估计的解码视频的峰值信噪比较之块匹配运动估计高0.7dB，若将弹性运动估计引进到H.265中，在图像失真度损失约l％的情况下，弹性运动模型可将H.265的码率降低3~12％。另一方面，弹性运动模型的高斯—牛顿算法每次迭代均需计算偏导数、黑塞矩阵、逆矩阵、矩阵乘法、双线性插值和运动补偿误差，其计算复杂度甚至高于块平移模型的全搜索，仍未解决运动估计的计算效率难题。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种运算速度快、运动补偿质量高的基于改进列文伯格麦夸特优化的弹性运动估计方法。

本发明的技术解决方案是：一种供基于改进列文伯格麦夸特优化的弹性运动估计方法，其特征在于按照如下步骤进行：

步骤1. 若当前GOP的所有宏块都已处理完毕，则算法结束；否则，选取当前GOP中未处理过的一个宏块作为当前宏块，设其大小为像素，表示当前宏块中某个像素的横、纵坐标，表示像素值，所述，；

步骤1.1 初始化当前宏块的弹性运动模型：

其中，v表示像素的弹性运动向量，为运动向量的分量个数，表示v的第个分量，为基函数，定义由公式给出：

其中，；

步骤1.2 将弹性运动向量v的所有分量置0，所述；

步骤1.3 利用基于模糊量化和2 bit深度像素的运动估计方法计算当前宏块的平移运动分量和，搜索步长设置为4个像素；

步骤1.4 将迭代计数器初始化为1；

步骤2. 预处理当前GOP的当前宏块与参考宏块；

步骤2.1 初始化；

步骤2.2 根据弹性运动向量v和公式、，为当前宏块中的每个像素计算其在参考帧中的匹配像素，并利用双线性插值计算该匹配像素的值，表示参考帧中位于坐标“”处的像素值；

步骤2.3 计算运动补偿误差；

步骤2.4 计算当前宏块的像素值梯度；

步骤2.5 计算雅克比矩阵；

步骤2.6 计算最速下降方向；

步骤2.7 计算高斯—牛顿海塞矩阵；

步骤3. 计算；

步骤4. 根据公式、计算改进的列文伯格麦夸特矩阵和运动向量增量：

步骤5. 更新弹性运动参数，并将其代入公式和公式，建立当前宏块中每个像素与参考帧中匹配像素的坐标映射，进而利用双线性插值计算匹配像素的值得到运动补偿误差；

步骤6. 如果本次迭代的补偿误差大于前一次迭代的补偿误差，则对步骤5进行逆操作，当前宏块处理完毕，转入步骤1；否则，令，如果此时，所述为预设的迭代次数阈值，转入步骤5；若，表明当前宏块处理完毕，转入步骤1。

与现有的技术相比，本发明从三个方面降低弹性运动估计的计算复杂度：首先，采用当前帧图像的偏导数和黑塞矩阵替代参考帧图像的偏导数和黑塞矩阵，避免了传统高斯—牛顿优化算法中偏导数和黑塞矩阵的重复计算；其次，用高斯—牛顿黑塞矩阵取代传统列文伯格麦夸特优化算法的混合黑塞矩阵；最后，引进提前中止策略，在迭代过程中当补偿误差出现不降反增的现象时便停止迭代。因此，本发明具有运算速度快、运动补偿质量高等优点。

具体实施方式

一种供基于改进列文伯格麦夸特优化的弹性运动估计方法，其特征在于按照如下步骤进行：

步骤1. 若当前GOP（Group of Pictures）的所有宏块都已处理完毕，则算法结束；否则，选取当前GOP中未处理过的一个宏块作为当前宏块，设其大小为像素，（，）表示当前宏块中某个像素的横、纵坐标，表示像素值；

步骤1.1 初始化当前宏块的弹性运动模型：

其中，v表示像素的弹性运动向量，为运动向量的分量个数，表示v的第个分量，为基函数，定义由公式给出：

其中，；

步骤1.2 将弹性运动向量v的所有分量（）置0；

步骤1.3 利用基于模糊量化和2 bit深度像素的运动估计方法计算当前宏块的平移运动分量和，搜索步长设置为4个像素（即任意两个相邻的候选平移向量的距离最近为4个像素）；

步骤1.4 将迭代计数器初始化为1；

步骤2. 预处理当前GOP的当前宏块与参考宏块；

步骤2.1 初始化；

步骤2.2 根据弹性运动向量v和公式、，为当前宏块中的每个像素计算其在参考帧中的匹配像素，并利用双线性插值计算该匹配像素的值，表示参考帧中位于坐标“”处的像素值；

步骤2.3 计算运动补偿误差；

步骤2.4 计算当前宏块的像素值梯度；

步骤2.5 计算雅克比矩阵；

步骤2.6 计算最速下降方向；

步骤2.7 计算高斯—牛顿海塞矩阵；

步骤3. 计算；

步骤4. 根据公式、计算改进的列文伯格麦夸特矩阵和运动向量增量：

步骤5. 更新弹性运动参数，并将其代入公式和公式，建立当前宏块中每个像素与参考帧中匹配像素的坐标映射，进而利用双线性插值计算匹配像素的值得到运动补偿误差；

步骤6.如果本次迭代的补偿误差大于前一次迭代的补偿误差，则对步骤5进行逆操作，当前宏块处理完毕，转入步骤1；否则，令，如果此时（表示预设的迭代次数阈值，本发明实施例取=15），转入步骤5；若，表明当前宏块处理完毕，转入步骤1。

不同视频测试序列采用本发明及不同运动估计方法得到的运动补偿PSNR结果如表1。

表1

三种运动估计方法的计算量比较（以块平移模型的全搜索方法的计算量为参考值）如表2。

表2

。

Claims (1)

1.一种基于改进列文伯格麦夸特优化的弹性运动估计方法，其特征在于按如下步骤进行：

步骤1. 若当前GOP的所有宏块都已处理完毕，则算法结束；否则，选取当前GOP中未处理过的一个宏块作为当前宏块，设其大小为像素，表示当前宏块中某个像素的横、纵坐标，表示像素值，所述，；

步骤1.1 初始化当前宏块的弹性运动模型：

其中，v表示像素的弹性运动向量，为运动向量的分量个数，表示的第个分量，为基函数，定义由公式给出：

其中，；

步骤1.2 将弹性运动向量v的所有分量置0，所述；

步骤1.3 利用基于模糊量化和2 bit深度像素的运动估计方法计算当前宏块的平移运动分量和，搜索步长设置为4个像素；

步骤1.4 将迭代计数器初始化为1；

步骤2. 预处理当前GOP的当前宏块与参考宏块；

步骤2.1 初始化；

步骤2.2 根据弹性运动向量v和公式、，为当前宏块中的每个像素计算其在参考帧中的匹配像素，并利用双线性插值计算该匹配像素的值，表示参考帧中位于坐标“”处的像素值；

步骤2.3 计算运动补偿误差；

步骤2.4 计算当前宏块的像素值梯度；

步骤2.5 计算雅克比矩阵；

步骤2.6 计算最速下降方向；

步骤2.7 计算高斯—牛顿海塞矩阵；

步骤3. 计算；

步骤4. 根据公式、计算改进的列文伯格麦夸特矩阵和运动向量增量：

步骤5. 更新弹性运动参数，并将其代入公式和公式，建立当前宏块中每个像素与参考帧中匹配像素的坐标映射，进而利用双线性插值计算匹配像素的值得到运动补偿误差；

步骤6. 如果本次迭代的补偿误差大于前一次迭代的补偿误差，则对步骤5进行逆操作，当前宏块处理完毕，转入步骤1；否则，令，如果此时，所述为预设的迭代次数阈值，转入步骤5；若，表明当前宏块处理完毕，转入步骤1。