CN102036078B - 基于视角间相关性的多视角视频编解码系统运动估计方法 - Google Patents

Abstract

基于视角间相关性的多视角视频编解码系统运动估计方法，本发明涉及一种多视角视频编解码系统的运动估计方法，用于图像处理。方法是基于视角间、帧间和帧内相关性的运动矢量预测模型来实现，包括下述步骤：多视角视频序列输入，利用第一个视角视频序列和其他视角视频序列每个GOP中的前六帧的运动矢量，通过统计学方法求取转移概率矩阵P的数值，然后，利用前帧中参考宏块的状态和状态转移矩阵(P)预测后帧中对应宏块的状态，按照概率从大到小的次序测试各状态所对应预测宏块运动矢量与参考宏块运动矢量的SAD值，如果满足提前退出条件之一即认定其为预测点与参考宏块之间的运动矢量。

Description

基于视角间相关性的多视角视频编解码系统运动估计方法

技术领域

本发明涉及一种多视角视频编解码系统的运动估计方法，属于图像处理领域。

背景技术

多视角视频序列一般是由多个摄像机按照特定的排列方式采集得到的，包括了同一场景不同角度的视觉信息。对于多视角视频编码主要有两种方案，一种为联合视频组JVT(Joint Video Team)提出的基于H.264/AVC的多视角视频编码系统JMVT；另一种方案为基于小波变换技术的多视角视频编码系统。在基于小波变换技术的方案中，可以充分利用小波变换的多分辨分析特性，实现可伸缩编码。

由于在多视角视频序列中需要编码的数据量十分巨大，而在编码过程中大部分时间都消耗在运动估计上。因此，如何提高运动估计速度是提高编码速度的关键问题。Yongtae Kim等人提出了多视角视频编码中的快速视差和运动估计算法，该方法利用多视点摄像机几何关系或存在于视差矢量之间的关系自适应调整搜索范围，以降低运动估计的计算量。该算法相对于全搜索可以节省70-80％的时间。该方法需要摄像机几何参数信息，并不适合所有的序列。L.Shen等人提出快速搜索算法的基本思想是利用预测过程中运动域的空间特性，通过周围宏块的运动矢量来计算运动的相似性，并利用该参数来进行视差估计和选择宏块类型。该方法采用JMVM编码平台平均可以节省76％的编码时间，平均降低0.03dB的PSNR，增加了1.23％的比特率。在这些多视角视频编码的快速运动估计算法中，没有充分的利用视角间及帧间的相关性，搜索和运动估计过程中用时间长。且这些方法对于场景变化剧烈的序列，搜索效果不够理想。

发明内容

本发明的目的是提供一种基于视角间相关性的多视角视频编解码系统运动估计方法，以解决现有的运动估计方法在估计过程中用时间长的缺陷。本发明的方法是基于视角间、帧间和帧内相关性的运动矢量预测模型来实现，所述预测模型中前一帧同一位置参考矢量M_t、零矢量M₀、中值矢量M_s和前一视角同一帧同一位置的参考矢量M_v为预测矢量的四个运动矢量状态，这四个运动矢量状态组成一个状态空间：

S＝{M_t，M_o，M_s，M_v}

其中：M_t代表时域预测；M₀代表零矢量预测；M_s代表空域预测；M_v代表视角间预测；这个状态空间为预测矢量所有可能值的集合；在这里，设i表示前一帧当前位置宏块的预测矢量状态，j表示当前帧当前位置宏块的预测矢量状态，P_ij则表示从状态i到状态j转移的概率；以P表示各状态之间转移概率矩阵，从而

$P=\left[\begin{array}{cccc}{P}_{\mathrm{tt}}& P_{\mathrm{to}}& P_{\mathrm{ts}}& P_{\mathrm{tv}}\\ P_{\mathrm{ot}}& P_{\mathrm{oo}}& P_{\mathrm{os}}& P_{\mathrm{ov}}\\ P_{\mathrm{st}}& P_{\mathrm{so}}& P_{\mathrm{ss}}& P_{\mathrm{sv}}\\ P_{\mathrm{vt}}& P_{\mathrm{vo}}& P_{\mathrm{vs}}& P_{\mathrm{vv}}\end{array}\right]$

本发明的方法包括下述步骤：

一、利用快速搜索算法对第一个视角视频序列进行运动估计，获得该视角视频序列的运动矢量；

二、针对同一视频的其他视角视频序列，利用快速搜索算法对每一个GOP中的前六帧进行运动估计并获得运动矢量，通过统计学方法统计得到运动矢量求取转移概率矩阵P；

三、将这一转移概率矩阵P指导GOP中后几帧的运动估计；

第三步骤的运动估计中前帧与后帧间运动矢量具体计算过程如下：利用前帧中参考宏块的运动矢量预测后帧中该宏块的对应宏块的运动矢量，这种预测是按照转移概率矩阵P中四种状态出现概率的大小预测得到的四个运动矢量，按照概率从大到小的次序，分别测试各状态所对应预测宏块运动矢量与参考宏块运动矢量的SAD值，如果满足提前退出条件之一即停止搜索，认定其为预测点与参考宏块之间的运动矢量；提前退出的第一个判断依据为预测运动矢量和参考宏块的运动矢量相等，而且其SAD值比参考宏块的SAD值小；第二个提前退出判断依据为预测运动矢量位置处SAD值小于阈值；如果所有状态的预测点都不能满足提前退出条件，则在视角内采用大小菱形搜索策略继续进行搜索，找到运动矢量。

本发明将输入多视角视频中的每一视角的每一帧分成多个宏块，所有帧相同位置的宏块运动矢量与以下几种情况的运动矢量有很强的相关性：即同一视角前后帧相同位置宏块运动矢量、相同帧空间相邻宏块运动矢量和不同视角相同空间位置宏块运动矢量之间有很强的相关性。

现有技术的单视角PMVFAST算法中的预测运动矢量集包括：左邻域宏块运动矢量、上邻域宏块运动矢量和右上邻域宏块运动矢量以及零矢量(不运动)和前一帧同位置的参考矢量，加上中值矢量(左邻域宏块运动矢量、上邻域宏块运动矢量和右上邻域宏块运动矢量的中间值)，共6个提前测试矢量构成预测运动矢量集：

Ω＝{MV_l，MV_top，MV_r-top，MV_o，MV_t，MV_m}

由于左、上和右上相邻宏块运动矢量与中值矢量具有较强的相关性。在本发明中，只对中值矢量进行预测，同时利用视角间的相关性加入了视角间预测矢量，所用的预测模型比传统的PMVFAST算法少两个矢量，因此估计过程中减少了所用时间。另外本发明的方法采用基于视角间相关性的运动矢量预测模型对预测矢量进行提前测试，增加了提前退出的概率，从而在估计过程中减少了所用时间。

附图说明

图1是本发明基于视角间相关性的运动矢量预测模型中四种状态的转移图，图2是前一视角的视频序列与后一视角的视频序列中前一视角相同位置宏块K1、当前宏块K2、与当前宏块空间相邻的宏块K3和与当前宏块时间相邻的宏块K4的对应关系示意图，图3是本具体实施方式三中一个GOP组的运动估计计算机流程示意图。

具体实施方式

具体实施方式一：下面结合图1和图2具体说明本实施方式。

本发明的方法是基于视角间、帧间和帧内相关性的运动矢量预测模型来实现，所述运动矢量预测模型是马尔科夫链模型。所述预测模型中前一帧同一位置参考矢量M_t、零矢量M₀、中值矢量M_s和前一视角同一帧同一位置的参考矢量M_v四个运动矢量状态为预测矢量的四个运动矢量状态，这四个运动矢量状态组成一个状态空间：

S＝{M_t，M_o，M_s，M_v}

其中：M_t代表时域预测；M_o代表零矢量预测；M_s代表空域预测；M_v代表视角间预测；这个状态空间为预测矢量所有可能值的集合；在这里，设i表示前一帧当前位置宏块的预测矢量状态，j表示当前帧当前位置宏块的预测矢量状态，P_ij则表示从状态i到状态j转移的概率；以P表示各状态之间一步转移概率矩阵，从而

$P=\left[\begin{array}{cccc}{P}_{\mathrm{tt}}& P_{\mathrm{to}}& P_{\mathrm{ts}}& P_{\mathrm{tv}}\\ P_{\mathrm{ot}}& P_{\mathrm{oo}}& P_{\mathrm{os}}& P_{\mathrm{ov}}\\ P_{\mathrm{st}}& P_{\mathrm{so}}& P_{\mathrm{ss}}& P_{\mathrm{sv}}\\ P_{\mathrm{vt}}& P_{\mathrm{vo}}& P_{\mathrm{vs}}& P_{\mathrm{vv}}\end{array}\right]$

本发明的方法包括下述步骤：

一、利用快速搜索算法对第一个视角视频序列进行运动估计，获得该视角视频序列的运动矢量；所述快速搜索算法可以选择传统的PMVFAST算法。

二、针对同一视频的其他视角视频序列，利用快速搜索算法对每一个GOP中的前六帧进行运动估计并获得运动矢量，通过统计学方法统计得到运动矢量求取转移概率矩阵P；所述快速搜索算法可以选择传统的PMVFAST算法。

三、将这一转移概率矩阵P转移概率矩阵指导GOP中后几帧的运动估计；第三步骤的运动估计中前帧与后帧间运动矢量具体计算过程如下：利用前帧中参考宏块的运动矢量预测后帧中该宏块的对应宏块的运动矢量，这种预测是按照转移概率矩阵P中四种状态出现概率的大小预测得到的四个运动矢量，按照概率从大到小的次序，分别测试各状态所对应预测宏块运动矢量与参考宏块运动矢量的SAD值，如果满足提前退出条件之一即停止搜索，认定其为预测点与参考宏块之间的运动矢量；提前退出的第一个判断依据为预测运动矢量和参考宏块的运动矢量相等，而且其SAD值比参考宏块的SAD值小；第二个提前退出判断依据为预测运动矢量位置处SAD值小于阈值；如果所有状态的预测点都不能满足提前退出条件，则在视角内采用大小菱形搜索策略继续进行搜索，找到运动矢量。

在多视角视频序列中，由于每个摄像机记录的都是不同位置同一个场景的信息，而且常用的大部分测试序列都是由一维水平排列的摄像机采集得到的。因此，每个视角中包含的场景都有很大一部分是相同的。利用已完成编码的前一视角和前一帧的运动信息指导当前视角的运动估计，可以大大提高搜索效率。当前宏块的运动矢量可以由前一视角相同位置的宏块矢量、与当前宏块空间相邻的宏块矢量、与当前宏块时间相邻的宏块矢量以及零矢量来预测。

当前宏块的状态概率由前一帧相同位置宏块的运动矢量与状态转移矩阵计算获得。按照状态概率的大小进行排序，概率最大的状态即为当前宏块的状态，也是当前宏块运动矢量计算时采用的首要预测点，如果计算得到的SAD值小于阈值，即获得运动矢量，对应的状态即为当前宏块的真实状态。否则，按照概率从大到小的顺序依次检测各状态对应的预测点的SAD分别与阈值比较，小于阈值的状态即为的当前宏块的真实状态，求出运动矢量。

如果四种状态的SAD值都大于阈值，则采用菱形快速搜索算法求出宏块的运动矢量，根据求得的运动矢量与四种预测运动矢量比较，得出当前宏块的真实状态。当前宏块的运动矢量可以由前一视角相同位置的宏块矢量、与当前宏块空间相邻的宏块矢量、与当前宏块时间相邻的宏块矢量以及零矢量来预测。

当前宏块的状态概率由前一帧相同位置宏块的运动矢量与状态转移矩阵计算获得。按照各状态出现概率的大小，分别测试各状态所对应预测点的SAD值，如果满足提前退出条件之一即停止搜索。提前退出的第一个判断依据为预测运动矢量和参考宏块的运动矢量相等，而且其SAD值比参考宏块的SAD值小；第二个提前退出判断依据为预测运动矢量处SAD值小于阈值。采用马尔科夫链模型对预测矢量进行提前测试，增加了提前退出的概率，如果所有状态的预测点都不能满足提前退出条件，则在视角内采用大小菱形搜索策略继续进行快速搜索，找到最佳运动矢量。

具体实施方式二：下面结合图3具体说明本实施方式。本实施方式与实施方式一的不同之处是：在步骤二中转移概率矩阵P的数值是通过下述方法实现的：

步骤A、对第一个视角视频序列采用PMVFAST搜索策略进行运动估计，得到视角间相关性的运动矢量预测模型中前一视角同一帧同一位置的参考矢量M_v；

步骤B、对第二个视频序列中第一帧Frame0和第二帧Frame1采用PMVFAST搜索策略进行运动估计，得到运动矢量MV0；对第二个视频序列中第三帧Frame2和第四帧Frame3同样采用PMVFAST搜索策略进行运动估计，得到运动矢量MV2；

步骤C、将MV2中的运动矢量与MV0中的运动矢量及前一视角中MV0中的运动矢量进行比较并统计分析，也就是分析MV2中运动矢量的状态属于所述四种运动矢量状态的哪种状态。首先，将MV2中每个运动矢量取绝对值与四种预测矢量的绝对值进行比较判断，取差值最小的预测矢量状态作为当前宏块的状态。例如，MV2中第一个宏块的运动矢量与MV0中第一个宏块的运动矢量绝对值差值最小，则判断MV2中第一个宏块运动矢量状态为时域预测Mt。标记出每个矢量对应的预测矢量状态后，存入state_2(i，j)中。

$\mathrm{state}\_2(i,j)=\left\{\begin{array}{c}{M}_t,\arg \min (D_v,D_t,D_o,D_s)=D_t\\ M_o,\arg \min (D_v,D_t,D_o,D_s)=D_o\\ M_s,\arg \min (D_v,D_t,D_o,D_s)=D_s\\ M_v,\arg \min (D_v,D_t,D_o,D_s)=D_v\end{array}\right.$

其中Dx(下脚标X分别代表下脚标v、t、o和s)表示当前运动矢量与预测矢量的差值，

步骤D、对第一个视频序列中第五帧Frame4和第六帧Frame5采用PMVFAST搜索策略进行运动估计，得到运动矢量，标记出每个矢量对应的预测矢量状态后，存入state_4(i，j)中，处理方法和步骤C完全相同。

步骤E、这样我们已经得到两组运动矢量的状态，接下来，将采用统计方法得到各状态之间的状态转移概率。也就是统计state_2和state_4中状态转移关系，例如，统计出在state_2中运动矢量状态为Mt，而在state_4中运动矢量状态也为Mt的比例关系，即为前一状态为Mt后一状态也为Mt的一步转移概率Ptt。至此，通过state_2(i，j)、state_4(i，j)中存储的运动矢量状态可以统计出运动矢量状态转移概率P。

具体实施方式三：下面结合图3具体说明本实施方式。本实施方式与实施方式一或二的不同之处是：

对所有的视角视频序列进行同一长度单位的视频编码分组，使分属于不同视角视频序列的每个视频编码组GOP在视频序列的时间轴上归属于同一个运动估计单元，每个运动估计单元统一完成单元内部各个视频序列的运动估计；同一个运动估计单元中第一个视角的视频序列采用传统的PMVFAST算法，进行视角内的运动估计；第二个视角的视频序列的第一帧Frame0和第二帧Frame1采用PMVFAST搜索策略进行运动估计，得到运动矢量MV0；对第二个视角的视频序列中第三帧Frame2和第四帧Frame3同样采用PMVFAST搜索策略进行运动估计，得到运动矢量MV2，对第二个视角的视频序列中第五帧Frame4和第六帧Frame5同样采用PMVFAST搜索策略进行运动估计，得到运动矢量MV4，从而求取转移概率矩阵P的数值；第二个视角的视频序列的其它帧以及其它视角的视频序列的各帧的运动估计与实施方式一或二相同。

从第二视角开始，使用快速搜索算法进行运动估计。计算状态转移概率时，由于视频序列变化趋势并不是均匀的，为了保证了状态转移概率的准确性，每个GOP单独计算预测矢量状态转移概率，状态转移概率随编码过程进行动态更新。

为验证本发明提出的快速运动估计算法，将多视角视频序列分组，采用GOP组为基本处理单元，本实施例中以8个视角中每个视角的16帧为一个GOP组，在Visual C++6.0编译环境下，用本例子中提出的快速运动估计算法对EXIT、BALLROOM、RACE1多视角视频序列进行测试。其中EXIT序列由固定摄像机拍摄，场景变化相对平缓；BALLROOM序列由固定摄像机拍摄，场景变化较剧烈；RACE序列由移动摄像机拍摄，场景变化剧烈。多视角视频编码系统中测试序列及运动估计相关参数如表1。

表1实验相关参数

测试结果与每个视角运动估计时单独采用全搜索(FS)算法的速度、峰值信噪比和比特率进行比较，具体数据如表2。

表2实验结果

实验结果表明，与全搜索获得的运动矢量相比较的基础上，在比特率和PSNR变化不大的情况下，本发明提出的运动估计速度有显著提高。图3是本实施例中一个GOP组的运动估计计算机流程图。

每个GOP组的运动估计具体实现步骤如下：

步骤1：判断当前序列是否为第一视角，如不是第一视角则转入步骤3。

步骤2：采用PMVFAST算法进行第一视角内的快速运动估计，得到该视角的运动矢量信息，转入步骤11。

步骤3：判断当前进行运动估计的帧组是否为该视角中的第一帧、第二帧。如不是，则转入步骤5。

步骤4：采用PMVFAST算法进行两帧之间的运动估计，得到该视角当前GOP的第一组运动矢量信息。

步骤5：判断当前进行运动估计的帧组是否为该GOP中的第三帧、第四帧。如不是，则转入步骤7。

步骤6：采用PMVFAST算法进行两帧之间的运动估计，得到该视角当前GOP的第二组运动矢量信息。计算该组运动矢量的状态。

步骤7：判断当前进行运动估计的帧组是否为该GOP中的第五帧、第六帧。如不是，则转入步骤9。

步骤8：采用PMVFAST算法进行两帧之间的运动估计，得到该视角当前GOP的第三组(frame4)运动矢量信息。计算第三组运动矢量的状态。结合第二组运动矢量状态信息，计算更新该GOP组中当前视角的预测矢量状态转移概率。

步骤9：按马尔科夫链模型的状态转移概率关系，分别测试当前宏块的预测矢量对应的预测点，一旦满足提前退出条件，则停止搜索，得到该宏块的运动矢量。

步骤10：如所有测试点均不满足提前退出条件，则按大小菱形搜索策略完成当前宏块的运动估计。按此方法，完成整个帧组的运动估计。

步骤11：判断是否完成运动估计，如完成，则结束运动估计子程序；如未完成，转入步骤1。

Claims (3)

1.基于视角间相关性的多视角视频编解码系统运动估计方法，其特征在于所述方法是基于视角间、帧间和帧内相关性的运动矢量预测模型来实现，所述预测模型中前一帧同一位置参考矢量M_t、零矢量M₀、中值矢量M_s和前一视角同一帧同一位置的参考矢量M_v为预测矢量的四个运动矢量状态，这四个运动矢量状态组成一个状态空间：

S＝{M_t，M_o，M_s，M_v}

其中：M_t代表时域预测；M₀代表零矢量预测；M_s代表空域预测；M_v代表视角间预测；这个状态空间为预测矢量所有可能值的集合；在这里，设i表示前一帧当前位置宏块的预测矢量状态，j表示当前帧当前位置宏块的预测矢量状态，P_ij则表示从状态i到状态j转移的概率；以P表示各状态之间概率矩阵，从而

$P=\left[\begin{array}{cccc}{P}_{\mathrm{tt}}& P_{\mathrm{to}}& P_{\mathrm{ts}}& P_{\mathrm{tv}}\\ P_{\mathrm{ot}}& P_{\mathrm{oo}}& P_{\mathrm{os}}& P_{\mathrm{ov}}\\ P_{\mathrm{st}}& P_{\mathrm{so}}& P_{\mathrm{ss}}& P_{\mathrm{sv}}\\ P_{\mathrm{vt}}& P_{\mathrm{vo}}& P_{\mathrm{vs}}& P_{\mathrm{vv}}\end{array}\right]$

本方法包括下述步骤：

一、利用快速搜索算法对第一个视角的视频序列进行运动估计，获得该视角视频序列的运动矢量；

二、针对同一视频的其他视角视频序列，利用快速搜索算法对每一个GOP中的前六帧进行运动估计并获得运动矢量，通过统计学方法统计得到运动矢量求取转移概率矩阵P；

三、将这一转移概率矩阵P指导GOP中后几帧的运动估计；

第三步骤估计方法中前帧与后帧间运动矢量具体计算过程如下：利用前帧中参考宏块的运动矢量预测后帧中该宏块的对应宏块的运动矢量，这种预测是按照转移概率矩阵P中四种状态出现概率的大小预测得到的四个运动矢量，按照概率从大到小的次序，分别测试各状态所对应预测宏块运动矢量与参考宏块运动矢量的SAD值，如果满足提前退出条件之一即停止搜索，认定其为预测点与参考宏块之间的运动矢量；提前退出的第一个判断依据为预测运动矢量和参考宏块的运动矢量相等，而且其SAD值比参考宏块的SAD值小；第二个提前退出判断依据为预测运动矢量位置处SAD值小于阈值；如果所有状态的预测点都不能满足提前退出条件，则在视角内采用大小菱形搜索策略继续进行搜索，找到运动矢量。

2.根据权利要求1所述的基于视角间相关性的多视角视频编解码系统运动估计方法，其特征在于在步骤二中转移概率矩阵P的数值是通过下述方法实现的：

步骤A、对第一个视角视频序列采用PMVFAST搜索策略进行运动估计，得到视角间相关性的运动矢量预测模型中前一视角同一帧同一位置的参考矢量M_v；

步骤B、对第二个视频序列中第一帧Frame0和第二帧Frame1采用PMVFAST搜索策略进行运动估计，得到运动矢量MV0；对第二个视频序列中第三帧Frame2和第四帧Frame3同样采用PMVFAST搜索策略进行运动估计，得到运动矢量MV2；

步骤C、将MV2中的运动矢量与MV0中的运动矢量及前一视角中MV0中的运动矢量进行比较并统计分析，也就是分析MV2中运动矢量的状态属于所述四种运动矢量状态的哪种状态；首先，将MV2中每个运动矢量取绝对值与四种预测矢量的绝对值进行比较判断，取差值最小的预测矢量状态作为当前宏块的状态；标记出每个矢量对应的预测矢量状态后，存入state_2(i，j)中；

$\mathrm{state}\_2(i,j)=\left\{\begin{array}{c}{M}_t,\arg \min (D_v,D_t,D_o,D_s)=D_t\\ M_o,\arg \min (D_v,D_t,D_o,D_s)=D_o\\ M_s,\arg \min (D_v,D_t,D_o,D_s)=D_s\\ M_v,\arg \min (D_v,D_t,D_o,D_s)=D_v\end{array}\right.$

其中Dx表示当前运动矢量与预测矢量的差值，下脚标X分别代表下脚标v、t、o和s；

步骤D、对第一个视频序列中第五帧Frame4和第六帧Frame5采用PMVFAST搜索策略进行运动估计，得到运动矢量，标记出每个矢量对应的预测矢量状态后，存入state_4(i，j)中，处理方法和步骤C完全相同；

步骤E、这样已经得到两组运动矢量的状态，接下来，将采用统计方法得到各状态之间的状态转移概率；也就是统计state_2和state_4中状态转移关系；通过state_2(i，j)、state_4(i，j)中存储的运动矢量状态可以统计出运动矢量状态转移概率P。

3.根据权利要求1或2所述的基于视角间相关性的多视角视频编解码系统运动估计方法，其特征在于对所有的视角视频序列进行同一长度单位的视频编码分组，使分属于不同视角视频序列的每个视频编码组GOP在视频序列的时间轴上归属于同一个运动估计单元，每个运动估计单元统一完成单元内部各个视频序列的运动估计；同一个运动估计单元中第一个视角的视频序列采用传统的PMVFAST算法，进行视角内的运动估计；第二个视角的视频序列的第一帧Frame0和第二帧Frame1采用PMVFAST搜索策略进行运动估计，得到运动矢量MV0；对第二个视角的视频序列中第三帧Frame2和第四帧Frame3同样采用PMVFAST搜索策略进行运动估计，得到运动矢量MV2，对第二个视角的视频序列中第五帧Frame4和第六帧Frame5同样采用PMVFAST搜索策略进行运动估计，得到运动矢量MV4，从而求取转移概率矩阵P的数值。

Images