CN101667295B - 一种将线搜索扩展于全景视频运动估计的方法 - Google Patents

Abstract

一种将线搜索扩展于全景视频运动估计的方法，步骤为：(1)利用参考帧各面的上，下，左，右的邻接图像对参考帧的各面图像进行扩展；(2)从预测帧的宏块中，选取第一个没有做搜索的宏块，对该宏块采用线搜索方法在扩展的参考帧中搜索最小块误差点，并返回最小块误差点所对应的运动向量；(3)以步骤(2)中线搜索的已匹配块为起点，对相邻的宏块进行扩展搜索，获取相应的运动向量；(4)检查预测帧是否有宏块没有做搜索匹配，如果还有宏块没有进行搜索，则进入步骤(2)，否则结束。本方法可以有效地对全景视频进行运动估计，提高运动估计的精度和补偿图像的质量。

Description

一种将线搜索扩展于全景视频运动估计的方法

技术领域

本发明涉及全景视频技术领域，更具体地讲，涉及一种对全景视频进行运动估计的方法。

背景技术

全景图像是由某一点拍摄的多幅实景图像拼接而成的。其具体的生成过程是：将相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，然后对投影图像进行无缝拼接，就可以得到全景图像。根据所映射的几何体，全景图像可以分为柱面全景图像、球面全景图像和立方体全景图像。全景视频是由具有一些有时间关联的全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。

全景视频覆盖了360度的场景范围，其数据量巨大，这对数据的存储和传输造成了很大的困难。因此，需要对全景视频进行压缩编码，以降低存储空间和减少传输时占用的网络带宽。在视频图像压缩中，运动估计用来根据已经编码的参考帧产生当前预测帧的运动补偿预测，去除视频序列中存在的冗余信息。运动估计的方法是将预测帧分成若干大小相同的图像块，根据不同的搜索算法和匹配原则在参考帧内搜索最相似的匹配块。目前，运动估计算法中搜索精度最高的是FS(Full Search，全搜索)算法，FS算法是对搜索范围内的每一个像素点进行匹配运算以得到一个最优的运动向量，但它的计算复杂度太高。因此，许多快速运动估计算法被提出，如TSS(Three Step Search，三步搜索)算法、CS(Cross Search，交叉搜索)算法、NTSS(New Three Step Search，新三步搜索)算法、FSS(Four Step Search，四步搜索)算法、DS(Diamond Search，菱形搜索)算法和HS(Hexagon Search，六边形搜索)算法，以及最近出现的PLS(PredictiveLine Search，预测线搜索)算法。TSS算法和CS算法第一步搜索步长较大，而进一步的搜索是在第一步确定的方向上进行的，因而很容易陷入局部最优。NTSS算法、FSS算法和DS算法利用视频序列运动矢量在空间分布上的中心偏置特性，减小了搜索步长，加强了对中心区域的搜索。HS算法能比DS算法用更少的搜索点找到一个相同的运动矢量。但是，这些快速算法没有利用立方体全景视频相邻帧间图像块的运动趋势和对应关系，因此对全景视频进行运动估计的精度不高。

本发明前，中国发明专利“快速视频运动估计方法”，申请号为01100544.4，公开号为CN1333634A，该专利公开了一种运动估计的方法，采用菱形搜索并自适应的终止搜索过程。该方法主要是针对普通视频采用固定顺序进行块匹配搜索，并没有充分利用立方体全景视频相邻帧间图像块的运动趋势和对应关系，从而不能有效地对全景视频进行运动估计。中国发明专利“用于全景图像的运动估计和补偿的方法和设备”，申请号为200580027187.3，公开号为CN101002479A，该申请公开了一种利用全景图的左右边界之间的空间关系进行运动估计和补偿的方法。该方法只适用于柱面全景图，所以不能有效地对立方体全景视频进行运动估计。

对于拍摄静止场景的立方体全景视频，全景相机的全局运动通常以水平运动为主，所以，相邻帧之间会存在着较多的重叠图像信息。全景视频覆盖了360度场景，对于连续的多帧全景图像而言，图像块会从立方体的一个面移动到相邻面上，且图像块运动较大。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种将线搜索扩展于全景视频运动估计的方法，该方法可以有效地对立方体全景视频进行运动估计，提高运动补偿图像的质量。

为了取得上述技术效果，本发明所采用的技术方案是：将连续采集的全景视频分为参考帧和预测帧，预测帧被分成若干宏块，在参考帧内搜索与预测帧当前宏块的最相似的匹配块，即最匹配块，由最匹配块与预测帧当前宏块的相对位置计算出运动向量，具体包含的步骤如下：

(1)利用参考帧各面的上，下，左，右的邻接图像对参考帧的各面图像进行扩展；

(2)从预测帧的宏块中，选取第一个没有做搜索的宏块，对该第一个没有做搜索的宏块采用线搜索方法在扩展的参考帧中进行搜索，寻找最小块误差点，并返回最小块误差点所对应的运动向量，完成线搜索的该宏块即为线搜索的已匹配块；

(3)以步骤(2)中线搜索的已匹配块为起点，对相邻的宏块进行扩展搜索，获取相应的运动向量；

(4)检查预测帧是否有宏块没有做搜索匹配，如果还有宏块没有做搜索匹配，则进入步骤(2)，否则结束。

本发明的原理是：拍摄静止场景的立方体全景视频的全局运动通常以水平运动为主，相邻帧之间会存在着较多的重叠图像信息，而且全景视频覆盖了360度场景，对于连续的多帧全景图像而言，图像块会从立方体的一个面移动到相邻面上，且图像块运动较大，所以可以根据相邻帧间图像的对应关系，构造搜索线对预测帧的宏块进行线搜索，同时利用相邻宏块间运动向量的相关性，以线搜索的已匹配宏块为起点对其相邻的宏块进行扩展搜索，获取相应的运动向量。

本发明与现有技术相比的优点在于：充分利用立方体全景视频相邻帧间图像块的运动趋势和对应关系，基于线搜索方法进行扩展搜索，根据相邻帧间图像的对应关系，构造搜索线对宏块进行线搜索，同时利用相邻宏块间运动向量的相关性，以线搜索的已匹配宏块为起点对相邻的宏块进行扩展搜索，获取相应的运动向量，从而可以有效地对全景视频进行运动估计，提高了运动估计的精度和补偿图像的质量。

附图说明

图1为立方体全景视频中图像块运动趋势的示意图；

图2为全景视频中相邻帧间像素的对应关系；

图3为宏块运动的空间相关性示意图；

图4为本发明将线搜索扩展于全景视频运动估计的方法的流程；

图5为本发明中参考帧扩展的示意图；其中图5a是参考帧当前面图像扩展的示意图，图5b是左上角空洞填充的示意图；

图6a为本发明中线搜索的流程图，图6b为本发明中线搜索具体过程的示意图；

图7a为本发明中扩展搜索的流程图，图7b为本发明中扩展搜索具体过程的示意图；

图8为采用本发明方法、FS算法、DS算法和HS算法进行运动估计生成的补偿图像，其中a为原始第六帧的各面图像，b为本发明方法生成的第六帧补偿图像，c为FS算法生成的第六帧补偿图像，d为DS算法生成的第六帧补偿图像，e为HS算法生成的第六帧补偿图像；

图9为采用本发明方法、FS算法、DS算法和HS算法进行运动估计生成的补偿图像的PSNR。

具体实施方法

本发明将连续采集的全景视频分为参考帧和预测帧，参考图像和预测图像可以按照固定比率(如1∶5、1∶10、1∶15等)进行划分。预测帧被分成若干宏块，根据相邻帧间图像块的运动趋势和对应关系，在参考帧内搜索与预测帧当前块最相似的匹配块，即最匹配块，由最匹配块与预测帧当前块的相对位置计算出运动向量。

在介绍本发明的具体实施步骤之前，对立方体全景视频中图像块的运动趋势和对应关系进行说明。对于拍摄的静止场景的全景视频，摄像机的全局运动通常以水平运动为主。根据全景摄像机的外参数，利用Florian Kangni提出的立方体全景对极线的计算方法，可以得出立方体全景各个面上的对极线如图1所示。对极线3从位于立方体前面上的极点1发出，向四周扩散，在立方体的上、下、左、右四个侧面上基本上是水平运动，最后汇集到位于立方体背面的极点2。对极线3的运动方向表示了全景视频中静止场景的运动趋势，因此可以得到全景视频中相邻帧之间的像素的对应关系如图2所示。图2(a)表示立方体侧面的当前帧与前一帧的像素对应关系，当前帧的S1部分像素和前一帧的S2部分像素是相同的，这两部分像素仅仅是在位置上有水平方向上的相对移动。图2(b)和图2(c)分别表示了立方体前面和背面的当前帧与前一帧的像素对应关系，当前帧的T1部分像素和前一帧的T2部分像素是类似的。

因此，进行全景视频的运动估计时，可以利用全景视频中像素对应关系，进行宏块的搜索匹配。在同一帧视频中，相邻的像素或宏块具有相同或近似的运动，因此相邻宏块之间的运动具有空间相关性，如图3所示。当前宏块CMB的运动向量与左边、上边、右上的相邻块MB1、MB2和MB3的运动向量是相关的。

由于立方体全景视频覆盖了360度的场景，对于连续的全景视频帧而言，宏块会从一个面移动到相邻面上，因此对立方体全景视频进行运动估计，需要考虑图像块在立方体相邻面上的运动。利用相邻帧间的像素对应关系以及宏块运动的空间相关性，本发明提出的将线搜索扩展于全景视频运动估计的方法的流程如图4所示，其步骤如下：

(1)根据立方体全景各面之间图像边界的连续性，利用参考帧各面的上，下，左，右的邻接图像对参考帧的各面图像进行扩展，如图5所示。以参考帧的当前面图像为中心，把当前面以及它在立方体上的四个邻接面依次展开，带虚线的矩形表示扩展的当前面图像，从图5(a)可以看出，扩展的当前面的图像可以用它所覆盖那部分的图像进行填充，但是扩展的当前面图像的四个角由于没有覆盖任何图像会出现空洞。图5(b)以左上角的空洞为例，介绍空洞的填充方法，其中ABCO表示左上角的待填充的空洞。根据立方体全景各面间的邻接关系，左邻接图像的边EO和上邻接图像的边FO上的图像是连续的，所以对ABCO进行填充时，必须保证AO和CO两条边的图像连续性。利用正方形的对角线把左邻接图像和上邻接图像分成均匀的四部分，根据EO和FO的图像连续性，把左邻接图像的第一部分拼接到上邻接图像的边FO，并且把上邻接图像的第四部分拼接到左邻接图像的边EO，如图5(b)所示。因此，ABCO可以由它所覆盖的上邻接图像和左邻接图像进行填充，即ABO用CEO的图像进行填充，BCO用ADO的图像进行填充。其余空洞也采用相同方法进行填充。

(2)从预测帧的宏块中，选取第一个没有做搜索的宏块，对该宏块采用线搜索方法在步骤(1)生成的扩展参考帧中进行搜索，以SAD(Sum of Absolute Difference，绝对误差和)作为匹配准则寻找最小块误差点，返回最小块误差点所对应的运动向量。其中，计算最小块误差点时也可以采用其他匹配准则，如MAD(Mean Absolute Distortion，平均绝对误差)、MSE(Mean Square Error，均方误差)和NCCF(Normalized CrossCorrelation Function，归一化互相关函数)等。

线搜索从搜索三条直线上的宏块开始，然后在匹配失真降低的方向上新增直线，当最小块误差点不在搜索线的边界时线搜索结束，并返回最小块误差点所对应的运动向量。对于拍摄的静止场景的全景视频，摄像机的全局运动通常以水平运动为主。在立方体的上、下、左、右四个侧面上，宏块主要是以水平运动为主；在立方体的前面和背面上，宏块的运动主要是向四周扩散和向图像中心点汇集。宏块的运动方向决定了线搜索中初始搜索直线的方程x＝ky+p，参数k表示初始搜索直线的斜率，p表示初始搜索直线的截距，参数k和p的计算方法分别如公式(1)和公式(2)示：

p＝x_m-ky_m                           (2)

其中，(x_m，y_m)表示待搜索块的位置坐标，(x_c，y_c)表示图像中心的坐标。

线搜索算法利用宏块的运动趋势构造搜索直线对全景视频进行运动估计，其流程如图6A所示，主要包括以下步骤：

(2.1)对待搜索块所位于直线及其相邻的两条平行线进行搜索。如果待搜索块位于直线x＝ky+p，则需要对位于x＝ky+p+1，x＝ky+p，x＝ky+p-1上的点进行检测。若最小块误差点在直线x＝ky+p+1上，则进入(2.2)，若最小块误差点在直线x＝ky+p-1上，则进入步骤(2.3)，否则进入步骤(2.4)。

(2.2)令p＝p+1，检测位于直线x＝ky+p+1上所有点。如果最小块误差点在直线x＝ky+p上，则进入步骤(2.4)，否则重复当前步骤。

(2.3)令p＝p-1，检测位于直线x＝ky+p-1上所有点。如果最小块误差点在直线x＝ky+p上，则进入步骤(2.4)，否则重复当前步骤。

(2.4)返回最小块误差点所对应的运动向量，线搜索结束。

线搜索的具体搜索过程如图6B所示，假设立方体前面的待搜索块位置4是(16，16)，其运动向量5是(5，7)。根据公式(1)和公式(2)，计算出待搜索块所在直线为x＝y，并对位于直线x＝y+1，x＝y，x＝y-1的所有的点进行检测，如图6B中搜索线1所示，其中，最小块误差点6位于(14，15)，在搜索线的边界上。因此，新增加一条搜索线x＝y-2，并对位于直线x＝y-2的所有候选块进行搜索，如图6B中搜索线2所示，其中，最小块误差点7位于(21，23)，在搜索线的边界上。所以，再次增加一条搜索直线x＝y-3，并对位于直线x＝y-3的所有候选块进行搜索，如图6B中搜索线3所示。在完成直线x＝y-3的搜索后，最小块误差点7仍然位于(21，23)，在直线x＝y-2上，因此线搜索过程停止并返回运动向量5。

(3)以步骤(2)中线搜索的已匹配块为起点，对相邻的宏块进行扩展搜索，扩展搜索结束后跳转到步骤(4)。根据相邻宏块间的空间相关性，宏块的运动向量与左边、上边、右上的相邻块的运动向量是相似的。所以，以线搜索的已匹配块为起点，可以对相邻的宏块进行扩展搜索。在扩展搜索的过程中，待匹配块可以参考与其邻近的已匹配块的运动向量。宏块的位置用宏块坐标(i，j)表示，其中(i，j)与宏块的像素坐标(x，y)的转换关系如公式(3)所示。

扩展搜索使用D_k、M_k、N_k三个宏块集合来表示第k轮扩展搜索时三种不同类型的宏块，其中，D_k表示待扩展搜索宏块集，M_k表示扩展搜索成功宏块集，N_k表示扩展搜索失败宏块集。已知三个宏块集合在第k-1轮的状态为D_k-1、M_k-1、N_k-1，则在第k轮时的三个宏块集合的状态D_k、M_k、N_k可以通过D_k、M_k、N_k生成。线搜索已匹配块的宏块坐标为(i，j)，对宏块(i，j)相邻的宏块进行扩展搜索主要包括以下步骤：

(3.1)令扩展次数k＝0，初始化待扩展搜索宏块集D_k，扩展搜索成功宏块集M_k，扩展搜索失败宏块集N_k。线搜索已匹配块的宏块坐标为(i，j)，则待扩展搜索宏块集，扩展搜索成功宏块集，扩展搜索失败宏块集的初始状态D₀、M₀、N₀如公式(4)所示，其中，M₀所包含的宏块m(i，j)即为完成线搜索的已匹配块。

D₀＝φ

M₀＝{m(i，j)}                                        (4)

N₀＝φ

其中，φ表示空集。

(3.2)令扩展次数k＝k+1，计算第k轮的待扩展搜索宏块集D_k。根据宏块运动向量的相关性，待匹配块可以参考相邻的已匹配块的运动向量，所以待扩展搜索的宏块集D_k可以通过第k-1轮的扩展搜索成功宏块集M_k-1生成，如公式(5)所示。

D_k＝{d(i+k，j+p)|m(i+k-1，j+p)∈M_k-1}

∪{d(i+q，j+k)|m(i+q，j+k-1)∈M_k-1}                  (5)

∪{d(i+k，j+k)|m(i+k-1，j+k-1)∈M_k-1}

其中，(i，j)表示线搜索已匹配块的宏块坐标，k表示扩展次数，p和q表示宏块坐标的偏移量。

根据公式(5)，对于i+k-1行上所有扩展成功的宏块(i+k-1，j+p)(0≤p＜k-1)，宏块(i+k，j+p)被认为是第k轮待扩展搜索的宏块；对于j+k-1列上所有扩展成功的宏块(i+q，j+k-1)(0≤q＜k-1)，宏块(i+q，j+k)被认为是第k轮待扩展搜索的宏块；对于宏块(i+k-1，j+k-1)，若该块是第k-1轮扩展成功的宏块，则宏块(i+k，j+k)被认为是第k轮待扩展搜索的宏块。

(3.3)第k轮待扩展搜索宏块集D_k中的宏块d(p，q)按照公式(6)所示的运动向量参考关系R，在M_k-1中宏块的运动向量的基础上，进行HS(Hexagon Search，六边形搜索)获取各宏块的最小块误差点。

$R\left(d(p,q)\right)=\left\{\begin{array}{cc}m(p,j+k-1),& q=j+k,m(p,j+k-1)\∈M_{k-1}\\ m(i+k-1,q)& p=i+k,m(i+k-1,q)\∈M_{k-1}\\ m(i+k-1,j+k-1),& p=i+k,q=j+k,m(i+k-1,j+k-1)\∈M_{k-1}\end{array}\right.---\left(6\right)$

其中，(i，j)表示线搜索已匹配块的宏块坐标，k表示扩展次数，p和q表示宏块坐标的偏移量。

根据公式(6)，D_k中i+k行上的待扩展搜索的宏块(i+k，j+p)(0≤p＜k-1)参考M_k-1中宏块(i+k-1，j+p)(0≤p＜k-1)的运动向量；D_k中j+k列上的待扩展搜索的宏块(i+q，j+k)(0≤q＜k-1)参考M_k-1中宏块(i+q，j+k-1)(0≤1＜k-1)的运动向量；若宏块(i+k，j+k)是第k轮待扩展搜索的宏块，则该块参考M_k-1中宏块(i+k-1，j+k-1)的运动向量。

(3.4)根据步骤(3.3)获取的D_k中各宏块的最小块误差点，检查D_k中各宏块的最小块误差值与阈值的大小关系，最小块误差值小于阈值的宏块被认为是扩展搜索成功的宏块，而最小块误差值大于阈值的宏块被认为是扩展搜索失败的宏块。因此，第k轮扩展搜索成功宏块集M_k如公式(7)所示。

M_k＝{m(p，q)|d(p，q)∈D_k∧MBD(p，q)≤TSS}              (7)

其中，(p，q)为宏块坐标，TSS表示阈值。

由于第k-1轮扩展搜索失败的宏块会导致第k轮扩展搜索中一些宏块没有运动向量可供参考，这些没有运动向量可供参考的宏块也被认为是第k轮扩展搜索失败的宏块。所以，第k轮扩展搜索失败宏块集N_k包括最小块误差值大于阈值的宏块以及没有运动向量可供参考的宏块，如公式(8)所示。

N_k＝{D_k-M_k}

∪{n(i+k，j+p)|n(i+k-1，j+p)∈N_k-1}

(8)

∪{n(i+q，j+k)|n(i+q，j+k-1)∈N_k-1}

∪{n(i+k，j+k)|n(i+k-1，j+k-1)∈N_k-1}

其中，(i，j)表示线搜索已匹配块的宏块坐标，k表示扩展次数，p和q表示宏块坐标的偏移量。

根据公式(8)，对于i+k-1行上所有扩展失败的宏块(i+k-1，j+p)(0≤p＜k-1)，宏块(i+k，j+p)被直接判定为第k轮扩展搜索失败的宏块；对于j+k-1列上所有扩展失败的宏块(i+q，j+k-1)(0≤q＜k-1)，宏块(i+q，j+k)被认为是第k轮扩展搜索失败的宏块；对于宏块(i+k-1，j+k-1)，若该块是第k-1轮扩展失败的宏块，则宏块(i+k，j+k)被认为是第k轮待扩展搜索的宏块。

(3.5)若M_k＝φ，则扩展搜索结束，返回各轮扩展搜索成功宏块的运动向量，即M₁，M₂，…，M_k-2，M_k-1中各宏块的最小块误差点所对应的运动向量；否则，进入步骤(3.2)。

扩展搜索的具体搜索过程如图7B所示，其中，d代表待扩展搜索的宏块，m代表扩展搜索成功的宏块，n代表扩展搜索失败的宏块。假设完成线搜索的已匹配块的宏块坐标为(0，0)，则M₀＝{m(0，0)}。所以根据公式(5)，当k＝1时待扩展搜索宏块集D₁＝{d(0，1)，d(1，0)，d(1，1)}，D₁中的宏块参考宏块m(0，0)的运动向量进行扩展搜索，如图7B(a)所示。若宏块d(0，1)扩展搜索失败，则扩展搜索成功宏块集M₁＝{m(1，0)，m(1，1)}，扩展搜索失败宏块集N₁＝{n(0，1)}。根据公式(8)，宏块(0，2)被直接判定为扩展搜索失败，所以k＝2的待扩展搜索宏块集D₂＝{d(2，0)，d(2，1)，d(1，2)，d(2，2)}，如图7B(b)所示。对D2中的宏块按照公式(6)的运动向量参考关系R进行扩展搜索，若宏块d(2，1)和d(2，2)扩展搜索失败，则扩展搜索成功宏块集M₂＝{m(2，0)，m(2，1)}，扩展搜索失败宏块集N₂＝{n(2，1)，n(0，2)，n(2，2)}。根据公式(5)，k＝3时待扩展搜索宏块集D₃＝{d(3，0)，d(1，3)}，如图7B(c)所示。若D3中的宏块都扩展搜索失败，则当k＝3时，扩展搜索失败宏块集N₃＝{n(3，0)，n(3，1)，n(3，2)，n(0，3)，n(1，3)，n(2，3)，n(3，3)}，而扩展搜索成功宏块集M₃＝φ，此时扩展搜索结束，返回M₁，M₂中各宏块的运动向量，如图7B(d)所示。

(4)检查预测帧是否有宏块没有做搜索匹配，如果还有宏块没有进行搜索，则进入步骤(2)，否则结束。

本发明对将线搜索扩展于全景视频运动估计的方法进行了实验。实验所采用的数据为沿公路拍摄的立方体全景视频，其中全景视频的帧数为50帧，各面的分辨率为512×512像素。在实验中，分别采用FS算法，DS算法，HS算法，以及本方法对全景视频序列进行运动估计，利用各算法进行运动估计生成的补偿图像如图8所示。图8(a)为原始的第6帧全景视频的各面图像，图8(b)为本方法的运动向量补偿生成的第6帧全景视频的各面图像，图8(c)为FS搜索算法的运动向量补偿生成的第6帧全景视频的各个面图像，图8(d)为DS搜索算法的运动向量补偿生成的第6帧全景视频的各个面图像，图8(e)为HS算法的运动向量补偿生成的第6帧全景视频的各个面图像。从图8的各组图像可以看出，本方法进行运动估计生成的补偿图像比DS和HS算法生成的补偿图像的主观质量更高，更接近FS算法生成的图像。

为了衡量本方法的运动估计的性能，采用了PSNR(Peak Signal to Noise Ratio，峰值信噪比)作为实验指标，如公式(9)所示。PSNR反映了图像的失真程度，其单位为分贝(dB)，PSNR值越大，图像失真越少。

$\mathrm{PSNR}=10\×{\log }_{10}\left(\frac{{255}^2}{\frac{1}{w\×h}\underset{x=1}{\overset{w}{\mathrm{\Σ}}}\underset{y=1}{\overset{h}{\mathrm{\Σ}}}{[I_k(x,y)-I_t(x,y)]}^2}\right)---\left(9\right)$

其中，I_k(x，y)是补偿图像中点(x，y)的灰度像素值，I_t(x，y)是原始图像中点(x，y)的灰度像素值，w和h分别是图像的宽度与高度。

根据公式(9)，计算了立方体全景的各帧图像采用FS算法，DS算法，HS算法以及本方法对立方体全景进行运动估计的各帧图像的PSNR，如图9所示。从图9的PSNR曲线可以看出，本发明的方法对立方体全景进行运动估计的PSNR明显优于DS算法和HS算法，与FS算法很接近。本方法的平均PSNR比DS算法和HS算法提高了5dB。

本发明中未详细阐述的部分属于本领域技术人员的公知技术。

最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明将线搜索扩展于全景视频运动估计的方法的前提下，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。

Claims (2)

1.一种将线搜索扩展于立方体全景视频运动估计的方法，其特征在于：将连续采集的立方体全景视频分为参考帧和预测帧，预测帧被分成若干宏块，在扩展的参考帧内搜索预测帧宏块的运动向量，具体包含的步骤如下：

(1)利用参考帧各面的上，下，左，右的邻接图像对参考帧的各面图像进行扩展；

(2)从预测帧的宏块中，选取第一个没有做搜索的宏块，对该第一个没有做搜索的宏块采用线搜索方法在扩展的参考帧中进行搜索，寻找最小块误差点，并返回最小块误差点所对应的运动向量，完成线搜索的该宏块即为线搜索的已匹配块；

(3)以步骤(2)中线搜索的已匹配块为起点，对相邻的宏块进行扩展搜索，获取相应的运动向量；

(4)检查预测帧是否有宏块没有做搜索匹配，如果还有宏块没有做搜索匹配，则进入步骤(2)，否则结束；

其中，所述步骤(2)中的线搜索方法根据立方体全景各面图像的宏块的运动趋势决定初始搜索直线的方程x＝ky+p，其中参数k表示初始搜索直线的斜率，p表示初始搜索直线的截距，参数k和p的计算方法如下述公式所示：

p＝x_m-ky_m

其中，(x_m，y_m)表示待搜索块的位置坐标，(x_c，y_c)表示图像中心的坐标；

线搜索方法包括以下步骤：

(1.1)对待搜索块所位于直线及其相邻的两条平行线进行搜索；如果待搜索块位于直线x＝ky+p，则需要对位于x＝ky+p+1，x＝ky+p，x＝ky+p-1上的点进行检测；若最小块误差点在直线x＝ky+p+1上，则进入(1.2)，若最小块误差点在直线x＝ky+p-1上，则进入步骤(1.3)，否则进入步骤(1.4)；

(1.2)令p＝p+1，检测位于直线x＝ky+p+1上所有点；如果最小块误差点在直线x＝ky+p上，则进入步骤(1.4)，否则重复当前步骤；

(1.3)令p＝p-1，检测位于直线x＝ky+p-1上所有点；如果最小块误差点在直线x＝ky+p上，则进入步骤(1.4)，否则重复当前步骤；

(1.4)返回最小块误差点所对应的运动向量。

2.根据权利要求1所述的将线搜索扩展于立方体全景视频运动估计的方法，其特征在于：所述的步骤(3)中的扩展搜索使用D_w、M_w、N_w三个宏块集合来表示第w轮扩展搜索时三种不同类型的宏块，其中，D_w表示待扩展搜索宏块集，M_w表示扩展搜索成功宏块集，N_w表示扩展搜索失败宏块集，线搜索已匹配块的宏块坐标为(i，j)，对宏块坐标(i，j)相邻的宏块进行扩展搜索包括以下步骤：

(3.1)令扩展次数w＝0，初始化待扩展搜索宏块集D_w，扩展搜索成功宏块集M_w，扩展搜索失败宏块集N_w；线搜索已匹配块的宏块坐标为(i，j)，则待扩展搜索宏块集，扩展搜索成功宏块集，扩展搜索失败宏块集的初始状态D₀、M₀、N₀如下述公式所示：

D₀＝φ

M₀＝{m(i，j)}

N₀＝φ

其中，φ表示空集，M₀所包含的宏块m(i，j)即为完成线搜索的已匹配块；

(3.2)令扩展次数w＝w+1，计算第w轮的待扩展搜索宏块集D_w；根据宏块运动向量的相关性，待匹配块参考相邻的已匹配块的运动向量，所以待扩展搜索的宏块集D_w通过第w-1轮的扩展搜索成功宏块集M_w-1生成，如下述公式所示：

D_w＝{d(i+w，j+u)|m(i+w-1，j+u)∈M_w-1}

∪{d(i+v，j+w)|m(i+v，j+w-1)∈M_w-1}

∪{d(i+w，j+w)|m(i+w-1，j+w-1)∈M_w-1}

其中，(i，j)表示线搜索已匹配块的宏块坐标，w表示扩展次数，u和v表示宏块坐标的偏移量；

(3.3)第w轮待扩展搜索宏块集D_w中的宏块d(s，t)按照下述公式所示的运动向量参考关系R，在M_w-1中宏块的运动向量的基础上，进行搜索获取各宏块的最小块误差点；

$R\left(d(s,t)\right)=\left\{\begin{array}{cc}m(s,j+w-1),& t=j+w,m(s,j+w-1)\∈M_{w-1}\\ m(i+w-1,t),& s=i+w,m(i+w-1,t)\∈M_{w-1}\\ m(i+1w-1,j+w-1),& s=i+w,t=j+w,m(i+w-1,j+w-1)\∈M_{w-1}\end{array}\right.$

其中，(i，j)表示线搜索已匹配块的宏块坐标，w表示扩展次数，s和t表示宏块坐标；

(3.4)根据步骤(3.3)获取的D_w中各宏块的最小块误差点，检查D_w中各宏块的最小块误差值与阈值的大小关系，最小块误差值小于阈值的宏块被认为是扩展搜索成功的宏块，而最小块误差值大于阈值的宏块被认为是扩展搜索失败的宏块，第w轮扩展搜索成功宏块集M_w如下述公式所示：

M_w＝{m(s，t)|d(s，t)∈D_w且MBD(s，t)≤TSS}

其中，(s，t)为宏块坐标，TSS表示阈值；

第w-1轮扩展搜索失败的宏块会导致第w轮扩展搜索中一些宏块没有运动向量可供参考，这些没有运动向量可供参考的宏块也被认为是第w轮扩展搜索失败的宏块；所以，第w轮扩展搜索失败宏块集N_w包括最小块误差值大于阈值的宏块以及没有运动向量可供参考的宏块，如下述公式所示：

N_w＝{D_w-M_w}

∪{n(i+w，j+u)|n(i+w-1，j+u)∈N_w-1}

∪{n(i+v，j+w)|n(i+v，j+w-1)∈N_w-1}

∪{n(i+w，j+w)|n(i+w-1，j+w-1)∈N_w-1}

其中，(i，j)表示线搜索已匹配块的宏块坐标，w表示扩展次数，u和v表示宏块坐标的偏移量；

(3.5)若M_w＝φ，则扩展搜索结束，获取各轮扩展搜索成功宏块的运动向量，即M₁，M₂，…，M_w-2，M_w-1中各宏块相应的运动向量；否则，进入步骤(3.2)。

Images