CN106204456A - 全景视频序列运动估计越界折叠搜索方法 - Google Patents

Abstract

本发明提供一种全景视频序列运动估计越界折叠搜索方法，利用图像的拼接融合技术，对运动补偿过程中搜索匹配块范围越界部分的像素进行填补，从而实现可越过当前帧限定范围若干行或列搜索最小失真匹配块。相较于现有技术通过限定运动补偿过程中块匹配搜索范围不得超过当前帧大小范围的做法，本发明通过对当前帧做左右边界的拼接融合操作可以实现块匹配搜索算法的可越界搜索，能够找到失真率更小的匹配块，提高了帧间预测编码中搜索每个块在邻近重构帧中位置的准确度。

Description

全景视频序列运动估计越界折叠搜索方法

技术领域

本发明涉及一种在全景视频序列编码过程中越界折叠搜索最优匹配块的运动补偿方法。

背景技术

全景视频将静态的全景图片转化为动态的视频图像，可以在拍摄角度左右上下360度的任意观看动态视频。在全景视频序列的编码中，运动图像邻近帧的纹理内容存在时域相关性。现有技术中，通常基于帧间预测编码，以去除时域的冗余。具体的，在帧间预测编码中，将图像分成若干块Block或宏块MB，然后在邻近重构图像中搜索出率失真最小的块或宏块并记录其位置，计算得出两者之间空间位置的相对偏移量(运动矢量)，以此来做运动补偿。但是，由于全景视频图像左右边界的图像内容具有运动相关性，传统的编码器仅基于重构图像画面内范围搜索出每个块的最小失真率匹配块位置，因此在全景视频图像中，当宏块位于左右边界或邻近边界时存在最小均方误差MSE偏大，运动矢量不够精确的问题。

发明内容

本发明所要解决的技术问题是，提供一种基于全景视频序列中帧的边界运动相关性的全景视频序列搜索方法。

本发明为解决上述技术问题所采用的技术方案是，全景视频序列运动估计越界折叠搜索方法，包括以下步骤：

步骤1、选取原始帧与重构帧；

步骤2、对重构帧搜索范围进行越界像素填补预处理：

2-1提取重构帧的左边界部分与右边界部分；

2-2对左图像的左边缘与右图像的右边缘进行越界像素填补：

当左边界部分与右边界部分无重合像素且也无缝隙，则直接将左图像的左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；

当左边界部分与右边界部分有重合像素，则通过图像融合去除重复列像素后将左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；

当左边界部分与右边界部分有缝隙，则通过线性插值对缝隙进行填补后将左边界部分拼接在进行了缝隙填补后的重构图像右边缘，将右边界部分拼接在进行了缝隙填补后的重构图像的左边缘；

2-3拼接的图像作为越界像素填补预处理的重构帧；

步骤3、对原始帧进行分块处理；

步骤4、在原始帧中选择一个未匹配块作为待匹配块，在越界像素填补预处理后的重构帧中搜索目标匹配块选择最优匹配块；

步骤5、判断原始帧中是否还有未匹配块，如是，返回步骤4，如否，搜索结束。

本发明基于全景视频图像左右边界内容的相关性原理，利用图像的拼接融合技术，对运动补偿过程中搜索匹配块范围越界部分的像素进行填补，从而实现可越过当前帧限定范围若干行或列搜索最小失真匹配块。本领域技术人员可以理解的是，当运动位于全景图像的左右边界处时，由于全景图像的左右边界运动的连续性，搜索对应块的匹配块的搜索范围若能够越过左(或右)边界到其右(或左)边界若干行或列像素值，则可搜索到失真更小的匹配块。相较于现有技术通过限定运动补偿过程中块匹配搜索范围不得超过当前帧大小范围的做法，本发明通过对当前帧做左右边界的拼接融合操作可以实现块匹配搜索算法的可越界搜索，能够找到失真率更小的匹配块，提高了帧间预测编码中搜索每个块在邻近重构帧中位置的准确度。

本发明的有益效果是，能够有效降低搜索块匹配误差，提高编码质量和效率。

附图说明

图1为运动补偿示意图；

图2为块匹配搜索范围越界示意图；

图3为图像两侧边界像素互相填补示意图；

图4为图像分割示意图；

图5为图像左右边界严密缝合示意图；

图6为图像左右边界存在重叠区域示意图；

图7为图像左右边界存在拼接缝隙示意图；

图8为拼接融合后图像越界搜索匹配块示意图；

图9为可越界折叠搜索算法流程图；

图10为重构帧搜索范围越界像素填补预处理流程图。

具体实施方式

视频图像的分辨率在编码开始前即被给定，以像素点宽W和高的乘积形式表示。

取原始帧F_t ^org与重构帧F_t-1 ^rec，其中1<t<L，L为帧序列总长度，t为当前时间，重构帧F_t-1 ^rec为原始帧F_t ^org的前一帧。

将原始帧F_t ^org划分为n×n的正方形子块，其中n的值可取4、8、16、32、64等。可得原始帧F_t ^org含有的子块数N＝WB×HB，其中 为上取整运算。

在原始帧F_t ^org中任取一个块B_i,j，i∈(1,...,WB),j∈(1,...,HB)，通常以该块的左上角坐标(x_(i-1)×WB ^org,y_(j-1)×HB ^org)为参考坐标点，在重构帧F_t-1 ^rec中找到该点对应的位置(x_(i-1)×WB ^rec,y_(j-1)×HB ^rec)，并以该点为中心位置，取其上下左右searchRange个像素作为搜索范围，在该搜索范围内对块B_i,j做运动补偿，寻找该块的最小失真匹配块，并记录运动矢量MV_i,j＝(Δx,Δy)

$D_{i,j}=\left|\right|B_{i,j}^{org}-B_{i,j}^{rec}\left|\right|---\left(1\right)$

其中，表示原始帧子块，表示重构帧子块，运算|| ||为取均方误差，searchRange为搜索范围由编码器给定值，通常可取64、128等。如图1所示，在t时刻图像中的任意块将在t-1时刻图像中以最小失真率为目的进行搜索，来获得最优匹配块。最小失真率可以用平均绝对偏差MAD亦可以用平均平方误差MSE表示。这时，将计算并得出上述两个块的矢量距离，如图1中所示MV_i,j＝(Δx,Δy)。

由于本发明基于全景视频序列，考虑全景图像左右边界运动相关性，在横轴x方向具有三种情况需要讨论，纵轴y方向和现有技术处理方法保持一致。

在原始帧F_t ^org中任取一个块B_i,j做上述运动补偿时，其搜索范围在横坐标x方向三种情况具体如下：

情况一：x_(i-1)×WB ^org+searchRange<W且x_(i-1)×WB ^org-searchRange>0

情况二：x_(i-1)×WB ^org+searchRange>W

情况三：x_(i-1)×WB ^org-searchRange<0

现有技术的运动补偿搜索具有最小失真率的匹配块算法通常是以情况一作为前提假设条件，对于其他两种搜索范围越界的情况则不予以考虑。但是，由于在全景视频序列中，每一帧图像均为一幅全景图像，该全景图像的左右边界图像内容具有相关性，当搜索范围越出图像边界。如图2，当图像左右边界具有运动相关性的时候，t时刻原始图像201中取靠近右边界的待匹配块202，在t-1时刻重构图像203进行匹配块搜索，在搜索范围204内搜索到块202的最小失真匹配块205越过了当前重构帧的帧边界。

情况二或情况三作为前提假设条件的运动补偿搜索匹配块的问题真是本发明所关注的。若能够对越出部分采用对称方向边界的若干行或列像素进行填补，则块匹配位置的准确度会得到明显的提高。

由于在全景视频序列中，每一帧图像均为一幅全景图像，该全景图像的左右边界图像内容具有相关性，所以当x_(i-1)×WB ^org+searchRange>W或x_(i-1)×WB ^org-searchRange<0时，以x_(i-1)×WB ^org+searchRange>W为例，设Q为越界像素宽度，则有

Q＝x_(i-1)×WB ^org+searchRange-W (2)

根据上式计算结果，在当前帧左侧(或右侧)取Q列像素对当前搜索范围越界部分进行填补，形成一个完整的搜索范围，然后在该搜索范围内做运动补偿。

因此，为实现全景视频帧运动补偿过程中可越界搜索最小失真率匹配块的目的，本发明还提出了基于全景视频图像左右边界图像内容相关性的图像拼接融合预处理方法，用来实现可越界搜索的运动补偿算法，具体包括：

如图3，设当前帧301为I^rec(i,j)，取当前帧I^rec(i,j)均分成左边界部分图像302为I_l ^rec(i,j)，右边界部分图像303为I_r ^rec(i,j)，然后将图像I^rec(i,j)、I_l ^rec(i,j)和I_r ^rec(i,j)拼接融合成一幅新的图像304，即，将左边界若干列像素I_l ^rec(i,j)拼接到帧I^rec(i,j)的右边界，将右边界若干列像素I_r ^rec(i,j)拼接到帧I^rec(i,j)的左边界；I_l ^rec(i,j)位于I^rec(i,j)的右侧，I_r ^rec(i,j)位于I^rec(i,j)的左侧。然后在新的融合后的图像304中做最优匹配块的搜索，从而实现了搜索范围越界部分的像素填补。

其中，如4图所示，对重构图像的分割过程为：重构帧I^rec(i,j)401沿4中心对称虚线02进行分割，分为均等的左右两部分图像403、405，再在左图像405的左边界提取若干列像素I_l ^rec(i,j)形成左边界部分406，在右图像403的右边界提取若干列像素I_l ^rec(i,j)形成右边界部分404。左边界部分、右边界部分的高度为重构图像高度，宽度取值范围为8-64。

设拼接融合时图像I^rec(i,j)和图像I_l ^rec(i,j)(或I_r ^rec(i,j))二者水平距离为d，d的取值有三种情况：

情况一：d＝0，即其左右边界图像501、502无重合像素，也无缝隙，刚好能够严密缝合，如图5所示；

情况二：d<0，即左右边界图像601、602具有d列重合像素503，如图6所示；

情况三：d>0，即左右边界图像701、702存在宽为d列像素的缝隙，如图7所示；

针对上述情况一，由于左右图像能够严密缝合，所以对图像I(i,j)和图像I_l ^rec(i,j)(或I_r ^rec(i,j))不做处理，直接复制各图像像素注册成一幅新的图像。

针对上述情况二，由于左右边界图像内容存在宽度为d的像素重合，需要做图像融合操作去除重复列像素。

为不失一般性，本发明采用加权平均的方法进行图像融合，将当前图像的左右边界部分对应的像素点乘以一个加权系数后再相加得到融合后的图像。具体的，以图像I^rec(i,j)和图像I_l ^rec(i,j)的拼接融合为例，设加权系数为α，对I^rec(i,j)和I_l ^rec(i,j)重叠区域I(i,j)503按如下公式(3)进行融合。

I(i,j)＝αI^rec(i,j)+(1-α)I_l ^rec(i,j) (3)

其中，加权系数α满足0≤α≤1，I(i,j)为拼接融合后的新图像。去除重复列像素之后，复制各图像像素注册成一幅新的图像。

针对情况三，由于左右边界内容具有宽度为d的缝隙，无法进行无缝拼接操作，需要使用线性插值算法填补缝隙。

为不失一般性，本发明采用线性插值算法对当前缝隙进行填补。具体的，以图像I^rec(i,j)和图像I_l ^rec(i,j)之间的缝隙做线性插值为例，在I^rec(i,j)的右边界上任意取一点(x₁,y₁)，设该点的像素值为P₁，然后在I_l ^rec(i,j)的左边界水平对应位置处取一点(x₁,y₂)，设该点的像素值为P₂，对于y坐标位于区间[y₁,y₂]内的点，其像素值P通过公式求得

$P=P_1+\frac{(y-y_1)}{(y_2-y_1)}(P_2-P_1)---\left(4\right)$

对图像I^rec(i,j)和I_l ^rec(i,j)之间的缝隙做线性插值后，由I^rec(i,j)、I_l ^rec(i,j)和二者之间宽度为d的缝隙注册成一幅新的图像。

如图8所示，801为t时刻原始帧，802为在原始图像中选取的待匹配块。803为t-1时进行了左右边界像素填补的重构帧，804为对当前重构帧左边界填补的像素列，805为对当前重构帧右边界填补的像素列，806为在经过左右边界像素填补的重构帧中搜索到的具有最小失真率的匹配块。通过对重构帧左右边界做图像的拼接融合操作来实现可越界的折叠搜索匹配块算法，能够找到匹配程度更高的匹配块，提高了帧间预测编码中搜索每个块在邻近重构图像中位置的准确度。

实施例

图9给出了可越界折叠搜索算法流程图，具体步骤如下：

步骤901：选取原始帧和重构帧。在原始帧序列中取出F_t ^org，在重构帧序列中取出F_t-1 ^rec，F_t-1 ^rec为F_t ^org的前一帧，其中1<t<L。

步骤902：重构帧搜索范围越界像素填补预处理流程图。对重构帧F_t-1 ^rec的左右边界做拼接融合预处理，为越界搜索的越界部分做像素填补。具体填补方式由图10给出。

步骤903：对原始帧做分块处理。将F_t ^org划分为n×n的正方形子块，其中，n的值可取4、8、16、32、64等，本实施例中取n＝16，可得F_t ^org含有的子块数N＝WB×HB。

步骤904：在原始帧中选择待匹配块。在F_t ^org中任取一个块B_i,j，i∈(1,...,WB)，j∈(1,...,HB)，以该块作为待匹配块。

步骤905：在重构帧中搜索目标匹配块。由步骤904可得F_t ^org中的待配匹块B_i,j，以该块的左上角坐标(x_(i-1)×WB ^org,y_(j-1)×HB ^org)为参考坐标点，在F_t-1 ^rec中找到该点对应的位置(x_(i-1)×WB ^rec,y_(j-1)×HB ^rec)，并以该点为中心位置，取其上下左右serachRange个像素作为搜索范围，本实施例中searchRange＝16，在该搜索范围内寻找B_i,j的最小失真匹配块，并记录运动矢量MV_i,j＝(Δx,Δy)，由如下公式

$D_{i,j}=\left|\right|B_{i,j}^{org}-K_{i,j}^{rec}\left|\right|$

计算得出子块B_i,j运动的距离之后，对子块B_i,j做运动估值，动估值采用最小MSE作为代价，D_i,j记为子块B_i,j的运动估值代价。

步骤906：选择最优匹配块。比较步骤905计算得出的D_i,j值，选出D_i,j最小的块即为失真率最小的匹配块。

步骤907：判断是否还有未匹配块。若存在未匹配块，跳转到步骤904。若不存在未匹配块，则流程结束，至此完成全景视频序列运动估值越界折叠搜索算法全过程。

图10为重构帧搜索范围越界像素填补预处理流程图，具体步骤如下：

步骤1001：复制重构帧并将复制后的图像沿中间均分成左右两部分。如图4所示将当前帧I^rec(i,j)均分成左右两部分图像,设左侧图像为I_l ^rec(i,j)，左侧图像为I_r ^rec(i,j)。

步骤1002：判断左右边界距离d。通过SIFT特征值提取算法对左右图像做图像配准，找到左右图像的相对位置，并判断二者之间距离d的大小。当d>0时，跳转到步骤1003，当d＝0时，跳转到步骤1004，当d<0时，跳转到步骤1005。

步骤1003：对左右边界做线性差值填补缝隙。由步骤1002可知，由于左右边界内容具有宽度为d的缝隙，无法进行无缝拼接操作，需要对该缝隙做线性插值来填补当前缝隙。具体的，以图像I^rec(i,j)和图像I_l ^rec(i,j)之间的缝隙做线性插值为例，在I^rec(i,j)的右边界上任意取一点(x₁,y₁)，设该点的像素值为P₁，然后在I_l ^rec(i,j)的左边界水平对应位置处取一点(x₁,y₂)，设该点的像素值为P₂，对于y坐标位于区间[y₁,y₂]内的点，其像素值P通过公式求得

$P=P_1+\frac{(y-y_1)}{(y_2-y_1)}(P_2-P_1)$

对图像I^rec(i,j)和I_l ^rec(i,j)(或I_r ^rec(i,j))间的缝隙做线性插值后，将图像I^rec(i,j)、I_l ^rec(i,j)(或I_r ^rec(i,j))拼接融合成一幅新的图像，在新的图像中，位于I^rec(i,j)的右侧(或I_r ^rec(i,j)位于I^rec(i,j)的左侧)。

步骤1004：融合左右边界形成新的图像。由于左右图像能够严密缝合，所以对图像I(i,j)和图像I_l ^rec(i,j)(或I_r ^rec(i,j))不做处理，直接将图像I^rec(i,j)、I_l ^rec(i,j)(或I_r ^rec(i,j))注册成一幅新的图像，在新的图像中，I_l ^rec(i,j)位于I^rec(i,j)的右侧(或I_r ^rec(i,j)位于I^rec(i,j)的左侧)。

步骤1005：去除左右边界重复像素列并融合成一幅新的图像。由于左右边界图像内容存在宽度为d的像素重合，需要对当前帧做融合操作去除重复像素。本发明采用加权平均的方法进行图像融合，即将当前图像的左右边界部分对应的像素点乘以一个加权系数后再相加得到融合后的图像。具体的，以图像I^rec(i,j)和图像I_l ^rec(i,j)的拼接融合为例，设加权系数为α，对I^rec(i,j)和I_l ^rec(i,j)重叠区域按如下公式(3)进行融合。

I(i,j)＝αI^rec(i,j)+(1-α)I_l ^rec(i,j)

其中，加权系数α满足0≤α≤1，I(i,j)为拼接融合后的新图像。去除重复列像素之后，将图像I^rec(i,j)、I_l ^rec(i,j)(或I_r ^rec(i,j))拼接融合成一幅新的图像，在新的图像中，I_l ^rec(i,j)位于I^rec(i,j)的右侧(或I_r ^rec(i,j)位于I^rec(i,j)的左侧)。

按照HEVC制定通用测试序列及条件，本发明用x265编码器进行编码测试，取每个序列的前300帧做通测，块大小定为16x16，取每帧最左侧4列块和最右侧4列块计算性能提升比。性能提升验证公式如下所示

$MSE(x,y)=1/MN\&times;\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\&lsqb;f_i(m,n)-f_{i-1}(m+x,n+y)\&rsqb;}^2$

其中k为总帧数，blocksize为块大小，H为当前帧的高度，MSE(x,y)为采用现有技术计算得出的块最小均方误差，MSE(x,y)^*为采用本发明计算得出的块最小均方误差。

根据上述公式计算的结果如下表所示，表中的左1、左2、左3、左4，右1、右2、右3、右4分别表示一帧中左侧第一列块、左侧第二列块、左侧第三列块、左侧第四列块和右侧第一列块、右侧第二列块、右侧第三列块、右侧第四列块。由于MSE残差的降低比率可以用来表示失真的降低比率，所以由下表的数据可知，越靠近边界的块，通过越界搜索最小匹配块算法，失真率降低越大，块匹配程度越高。使用本发明方法能够找到匹配程度更高的匹配块，明显提高了帧间预测编码中搜索每个块在邻近重构图像中的位置的准确度。

序列名称

左1

左2

左3

左4

右4

右3

右2

右1

CrossTree

22.59％

14.50％

5.56％

1.83％

0.56％

1.41％

2.75％

7.28％

GreatBarrierReef

0.73％

0.43％

0.22％

0.11％

0.09％

0.23％

0.35％

0.83％

GZCarshow

1.60％

0.63％

0.37％

0.15％

0.19％

0.33％

0.72％

2.17％

helicopter

10.59％

2.81％

1.84％

0.84％

0.36％

1.05％

1.85％

8.12％

Himalayas

8.07％

2.22％

1.40％

0.69％

1.45％

3.04％

5.68％

17.04％

RaceCar

8.26％

2.09％

1.09％

0.58％

0.36％

0.86％

1.70％

7.93％

Tulips

16.47％

0.54％

0.15％

0.05％

0.02％

0.08％

0.25％

6.34％

Vienna1

10.21％

1.45％

0.69％

0.26％

0.34％

0.68％

1.73％

6.11％

Vienna2

14.67％

0.59％

0.24％

0.12％

0.14％

0.28％

0.72％

6.24％

AverageMSERate

10.36％

2.81％

1.28％

0.51％

0.39％

0.88％

1.75％

6.89％

Claims (2)

1.全景视频序列运动估计越界折叠搜索方法，其特征在于，包括以下步骤：

步骤1、选取原始帧与重构帧；

步骤2、对重构帧搜索范围进行越界像素填补预处理：

2-1提取重构帧的左边界部分与右边界部分；

2-2对左图像的左边缘与右图像的右边缘进行越界像素填补：

当左边界部分与右边界部分无重合像素且也无缝隙，则直接将左图像的左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；

当左边界部分与右边界部分有重合像素，则通过图像融合去除重复列像素后将左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；

当左边界部分与右边界部分有缝隙，则通过线性插值对缝隙进行填补后将左边界部分拼接在进行了缝隙填补后的重构图像右边缘，将右边界部分拼接在进行了缝隙填补后的重构图像的左边缘；

2-3拼接的图像作为越界像素填补预处理的重构帧；

步骤3、对原始帧进行分块处理；.

步骤4、在原始帧中选择一个未匹配块作为待匹配块，在越界像素填补预处理后的重构帧中搜索目标匹配块选择最优匹配块；

步骤5、判断原始帧中是否还有未匹配块，如是，返回步骤4，如否，搜索结束。

2.如权利要求1所述全景视频序列运动估计越界折叠搜索方法，其特征在于，左边界部分、右边界部分的宽为8-64像素。