CN101166271A - 一种多视点视频编码中的视点差估计/补偿方法 - Google Patents

Abstract

本发明公开了一种多视点视频编码中的视点差估计/补偿方法，包括如下步骤：A.根据待编码图像中对象的深度特征，将待编码图像分为一个以上的区域，并确定每个区域的区域视点差向量；B.按照匹配误差最小化的原则，以区域视点差向量为搜索起始点计算视点差修正向量；C.对视点差修正向量进行补偿得到最终的视点差修正向量。本发明方法仅需较小的计算量即可估计每一视点图像的视点差向量；其次，使用区域视点差向量作为精细DV搜索的初始值，可以使用较小的搜索窗进行精细DV搜索，从而大大降低编码器搜索DV所需计算量，提高编码速度。

Description

一种多视点视频编码中的视点差估计/补偿方法

技术领域

本发明涉及视频编码技术领域，特别涉及多视点视频编码技术，尤其涉及一种多视点视频编码中的视点差估计/补偿方法。

背景技术

随着多媒体技术的发展，人们不再满足于传统的固定视点视觉以及2维(2D)平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内出现了对于自由视点视频和3维(3D)立体视频的需求。例如能够由观看者选择视角的自由视点电视(Free view-point Television，FTV)，以及为处于不同位置的观看者播放不同视角视频的3维电视(3 Dimensional Television，3DTV)。

多视点视频编码(Multi-view Video Coding，MVC)是实现自由视点视频类和3D视频类应用的一项关键技术，该技术用于对在不同的空间位置以不同的角度同时获取同一场景的一组视频信号进行有效的压缩编码。所获得的这一组视频被称为多视点视频。当前多视点视频编码的研究重点在于如何充分利用不同视点视图之间的空间相关性，以进一步提高多视点视频的编码效率。

在进行进一步介绍之前，首先明确几个有关概念。视点差(Disparity)是指当处于不同空间位置的多个摄像机同时拍摄同一场景时，场景中的一个三维点在同一时刻的任意两个视点的图像平面中的二维坐标之间的位移，而视点差向量(Disparity Vector，DV)则是一组三维点的视点差所构成的向量。运动差是指固定空间位置的一个摄像机拍摄一个场景时，该场景中的一个三维点在该视点的不同时刻的图像平面的二维坐标之间的位移，而运动差向量(MV)则是一组三维点的运动差所构成的向量。从上述定义可以看出，DV反映的是不同视点视图之间的空间相关性，而MV反映的是同一视点视图的时间相关性。

高级视频编码(Advanced Video Coding，AVC)技术是一种发展得相对成熟的单视点视图编码技术，该技术能够很好地利用同一视点视图的时间相关性，根据MV进行预测编码，从而获得较高的编码增益。视点差补偿技术的思想就是在搜索DV之前对DV进行预处理，使得处理后的DV的特性与MV的特性基本相似，因而可以像处理MV那样处理DV，从而实现在多视点视频编码过程中利用AVC的框架进行预测编码。在单视点视图的预测编码过程中估计MV时，一般使用大小为16或32的搜索窗就可以找到最佳匹配块；而在多视点视图的预测编码的过程中为了找到最佳匹配块，估计DV时需要使用大小为96或128的搜索窗，这将极大地增加编码器的计算量。为了降低计算量，如果在视图间预测编码时使用较小的搜索窗，对于大于搜索窗尺寸的DV，则无法找到它的真实值，导致视点差补偿编码的效率降低。

专利号为US9,043,838的美国专利“View offset estimation forstereoscopic video coding”提出了一种全局视点差补偿技术，用于减小AVC编码器在预测DV时的搜索范围并提高编码效率，下面以仅一个方向上存在视点差的情况对该技术进行说明。图1为水平相邻排列的两台摄像机在同一时刻分别拍摄的图像，以左侧摄像机拍摄的画面为参考图像，右侧摄像机拍摄的画面为待编码图像，显然这两幅图像在水平方向上存在视点差。全局视点差补偿技术采用公式(1)

$\mathrm{ME}\left(x\right)=\frac{\underset{i,j\∈R}{\mathrm{\Σ}}|\mathrm{img}0(i,j)-\mathrm{img}1(i-x,j)|}{R}---\left(1\right)$

对图1中的两幅图像的各个像素进行一次遍历得到如图2所示的视点差-匹配误差关系曲线，其中x为所选取的视点差，img0(i，j)表示参考图像，img1(i-x，j)表示待编码图像沿水平方向位移了x个像素后的图像，R表示所述这两幅图像的重叠区域，ME(x)为对应的匹配误差，可以选择使用绝对误差和(SAD)或均方误差(MSE)来表示匹配误差。该技术选择使视点差-匹配误差曲线的全局最小值对应的视点差作为这两幅图像的全局视点差。

该技术的主要问题在于，它只能够近似的反映图像中所有对象的平均深度特征，而不能够较准确地反映图像中每一个对象的深度特征。当图像中各对象具有显著不同的深度特征时，例如图1中跳舞的人和看台上的观众就具有不同的深度特征，估计得到的全局视点差并不能够比较准确的反映图像中每一个对象的视点差。在这种情况下，对于图像中某些对象中的宏块，存在使用全局视点差补偿后仍然不能在设置的搜索范围内找到匹配块的情况，这会严重影响多视点视频的编码效率。

发明内容

有鉴于此，本发明的目的在于，提出一种多视点视频编码中的视点差补偿方法，能够准确地反映图像中各个对象的深度特征，提高多视点视频编码效率。该方法包括如下步骤：

A、根据待编码图像中对象的深度特征，将待编码图像分为一个以上的区域，并确定每个区域的区域视点差向量；

B、按照匹配误差最小化的原则，以区域视点差向量为搜索起始点计算视点差修正向量；

C、对视点差修正向量进行补偿得到最终的视点差修正向量。

所述步骤A包括：

A1、计算待编码图像的视点差-匹配误差曲面；

A2、搜索所述视点差-匹配误差曲面中所有N个极小值点，并将每个极小值点对应的视点差作为区域视点差向量RDV_i，其中1≤i≤N；

A3、根据匹配误差最小原则为待编码图像中的像素分配一个区域视点差向量，对应相同区域视点差向量的像素则属于同一个区域。

所述步骤A1为：将待编码图像分为M个宏块，在宏块的基础上计算待编码图像的视点差-匹配误差曲面；

所述步骤A3为：对于待编码图像中任意一个宏块MB_k，计算该宏块对应各个区域视点差向量的匹配误差ME(MB_k，RDV_i)，其中1≤i≤N；取其中最小的匹配误差对应的区域视点差向量作为该宏块的匹配块搜索初始点RDV_MBk。

步骤B为：对于待编码图像中任意一个宏块MB_k，在预先设定的搜索范围内尝试视点差修正向量ΔDV′_MBk的不同取值，按照公式 ${{\mathrm{DV}}^{\′}}_{{\mathrm{MB}}_k}={{\mathrm{RDV}}_{\mathrm{MB}}}_k+{\mathrm{\Δ}{\mathrm{DV}}^{\′}}_{{\mathrm{MB}}_k}$ 得到该宏块的视点差向量DV′_MBk，再计算DV′_MBk对应的匹配误差，将其中最小的匹配误差所对应的视点差修正向量作为ΔDV′_MBk的实际取值。

所述步骤C包括：

C1、采用高级视频编码AVC计算得到当前编码宏块MB_k的视点差修正向量ΔDV″＝DV″-MVp_MBk，其中MVp_MBk为AVC中当前编码宏块MB_k根据相邻宏块得到的预测运动向量或根据相邻宏块得到的预测视点差向量；

C2、分别计算DV′_MBk的代价函数COST(DV′_MBk)和DV″_MBk的代价函数COST(DV″_MBk)，并比较这两个代价函数，将较小的代价函数所对应的视点差向量作为最终的视点差向量DV_MBk；

C3、根据DV_MBk得到最终的视点差修正向量ΔDV_MBk。

步骤C3为：若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-MVp_MBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 $\mathrm{\Δ}{\mathrm{DV}}_{{\mathrm{MB}}_k}={{\mathrm{DV}}^{\′\′}}_{{\mathrm{MB}}_k}-{{\mathrm{MVp}}_{\mathrm{MB}}}_k.$

步骤C之后进一步包括：采用高级视频编码AVC对所述最终的视点差修正向量进行编码并传输至解码端。

步骤C3为：

若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-RDV_MBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 ${\mathrm{\Δ}{\mathrm{DV}}_{\mathrm{MB}}}_k={{\mathrm{DV}}^{\′\′}}_{{\mathrm{MB}}_k}-{{\mathrm{MVp}}_{\mathrm{MB}}}_k.$

步骤C之后进一步包括：

采用AVC对所述最终将的视点差修正向量进行编码并传输至解码端；并将RDV_MBk传输至解码端。

步骤C之后进一步包括：将用于区分宏块MB_k采用MVp_MBk或RDV_MBk差分编码的区分标记传输至解码端；

解码端读入该宏块中的区分标记，若区分标记指示该宏块使用MVp_MBk差分编码，则可以使用解码器按照AVC标准中所规定技术计算得到MVp_MBk，并将MVp_MBk与从码流中读入的ΔDV_MBk相加得到视点差向量DV_MBk；若区分标记指示该宏块使用RDV_MBk差分编码，则可以按照标记中的索引从码流中读取RDV_MBk，并与从码流中读入的ΔDV_MBk相加得到视点差向量DV_MBk。

步骤C之后进一步包括：

解码端利用RDV_MBk将待编码图像的参考图像分别沿各个区域视点差向量所指方向移动构造新的参考图像，并使用所构造的新的参考图像解码当前图像。

步骤C3之前进一步包括：

判断当前宏块MB_k的相邻宏块是否采用视图间预测方法，

若是，则步骤C3为：若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-RDV_MBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 ${{\mathrm{\ΔDV}}_{\mathrm{MB}}}_k={{\mathrm{DV}}^{\′\′}}_{{\mathrm{MB}}_k}-{{\mathrm{MVp}}_{\mathrm{MB}}}_k;$ 并且步骤C之后进一步包括：采用AVC对所述最终将的视点差修正向量进行编码并传输至解码端；并将RDV_MBk传输至解码端；

否则，步骤C3为：若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-MVp_MBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 $\mathrm{\Δ}{{\mathrm{DV}}_{\mathrm{MB}}}_k={{\mathrm{DV}}^{\′\′}}_{{\mathrm{MB}}_k}-{{\mathrm{MVp}}_{\mathrm{MB}}}_k;$ 并且步骤C之后进一步包括：采用AVC对所述最终将的视点差修正向量进行编码并传输至解码端；并将RDV_MBk传输至解码端。

若存在一个以上参考图像，则所述区域视点差向量和区域视点差修正向量包括对应于每一个参考图像的视点差向量和区域视点差修正向量。

从以上技术方案可以看出，本发明方案具有以下有益效果：首先，仅需较小的计算量即可估计每一视点图像的视点差向量；其次，使用区域视点差向量作为精细DV搜索的初始值，可以使用较小的搜索窗进行精细DV搜索，从而大大降低编码器搜索DV所需计算量，提高编码速度；并且，该方法与AVC标准兼容不改变所生成码流，可以使用AVC编码器无差别处理DV和MV，提高了MVC与AVC的兼容性；也无需对解码端作任何修改。

附图说明

图1为水平相邻排列的两台摄像机在同一时刻分别拍摄的图像；

图2所示为根据图1所示图像得到的视点差-匹配误差关系曲线；

图3为本发明多视点视频编码原理图；

图4为将图1中的待编码图像划分成3个区域的示意图；

图5所示为按照图4所划分的区域得到的图1所示图像的区域视点差-匹配误差曲线；

图6为本发明方法的处理流程图；

图7为本发明实施例基于深度对象进行区域划分的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细阐述。

本发明的目的是缩小利用AVC处理框架的多视点视频编码方法在搜索DV时所选取的搜索范围，从而减小计算量，提供多视点视频编码效率。其基本原理如图3所示：

在使用与AVC兼容的的MV/DV预测/补偿模块303进行视点差编码之前，加入了RDV估计/补偿模块302对DV进行预估计，这相当于将待编码视图划分成若干个待编码区域，并为每个待编码区域提供一个较为准确的DV预测初始值即RDV。公式(2)体现了区域视点差RDV与最终视点差DV之间的关系：

DV＝RDV+ΔDV    (2)

ΔDV为以RDV为初始搜索点进行精细DV估计得到的视点差向量。在RDV预测基础上，ΔDV与MV的取值范围较为一致，这将有益于降低DV估计的计算量，甚至可以使用同一套编码器参数对DV或MV进行预测，并获得较高的压缩效率。

本发明提出深度对象的概念，场景中同一深度的自然对象定义为同一深度对象。不同的深度对象具有不同的视点差，因此视点差是深度对象的一个属性，两者具有一一映射的关系，下面将不加区分地使用这两个概念。使用本技术所提出的基于区域的视点差估计方法可以划分图像区域。若一幅图像被划分为N个区域，或者说有N个深度对象，则图中每一个区域的视点差搜索初始值即是所在的深度对象的DV。

通过观察图2可以发现，全局视点差补偿技术仅仅选取视点差-匹配误差曲线中的全局最小值所对应的视点差作为这两幅图像的全局视点差，而忽略了曲线中存在的其它极小值。而实际上，视点差-匹配误差曲线中所有局部极小值点和深度对象的RDV有关，一个局部极小值所在位置对应着一个深度对象的DV。按照图1中的待编码图像的深度特征，可以将该图像划分为3个区域，如图4所示。与按照(1)式中计算整幅图像视点差-匹配误差曲线的方法类似，可以为所划分的每一个区域计算出区域视点差-匹配误差曲线，如图5所示。

从图4和图5中可以看出以下几点：

第一、每个区域的视点差-匹配误差关系曲线最小值点对应于全局视点差-匹配误差关系曲线中的一个极小值；

第二、基于对象深度特性划分的区域可以得到更小的匹配误差，这是由于每一个区域内部的像素之间具有相同或相近的深度特征，因此区域视点差-匹配误差关系曲线即图5中的匹配误差最小值也必然小于它所对应的整幅图像视点差-匹配误差关系曲线即图2中的极小值。

通过分析视点差-匹配误差曲线中局部极小值的物理含义，我们发现由于具有更小的匹配误差，使用区域视点差代替全局视点差能够进一步提高视图间预测编码效率，也就是说，选用较小的搜索范围就可以搜索到最佳匹配块。若不同视点的两幅图像同时存在水平视点差和垂直视点差，可以计算得到它们的区域视点差-匹配误差曲面。同理可以根据视点差-匹配误差曲面中的局部极小值划分区域。

本发明方法的处理流程如图6所示，包括如下步骤：

步骤601：根据图像中对象的深度特征，将待编码图像分为一个以上的区域，并确定每个区域的区域视点差向量。

为了依据图像中对象的深度特征正确划分区域，下面对基于深度对象的区域划分方法进行详细说明。

在一般情况下，自然场景中的每一个独立对象具有相同或相近的深度特性，同一深度对象内的各个像素点具有相同的视点差。所以我们需要基于深度对象划分图像区域。不同的对象具有不同的深度特性，而在整幅图像视点差-匹配误差曲面中，在每一个深度对象所对应的视点差上匹配误差一般会出现极小值。图7示出了基于深度对象的区域划分方法，包括如下步骤：

步骤701：按照一定的方式将图像中的像素划分为M个宏块(MB)，在宏块的基础上计算整幅图像的视点差-匹配误差曲面。

所谓宏块就是彼此相邻的若干个像素组成的集合，例如将3×3的像素作为一个宏块。当然也可以直接在像素的基础上计算视点差-匹配误差曲面，这样虽然计算精度高，但计算量很大，因此在无须精确到像素的情况下通常是划分为像素宏块进行计算。将像素划分为宏块的具体方式属于现有技术。

步骤702：搜索视点差-匹配误差曲面中所有N个极小值点，并将其对应视点差记录为区域视点差向量RDV_i，其中1≤i≤N。

步骤703：对于当前图像中任意一个宏块MB_k，分别计算该宏块在各个区域视点差情况下的匹配误差，记作ME(MB_k，RDV_i)，其中1≤i≤N；取其中最小的匹配误差对应的区域视点差向量作为该宏块的匹配块搜索初始点，记作RDV_MBk。

经过图7所示流程，待编码图像中的各个宏块分别对应一个区域视点差向量，而对应相同区域视点差向量的宏块就组成了一个区域。

步骤602：对于每一个宏块分别计算其视点差修正向量。

根据图7所示流程估计得到宏块MB_k的匹配块搜索初始点RDV_MBk之后，再进一步在预先设定的搜索范围内尝试视点差修正向量ΔDV′_MBk的不同取值，按照(3)式得到宏块MB_k的视点差向量DV′_MBk，

${{\mathrm{DV}}^{\′}}_{{\mathrm{MB}}_k}={{\mathrm{RDV}}_{\mathrm{MB}}}_k+{{\mathrm{\ΔDV}}^{\′}}_{{\mathrm{MB}}_k}---\left(3\right)$

再计算DV′_MBk对应的匹配误差，将其中最小的匹配误差所对应的视点差修正向量作为ΔDV′_MBk的实际取值。

步骤603：对视点差修正向量进行补偿得到最终的视点差修正向量，并对最终的视点差修正向量采用标准AVC编码方式进行编码并将编码后的视点差修正向量传输至解码端。包括如下子步骤：

步骤603a、采用AVC标准代码计算得到当前编码宏块MB_k的视点差修正向量ΔMV_MBk，记作ΔDV″_MBk。

在编码当前宏块MB_k时，AVC标准代码会依据MB_k相邻已编码块的MV值估计当前编码宏块MB_k的运动向量预测值MVp_MBk，在MVC中MVp_MBk的实际含义也可以是根据相邻宏块得到的预测视点差向量；并以MVp_MBk作为MV搜索的起始点搜索得到当前编码宏块MB_k的视点差修正向量ΔMV_MBk，按照公式(4)得到MB_k的运动向量MV_MBk。

${{\mathrm{MV}}_{\mathrm{MB}}}_k={{\mathrm{MVp}}_{\mathrm{MB}}}_k+{{\mathrm{\ΔMV}}_{\mathrm{MB}}}_k---\left(4\right)$

如果是对不同视点的两幅图像预测编码时，所谓的MV其实际的物理意义是DV，为了方便描述，用符号DV″_MBk代替MV_MBk，使用符号ΔDV″_MBk代替ΔMV_MBk，得到公式(5)：

${{\mathrm{DV}}^{\′\′}}_{{\mathrm{MB}}_k}={{\mathrm{MVp}}_{\mathrm{MB}}}_k+{{\mathrm{\ΔDV}}^{\′\′}}_{{\mathrm{MB}}_k}---\left(5\right)$

步骤603b、分别计算DV′_MBk的代价函数COST(DV′_MBk)和DV″_MBk的代价函数COST(DV″_MBk)，并比较这两个代价函数，将较小的代价函数所对应的视点差作为最终的视点差向量DV_MBk，如公式(6)所示：

${{\mathrm{DV}}_{\mathrm{MB}}}_k=\left\{\begin{array}{c}{{\mathrm{DV}}^{\&prime;}}_{{\mathrm{MB}}_k},\cos t\left({{\mathrm{DV}}^{\&prime;}}_{{\mathrm{MB}}_k}\right)<\cos t\left({{\mathrm{DV}}^{\&prime;\&prime;}}_{{\mathrm{MB}}_k}\right)\\ {{\mathrm{DV}}^{\&prime;\&prime;}}_{{\mathrm{MB}}_k},\cos t\left({{\mathrm{DV}}^{\&prime;}}_{{\mathrm{MB}}_k}\right)>=\cos t\left({{\mathrm{DV}}^{\&prime;\&prime;}}_{{\mathrm{MB}}_k}\right)\end{array}\right.---\left(6\right)$

步骤603c、如公式(7)所示，计算DV_MBk与MVp_MBk的差值，得到视点差修正向量ΔDV_MBk。并使用处理ΔMV_MBk的方法对ΔDV_MBk进行编码并传输。

${{\mathrm{\&Delta;DV}}_{\mathrm{MB}}}_k={{\mathrm{DV}}_{\mathrm{MB}}}_k-{{\mathrm{MVp}}_{\mathrm{MB}}}_k---\left(7\right)$

对于多参考图像的情况，可以依照上述方法为每一个参考图像生成视点差修正向量。

本发明技术方案具有以下技术效果：首先，仅需较小的计算量即可估计每一视点图像的视点差向量；其次，使用区域视点差向量作为精细DV搜索的初始值，可以使用较小的搜索窗进行精细DV搜索，从而大大降低编码器搜索DV所需计算量，提高编码速度；并且，该方法与AVC标准兼容不改变所生成码流，可以使用AVC编码器无差别处理DV和MV，提高了MVC与AVC的兼容性；也无需对解码端作任何修改。

本发明方法还可以采用如下替代方案：

替代方案一：在使用(6)式计算得到DV_MBk后，按照(8)式计算最终需要编码的视点差修正向量ΔDV_MBk：

${{\mathrm{\&Delta;DV}}_{\mathrm{MB}}}_k=\left\{\begin{array}{c}{{\mathrm{\&Delta;DV}}^{\&prime;}}_{{\mathrm{MB}}_k},{{\mathrm{DV}}_{\mathrm{MB}}}_k={{\mathrm{DV}}^{\&prime;}}_{{\mathrm{MB}}_k}\\ {{\mathrm{\&Delta;DV}}^{\&prime;\&prime;}}_{{\mathrm{MB}}_k},{{\mathrm{DV}}_{\mathrm{MB}}}_k={{\mathrm{DV}}^{\&prime;\&prime;}}_{{\mathrm{MB}}_k}\end{array}\right.---\left(8\right)$

也就是说，若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为DV′_MBk对应的视点差修正向量ΔDV′_MBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为DV″_MBk对应的视点差修正向量ΔDV″_MBk，ΔDV′_MBk和ΔDV″_MBk可分别依据公式(9)和公式(10)得到：

${{\mathrm{\&Delta;DV}}^{\&prime;}}_{{\mathrm{MB}}_k}={{\mathrm{DV}}_{\mathrm{MB}}}_k-{{\mathrm{RDV}}_{\mathrm{MB}}}_k---\left(9\right)$

${{\mathrm{\&Delta;DV}}^{\&prime;\&prime;}}_{{\mathrm{MB}}_k}={{\mathrm{DV}}_{\mathrm{MB}}}_k-{{\mathrm{MVp}}_{\mathrm{MB}}}_k---\left(10\right)$

公式(9)和公式(10)分别是公式(3)和公式(5)的变形。因此，替代方案一需要将差分编码时使用的是MVp_MBk还是RDV_MBk作为编码信息的一部分传递到解码端。

假设当前编码图像共有L个参考图像，那么对于每一个参考图像，需要将当前编码图像按照前面描述的区域划分与区域视点差估计算法划分为N_l(1≤l≤L，N₁≤N_l≤N_L)个区域，传输N_l个RDV到解码端，标记出当前编码图像中每个宏块使用MVp_MBk或RDV_MBk差分编码，并给出所使用RDV_MBk的索引。

解码器在解码每一个编码宏块MB_k时首先读入该宏块中的区分标记，若区分标记指示该宏块使用MVp_MBk差分编码，则可以使用解码器按照AVC标准中所规定技术计算得到；若区分标记指示该宏块使用RDV_MBk差分编码，则可以按照标记中的索引从已传输的属于图像级的M_l个RDV中获得。随后解码器读入ΔDV_MBk，相加得到该宏块的视点差向量DV_MBk。接着按照AVC标准中规定的技术处理即可解码得到该块数据。

替代方案二：替代方案二与替代方案一的相同之处在于，若当前编码图像共有L个参考图像，那么对于每一个参考图像PicRef_l(1≤l≤L)，需要将当前编码图像按照前面描述的区域划分与区域视点差估计算法划分为N_l个区域，传输N_l个RDV到解码端，并同时传输当前编码图像中每个宏块的区分标记。

替代方案二与替代方案一的不同之处在于，无需修改当前编码块DV搜索的初始值，而是平移所使用的相应的参考图像，具体方案如下：

为了描述的方便，考虑只有一个参考图像，并且参考图像与当前编码图像只存在水平方向视点差的情况。按照图7所示方法将当前编码图像划分为N个区域，并计算得到每个区域的视点差RDV₁、...、RDV_N。本替代方案对应于每一个区域视点差向量构造一个新的参考图像PicRef₁，...，PicRef_N。具体的构造方法是将原参考图像PicRef分别朝RDV_i(1≤i≤N)所指方向平移RDV_i个像素，将RDV_i所指方向的边缘RDV_i个象素删除，并在RDV_i所指方向的反方向填充RDV_i个象素。

在对当前编码图像中的每一个宏块进行视点差估计/补偿编码时，取使用该宏块所属区域的视点差向量RDV_i构造的新的参考图像PicRef_i作为参考图像进行处理。解码器可以按照所传输的区域视点差向量RDV_N按照与编码器相同的方法为当前编码图像构造N个新的参考图像，并使用所构造的新的参考图像解码当前图像。

对于使用多参考图像或者同时存在水平视点差和垂直视点差的情况也可以直接使用该替代方案。

实际应用中，可以将上述发明方案以及替代方案结合起来使用，例如将发明方案与替代方案一相结合，只需在对视点差向量进行编码传输之前，判断当前宏块MB_k的相邻宏块是否采用视图间预测方法，若是则采用发明方案进行后续处理，否则采用替代方案一进行后续处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种多视点视频编码中的视点差估计/补偿方法，其特征在于，该方法包括如下步骤：

A、根据待编码图像中对象的深度特征，将待编码图像分为一个以上的区域，并确定每个区域的区域视点差向量；

B、按照匹配误差最小化的原则，以区域视点差向量为搜索起始点计算视点差修正向量；

C、对视点差修正向量进行补偿得到最终的视点差修正向量。

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：

A1、计算待编码图像的视点差-匹配误差曲面；

A2、搜索所述视点差-匹配误差曲面中所有N个极小值点，并将每个极小值点对应的视点差作为区域视点差向量RDV_i，其中1≤i≤N；

A3、根据匹配误差最小原则为待编码图像中的像素分配一个区域视点差向量，对应相同区域视点差向量的像素则属于同一个区域。

3.根据权利要求2所述的方法，其特征在于，所述步骤A1为：将待编码图像分为M个宏块，在宏块的基础上计算待编码图像的视点差-匹配误差曲面；

所述步骤A3为：对于待编码图像中任意一个宏块MB_k，计算该宏块对应各个区域视点差向量的匹配误差ME(MB_k，RDV_i)，其中1≤i≤N；取其中最小的匹配误差对应的区域视点差向量作为该宏块的匹配块搜索初始点RDV_MBk。

4.根据权利要求3所述的方法，其特征在于，步骤B为：对于待编码图像中任意一个宏块_MBk，在预先设定的搜索范围内尝试视点差修正向量ΔDV′_MBk的不同取值，按照公式 ${{\mathrm{DV}}^{\text{'}}}_{{\mathrm{MB}}_k}={\mathrm{RDV}}_{{\mathrm{MB}}_k}+{{\mathrm{\&Lambda;}}^{\mathrm{DV}\text{'}}}_{{\mathrm{MB}}_k}$ 得到该宏块的视点差向量DV′_MBk，再计算DV′_MBk对应的匹配误差，将其中最小的匹配误差所对应的视点差修正向量作为ΔDV′_MBk的实际取值。

5.根据权利要求4所述的方法，其特征在于，所述步骤C包括：

C1、采用高级视频编码AVC计算得到当前编码宏块MB_k的视点差修正向量ΔDV″＝DV″-MV_pMHk，其中MV_pMBk为AVC中当前编码宏块MB_k根据相邻宏块得到的预测运动向量或根据相邻宏块得到的预测视点差向量；

C2、分别计算DV′_MBk的代价函数COST(DV′_MBk)和DV″_MBk的代价函数COST(DV″_MBk)，并比较这两个代价函数，将较小的代价函数所对应的视点差向量作为最终的视点差向量DV_MBk；

C3、根据DV_MBk得到最终的视点差修正向量ΔDV_MBk。

6.根据权利要求5所述的方法，其特征在于，步骤C3为：若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-MV_pMBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 $\mathrm{\&Delta;}{\mathrm{DV}}_{{\mathrm{MB}}_k}={{\mathrm{DV}}^{\text{'}\text{'}}}_{{\mathrm{MB}}_k}-{\mathrm{MVp}}_{{\mathrm{MB}}_k.}$

7.根据权利要求6所述的方法，其特征在于，步骤C之后进一步包括：采用高级视频编码AVC对所述最终的视点差修正向量进行编码并传输至解码端。

8.根据权利要求5所述的方法，其特征在于，步骤C3为：

若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-RDV_MBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 $\mathrm{\&Delta;}{\mathrm{DV}}_{{\mathrm{MB}}_k}={{\mathrm{DV}}^{\text{'}\text{'}}}_{{\mathrm{MB}}_k}-{\mathrm{MVp}}_{{\mathrm{MB}}_k.}$

9.根据权利要求8所述的方法，其特征在于，步骤C之后进一步包括：

采用AVC对所述最终将的视点差修正向量进行编码并传输至解码端；并将RDV_MBk传输至解码端。

10.根据权利要求9所述的方法，其特征在于，步骤C之后进一步包括：将用于区分宏块MB_k采用MV_pMBk或RDV_MBk差分编码的区分标记传输至解码端；

解码端读入该宏块中的区分标记，若区分标记指示该宏块使用MVp_MBk差分编码，则可以使用解码器按照AVC标准中所规定技术计算得到MVp_MBk，并将MVp_MBk与从码流中读入的ΔDV_MBk相加得到视点差向量DV_MBk；若区分标记指示该宏块使用RDV_MBk差分编码，则可以按照标记中的索引从码流中读取RDV_MBk，并与从码流中读入的ΔDV_MBk相加得到视点差向量DV_MBk。

11.根据权利要求8所述的方法，其特征在于，步骤C之后进一步包括：

解码端利用RDV_MBk将待编码图像的参考图像分别沿各个区域视点差向量所指方向移动构造新的参考图像，并使用所构造的新的参考图像解码当前图像。

12.根据权利要求5所述的方法，其特征在于，步骤C3之前进一步包括：

判断当前宏块MB_k的相邻宏块是否采用视图间预测方法，

若是，则步骤C3为：若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-RDV_MBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 $\mathrm{\&Delta;}{\mathrm{DV}}_{{\mathrm{MB}}_k}={{\mathrm{DV}}^{\text{'}\text{'}}}_{{\mathrm{MB}}_k}-{\mathrm{MVp}}_{{\mathrm{MB}}_k};$ 并且步骤C之后进一步包括：采用AVC对所述最终将的视点差修正向量进行编码并传输至解码端；并将RDV_MBk传输至解码端；

否则，步骤C3为：若最终的视点差向量为DV′_MBk，则最终的视点差修正向量为ΔDV_MBk＝DV′_MBk-MV_pMBk；若最终的视点差向量为DV″_MBk，则最终的视点差修正向量为 $\mathrm{\&Delta;}{\mathrm{DV}}_{{\mathrm{MB}}_k}={{\mathrm{DV}}^{\text{'}\text{'}}}_{{\mathrm{MB}}_k}-{\mathrm{MVp}}_{{\mathrm{MB}}_k};$ 并且步骤C之后进一步包括：采用AVC对所述最终将的视点差修正向量进行编码并传输至解码端；并将RDV_MBk传输至解码端。

13.根据权利要求1至12任一项所述的方法，其特征在于，若存在一个以上参考图像，则所述区域视点差向量和区域视点差修正向量包括对应于每一个参考图像的视点差向量和区域视点差修正向量。

Images