CN101222639A - 多视点视频技术中的视间预测方法、编码器和解码器 - Google Patents

Abstract

本发明公开了一种多视点视频技术中的视间预测方法，包括：编码端以视差向量作为参考向量对待编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测。本发明还公开了一种多视点视频编码器和一种多视点视频解码器。

Description

多视点视频技术中的视间预测方法、编码器和解码器

技术领域

本发明涉及多视点视频技术领域，特别涉及一种多视点视频技术中的视间预测方法、一种多视点视频编码器和一种多视点视频解码器。

背景技术

随着多媒体通信技术的发展，人们不再满足于传统的固定视点视觉以及2D平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内出现了对于自由视点视频和3D视频的需求。例如能够由观看者选择视角的自由视点电视(FTV)，以及为处于不同位置观看者播放不同视角视频的3DTV。上述应用都要求使用多个摄像机在不同的空间位置以不同的角度同时获取同一场景的视频信号，并有效的对所获得的一组视频信号进行压缩编码和传输。所获得的这一组视频被称为多视点视频，而对它们进行压缩编码这一过程则被称为多视点视频编码。显然多视点视频编码是实现上述所有自由视点视频类和3D视频类应用的一项关键技术。

目前，多视点视频编码是基于现有单点视频编码技术的扩展，编码端和解码端之间不传输参考向量相关信息，两侧在对宏块进行视间预测时，均直接采用单点视频编码方案中的运动向量预测机制，将视图间的视差向量(Disparity Vector)和时间轴运动向量混在一起，采用单点视频编码方案中的运动向量预测器得到所需的参考向量，从而在编码端和解码端在对宏块进行视间预测时采用相同的参考向量，在解码端能够实现正确解码。

如果对当前宏块做视间预测时，采用单点视频编码技术中的运动向量预测器得到的参考向量很大程度上是时间轴运动向量，而时间轴运动向量与视图间的视差向量在空间关系上具有很大差异，所以在根据运动向量预测器得到的参考向量进行视间预测，视间预测的精度非常低。

发明内容

有鉴于此，本发明提供了多视点视频技术中的视间预测方法、一种多视点视频编码器和一种多视点视频解码器，能够提高视间预测的预测精度。

本发明提供的一种多视点视频技术中的视间预测方法，包括：

编码端以视差向量作为参考向量对待编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；

解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测。

本发明提供的一种多视点视频编码器，包括：视间预测模块和传输模块：

所述视间预测模块用于以视差向量作为参考向量对待编码宏块进行视间预测；

所述传输模块用于获取所述待编码宏块的视差向量信息，并传输至解码端。

本发明提供的一种多视点视频解码器，包括：解码模块和视间预测模块；

所述解码模块用于接收待编码宏块的视差向量信息，将该视差向量信息传送给所述视间预测模块；

所述视间预测模块用于接收所述视差向量信息，根据该视差向量信息确定参考向量对待解码宏块进行视间预测。

从上述方案可以看出，本发明中，编码端以视差向量作为参考向量对待编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测，由于采用视差向量进行视间预测，提高了视间预测的准确性，并且通过在辅助信息中传输视差向量对应的视差信息，使得解码端能够获取编码端采用的参考向量，进行相同的视间预测，保证了解码的正确性。

附图说明

图1为在编码端进行图像预测的流程图；

图2a为前向视间参考图像；

图2b为待编码图像；

图2c为在一个视差向量分量上所进行的视图偏移示意图；

图3为视图偏移-绝对差均值曲线示意图；

图4为在编码RDV_Fwd及RDV_Bwd中各视差向量时，进行压缩编码的流程图；

图5为多视点视频编码器的结构示意图；

图6为多视点视频解码器的结构示意图。

具体实施方式

本发明具体实施例方式中，在编码端和解码端均以视差向量作为参考向量对编码宏块进行视间预测，编码器传输上述视差向量信息至解码端，使得解码端能够获知编码端进行视间预测所采用的参考向量，从而即保证了编解码的准确性，又提高了视间预测的精度，降低了编码量。

编码端可以在图像级辅助信息，如图像头信息或条带头信息中编码并传输上述视差向量信息。另外，上述视差向量信息可以为视差向量自身，也可以为深度信息。当视差向量信息为深度信息时，编码端在将上述作为参考向量的视差向量转换为深度信息后，将该深度信息传输至所述解码端；则解码端获取所述深度信息后，求解出对应的视差向量，将该视差向量确定为参考向量，对所述宏块进行视间预测。

以视差向量作为参考向量对待编码宏块进行视间预测可以包括：

在待编码宏块的已编码相邻块中，存在采用视间预测的宏块时，根据所述采用视间预测的已编码宏块采用的视差向量，确定待编码宏块的参考向量，并进行视间预测。这里，在根据所述采用视间预测的已编码宏块采用的视差向量，确定待编码宏块的参考向量时，优先选择与当前待编码宏块采用相同参考图像的宏块对应的视差向量。如果在相邻采用视间预测的已编码宏块中，没有与当前块采用相同参考图像的宏块时，则将与当前待编码宏块采用不同参考图像的宏块对应的视差向量，按视图空间比例缩放，并进行方向校正后，确定为当前待编码宏块的参考向量。

以视差向量作为参考向量对待编码宏块进行视间预测可以包括：

在待编码宏块的已编码相邻块中，不存在采用视间预测的宏块时，获取为待编码宏块计算的最佳匹配视差向量作为参考向量进行视间预测。

在获取为待编码宏块计算的最佳匹配视差向量作为参考向量进行视间预测方式中，编码端在编码当前待编码图像前，求解出对应所有可能视差向量的待编码图像与参考图像绝对差值，找出求解出的绝对差值中的所有局部极小值，并对每个局部极小值对应的视差向量按采用频率进行降序排列，取其中的前M个视差向量作为视差向量备选值集合；其中，M为大于等于1的整数；

则所述为待编码宏块计算最佳匹配视差向量包括：对所述待编码宏块，在所述视差向量备选值集合中，根据待编码宏块与参考宏块绝对差值最小原则，选择最佳匹配视差向量作为参考向量。

将所述待编码宏块的视差向量信息传输至解码端可以包括：

在所述待编码图像的图像头信息中编码所述视差向量备选值集合中的所有视差向量，并传输所述图像头信息至解码端；和，

在所述宏块的宏块头中，编码所述选择的最佳匹配视差向量对应的索引值；

所述解码端在解码宏块时，根据所述索引值和所述图像头信息中包括的视差向量确定该宏块对应的视差向量。

较佳地，上述M取2ⁱ，其中i为大于等于1的整数，则在宏块头中编码索引值时，可以采用i个比特位进行编码，减小了编码量，并充分利用了编码空间。

以下结合附图对本发明的具体实施例进行详细说明。

如图1所示，为本实施例基于的在编码端，即在编码器中进行图像预测的流程图，该流程包括如下步骤：

步骤101、判断对当前待编码图像是否进行帧间预测，如果是执行步骤102；否则，按现有流程进行处理。

步骤102、判断是否对当前待编码图像进行前向(P)帧预测，如果是执行步骤103；否则执行步骤105。

步骤103、进行前向区域视差向量(RDV)计算，确定前向视差向量备选值集合。

本步骤中，首先进行区域视点差估计，求解前向区域视差向量集合。即求解每一视差向量对应的，待编码图像与前向视间参考图像绝对差值，找出求解出的绝对差值中所有局部极小值，将这些局部极小值对应的视差向量作为前向区域视差向量集合中的元素。

图2a所示为前向视间参考图像，图2b所示为待编码图像，图2c为在一个视差向量分量上所进行的视图偏移示意图。其中前向视间参考图像和待编码图像为同一时刻相邻的两个视点的视图。按照图2c所示，逐像素改变参考图像与编码图像间的偏移量，并使用(1)式计算重叠区域的平均绝对差值，从而得到图3中所示的视图偏移-绝对差均值曲线。

$\mathrm{MAD}\left(x\right)=\frac{1}{h(w-x)}\underset{i=0}{\overset{w-x-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}|I_r(i+x,j)-I_c(i,j)|,(0\≤x\≤X)---\left(1\right)$

式(1)中Ir和Ic分别代表参考图像与编码图像；w与h分别是图像的宽度与高度；i，j分别表示图像中像素点的水平与垂直坐标；x取整像素值，是编码图像相对于参考图像间的偏移量。

图2c和图3以在视差向量的一个分量上所进行偏移和绝对差值进行了示例性说明，在实际中，需要在视差分量的两个分量上进行绝对差值的计算如公式(2)所示：

$\mathrm{MAD}(x,y)=\frac{1}{(h-y)(w-x)}\underset{i=0}{\overset{w-x-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{h-y-1}{\mathrm{\Σ}}}|I_r(i+x,j+y)-I_c(i,j)|,(0\≤x\≤X)(0\≤y\≤Y)---\left(2\right)$

通过公式(2)可以构造出视图偏移-绝对差均值曲面，在该曲面上寻找视图偏移-绝对差均值曲线上所有N1个局部极小值点，它们就是编码图像的前向区域视差向量，记为： $\mathrm{RD}{V}_{\mathrm{Fwd}}^1=\{{\mathrm{RDV}}_1^1,{\mathrm{RDV}}_2^1,...,{\mathrm{RDV}}_{N1}^1\}.$ 对RDV_Fwd ¹集合中各视差向量，根据待编码图像中各个宏块对视差向量的采用频率，按降序进行重排序得到 $\mathrm{RD}{V}_{\mathrm{Fwd}}^2=\{{\mathrm{RDV}}_1^2,{\mathrm{RDV}}_2^2,...,{\mathrm{RDV}}_{N1}^2\}.$ 提取RDV_Fwd ²中前M1(M₁＝2ⁱ，(i＝0，1，...，N))个视差向量构成前向视差向量备选值集合，即待编码图像视间预测参考向量的备选值集合，记为： $\mathrm{RD}{V}_{\mathrm{Fwd}}=\{{\mathrm{RDV}}_1^F,{\mathrm{RDV}}_2^F,...,{\mathrm{RDV}}_{M1}^F\}.$

本步骤中或者在步骤104中，可以进一步为待编码图像中的每一个宏块MB_k，根据MMAD原则，即根据待编码宏块与参考宏块绝对差值最小原则，在前向视差向量备选值集合中选择最佳匹配视差向量

，如公式(4)所示：

${\mathrm{RDV}}_{M{B}_k}^B=\underset{\mathrm{RD}{V}_i^B\∈{\mathrm{RDV}}_{\mathrm{Bwd}}}{\arg \min }\left\{{\mathrm{MAD}}_{{\mathrm{MB}}_k}\left({\mathrm{RDV}}_i^B\right)\right\}---\left(4\right)$

步骤104、在辅助信息，如该待编码图像的图像头信息中，进行前向RDV编码，即编码前向视差向量备选值集合，然后执行步骤107。

本步骤中，在辅助信息中首先编码RDV_Fwd中视差向量个数M1；再编码RDV_Fwd中各视差向量。

步骤105、进行前向RDV计算和后向RDV计算，分别确定前向视差向量备选值集合和后向视差向量备选值集合。

这里，确定前向视差向量备选值集合采用步骤103中采用的方式，类似地，本步骤中在计算后向视差向量备选值集合时，首先求解后向区域视差向量集合，即求解每一视差向量对应的，待编码图像与后向视间参考图像绝对差值，找出求解出的绝对差值中所有局部极小值，将这些局部极小值对应的视差向量作为后向区域视差向量集合中的元素，后向区域视差向量集合记为： $\mathrm{RD}{V}_{\mathrm{Bwd}}^1=\{{\mathrm{RDV}}_1^1,{\mathrm{RDV}}_2^1,...,{\mathrm{RDV}}_{N2}^1\}.$ 对RDV_Bwd ¹集合中各视点差量根据各视差向量，根据待编码图像中各个宏块对视差向量的采用频率，按降序进行重排序得到： $\mathrm{RD}{V}_{\mathrm{Bwd}}^2=\{{\mathrm{RDV}}_1^2,{\mathrm{RDV}}_2^2,...,{\mathrm{RDV}}_{N2}^2\}.$ 提取RDV_Bwd ²中前M₂(M₂＝2ⁱ，i≥0，M₂≤M₁)个视差向量得到后向视差向量备选值集合： $\mathrm{RD}{V}_{\mathrm{Bwd}}=\{{\mathrm{RDV}}_1^B,{\mathrm{RDV}}_2^B,...,{\mathrm{RDV}}_{M2}^B\}.$

本步骤中或者步骤106中，可以进一步在前向视差向量备选值集合和后向视差向量备选值集合中，为待编码图像中的每一个宏块根据MMAD原则，分别在前向视差向量备选值集合和后向视差向量备选值结合中选择最佳匹配视差向量。

步骤106、在辅助信息，如该待编码图像的图像头信息中，极性前向RDV和后向RDV编码，即编码前向视差向量备选值集合和后向视差向量备选值集合。

本步骤中，在编码RDV_Fwd及RDV_Bwd中各视差向量时，按照如4所示的如下步骤进行压缩编码：

步骤401、编码RDV_Fwd中视差向量个数M1；

步骤402、编码RDV_Fwd中各视差向量；

步骤403、编码RDV_Bwd中视差向量个数与RDV_Fwd中视差向量个数之差(M1-M2)；

步骤404、编码RDV_Bwd中视差向量RDV_i ^B各分量的符号，及对RDV_i ^B各分量的绝对值与RDV_Fwd中对应视差向量RDV_i ^F各分量的绝对值进行差分编码，如公式(5)所示：

${\mathrm{RDV}}_i^{B^{\′}}=\underset{{\mathrm{RDV}}_i^{\′}\∈{\mathrm{RDV}}_{\mathrm{Bwd}}^{\′}}{\arg \min }\left\{\right|\left(\right|{\mathrm{RDV}}_i^F\_x|-|{\mathrm{RDV}}_i^{\′}\_x\left|\right|)+\left|\left(\right|{\mathrm{RDV}}_i^F\_y|-|{\mathrm{RDV}}_i^{\′}\_y\left|\right)\right|\}---\left(5\right)$

步骤107、在对宏块进行编码时，判断对宏块是否进行视间预测，如果是执行步骤108；否则按现有流程进行处理。

在对宏块进行预测时，可能采用视间预测也可能采用时间预测，当采用时间预测时，可以采用现有的方式进行预测；当采用视间预测时，执行步骤108及后续步骤。

步骤108、确定该宏块进行视间预测的参考图像，并判断该宏块的相邻已编码宏块中是否存在视差向量相关信息，即相邻已编码宏块是否存在采用视间预测，如果是，则执行步骤109；否则执行步骤110。

这里，确定进行视间预测的参考图像是指，确定当前待编码宏块进行视间预测采用的参考图像是前向参考图像、后向参考图像还是前、后向参考图像均采用，即确定是进行前向预测、后向预测还是双向预测。当然，如果在步骤104后执行本步骤，则确定的参考图像一定是前向参考图像。

步骤109、在采用视间预测的相邻已编码宏块中，选择与当前待编码宏块采用相同参考图像的宏块，并将该宏块的进行视间预测所采用的视差向量作为当前待编码宏块进行视间预测的参考向量，并进行视间预测。

本步骤中，如果与当前待编码宏块采用相同参考图像的已编码宏块有多个，则可以根据预先设定的规则，如按宏块编码类型或子宏块编码类型，选择一个已编码宏块对应的视差向量，作为当前待编码宏块进行视间预测的参考向量；也可以取这多个已编码宏块所对应的视差向量的平均值，作为当前待编码宏块进行视间预测的参考向量。当然，在解码端与在编码端采用相同的方式进行参考向量的选择。

如果在本步骤中，所有采用视间预测的相邻已编码宏块均与当前待编码宏块采用不同的参考图像，则根据预先设定的规则，如按宏块编码类型或子宏块编码类型，选择一个已编码宏块所采用的视差向量，按视图空间比例缩放、进行方向校正后作为当前待编码宏块的参考向量。

步骤110、在当前待编码宏块的宏块头中，编码该宏块对应的最佳匹配视差向量的索引值，并将该最佳匹配视差向量作为参考向量进行视间预测。

这里，如果该宏块采用前向预测，则采用该宏块在前向视差向量备选值集合中对应的最佳匹配视差向量；如果该宏块采用后向预测，则采用该宏块在后向视差向量备选值集合中对应的最佳匹配视差向量；如果采用双向预测，则先编码前向视差向量备选值集合中对应的最佳匹配视差向量再编码后向视差向量备选值集合中对应的最佳匹配视差向量。

如果在前序步骤中已经完成对当前待编码图像中的所有宏块，均完成了选择最佳匹配视差向量的步骤，则本步骤中直接根据选择的最佳匹配视差向量直接在宏块头中编码该最佳匹配视差向量的索引值；否则，在本步骤中为当前待编码宏块在视差向量备选值集合中依据MMAD原则选择最佳匹配视差向量，然后再在宏块头中编码该最佳匹配视差向量的索引值。

这里，索引值根据最佳匹配向量在视差向量备选值集合中的位置确定，索引值所占的比特数量为：log₂M，其中M为视差向量备选值集合中的元素数量，即上述M1或M2。如，集合中的元素数量为4个，则索引值所占的比特数量为2个，则00表示集合中的第一个元素，即在图像头中第一个编码的视差向量；01代表第二个元素，10代表第三个元素，11代表第四个元素。这样，就大大减小了在宏块中编码视差向量时，所占用的数据量。

编码端在上述编码后的图像头信息和宏块头信息传送到解码端后，解码端从图像头信息中解析出前向参考图像备选值集合，或者解析出前向参考图像备选值集合和后向参考图像备选值集合，再根据从采用视间预测宏块的宏块头信息中解析出的索引值，就能够确定作为当前待解码宏块视间预测参考向量的视差向量，从而能够与编码端进行相同的视间预测，保证了视间预测的准确性。

本发明具体实施例中还提供了一种多视点视频编码器，如图5所示，该编码器包括：视间预测模块和传输模块：所述视间预测模块用于以视差向量作为参考向量对待编码宏块进行视间预测；所述传输模块用于获取所述待编码宏块的视差向量信息，并传输至解码端。

本发明具体实施例中还提供了一种多视点视频解码器，如图6所示，该解码器包括：解码模块和视间预测模块；所述解码模块用于接收待编码宏块的视差向量信息，将该视差向量信息传送给所述视间预测模块；所述视间预测模块用于接收所述视差向量信息，根据该视差向量信息确定参考向量对待解码宏块进行视间预测。

以上是对本发明具体实施例的说明，在具体的实施过程中可对本发明的方法进行适当的改进，以适应具体情况的具体需要。因此可以理解，根据本发明的具体实施方式只是起示范作用，并不用以限制本发明的保护范围。

Claims (15)

1.一种多视点视频技术中的视间预测方法，其特征在于，该方法包括：

编码端以视差向量作为参考向量对待编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；

解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测。

2.根据权利要求1所述的方法，其特征在于，所述编码端在传输至解码端的辅助信息中编码所述视差向量信息。

3.根据权利要求2所述的方法，其特征在于，编码端将能够解析出所述视差向量的深度信息作为视差向量信息传输至所述解码端；

所述解码端获取所述深度信息后，求解出对应的视差向量，将该视差向量确定为参考向量，对所述宏块进行视间预测。

4.根据权利要求2所述的方法，其特征在于，所述的辅助信息为图像头信息或条带头信息。

5.根据权利要求1所述的方法，其特征在于，所述以视差向量作为参考向量对待编码宏块进行视间预测包括：

在待编码宏块的已编码相邻块中，存在采用视间预测的宏块时，根据所述采用视间预测的已编码宏块采用的视差向量，确定待编码宏块的参考向量，并进行视间预测。

6.根据权利要求5所述的方法，其特征在于，根据所述采用视间预测的已编码宏块采用的视差向量，确定待编码宏块的参考向量时，优先选择与当前待编码宏块采用相同参考图像的宏块对应的视差向量。

7.根据权利要求6所述的方法，其特征在于，如果在相邻采用视间预测的已编码宏块中，没有与当前块采用相同参考图像的宏块时，将与当前待编码宏块采用不同参考图像的宏块对应的视差向量，按视图空间比例缩放，并进行方向校正后，确定为当前待编码宏块的参考向量。

8.根据权利要求1所述的方法，其特征在于，所述以视差向量作为参考向量对待编码宏块进行视间预测包括：

在待编码宏块的已编码相邻块中，不存在采用视间预测的宏块时，获取待编码宏块计算的最佳匹配视差向量作为参考向量进行视间预测。

9.根据权利要求8所述的方法，其特征在于，编码端在编码当前待编码图像前，求解出对应所有可能视差向量的待编码图像与参考图像绝对差值，找出求解出的绝对差值中的所有局部极小值，并对每个局部极小值对应的视差向量按采用频率进行降序排列，取其中的前M个视差向量作为视差向量备选值集合；

则所述为待编码宏块计算最佳匹配视差向量包括：对所述待编码宏块，在所述视差向量备选值集合中，根据待编码宏块与参考宏块绝对差值最小原则，选择最佳匹配视差向量作为参考向量。

10.根据权利要求9所述的方法，其特征在于，将所述待编码宏块的视差向量信息传输至解码端包括：

在所述待编码图像的图像头信息中编码所述视差向量备选值集合中的所有视差向量，并传输所述图像头信息至解码端；和，

在所述宏块的宏块头中，编码所述选择的最佳匹配视差向量对应的索引值；

所述解码端在解码宏块时，根据所述索引值和所述图像头信息中包括的视差向量确定该宏块对应的视差向量。

11.根据权利要求10所述的方法，其特征在于，在所述图像头信息中编码视差向量备选值集合中的所有视差向量包括：编码视差向量备选值集合中包括的视差向量个数M，然后依次编码各个视差向量；

所述索引值对应的比特数量为：log₂M。

12.根据权利要求9至11中任一所述的方法，其特征在于，所述求解出对应所有可能视差向量的待编码图像与参考图像绝对差值之前进一步包括：

判断当前的待编码图像是否采用帧间预测，如果是，且采用前向帧预测，则将前向视间图像作为参考图像，然后执行所述的求解出对应所有可能视差向量的待编码图像与参考图像绝对差值的步骤。

13.根据权利要求12所述的方法，其特征在于，如果确定出当前的待编码图像采用帧间预测，但采用双向预测，则将前向视间图像和后向视间图像均作为参考图像，然后，针对前向视间图像作为参考图像，执行所述求解出对应所有可能视差向量的待编码图像与参考图像绝对差值的步骤；并针对后向视间图像作为参考图像，执行所述求解出对应所有可能视差向量的待编码图像与参考图像绝对差值的步骤；

则所述图像头信息中编码视差向量备选值集合中的所有视差向量包括：

编码前向视间图像作为参考图像所得到的前向视差向量备选值集合中包括的前向视差向量个数M1；

顺序编码所述M1个前向视差向量；

编码所述M1，与后向视间图像作为参考图像所得到的后向视差向量备选值集合中包括的后向视差向量的个数M2之差：M1-M2；

对所述M2个后向视差向量，先编码每个后向视差向量各分量的符号，再对各后向视差向量各个分量的绝对值对应所述前向视差向量各个分量的绝对值进行差分编码。

14.一种多视点视频编码器，其特征在于，该编码器包括：视间预测模块和传输模块：

所述视间预测模块用于以视差向量作为参考向量对待编码宏块进行视间预测；

所述传输模块用于获取所述待编码宏块的视差向量信息，并传输至解码端。

15.一种多视点视频解码器，其特征在于，该解码器包括：解码模块和视间预测模块；

所述解码模块用于接收待编码宏块的视差向量信息，将该视差向量信息传送给所述视间预测模块；

所述视间预测模块用于接收所述视差向量信息，根据该视差向量信息确定参考向量对待解码宏块进行视间预测。

Images