CN101222627A - 一种多视点视频编解码系统以及预测向量的方法和装置 - Google Patents

Abstract

本发明公开了一种在多视点视图编码中预测向量的方法，该方法包括：确定当前图像块采用的编码方式；当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量；当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量。本发明还公开了一种在多视点视图编码中预测向量的装置，其特征在于，该装置包括：当前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动向量预测单元。本发明还公开了在多视点视图解码中预测向量的方法，多视点视图编解码系统。根据本发明公开的方法、装置和系统，能够改善视点差向量的预测以及运动向量的预测的精度，提高多视点视频的编码效率。

Description

一种多视点视频编解码系统以及预测向量的方法和装置

技术领域

本发明涉及编码技术，特别是指一种多视点视频编解码系统，在多视频编解码系统中预测向量的方法和装置。

背景技术

随着多媒体通信技术的发展，人们不再满足于传统的固定视点视觉以及2D平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内，出现了对于自由视点视频和3D视频的需求。例如能够由观看者选择视角的自由视点电视(FTV)，以及为处于不同位置观看者播放不同视角视频的立体视觉电视(3DTV)。上述应用都要求使用多个摄像机，在不同的空间位置，以不同的角度，同时获取同一场景的视频信号，并有效地对所获得的一组视频信号，进行压缩编码和传输。所获得的这一组视频称为多视点视频，而对所述多视点视频进行压缩编码的过程称为多视点视频编码。显然，多视点视频编码是实现自由视点视频类和3D视频类应用的一项关键技术。

在现有的多视点视频编码中，对编码图像中的不同图像块，采用不同的编码方式进行编码，例如，对部分图像块使用视图内帧间预测编码方式编码，对部分图像块利用视图间帧间预测编码方式进行编码。而在不同的编码过程中，都按照H.264/AVC标准中所规定的MV预测方式预测向量。

由于，在多视点视频中，图像块的向量分为运动向量和视点差向量，而运动向量与视点差向量之间通常是没有任何相关性的，所以，根据观有技术，无法准确预测各图像块的向量，向量的预测精度不高，从而导致编码效率降低。

发明内容

本发明实施例提供一种在多视点视频编码中预测向量的方法，提高向量的预测精度。

本发明实施例提供一种在多视点视频编码中预测向量的装置，提高向量的预测精度。

本发明实施例提供一种在多视点视频解码中预测向量的方法，提高向量的预测精度。

本发明实施例提供一种多视点视频编解码系统，提高编码、解码过程中向量的预测精度。

本发明实施例提供一种在多视点视图编码中预测向量的方法，该方法包括：确定当前图像块采用的编码方式；当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量；当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量。

本发明实施例提供一种在多视点视图编码中预测向量的装置，该装置包括：当前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动向量预测单元；其中，所述当前图像块确定单元用于确定当前编码的图像块；所述编码方式确定单元用于确定当前图像块采用的编码方式，将采用视图间帧间预测编码方式的信息，发送给所述视点差向量预测单元，将采用视图内帧间预测编码方式的信息，发送给所述运动向量预测单元；所述视点差向量预测单元用于根据得到的编码方式信息，预测当前图像块的视点差向量；所述运动向量预测单元用于根据得到的编码方式信息，预测当前图像块的运动向量。

本发明实施例提供一种在多视点视图解码中预测向量的方法，该方法包括：确定当前图像块采用的解码方式；当确定当前图像块采用与视图间帧间预测编码方式相对应的解码方式时，预测当前图像块的视点差向量；当确定当前图像块采用与视图内帧间预测编码方式相对应的解码方式时，预测当前图像块的运动向量。

本发明实施例提供一种多视点视频编解码系统，包括编码端和解码端；其特征在于，所述编码端包括：编码中向量预测装置、编码单元，所述解码端包括：解码中向量预测装置、解码单元；所述编码中向量预测装置用于确定当前编码图像块采用的编码方式，当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量，当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量；所述编码单元用于利用所述编码中向量预测装置预测的向量，编码当前编码图像块，并发送给解码端；所述解码中向量预测装置用于接收编码端发送的编码码流，确定当前解码图像块采用的解码方式，当确定当前解码图像块采用与视图间帧间预测编码方式相对应的解码方式时，预测当前图像块的视点差向量，当确定当前图像块采用与视图内帧间预测编码方式相对应的解码方式时，预测当前图像块的运动向量；所述解码单元用于利用所述解码中向量预测装置预测的向量，解码当前解码图像块。

根据本发明实施例提供的编码过程中的向量预测方法和装置，在多视点视频编码过程中，针对不同的编码方式，预测不同的向量，从而能够改善视点差向量的预测以及运动向量的预测的精度，提高多视点视频的编码效率。

根据本发明实施例提供的解码过程中的向量预测方法，在多视点视频解码过程中，针对采用不同编码方式编码的图像块解码时，预测不同的向量，从而能够改善视点差向量的预测以及运动向量的预测的精度，提高多视点视频的解码效率。

根据本发明实施例提供的多视点视频编解码系统，在多视点视频编码过程中，针对不同的编码方式，预测不同的向量，在多视点视频解码过程中，针对采用不同编码方式编码的图像块解码时，预测不同的向量，从而能够改善视点差向量的预测以及运动向量的预测的精度，提高多视点视频的编码、解码效率。

附图说明

图1所示为本发明实施例中在多视点视频编码中预测向量的流程图；

图2所示为本发明实施例中预测视点差向量的流程图；

图3所示为本发明实施例中计算各图像块所属区域的区域视点差向量的流程图；

图4所示为本发明实施例中在同一时间点上，相邻视点图像的示意图；

图5所示为本发明实施例中编码图像的偏移示意图；

图6所示为本发明实施例中视图偏移-平均绝对差值曲线示意图；

图7所示为本发明实施例中编码图像中每一个图像块所属区域的区域视点差向量示意图；

图8所示为本发明实施例中预测运动向量的流程图；

图9所示为本发明实施例中运动向量预测值推导示意图；

图10所示为本发明实施例中点M所在相邻视点视图中的外极线示意图；

图11所示为在多视点视图编码中预测向量的装置结构图；

图12所示为本发明实施例中在多视点视频解码中预测向量的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面举具体实施例，对本发明作进一步详细的说明。

本发明实施例中，在多视点视频编码过程中，针对不同的编码方式，预测不同的向量，从而提高向量的预测精度。

图1所示为本发明实施例中，在多视点视频编码中预测向量的流程图。具体为：

步骤101：确定当前图像块采用的编码方式，如果当前图像块采用视图间帧间预测编码方式，则执行步骤102；如果当前图像块采用视图内帧间预测编码方式，则执行步骤103。

其中，图像块可以为16×16的块，也可以为4×4的块，对图像块的大小没有特别的限制。

在此，确定当前图像块的编码方式的具体步骤为：首先对当前图像块搜索参考图像，所述参考图像分为：视图内帧间参考图像和视图间参考图像。然后，根据搜索的不同类型的参考图像，分别采用相应的编码方式进行编码后，比较各编码方式的编码效率，并将编码效率最好的编码方式，确定为当前图像块的编码方式。在此，如果选择视图内帧间参考图像，则采用视图内帧间预测编码方式，如果选择视图间参考图像，则采用视图间帧间预测编码方式和视图内帧间预测编码方式。

步骤102：预测当前图像块的视点差向量(DV)。

由于在视图间帧间预测编码方式中，当前编码图像的参考图像为同一时间点上的不同视点上的图像，即为视图间参考图像，因此，用视点差向量描述当前图像块较为准确。

步骤103：预测当前图像块的运动向量(MV)。

由于在视图内帧间预测编码方式中，当前编码图像的参考图像为相同视点上的不同时间点上的图像，即为视图内帧间参考图像，因此，用运动向量描述当前图像块较为准确。

如上所述，根据各图像块采用的编码方式不同，预测适合各编码方式的向量，提高向量的精度，提高编码效果。

通过以上步骤，对当前编码的图像块进行向量的预测，得到向量的预测值后，将该预测值作为搜索匹配块的起始点，查找最佳匹配块，根据预测值估计得到当前图像块，编码传输当前图像块的估计值。解码端则重复向量的预测过程，得到当前解码的图像块的向量的预测值后，恢复当前图像块。

下面，分别给出确定编码方式后，预测DV的方法和预测MV的方法。

图2所示为预测视点差向量的流程，如图2所示，通过以下步骤预测视点差向量。

步骤201：判断当前图像块的相邻图像块中，是否仅含有MV信息，如果是，则执行步骤202；否则，执行步骤203。

其中，例如，当前图像块的左图像块、左上图像块、上图像块、右上图像块，可以是当前图像块的相邻图像块。

在此，判断相邻图像块中是否仅含有MV信息的步骤为：确定各相邻图像块所采用的编码方式，判断所有相邻图像块是否都采用视图内帧间预测编码方式，如果所有相邻图像块都采用视图内帧间预测编码方式，则说明所有相邻图像块中仅含有MV信息；否则，如果有采用例如视图间帧间预测编码方式的相邻图像块，则该相邻图像块中含有DV信息。

步骤202：获取当前图像块所属区域的区域视点差向量，将当前图像块所属区域的区域视点差向量，作为当前图像块的视点差向量预测值

本发明实施例中，当前图像块记为MB_k，当前图像块的MB_k的视点差向量预测值记为

对所述使用区域视点差向量预测视点差向量的当前图像块进行编码时，还需要进一步编码当前图像块所属区域的区域视点差向量，以解码端重复当前图像块的视点差向量的预测过程。

图像块所属区域的区域视点差向量的计算方法，下面给出详细的介绍。

步骤203：使用H.264/AVC标准中所规定的MV预测方法，计算得到当前图像块MB_k的视点差向量预测值

在此，对H.264/AVC标准中所规定的MV预测方法不再详细描述。

以上所述的视点差向量的预测过程中，利用了区域视点差向量。下面，介绍区域视点差估计方法。

图3所示为计算各图像块所属区域的区域视点差向量的流程图，如图3所示，包括以下步骤：

步骤301：对当前编码图像，计算针对参考图像的不同视图偏移情况下的平均绝对差值(MAD)。

图4所示为在同一时间点上，相邻两个视点的视图，(a)为参考图像，(b)为编码图像。图5所示为编码图像的偏移示意图。如图5所示，首先将参考图像和编码图像完全重叠，然后以参考图像为基准，逐象素地偏移编码图像。在图5所示的偏移过程中，使用(1)式，计算参考图像和编码图像之间的重叠区域的MAD，从而得到图6所示的视图偏移和MAD之间的关系曲线。

$\mathrm{MAD}\left(x\right)=\frac{1}{h(w-x)}\underset{i=0}{\overset{w-x-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}|I_r(i+x,j)-I_c(i,j)|,(0\≤x\≤X)---\left(1\right)$

式(1)中，Ir和Ic分别表示参考图像和编码图像；w和h分别是图像的宽度和高度；i和j分别表示图像中象素点的水平坐标和垂直坐标；x是编码图像相对于参考图像的水平偏移量，取整象素值。

以上是水平偏移时的MAD计算方法。当然，还可以计算包括水平和垂直的二维偏移时的MAD，如(2)式所示。

$\mathrm{MAD}(x,y)=\frac{1}{(h-y)(w-x)}\underset{i=0}{\overset{w-x-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{h-y-1}{\mathrm{\Σ}}}|I_r(i+x,j+y)-I_c(i,j)|,(0\≤x\≤X,0\≤y\≤Y)---\left(2\right)$

其中，y是编码图像相对于参考图像的垂直偏移量，取整象素值。

步骤302：根据所得到的MAD，确定编码图像的区域视点差向量(RDV)。

在图6所示的视图偏移和MAD之间的关系曲线中，获取MAD值中所有的局部极小值点，并将这些局部极小值点所对应的视图偏移量，确定为编码图像的区域视点差向量，记为：RDV＝{RDV₁，RDV₂，...，RDV_N}。

在此，如果计算了二维偏移时的MAD，则所得到的区域视点差向量包括水平分量DVx和垂直分量DVy。

步骤303：根据编码图像的区域视点差向量，得到各图像块所属区域的区域视点差向量。

对于当前编码图像中的每一个图像块，例如第k个图像块MB_k，依据最小平均绝对差值(MMAD)准则，从所有的区域视点差向量RDV₁，RDV₂，...，RDV_N中，查找MB_k的最佳匹配区域的区域视点差向量，具体为：根据步骤302中得到的编码图像的区域视点差向量，计算当前图像块MB_k的MAD，并选择使MAD最小的区域视点差向量为该图像块所属区域的视点差向量预测值，如式(3)所示。

$\mathrm{RD}{V}_{{\mathrm{MB}}_k}=\underset{{\mathrm{RDV}}_i\∈\mathrm{RDV}}{\arg \min }\left\{{\mathrm{MAD}}_{{\mathrm{MB}}_k}\left({\mathrm{RDV}}_i\right)\right\}---\left(3\right)$

通过以上步骤，对图4(b)的编码图像，计算得到各图像块所属区域的区域视点差向量，如图7所示。

如步骤202所述，各图像块所述区域的区域视点差向量值，可以作为相应图像块的视点差向量预测值。这种基于区域视点差估计技术的视点差向量预测，可以提高视点差估计精度，减小视图间预测得到的差值信号，提高多视点视频的编码效率。

图8所示为预测运动向量的流程图。如图8所示，运动向量的预测通过如下步骤实现。

步骤801：判断当前图像块的相邻图像块中，是否仅含有DV信息，如果是，则执行步骤803；否则，执行步骤802。

在此，判断相邻图像块中是否仅含有DV信息的方法为：确定当前图像块的相邻图像块所采用的编码方式，并判断当前图像块的所有相邻图像块是否都采用视图间帧间预测编码方式，如果所有相邻图像块都采用视图间帧间预测编码方式，则相邻图像块中仅含有DV信息；否则，如果有采用例如视图内帧间预测编码方式的相邻图像块，则该相邻图像块中含有MV信息。

步骤802：使用H.264/AVC标准中所规定的MV预测方法，计算得到当前图像块MB_k的运动向量预测值

结束本流程。

步骤803：得到当前图像块MB_k的视点差向量预测值

在本步骤中，可以将相邻图像块的DV的中值滤波结果，作为当前图像块MB_k的视点差向量预测值

其中，所述的中值滤波结果，可以是当前图像块的所有相邻图像块的视点差向量的平均值，也可以是当前图像块的某一相邻图像块的视点差向量。

步骤804：判断当前图像块的视点差向量预测值

在当前编码图像的视图间参考图像中所指向的图像块是否含有MV信息，如果

在当前编码图像的视图间参考图像中所指向的图像块不含有MV信息，则执行步骤805；如果

在当前编码图像的视图间参考图像中所指向的图像块含有MV信息，则执行步骤806。

判断图像块是否含有MV信息的方法为：确定该图像块的编码方式，如果编码块采用帧内预测编码方式，或采用视图间帧间预测编码方式，则该图像块中不含有MV信息，如果编码块采用视图内帧间预测编码方式，则该图像块中含有MV信息。

步骤805：将当前图像块的运动向量预测值

置为0。结束本流程。

步骤806：判断，所述

在当前编码图像的视图间参考图像中所指向的图像块的MV在参考视点中所指向的视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参考图像，是否在相同的时间点上，如果在相同的时间点上，则执行步骤807；如果不在相同的时间点上，则执行步骤808。

步骤807：将当前图像块的视点差向量预测值

在当前编码图像的视图间参考图像中所指向的图像块的运动向量

作为当前图像块MB_k的运动向量预测值

在此，结合图9所示的运动向量预测示意图，介绍各图像块之间的关系以及各图像块的向量之间的关系。图9中，MB_1，k表示编码视点中的第k个图像块，为当前编码的图像块，MB_2，k表示MB_1，k在参考视点中的同位置图像块，

为当前图像块MB_1，k的视点差向量预测值，MB_2，j表示由MB_1，k的视点差向量预测值

在参考视点的参考图像中所指向的图像块，为MB_2，j的运动向量。本步骤807中，将MB_2，j的运动向量的值，作为当前编码的图像块MB_1，k的运动向量预测值

步骤808：将当前图像块的视点差向量预测值

在当前编码图像的视图间参考图像中所指向的图像块的MV，按一定比例作为当前图像块的运动向量预测值

如式(4)所示：

${\mathrm{MVP}}_{{\mathrm{MB}}_k}=\mathrm{scalar}\·{\mathrm{MV}}_{{\mathrm{MB}}_{2,j}}---\left(4\right)$

式(4)中，

为图9所示的MB_2，j的运动向量，scalar是缩放系数。例如，scalar可以是

在当前编码图像的视图间参考图像中所指向的图像块的MV所指向的参考视点中的视图内帧间参考图像的时间点，和当前图像块的MV所指向的编码视点中的视图内帧间参考图像的时间点之间的比值。

在本步骤808中，也可以将当前图像块的运动向量预测值

置为0。

以上步骤806～808所述，使用当前图像块的视点差向量预测值在当前编码图像的视图间参考图像中所指向的图像块的MV信息，预测当前图像块的运动向量，因此，能够进一步利用运动向量的视图间相关性提高预测精度，减小运动向量差值，从而提高多视点视频的编码效率。

下面，介绍对使用区域视点差向量预测视点差向量的图像块进行编码时，需要进一步编码该图像块所属区域的区域视点差向量的具体实现方法。

考虑到编码图像中多个图像块使用区域视点差向量预测视点差向量，所以，为了节省编码码率，可以将每一帧编码图像的所有区域视点差向量编码传输，另外，还需要对使用区域视点差向量预测视点差向量的图像块，编码传输该图像块所使用的RDV的索引值。

图10所示为，客观世界中的点M所在相邻视点视图中的外极线。点M的视点差受到外极线约束，换言之，点M的视点差向量方向与外极线平行，或说重合。其中，视点差向量方向由相机相对位置决定。若相机平行排列，则视图中所有外极线相互平行，此时，视图中所有象素点的视点差向量也相互平行，且方向相同。若相机按照图10所示汇聚排列，视图中所有象素点的视点差向量就不再相互平行，但是这些视点差向量相位之间依然具有强相关性。因此，当相机组平行排列或近似平行排列时，图像中所有区域视点差向量的水平分量DVx与垂直分量DVy比例近似相等。依据这个特点，可以按照下面两个步骤，为该编码图像的每一个视图间参考图像，压缩编码RDV。

步骤1：按照RDV模值从小到大的顺序，排列所有RDV；

步骤2：对所有RDV的水平分量RDVx与垂直分量RDVy，分别进行一阶前向差分编码。

若编码图像中某图像块使用RDV，则需要将该图像块的RDV在所有RDV中的索引，编码传输到解码器。实验表明，使用RDV的图像块在编码图像中稀疏排列，所以本发明对编码图像的RDV索引值，可以采用CABAC编码传输。

以上所述的压缩编码RDV的过程中，根据不同视点视图间视点差向量的特点，对每一幅图像的所有视点差向量进行排序以及一阶差分编码，能够节约传输区域视点差信息所需的比特开销。

下面，给出在多视点视图编码中预测向量的装置。图11所示为在多视点视图编码中预测向量的装置结构图，如图11所示，该装置可以包括：当前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动向量预测单元。其中，所述当前图像块确定单元确定当前编码的图像块；所述编码方式确定单元确定当前图像块采用的编码方式，将采用视图间帧间预测编码方式的信息，发送给所述视点差向量预测单元，将采用视图内帧间预测编码方式的信息，发送给所述运动向量预测单元；所述视点差向量预测单元根据得到的编码方式信息，预测当前图像块的视点差向量；所述运动向量预测单元根据得到的编码方式信息，预测当前图像块的运动向量。

如图11所示，所述装置还可以进一步包括：相邻图像块确定单元、图像块向量信息获取单元。所述相邻图像块确定单元确定当前图像块的相邻图像块；所述图像块向量信息获取单元用于获取所述相邻图像块所含有的向量信息。

如图11所示，该装置还可以进一步包括：区域视点差向量计算单元。所述区域视点差向量计算单元用于计算当前图像块所属区域的区域视点差向量；这时，所述视点差向量预测单元用于根据所述图像块向量信息获取单元所获取的相邻图像块所含有的向量信息，确定当前图像块的相邻图像块仅含有运动向量信息，则将当前图像块所属区域的区域视点差向量，作为当前图像块的视点差向量预测值。

如图11所示，所述运动向量预测单元可以包括：视点差向量预测值计算单元、运动向量信息判断单元、时间点判断单元、预测单元。所述视点差向量预测值计算单元根据所述图像块向量信息获取单元所获取的相邻图像块所含有的向量信息，确定当前图像块的相邻图像块中仅含视点差向量信息，则计算当前图像块的视点差向量预测值；所述运动向量信息判断单元判断当前图像块的视点差向量预测值，在当前编码图像的视图间参考图像中所指向的图像块是否含有MV信息，并将判断结果送给所述时间点判断单元和所述预测单元；所述时间点判断单元确定从所述运动向量信息判断单元所得到的判断结果为是，则判断，所述视图间参考图像中的图像块的MV在参考视点中所指向的视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参考图像，是否在相同的时间点上，并将判断结果送给所述预测单元；所述预测单元确定从所述运动向量信息判断单元所得到的判断结果为否，则将当前图像块的运动向量预测值置为零；或者确定从所述时间点判断单元所得到的判断结果为是，则将所述视图间参考图像中的图像块的MV，作为当前图像块的运动向量预测值；或者确定从所述时间点判断单元所得到的判断结果为否，则将所述视图间参考图像中的图像块的MV，按规定比例作为当前图像块的运动向量预测值，或者将当前图像块的运动向量预测值置为零。

如图11所示，该装置还可以进一步包括：标准预测单元。所述标准预测单元用于根据所述图像块向量信息获取单元所获取的相邻图像块所含有的向量信息，确定当前图像块的相邻图像块中分别含有不同的向量，则使用H.264/AVC标准中所规定的运动向量预测方法，计算得到当前图像块的视点差向量预测值。

以上给出多视点视频编码端的实现方案，下面，给出多视点视频解码端的实现方案。

图12所示为本发明实施例中，在多视点视频解码中预测向量的流程图。在多视点视频解码中，预测向量的步骤具体为：

步骤1201：确定当前图像块采用的解码方式，如果当前图像块采用与视图间帧间预测编码方式相对应的解码方式，则执行步骤1202；如果当前图像块采用与视图内帧间预测编码方式相对应的解码方式，则执行步骤1203。

步骤1202：预测当前图像块的DV。

解码过程中预测DV的过程，与在编码过程中预测DV的过程相同，在此不再详细介绍。需要注意的是，当预测DV时，需要当前图像块的区域视点差向量，可从编码码流中获取得到。

步骤1203：预测当前图像块的MV。

解码过程中预测MV的过程，与在编码过程中预测MV的过程相同，在此不再详细介绍。

下面，介绍多视点视频编解码系统的结构。

在多视点视频编解码系统，编码端可以包括编码中向量预测装置、编码单元，解码端可以包括：解码中向量预测装置、解码单元。

所述编码中向量预测装置确定当前编码图像块采用的编码方式，当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量，当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量；所述编码单元用于利用所述编码中向量预测装置预测的向量，编码当前编码图像块，并发送给解码端。

所述解码中向量预测装置接收编码端发送的编码码流，确定当前解码图像块采用的解码方式，当确定当前解码图像块采用与视图间帧间预测编码方式相对应的解码方式时，预测当前图像块的视点差向量，当确定当前图像块采用与视图内帧间预测编码方式相对应的解码方式时，预测当前图像块的运动向量；所述解码单元利用所述解码中向量预测装置预测的向量，解码当前解码图像块。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种在多视点视图编码中预测向量的方法，其特征在于，该方法包括：

确定当前图像块采用的编码方式；

当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量；

当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量。

2.根据权利要求1所述的方法，其特征在于，所述预测当前图像块的视点差向量的步骤包括：

判断当前图像块的相邻图像块是否仅含有运动向量信息，如果是，则获取当前图像块所属区域的区域视点差向量，将当前图像块所属区域的区域视点差向量，作为当前图像块的视点差向量预测值，否则，使用H.264/AVC标准中所规定的运动向量预测方法，计算得到当前图像块的视点差向量预测值。

3.根据权利要求2所述的方法，其特征在于，所述判断当前图像块的相邻图像块是否仅含有运动向量信息为：

确定当前图像块的相邻图像块所采用的编码方式，如果相邻图像块都采用视图内帧间预测编码方式，则确定当前图像块的相邻图像块仅含有运动向量信息。

4.根据权利要求2所述的方法，其特征在于，所述获取当前图像块所属区域的区域视点差向量为：

对当前编码图像，计算针对参考图像的不同视图偏移情况下的平均绝对差值；

根据所得到的平均绝对差值，确定编码图像的区域视点差向量；

根据编码图像的区域视点差向量，得到当前图像块所属区域的区域视点差向量。

5.根据权利要求1所述的方法，其特征在于，所述预测当前图像块的运动向量的步骤包括：

判断当前图像块的相邻图像块是否仅含有视点差向量信息，如果是，得到当前图像块的视点差向量预测值，利用所得到的视点差向量预测值，计算运动向量预测值；否则，使用H.264/AVC标准中所规定的运动向量预测方法，计算得到当前图像块的运动向量预测值。

6.根据权利要求5所述的方法，其特征在于，所述得到当前图像块的视点差向量预测值为：将所有相邻图像块的视点差向量的平均值作为当前图像块的视点差向量预测值，或者，将一相邻图像块的视点差向量作为当前图像块的视点差向量预测值。

7.根据权利要求5所述的方法，其特征在于，所述利用所得到的视点差向量预测值，计算运动向量预测值的步骤包括：

判断当前图像块的视点差向量预测值，在当前编码图像的视图间参考图像中所指向的图像块是否含有运动向量信息，如果含有，则利用所述视图间参考图像中的图像块的运动向量信息，得到当前图像块的运动向量预测值，否则，将当前图像块的运动向量预测值置为零。

8.根据权利要求7所述的方法，其特征在于，所述利用所述视图间参考图像中的图像块的运动向量信息，得到当前图像块的运动向量预测值的步骤包括：

判断，所述视图间参考图像中的图像块的运动向量在参考视点中所指向的视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参考图像，是否在相同的时间点上，如果在相同的时间点上，则将所述视图间参考图像中的图像块的运动向量，作为当前图像块的运动向量预测值；如果不在相同的时间点，则将所述视图间参考图像中的图像块的运动向量，按规定比例作为当前图像块的运动向量预测值，或者将当前图像块的运动向量预测值置为0。

9.根据权利要求8所述的方法，其特征在于，所述规定比例为：当前图像块的视点差向量预测值，在当前编码图像的视图间参考图像中所指向的图像块的运动向量所指向的参考视点中的视图内帧间参考图像的时间点，和当前图像块的运动向量所指向的编码视点中的视图内帧间参考图像的时间点之间的比值。

10.根据权利要求2所述的方法，其特征在于，当编码所述当前图像块时，进一步编码当前图像块所属区域的区域视点差向量。

11.根据权利要求10所述的方法，其特征在于，所述编码当前图像块所属区域的区域视点差向量为：

将编码图像的所有区域视点差向量编码；

将所述当前图像块所使用的区域视点差向量的索引编码。

12.根据权利要求11所述的方法，其特征在于，所述将编码图像的所有区域视点差向量编码为：

按照区域视点差向量的模值从小到大的顺序，排列所有的区域视点差向量；

对所有区域视点差向量的水平分量与垂直分量，分别进行一阶前向差分编码。

13.一种在多视点视图编码中预测向量的装置，其特征在于，该装置包括：当前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动向量预测单元；其中，

所述当前图像块确定单元用于确定当前编码的图像块；

所述编码方式确定单元用于确定当前图像块采用的编码方式，将采用视图间帧间预测编码方式的信息，发送给所述视点差向量预测单元，将采用视图内帧间预测编码方式的信息，发送给所述运动向量预测单元；

所述视点差向量预测单元用于根据得到的编码方式信息，预测当前图像块的视点差向量；

所述运动向量预测单元用于根据得到的编码方式信息，预测当前图像块的运动向量。

14.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：相邻图像块确定单元、图像块向量信息获取单元；

所述相邻图像块确定单元用于确定当前图像块的相邻图像块；

所述图像块向量信息获取单元用于获取所述相邻图像块所含有的向量信息。

15.根据权利要求14所述的装置，其特征在于，该装置进一步包括：区域视点差向量计算单元；

所述区域视点差向量计算单元用于计算当前图像块所属区域的区域视点差向量；

所述视点差向量预测单元用于根据所述图像块向量信息获取单元所获取的相邻图像块所含有的向量信息，确定当前图像块的相邻图像块仅含有运动向量信息，则将当前图像块所属区域的区域视点差向量，作为当前图像块的视点差向量预测值。

16.根据权利要求14所述的装置，其特征在于，所述运动向量预测单元包括：视点差向量预测值计算单元、运动向量信息判断单元、时间点判断单元、预测单元；

所述视点差向量预测值计算单元用于根据所述图像块向量信息获取单元所获取的相邻图像块所含有的向量信息，确定当前图像块的相邻图像块中仅含视点差向量信息，则计算当前图像块的视点差向量预测值；

所述运动向量信息判断单元用于判断当前图像块的视点差向量预测值，在当前编码图像的视图间参考图像中所指向的图像块是否含有运动向量信息，并将判断结果送给所述时间点判断单元和所述预测单元；

所述时间点判断单元用于确定从所述运动向量信息判断单元所得到的判断结果为是，则判断，所述视图间参考图像中的图像块的运动向量在参考视点中所指向的视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参考图像，是否在相同的时间点上，并将判断结果送给所述预测单元；

所述预测单元用于确定从所述运动向量信息判断单元所得到的判断结果为否，则将当前图像块的运动向量预测值置为零；或者用于确定从所述时间点判断单元所得到的判断结果为是，则将所述视图间参考图像中的图像块的运动向量，作为当前图像块的运动向量预测值；或者用于确定从所述时间点判断单元所得到的判断结果为否，则将所述视图间参考图像中的图像块的运动向量，按规定比例作为当前图像块的运动向量预测值，或者将当前图像块的运动向量预测值置为零。

17.根据权利要求14所述的装置，其特征在于，该装置进一步包括：标准预测单元；

所述标准预测单元用于根据所述图像块向量信息获取单元所获取的相邻图像块所含有的向量信息，确定当前图像块的相邻图像块中分别含有不同的向量，则使用H.264/AVC标准中所规定的运动向量预测方法，计算得到当前图像块的视点差向量预测值。

18.一种在多视点视图解码中预测向量的方法，其特征在于，该方法包括：

确定当前图像块采用的解码方式；

当确定当前图像块采用与视图间帧间预测编码方式相对应的解码方式时，预测当前图像块的视点差向量；

当确定当前图像块采用与视图内帧间预测编码方式相对应的解码方式时，预测当前图像块的运动向量。

19.根据权利要求18所述的方法，其特征在于，所述预测当前图像块的视点差向量的步骤包括：

判断当前图像块的相邻图像块是否仅含有运动向量信息，如果是，则获取当前图像块所属区域的区域视点差向量，将当前图像块所属区域的区域视点差向量，作为当前图像块的视点差向量预测值，否则，使用H.264/AVC标准中所规定的运动向量预测方法，计算得到当前图像块的视点差向量预测值。

20.根据权利要求19所述的方法，其特征在于，所述获取当前图像块所属区域的区域视点差向量为：从编码码流中获取当前图像块所属区域的区域视点差向量。

21.根据权利要求18所述的方法，其特征在于，所述预测当前图像块的运动向量的步骤包括：

判断当前图像块的相邻图像块是否仅含有视点差向量信息，如果是，得到当前图像块的视点差向量预测值，利用所得到的视点差向量预测值，计算运动向量预测值；否则，使用H.264/AVC标准中所规定的运动向量预测方法，计算得到当前图像块的运动向量预测值。

22.根据权利要求21所述的方法，其特征在于，所述利用所得到的视点差向量预测值，计算运动向量预测值的步骤包括：

判断当前图像块的视点差向量预测值，在当前编码图像的视图间参考图像中所指向的图像块是否含有运动向量信息，如果含有，则利用所述视图间参考图像中的图像块的运动向量信息，得到当前图像块的运动向量预测值，否则，将当前图像块的运动向量预测值置为零。

23.根据权利要求22所述的方法，其特征在于，所述利用所述视图间参考图像中的图像块的运动向量信息，得到当前图像块的运动向量预测值的步骤包括：

判断，所述视图间参考图像中的图像块的运动向量在参考视点中所指向的视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参考图像，是否在相同的时间点上，如果在相同的时间点上，则将所述视图间参考图像中的图像块的运动向量，作为当前图像块的运动向量预测值；如果不在相同的时间点，则将所述视图间参考图像中的图像块的运动向量，按规定比例作为当前图像块的运动向量预测值，或者将当前图像块的运动向量预测值置为0。

24.一种多视点视频编解码系统，包括编码端和解码端；其特征在于，所述编码端包括：编码中向量预测装置、编码单元，所述解码端包括：解码中向量预测装置、解码单元；

所述编码中向量预测装置用于确定当前编码图像块采用的编码方式，当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量，当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量；

所述编码单元用于利用所述编码中向量预测装置预测的向量，编码当前编码图像块，并发送给解码端；

所述解码中向量预测装置用于接收编码端发送的编码码流，确定当前解码图像块采用的解码方式，当确定当前解码图像块采用与视图间帧间预测编码方式相对应的解码方式时，预测当前图像块的视点差向量，当确定当前图像块采用与视图内帧间预测编码方式相对应的解码方式时，预测当前图像块的运动向量；

所述解码单元用于利用所述解码中向量预测装置预测的向量，解码当前解码图像块。

Images