CN104854867A - 处理多视图视频信号的方法和设备 - Google Patents

Abstract

根据本发明的用于处理多视图视频信号的方法获取通过对参考点的图片进行预测编译而生成的运动信息，从通过对非参考点的图片进行预测编译而生成的运动信息当中获取关于图片的块的一部分的运动信息，以及压缩对于所述参考点和非参考点的每个图片而获取的运动信息，并且存储经压缩的运动信息。

Description

处理多视图视频信号的方法和设备

技术领域

本发明涉及用于对多视图视频信号进行编译的方法和设备。

背景技术

压缩指代用于通过通信线路来发送数字信息或者以适合于存储介质的形式存储数字信息的信号处理技术。压缩目标包括音频、视频以及文本信息。特别地，压缩图像的技术被称作视频压缩。多视图视频具有空间冗余、时间冗余以及视图间冗余的特性。

发明内容

技术问题

本发明的目标在于改进视频信号编译效率。

技术方案

本发明获取通过对参考视图的图片进行预测编译而生成的运动信息，并且从通过对非参考视图的图片进行预测编译而生成的运动信息当中获取关于非参考视图的图片的块的一部分的运动信息。

此外，本发明使用对应图片的运动矢量方向信息来压缩所获取的运动信息并且存储经压缩的运动信息。

有益效果

本发明能够通过获取非参考视图的图片的压缩的运动信息减小储存的大小和数据的量并且通过获取用于非参考视图的图片的运动估计的参考视图的图片的运动信息来改进预测准确性，而不需要压缩参考视图的图片的运动信息。

此外，本发明能够通过根据对应图片的运动矢量方向信息可变地压缩所获取的运动信息并且存储经压缩的运动信息来减小储存的大小。

附图说明

图1是根据本发明的实施例的视频编码器的框图。

图2图示根据本发明的实施例的帧间预测单元的配置。

图3至图7图示根据本发明的实施例的用于获取、压缩和存储运动信息的方法。

图8是图示根据本发明的实施例的用于获取和存储运动信息的方法的流程图。

图9是图示根据本发明的实施例的用于压缩和存储所获取的运动信息的方法的流程图。

具体实施方式

根据本发明的实施例，用于处理多视图视频信号的方法包括：获取通过对参考视图的图片进行预测编译而生成的运动信息；从通过对非参考视图的图片进行预测编译而生成的运动信息当中获取关于非参考视图的图片的块的一部分的运动信息；以及压缩对于参考视图的图片而获取的运动信息和对于非参考视图的图片而获取的运动信息并且存储经压缩的运动信息。

根据本发明的实施例，用于处理多视图视频信号的设备包括：运动信息获取单元，该运动信息获取单元用于获取通过对参考视图的图片进行预测编译而生成的运动信息并且从通过对非参考视图的图片进行预测编译而生成的运动信息当中获取关于非参考视图的图片的块的一部分的运动信息；以及运动信息存储单元，该运动信息存储单元用于压缩对于参考视图的图片而获取的运动信息和对于非参考视图的图片而获取的运动信息并且存储经压缩的运动信息。

发明的模式

用于对多视图视频信号数据进行压缩或解码的技术考虑空间冗余、时间冗余以及视图间冗余。在多视图图像的情况下，能够对在两个或更多个视图处捕获的多视图纹理图像进行编译以便生成三维图像。此外，必要时可以对与多视图纹理图像相对应的深度数据进行编译。能够考虑到空间冗余、时间冗余或视图间冗余来压缩深度数据。深度数据是关于相机与对应像素之间的距离的信息。在本说明书中，深度数据能够被灵活地解释为诸如深度信息、深度图像、深度图片、深度序列以及深度比特流的深度相关信息。此外，编译在本说明书中能够包括编码和解码的两个概念并且在本发明的技术精神和范围内能够被灵活地解释。

能够使用视图间位移矢量来指定邻近视图的纹理块。这里，可以使用当前视图纹理块的邻近块的视图间位移矢量并且使用当前视图纹理块的深度值来得到视图间位移矢量。

图1是根据本发明的实施例的视频编码器的框图。

参考图1，视频编码器可以包括变换单元/量化单元110、逆量化单元/逆变换单元120、滤波单元130、帧内预测单元140、帧间预测单元150、解码图片缓冲单元160以及熵编译单元170。

在变换单元/量化单元110中，变换单元相对于输入视频信号对纹理数据进行变换以获取变换系数。离散余弦变换(DCT)、小波变换等可以被用作变换方法。量化单元量化从变换单元输出的变换系数。

逆量化单元/逆变换单元120对经量化的变换系数应用量化参数以获取变换系数并且对变换系数进行逆变换以对纹理数据进行解码。这里，经解码的纹理数据或深度数据可以包括根据预测的残留数据。

滤波单元130执行滤波操作以用于改进经解码的纹理数据的质量。滤波的纹理图片可以被存储在解码图片缓冲单元160中以作为参考图片被输出或使用。

帧内预测单元140可以使用当前视图纹理图片中的解码的纹理数据来执行帧内预测。这里，用于帧内预测的编译信息能够包括帧内预测模式和帧内预测的分割信息。

帧间预测单元150可以使用存储在解码图片缓冲单元160中的参考图片和运动信息来执行当前块的运动补偿。在本说明书中，运动信息能够包括广义上的运动矢量和参考索引信息。此外，帧间预测单元150能够对于运动补偿执行时间帧间预测。时间帧间预测可以指代使用参考图片和当前纹理块的运动信息的帧间预测，参考图片对应于与当前纹理块相同的视图并且对应于与当前纹理块的不同的时间。在使用多个相机捕获的多视图图像的情况下，除时间帧间预测之外还可以执行视图间帧间预测。视图间帧间预测可以指代使用对应于与当前纹理块不同的视图的参考图片和当前纹理块的运动信息的帧间预测。

帧间预测单元150可以包括运动信息获取单元以及用来存储已编码运动信息的运动信息存储单元。能够将存储在运动信息存储单元中的每个视图的运动信息发送到解码器。将参考图2对此进行详细的描述。

解码图片缓冲单元160存储或者打开预编译的纹理图片以便执行视图间预测。这里，每个图片的帧号frame_num和图片顺序计数(指示图片输出顺序的POC)能够被用来将每个图片存储在解码图片缓冲单元160中或用来打开每个图片。

熵编译单元170通过对从帧间预测单元150输入的经量化的变换系数、帧内编译信息、帧间编译信息以及参考区域信息进行熵编译来生成视频信号比特流。

将给出运动信息在多视图视频信号处理中的压缩和存储的描述。

图2图示根据本发明的实施例的帧间预测单元的配置。

帧间预测单元150可以包括处理单元151、运动信息获取单元152以及运动信息存储单元153。

处理单元151能够生成用于帧间预测的运动信息。具体地，处理单元151能够接收多视图视频信号并且在访问单元(AU)中对图片进行预测编译以生成用于帧间预测的运动信息。这里，访问单元是多视图视频信号编译单元并且同时能够包括视图的纹理图片和深度图片。

运动信息获取单元152能够暂时获取由处理单元151生成的每个视图的运动信息，并且暂时存储所获取的运动信息。

根据本发明的实施例，运动信息获取单元152可以从通过对参考视图的图片进行预测编译而生成的运动信息当中获取关于包括在参考视图的图片中的所有块的运动信息。然而，在非参考视图的情况下，运动信息获取单元152可以仅获取关于包括在非参考视图的图片中的块的一部分的运动信息。这里，参考视图指代用于视图间帧间预测的基本视图或独立视图(V0)并且非参考视图指代除参考视图以外的视图。

将参考图4描述具体的运动信息获取方法。

运动信息存储单元153压缩和存储由运动信息获取单元152所获取的运动信息。具体地，运动信息存储单元153可以以预定速率压缩对于每个视图的图片而获取的运动信息并且存储该运动信息。

根据本发明的实施例，运动信息存储单元153能够存储从参考视图的图片和非参考视图的图片获取的运动信息当中的关于具有预定大小的块的运动信息。

使用运动矢量方向信息，运动信息存储单元153能够存储关于具有根据图片的运动矢量方向信息确定的大小的块的运动信息。这里，运动矢量方向信息指代运动矢量的水平分量与其垂直分量的比。

将参考图3至图7给出用于存储运动信息的方法的具体描述。

图3至图7图示根据本发明的实施例的用于获取、压缩和存储运动信息的方法。

参考图3，处理单元能够对多视图视频信号的包括在一个访问单元中的图片310进行预测编译。处理单元能够对参考视图的图片(纹理0、深度0)进行预测编译以生成运动信息，并且然后对非参考视图的图片(纹理1、深度1、纹理2、深度2)进行预测编译以生成运动信息。

运动信息获取单元能够在全分辨率下获取由处理单元生成的运动信息(320)。在全分辨率下获取运动信息意指关于图片中的所有块的运动信息的获取。运动信息获取单元能够按照预测编译顺序获取运动信息，并且暂时存储所获取的运动信息直到一个访问单元的所有图片都得到预测编译为止。

此外，运动信息存储单元能够每图片地压缩由运动信息获取单元所获取的运动信息并且存储经压缩的运动信息(330)。

具体地，运动信息存储单元能够存储从获取自参考视图和非参考视图的图片的运动信息当中的关于具有预定大小的块的运动信息。

如果一个图片由16*16块构成，则在根据本发明的1/16压缩和存储方案的实施例中，运动信息存储单元针对每16*16块确定具有代表性运动信息的4*4块。也就是说，能够通过存储关于从一个图片的16*16块当中来的左上部4*4块的运动信息作为当前16*16块的代表性运动信息而不是存储关于一个图片的所有块(16*16块)的运动信息来压缩运动信息。替换地，关于右上部4*4块或左下部4*4块的运动信息可以作为代表性运动信息被存储。

在根据本发明的实施例的1/16压缩和存储方案中，对于将16*16块划分成16个相等部分的每4*4块，运动信息存储单元能够存储1*1块作为代表性运动信息。也就是说，对于16个4*4块中的每个，1*1块的运动信息被确定和存储为代表性运动信息。因此，关于1*1块的16条运动信息被确定为每图片的代表性运动信息。

根据前述方法，运动信息存储单元的大小可以减小为1/16，并且解码器能够使用存储为关于一个图片的16*16块的代表性运动信息的运动信息来执行帧间预测。

已经参考图3描述了由运动信息存储单元来压缩和存储运动信息的方法。将参考图4给出由运动信息获取单元获取运动信息的方法的描述。

参考图4，处理单元能够依次对多视图视频信号的包括在一个访问单元中的图片410和图片415进行预测编译。

运动信息获取单元能够获取在处理单元中生成的运动信息。图4中的运动信息获取单元能够为参考视图图片410和非参考视图图片415分别获取运动信息，与图3中所示出的方法区分开。具体地，对于参考视图图片410，运动信息获取单元能够获取关于包括在参考视图图片410中的所有块的运动信息(420)(全分辨率)。然而，对于非参考视图图片415，运动信息获取单元能够仅获取关于包括在非参考视图图片415中的块的一部分的运动信息。也就是说，在全分辨率下获取了关于参考视图的运动信息(420)并且在低分辨率下获取了关于非参考视图的运动信息(425)。

例如，当图片中的每个由8M*8M块(M是自然数)构成时，运动信息获取单元能够针对非参考视图图片中的每4M*4M块来确定2M*2M块并且能够获取所确定的2M*2M块的运动信息作为该4M*4M块的代表性运动信息。

当M＝2时，运动信息获取单元能够获取关于4*4块的运动信息作为为将16*16块划分成相等部分的每个8*8块的代表性运动信息。也就是说，运动信息获取单元针对每个8*8块将关于4*4块的运动信息确定为代表性运动信息。因此，4条关于4*4块的运动信息被确定和获取作为每图片的代表性运动信息。在这种情况下，能够在1/4分辨率下获取运动信息。

当通过前述方法获取运动信息时，与获取访问单元的所有图片的全分辨率运动信息的方法相比，储存器的大小和数据的量能够减小。此外，因为参考视图的运动信息能够被用于非参考视图的预测编译，所以能够通过获取全分辨率运动信息来改进预测编译准确性。

运动信息存储单元能够每图片地压缩和存储由运动信息获取单元所获取的运动信息。

具体地，运动信息存储单元能够针对参考视图图片和非参考视图图片来确定具有预定大小的块，并且存储由运动信息获取单元所获取的运动信息当中的关于所确定的具有预定大小的块的运动信息。

例如，当参考视图图片和非参考视图图片由8M*8M块(M是自然数)组成时，运动信息存储单元能够针对参考视图图片和非参考视图图片中的每个来确定2M*2M块，并且存储由运动信息获取单元每图片地所获取的运动信息当中的关于所确定的2M*2M块的运动信息。

如果M＝2，则运动信息存储单元能够从由运动信息获取单元每图片地所获取的运动信息中选择4*4块并且存储所选择的4*4块。也就是说，运动信息存储单元对每个由16*16块构成的图片存储4*4块的运动信息。在这种情况下，能够在1/16分辨率下压缩和存储运动信息。

甚至在图4的方法中，也能够像在相对于图3的运动信息存储单元所描述的方法中那样压缩和存储运动信息。

图5、图6和图7图示根据本发明的实施例的用于使用运动矢量方向信息来压缩和存储运动信息的方法。

运动矢量方向信息指代运动矢量的水平分量与其垂直分量的比。关于访问单元(AU)的非参考视图图片的运动矢量方向信息能够继承关于参考视图图片的运动矢量方向信息。

具体地，当图片有水平运动时，相对于图片的运动矢量方向信息能够指示运动矢量相对于图片的水平分量大于其垂直分量。当运动矢量的水平分量大于其垂直分量时，能够在较高水平分辨率和较低垂直分辨率下存储运动信息。

也就是说，能够使用图片的运动矢量方向信息来确定P*Q块(P和Q是自然数)，并且能够存储从参考视图和非参考视图的图片获取的运动信息当中的关于P*Q块的运动信息。

当所对应的运动矢量方向信息指示图片的对应运动矢量的水平分量大于其垂直分量时，能够确定P>Q。将参考图5对此进行详细的描述。

相反，当运动矢量方向信息指示图片的运动矢量的垂直分量大于其水平分量时，能够确定P<Q。将参考图6对此进行详细的描述。

图5图示用于在运动矢量方向信息指示运动矢量的水平分量大于其垂直分量时压缩和存储运动信息的方法。

参考图5，当运动矢量方向信息指示运动矢量的水平分量大于其垂直分量时，能够在较高水平分辨率和较低垂直分辨率下将运动信息存储在运动信息存储单元中。

例如，运动信息存储单元能够从每图片地获取的运动信息当中确定8*2块，并且存储由运动信息获取单元每图片地获取的运动信息520当中的关于所确定的8*2块的运动信息530。

也就是说，运动信息存储单元对每个由16*16块构成的图片存储关于8*2块的运动信息。在这种情况下，能够在1/16分辨率下压缩和存储运动信息。

图6图示用于在运动矢量方向信息指示运动矢量的垂直分量大于其水平分量时压缩和存储运动信息的方法。

参考图6，当运动矢量方向信息指示运动矢量的垂直分量大于其水平分量时，能够在较高垂直分辨率和较低水平分辨率下存储运动信息。

例如，运动信息存储单元能够从每图片地获取的运动信息当中确定2*8块并且存储从由运动信息获取单元每图片地获取的运动信息620当中的关于所确定的2*8块的运动信息630。

也就是说，运动信息存储单元对每个由16*16块构成的图片存储关于2*8块的信息。在这种情况下，能够在1/16分辨率下压缩和存储运动信息。

在图5和图6中，关于访问单元的非参考视图图片的运动矢量方向信息继承关于参考视图图片的运动矢量方向信息，并且关于图5的访问单元的运动矢量方向信息与关于图6的访问单元的运动矢量方向信息相同。

图7图示在包括在访问单元中的视图的图片具有不同的运动矢量方向信息时压缩和存储运动信息的方法。

参考图7，运动信息存储单元能够使用每个图片的运动矢量方向信息每图片地设置存储在其中的运动信息的分辨率。

当参考视图的图片(纹理0)的运动矢量方向信息指示运动矢量相对于图片的垂直分量大于其水平分量时，运动信息存储单元能够在较高水平分辨率下存储关于参考视图图片的运动信息。

当非参考视图的图片(纹理1)的运动矢量方向信息指示运动矢量相对于图片的水平分量大于其垂直分量时，运动信息存储单元能够在较高垂直分辨率下存储关于非参考视图图片的运动信息。

例如，能够从参考视图图片(纹理0)获取的运动信息当中确定8*2块，并且能够存储由运动信息获取单元从参考视图图片获取的运动信息720当中的关于所确定的8*2块的运动信息730。

此外，能够从非参考视图图片(纹理1)获取的运动信息当中确定2*8块，并且能够存储由运动信息获取单元从非参考视图图片获取的运动信息725当中的关于所确定的2*8块的运动信息735。

图8图示相对于图4描述的用于获取运动信息的方法以及相对于图7描述的用于每图片地使用运动矢量方向信息来压缩和存储运动信息的方法被同时应用的实施例。

参考图8，处理单元能够依次对多视图视频信号的包括在一个访问单元中的图片810和图片815进行预测编译。

运动信息获取单元能够获取在处理单元中生成的运动信息。运动信息获取单元能够对于参考视图的图片810和非参考视图的图片815分别获取运动信息。已经参考图4描述了用于获取运动信息的方法并且因此省略了其具体描述。

运动信息存储单元能够每图片地压缩由运动信息获取单元所获取的运动信息并且存储该运动信息。特别地，图8的运动信息存储单元能够每图片地确定运动矢量方向信息并且每图片地分配将由运动信息存储单元存储的运动信息的分辨率。

已经参考图7描述了用于压缩和存储运动信息的方法并且因此省略了其具体描述。

图9是图示根据本发明的实施例的用于获取和存储运动信息的方法的流程图。

参考图9，根据本发明的实施例的编码器可以获取通过对参考视图的图片进行预测编码而生成的运动信息(S910)。此外，编码器可以获取通过对非参考视图的图片进行预测编码而生成的运动信息当中的有关非参考视图的图片的块的一部分的运动信息(S920)。

这里，如果每个图片由8M*8M块(M是自然数)组成，则能够针对非参考视图的图片中的每4M*4M块确定2M*2M块并且能够获取关于所确定的2M*2M块的运动信息作为关于4M*4M块的代表性运动信息，从而获取关于非参考视图的图片的块的一部分的运动信息。

在一个实施例中，能够通过选择4M*4M块中的左上部2M*2M块来确定该2M*2M块。

解码器能够压缩为参考视图的每个图片和非参考视图的每个图片而获取的运动信息并且存储该运动信息(S930)。这里，能够通过对于参考视图和非参考视图的图片中的每个来确定2M*2M块并且存储所获取的运动信息当中的关于所确定的2M*2M块的运动信息的前述方法来压缩和存储运动信息。

图10是图示根据本发明的实施例的用于压缩和存储所获取的运动信息的方法的流程图。

参考图10，解码器能够使用图片的运动矢量方向信息来确定P*Q(S1010)(P和Q是自然数)。已经参考图5、图6和图7描述了用于确定P*Q的方法并且因此省略了其具体描述。

能够存储从参考视图的图片获取的运动信息当中的关于P*Q块的运动信息(1020)，并且能够存储从非参考视图的图片获取的运动信息当中的关于P*Q块的运动信息(1030)。

如图9和图10中所图示的，本发明的用于处理多视图视频信号的方法能够通过压缩非参考视图图片的运动信息来减小储存器的大小和数据信息的量并且通过获取用于非参考视图图片的运动估计的参考视图图片的运动信息来改进预测准确性，而不用压缩参考视图图片的运动信息。

此外，能够根据图片的运动矢量方向信息来变化地压缩和存储获取的运动信息以便减小储存器的大小。

如上所述，应用本发明的解码/编码设备可以被包括在诸如要被用于对视频信号、数据信号等进行解码的DMB(数字多媒体广播)系统的多媒体广播发送/接收设备中。此外，多媒体广播发送/接收设备可以包括移动通信终端。

应用本发明的解码/编码方法可以作为计算机可执行程序实现并且存储在计算机可读记录介质中，并且具有根据本发明的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括所有种类的存储可由计算机系统读取的数据的存储装置。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置以及使用载波的介质(例如，通过因特网的传输)。此外，根据编码方法生成的比特流可以被存储在计算机可读记录介质中或者使用有线/无线通信网络发送。

工业适用性

本发明能够被用来对视频信号进行编译。

Claims (12)

1.一种用于处理多视图视频信号的方法，包括：

获取通过对参考视图的图片进行预测编译而生成的运动信息；

从通过对非参考视图的图片进行预测编译而生成的运动信息当中获取关于所述非参考视图的图片的块的一部分的运动信息；以及

压缩对于所述参考视图的图片所获取的运动信息和对于所述非参考视图的图片所获取的运动信息并且存储经压缩的运动信息。

2.根据权利要求1所述的方法，其中，所述图片中的每个由8M*8M块(M是自然数)组成，

其中，关于所述非参考视图的图片的块的一部分的运动信息的获取包括：

确定对于所述非参考视图的图片中的每个4M*4M块的2M*2M块；以及

获取关于所确定的2M*2M块的运动信息作为所述4M*4M块的代表性运动信息。

3.根据权利要求2所述的方法，其中，所述2M*2M块的确定包括选择所述4M*4M块中的左上部的2M*2M块。

4.根据权利要求2所述的方法，其中，所述运动信息的压缩和存储包括：

对于所述参考视图的图片和所述非参考视图的图片中的每个确定2M*2M块；以及

存储从所获取的运动信息当中的关于所确定的2M*2M块的运动信息。

5.根据权利要求2所述的方法，其中，所述运动信息的压缩和存储包括：

使用所述图片的运动矢量方向信息来确定P*Q(P和Q是自然数)；

存储从所述参考视图的图片获取的运动信息当中的关于P*Q块的运动信息；以及

存储从所述非参考视图的图片获取的运动信息当中的关于P*Q块的运动信息，

其中，所述运动矢量方向信息是运动矢量的水平分量与其垂直分量的比。

6.根据权利要求1所述的方法，其中，所述运动信息包括运动矢量和参考索引信息。

7.一种用于处理多视图视频信号的设备，包括：

运动信息获取单元，所述运动信息获取单元用于获取通过对参考视图的图片进行预测编译而生成的运动信息和从通过对非参考视图的图片进行预测编译而生成的运动信息当中获取关于所述非参考视图的图片的块的一部分的运动信息；以及

运动信息存储单元，所述运动信息存储单元用于压缩对于所述参考视图的图片所获取的运动信息和对于所述非参考视图的图片所获取的运动信息并且存储经压缩的运动信息。

8.根据权利要求7所述的设备，其中，所述图片的每个由8M*8M块(M是自然数)组成，

其中，所述运动信息获取单元确定对于所述非参考视图的图片中的每个4M*4M块的2M*2M块，并且获取关于所确定的2M*2M块的运动信息作为所述4M*4M块的代表性运动信息。

9.根据权利要求8所述的设备，其中，所述运动信息获取单元选择所述4M*4M块中的左上部的2M*2M块。

10.根据权利要求8所述的设备，其中，所述运动信息存储单元对于所述参考视图的图片和所述非参考视图的图片中的每个确定2M*2M块，并且存储从所获取的运动信息当中的关于所确定的2M*2M块的运动信息。

11.根据权利要求8所述的设备，其中，所述运动信息存储单元使用所述图片的运动矢量方向信息来确定P*Q(P和Q是自然数)，存储从所述参考视图的图片获取的运动信息当中的关于P*Q块的运动信息，并且存储从所述非参考视图的图片获取的运动信息当中的关于P*Q块的运动信息，

其中，所述运动矢量方向信息是运动矢量的水平分量与其垂直分量的比。

12.根据权利要求6所述的设备，其中，所述运动信息包括运动矢量和参考索引信息。