CN103957398B - 一种立体图像的采样、编码及解码方法及装置 - Google Patents

Abstract

本发明提供一种立体图像的采样、编码及解码方法及装置，该方法在对左右视点图像进行采样时，若该左右视点图像在后续编码为是编码为I帧，则对当前待采样的左右视点图像进行下采样并空间拼接，若编码时是P帧或B帧，则对当前待采样的左或右视点图像进行下采样，对当前图像前一图像拼接后的图像的左或右视点图像进行更新，将该更新后的图像作为接后的图像。由于在本发明实施例中充分考虑了立体图像中左右视点图像的关联性，对编码时为P帧或B帧的左或右视点图像进行下采样，通过空间拼接的方法，对拼接后的左右视点图像逐次更新，有效的去除了视点间图像信息冗余，从而达到了比较好的压缩性能。

Description

一种立体图像的采样、编码及解码方法及装置

技术领域

本发明涉及图像编解码技术领域，尤其涉及一种立体图像的采样、编码及解码方法及装置。

背景技术

随着三维立体的应用和普及，立体图像和视频的研究成为了热点。而立体原始图像和视频的数据量非常大，但带宽又不可无限制的增大，因此为了有效的利用网络带宽完成大数据量的图像传输，有效的压缩技术成为国内外研究的重点。

现有技术在对立体图像进行编码时，普遍采用双路拼接的编码方案，双路拼接的编码方案包括：时分拼接和空间拼接，空间拼接又包括：左右拼接、上下拼接和交错拼接等。相比两路视频分别输出，编码时采用空间拼接方案仅需要传输一半或者更少的数据，因此可以有效的减少传输带宽，并降低解码器的复杂度。另外，拼接后的图像可以采用传统的单路编码器进行压缩，与现有的平面视频解码器具有很强的兼容性，因此空间拼接方案具有很大的现实意义和应用价值。

上述空间拼接编码模式，虽然结构简单具有较好的终端普适性，但是不能有效的去除视点间的图像信息冗余，不能达到更好的压缩性能。另外考虑到编解码匹配，除了帧内预测编码可以利用本帧内相邻已编码块的信息外，并不能满足图像在本帧内进行运动估计与补偿。由于该预测结构的限制，现有的双路拼接的编码方案也不能实现视点间的预测，从而不能有效的去除视点间图像信息的冗余。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种立体图像的采样、编码及解码方法及装置。

本发明实施例提供了一种立体图像的采样方法，该方法包括：

若当前待采样的左右视点图像在进行编码时为I帧，则对当前待采样的左和右视点图像进行下采样，并采用空间拼接方法，将采样后的左和右视点图像拼接为一帧；

若当前待采样的左右视点图像在进行编码时为P帧或B帧，则分别对当前待采样的左和右视点图像进行下采样，采用空间拼接方法获得两帧，其中第一帧为采用采样获得的左或右视点图像，对前一帧拼接后的图像的左或右视点图像进行更新得到的，第二帧为采用采样获得的右或左视点图像对第一帧拼接后的图像的右或左视点图像进行更新得到的。

本发明实施例提供了一种基于上述立体图像的采样方法的立体图像编码方法，所述方法包括：

若将当前拼接后的图像编码为I帧，则对该图像进行编码，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列；

若将当前拼接后的图像编码为P帧或B帧，判断所述拼接后的图像中左右两个视点的图像所处的帧数是否相同；

当左右两个视点的图像所处的帧数不同时，对左或右视点图像进行编码，对右或左视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列；

当左右两个视点的图像所处的帧数相同时，对右或左视点图像进行编码，对左或右视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

本发明实施例提供了一种基于上述立体图像编码方法的立体图像解码方法，所述方法包括：

接收编码后的码流并解码；

根据解码后每个视频帧，判断针对该视频帧的SEI信息中是否写入了解冻标识；

当该SEI信息中写入解冻标识时，将所述视频帧发送到显示队列进行显示。

较佳地，所述方法还包括：

通过拆分以及上采样，将两路下采样重构图像插值为原始分辨率之后用于显示。

本发明实施例提供了一种立体图像的采样装置，所述装置包括：

判断模块，用于判断当前待采样的左右视点图像在进行编码时是否为I帧，当判断结果为是时，将该待采样的左右视点图像发动到第一采样模块采样，否则发送到第二采样模块采样；

第一采样模块，用于对当前待采样的左右视点图像进行下采样，并采用空间拼接方法，将采样后的左右视点图像拼接为一帧；

第二采样模块，用于分别对当前待采样的左和右视点图像进行下采样，采用空间拼接方法获得两帧，其中第一帧为采用采样获得的左或右视点图像，对前一帧拼接后的图像的左或右视点图像进行更新得到的，第二帧为采用采样获得的右或左视点图像对第一帧拼接后的图像的右或左视点图像进行更新得到的。

较佳地，所述第一采样模块和第二采样模块，具体用于采用空间拼接方法中的左右拼接方法、上下拼接方法和交错拼接方法中的任一种对左右视点图像进行拼接。

本发明实施例提供了一种基于上述立体图像采样装置的立体图像编码装置，所述装置包括：

判断模块，用于判断将当前拼接的图像是否编码为I帧，当确定将该当前拼接的图像编码为I帧时，将该图像发送到第一编码模块编码，当确定将该当前拼接的图像编码为P帧或B帧时，将该图像发送到第二编码模块编码；

第一编码模块，用于对该图像进行编码，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列；

第二编码模块，用于判断所述拼接后的图像中左右两个视点的图像所处的帧数是否相同；当左右两个视点的图像所处的帧数不同时，对左或右视点图像进行编码，对右或左视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列；当左右两个视点的图像所处的帧数相同时，对右或左视点图像进行编码，对左或右视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

本发明实施例提供了一种基于上述立体图像编码装置的立体图像解码装置，所述装置包括：

接收解码模块，用于接收编码后的码流并解码；

判断模块，用于根据解码后的每个视频帧，判断针对该视频帧的SEI信息中是否写入了解冻标识；

发送模块，用于当该SEI信息中写入解冻标识时，将所述视频帧发送到显示队列进行显示。

较佳地，所述装置还包括：

分辨率调整模块，用于通过拆分以及上采样，将两路下采样重构图像插值为原始分辨率之后用于显示。

本发明实施例提供了一种立体图像的采样、编码及解码方法及装置，该方法在对左右视点图像进行采样时，若该左右视点图像在后续编码为是编码为I帧，则对当前待采样的左右视点图像进行下采样并空间拼接，若编码时是P帧或B帧，则对当前待采样的左或右视点图像进行下采样，采用空间拼接方法获得两帧，其中第一帧为采用采样获得的左视点图像，对前一帧拼接后的图像的左视点图像进行更新得到的，第二帧为采用采样获得的右视点图像对第一帧拼接后的图像的右视点图像进行更新得到的。由于在本发明实施例中充分考虑了立体图像中左右视点图像的关联性，对编码时为P帧或B帧的左或右视点图像进行下采样，通过空间拼接的方法，对拼接后的左右视点图像逐次更新，有效的去除了视点间图像信息冗余，从而达到了比较好的压缩性能。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的一种立体图像的采样过程图；

图2为本发明实施例提供的针对左右视点图像的采样拼接方案示意图；

图3为本发明实施例提供的基于上述采样方法的立体图像编码过程图；

图4为本发明实施例提供的基于上述立体图像的采样方法的立体图像的详细编码过程图；

图5为本发明实施例提供的基于上述立体图像编码过程的立体图像解码过程；

图6为本发明实施例提供的一种立体图像的采样装置结构图；

图7为本发明实施例提供的一种基于上述立体图像采样装置的立体图像编码装置结构图；

图8为本发明实施例提供的一种基于上述立体图像编码装置的立体图像解码装置结构图。

具体实施方式

有效的去除了视点间图像信息冗余，从而达到了比较好的压缩性能，本发明实施例提供了一种立体图像的采样、编码及解码方法及装置。

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面结合说明书附图，对本发明实施例进行详细说明。

图1为本发明实施例提供的一种立体图像的采样过程图，该过程包括以下步骤：

S101：对立体图形的左右视点图像采样开始。

S102：判断当前待采样的左右视点图像在进行编码时是否为I帧，当判断结果为是时，进行步骤S103，否则，进行步骤S104。

当接收到待采样的立体图像后，该立体图像包括左右视点图像。在编码时可以将图像编码为I帧，也可以将图像编码为P帧或B帧，具体的将图像编码为I帧，还是P帧，还是B帧的信息采样装置可以获取。

S103：对当前待采样的左右视点图像进行下采样，并采用空间拼接方法，将采样后的左右视点图像拼接为一帧。

具体的，当该当前待采样的左右视点图像在进行编码时为I帧时，同时对该当前待采样的左右视点图像进行下采样，将采样得到的左右视点图像通过空间拼接的方法拼接为一帧。

其中，在进行空间拼接时，可以采用左右拼接方法，即将左视点图像采样的图像拼接在该帧的左侧，将右视点图像采样的图像拼接在该帧的右侧，反之亦可；也可以采用上下拼接方法，即将左视点图像采样的图像拼接在该帧的上端或下端，将右视点图像采样的图像拼接在该帧的下端或上端；或者也可以采用交错拼接方法，按照左视点图像一列，右视点图像一列交错拼接。

S104：对当前待采样的左或右视点图像进行下采样，采用空间拼接方法获得两帧，其中第一帧为采用采样获得的左视点图像，对前一帧拼接后的图像的左视点图像进行更新得到的，第二帧为采用采样获得的右视点图像对第一帧拼接后的图像的右视点图像进行更新得到的。

具体的，当该当前待采样的左右视点图像在编码时为P帧或B帧时，对左视点图像或右视点图像进行下采样。下采样后按照左右两个半边两步更新的方式完成拼接，即输出两帧拼接图像，第一帧为在前一帧拼接后的图像的基础上值更新了左半边图像的拼接图像，第二帧为在第一帧拼接后的图像的基础上更新了右半边图像的拼接图像。

由于在本发明实施例中充分考虑了立体图像中左右视点图像的关联性，对编码时为P帧或B帧的左或右视点图像进行下采样，通过空间拼接的方法，对拼接后的左右视点图像逐次更新，有效的去除了视点间图像信息冗余，从而达到了比较好的压缩性能。

图2为本发明实施例提供的针对左右视点图像的采样拼接方案示意图，待采样的左、右视点图像，按照时间顺序分别为L0、L1、L2、……和R0、R1、R2、……，同一时间点的左右视点图像构成立体图像。

在进行采样时将每个待采样的左右视点图像，作为当前待采样的左右视点图像，根据预先设置的每个左右视点图像在进行编码时是否为I帧，判断当前待采样的左右视点图像，例如当前待编码的左右视点图像分别为L0和R0时，根据预先设置，判断L0和R0在进行编码时为I帧。因此在进行采样时，对当前待采样的左和右视点图像L0和R0进行下采样，采用左右拼接方式，将采样后的左和右视点图像拼接为一帧，如图2中拼接为L0和R0。

当前待采样的左右视点图像为L1和R1时，判断L1和R1在进行编码时为P帧或B帧，则分别对当前待采样的左右视点图像L1和R1进行下采样，采用左右拼接的方法获得两帧，其中第一帧为采用采样获得左视点图像，对前一帧拼接后的图像的左视点图像进行更新得到，即在拼接得到的L0和R0的图像的基础上，采用采样获得的L1更新L0，得到更新后的L1和R0；第二帧为采用采样获得的右视点图像对第一帧拼接后的图像的右视点图像进行更新得到的，即在拼接后的L1和R0的图像基础上，采用采样获得的R1更新R0，得到更新后的L1和R1。

同样的，当前待采样的左右视点图像为L2和R2时，判断L2和R2在进行编码时为P帧或B帧，则分别对当前待采样的左右视点图像L2和R2进行下采样，采用左右拼接的方法获得两帧，其中第一帧为采用采样获得左视点图像，对前一帧拼接后的图像的左视点图像进行更新得到，即在拼接得到的L1和R1的图像的基础上，采用采样获得的L2更新L1，得到更新后的L2和R1；第二帧为采用采样获得的右视点图像对第一帧拼接后的图像的右视点图像进行更新得到的，即在拼接后的L2和R1的图像基础上，采用采样获得的R2更新R1，得到更新后的L2和R2。

后续针对每个待采样的左右视点图像，采用上述方式进行采样拼接得到每个拼接后的图像。

图3为本发明实施例提供的基于上述采样方法的立体图像编码过程图，该过程包括以下步骤：

S301：对拼接后的图像编码开始。

S302：判断当前拼接后的图像是否编码为I帧，当判断为是时，进行步骤S303，否则，进行步骤S304。

S303：对该图像进行编码。

S304：判断当前拼接后的图像中左右两个视点的图像所处的帧数是否相同，当判断相同时进行步骤S305，否则，进行步骤S306。

S305：对右视点图像进行编码，对左视点图像的编码设置为SKIP模式。

S306：对左视点图像进行编码，对右视点图像的编码设置为SKIP模式。

基于上述采样方式，当当前待采样的左右视点图像在进行编码时为I帧，则将采样后的左和右视点图像拼接为一帧，因此当判断当前拼接后的左右视点图像编码为I帧时，可知该拼接后的图像同时包括该帧的左右视点图像，可以直接对该拼接图像进行编码。

在采样时，当判断当前待采样的左右视点图像在编码时非I帧，在进行采样时采用空间拼接的方式获得了两帧，其中第一帧中只采用采样后的左视点对前一帧图像中的左视点进行了更新，该第一帧后的右视点为其他视图的右视点，第二帧中拼接后的左右视点的图像都为当前待采样的图像。因此在进行编码时，确定该拼接后的图像在编码时为P帧或B帧时，还要判断该当前拼接后的图像的左右视点的图像是否所处的帧数相同，当左右两个视点的图像所处的帧数不同时，说明为拼接后的第一帧，该拼接后的第一帧中左视点图像为该帧的图像，因此只对当前拼接后的图像的左视点图形进行编码即可，右视点图像可以不编码，此时将右视点图像的编码设置为SKIP模式。当左右两个视点的图像所处的帧数相同时，说明为拼接后的第二帧，该拼接后的第二帧中左视点图像在之前第一帧中已经被编码，当前只对该拼接后的图像的右视点图像进行编码即可，左视点图像可以不编码，此时将左视点图像的编码设置为SKIP模式。

具体参照图2所示的采样过程对该编码过程进行说明。针对左右拼接后的图像在进行编码时，当前拼接后的图像为L0和R0，判断在进行编码时将该拼接后的图像编码为I帧，则对该拼接后的图像进行编码，将其编码为I帧。

当前拼接后的图像为L1和R0，判断在进行编码时将该拼接后的图像编码为P帧或B帧，且拼接后的图像中左右视点图像所处的帧数不同，分别是0帧和1帧，因此在进行编码时，只对该拼接后的图像的左视点图像进行编码，对右视点图像的编码设置为SKIP模式。

当前拼接后的图像为L1和R1，判断进行编码时将该拼接后的图像编码为P帧或B帧，且拼接后的图像中左右视点图像所处的帧数相同，都是1帧，因此在进行编码时，只对该拼接后的图像的右视点图像进行编码，对左视点图像的编码设置为SKIP模式。

当前拼接后的图像为L2和R1，判断在进行编码时将该拼接后的图像编码为P帧或B帧，且拼接后的图像中左右视点图像所处的帧数不同，分别是1帧和2帧，因此在进行编码时，只对该拼接后的图像的左视点图像进行编码，对右视点图像的编码设置为SKIP模式。

当前拼接后的图像为L2和R2，判断进行编码时将该拼接后的图像编码为P帧或B帧，且拼接后的图像中左右视点图像所处的帧数相同，都是2帧，因此在进行编码时，只对该拼接后的图像的右视点图像进行编码，对左视点图像的编码设置为SKIP模式。

之后的针对每个拼接后的图像，基于上述方式即可实现对每帧的编码。

本发明实施例中为了便于对编码后的图像进行输出，该编码方法还包括：

若将当前拼接后的图像编码为I帧，对该图像进行编码，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列；

若将当前拼接后的图像编码为P帧或B帧，且左右两个视点的图像所处的帧数不同时，针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列；

当左右两个视点的图像所处的帧数相同时，针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

图4为本发明实施例提供的基于上述立体图像的采样方法的立体图像的详细编码过程图，该过程包括以下步骤：

S401：对拼接后的图像编码开始。

S402：判断当前拼接后的图像是否编码为I帧，当判断为是时，进行步骤S403，否则，进行步骤S404。

S403：对该图像进行编码，针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

S404：判断当前拼接后的图像中左右两个视点的图像所处的帧数是否相同，当判断相同时进行步骤S405，否则，进行步骤S406。

S405：对右视点图像进行编码，对左视点图像的编码设置为SKIP模式，针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列。

S406：对左视点图像进行编码，对右视点图像的编码设置为SKIP模式，针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

图5为本发明实施例提供的基于上述立体图像编码过程的立体图像解码过程，该过程包括以下步骤：

S501：接收编码后的码流并解码。

S502：根据解码后的每个视频帧，判断针对该视频帧的SEI中是否写入了解冻标识，当判断结果为是时，进行步骤S503，否则，进行步骤S504。

S503：将该视频帧发送到显示队列进行显示。

S504：不将该视频帧发送到显示队列。

基于上述方法进行编码后帧率增加到之前的两倍，针对编码后的码流，解析编码后的码流信息，根据在码流中添加的SEI信息，输出重构的数量拼接图像信息，通过拆分以及上采样，将两路下采样重构图像插值为原始分辨率之后用于显示。

另外，在进行采样时，若当前待采样的左右视点图像在进行编码时为I帧，则对当前待采样的左和右视点图像进行下采样，并采用空间拼接方法，将采样后的左和右视点图像拼接为一帧；

若当前待采样的左右视点图像在进行编码时为P帧或B帧，则分别对当前待采样的左和右视点图像进行下采样，采用空间拼接方法获得两帧，其中第一帧为采用采样获得的右视点图像，对前一帧拼接后的图像的右视点图像进行更新得到的，第二帧为采用采样获得的左视点图像对第一帧拼接后的图像的左视点图像进行更新得到的。

针对采样后的左右视点图像，在进行拼接时，可以先更新左视点图像，再更新右视点图像，也可以先更新右视点图像，再更新左视点图像。具体使用时可以根据需要灵活选择。

图2是以先更新左视点图像，再更新右视点图形进行的说明，当然也可以先更新右视点图形，再更新左视点图像，右左视点图像的更新过程与上述过程相同，在这里就不一一赘述。

针对上述采样方法，在进行编码时具体包括：

若将当前拼接后的图像编码为I帧，则对该图像进行编码，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列；

若将当前拼接后的图像编码为P帧或B帧，判断所述拼接后的图像中左右两个视点的图像所处的帧数是否相同；

当左右两个视点的图像所处的帧数不同时，对右视点图像进行编码，对左视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列；

当左右两个视点的图像所处的帧数相同时，对左视点图像进行编码，对右视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

当前拼接后的图像编码为I帧，则对该图像正常编码，当当前拼接后的图像编码为P帧或B帧，则在进行编码时，判断左右视点图像所处帧数是否相同，当不同时，只对右视点图像进行编码，当相同时只对左视点图像进行编码。

针对编码后的视频流，解析编码后的码流信息，输出重构的拼接图像信息，通过拆分以及上采样，将两路下采样重构图像插值为原始分辨率之后用于显示。

图6为本发明实施例提供的一种立体图像的采样装置结构图，所述装置包括：

判断模块61，用于判断当前待采样的左右视点图像在进行编码时是否为I帧，当判断结果为是时，将该待采样的左右视点图像发动到第一采样模块采样，否则发送到第二采样模块采样；

第一采样模块62，用于对当前待采样的左右视点图像进行下采样，并采用空间拼接方法，将采样后的左右视点图像拼接为一帧；

第二采样模块63，用于分别对当前待采样的左和右视点图像进行下采样，采用空间拼接方法获得两帧，其中第一帧为采用采样获得的左或右视点图像，对前一帧拼接后的图像的左或右视点图像进行更新得到的，第二帧为采用采样获得的右或左视点图像对第一帧拼接后的图像的右或左视点图像进行更新得到的。

所述第一采样模块62和第二采样模块63，具体用于采用空间拼接方法中的左右拼接方法、上下拼接方法和交错拼接方法中的任一种对左右视点图像进行拼接。

图7为本发明实施例提供的一种基于上述立体图像采样装置的立体图像编码装置结构图，所述装置包括：

判断模块71，用于判断将当前拼接的图像是否编码为I帧，当确定将该当前拼接的图像编码为I帧时，将该图像发送到第一编码模块编码，当确定将该当前拼接的图像编码为P帧或B帧时，将该图像发送到第二编码模块编码；

第一编码模块72，用于对该图像进行编码，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列；

第二编码模块73，用于判断所述拼接后的图像中左右两个视点的图像所处的帧数是否相同；当左右两个视点的图像所处的帧数不同时，对左或右视点图像进行编码，对右或左视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列；当左右两个视点的图像所处的帧数相同时，对右或左视点图像进行编码，对左或右视点图像的编码设置为SKIP模式，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

图8为本发明实施例提供的一种基于上述立体图像编码装置的立体图像解码装置结构图，所述装置包括：

接收解码模块81，用于接收编码后的码流并解码；

判断模块82，用于根据解码后的每个视频帧，判断针对该视频帧的SEI信息中是否写入了解冻标识；

发送模块83，用于当该SEI信息中写入解冻标识时，将所述视频帧发送到显示队列进行显示。

所述装置还包括：

分辨率调整模块84，用于通过拆分以及上采样，将两路下采样重构图像插值为原始分辨率之后用于显示。

本发明实施例提供了一种立体图像的采样、编码及解码方法及装置，该方法在对左右视点图像进行采样时，若该左右视点图像在后续编码为是编码为I帧，则对当前待采样的左右视点图像进行下采样并空间拼接，若编码时是P帧或B帧，则对当前待采样的左或右视点图像进行下采样，对当前图像前一图像拼接后的图像的左或右视点图像进行更新，将该更新后的图像作为接后的图像。由于在本发明实施例中充分考虑了立体图像中左右视点图像的关联性，对编码时为P帧或B帧的左或右视点图像进行下采样，通过空间拼接的方法，对拼接后的左右视点图像逐次更新，有效的去除了视点间图像信息冗余，从而达到了比较好的压缩性能。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的提供编码和解码的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种立体图像的采样方法，其特征在于，该方法包括：

若当前待采样的左右视点图像在进行编码时为I帧，则对当前待采样的左和右视点图像进行下采样，并采用空间拼接方法，将采样后的左和右视点图像拼接为一帧；

若当前待采样的左右视点图像在进行编码时为P帧或B帧，则分别对当前待采样的左和右视点图像进行下采样，采用空间拼接方法获得两帧，其中

第一帧为采用采样获得的左视点图像，对前一帧拼接后的图像的左视点图像进行更新得到的，第二帧为采用采样获得的右视点图像对第一帧拼接后的图像的右视点图像进行更新得到的；或者

第一帧为采用采样获得的右视点图像，对前一帧拼接后的图像的右视点图像进行更新得到的，第二帧为采用采样获得的左视点图像对第一帧拼接后的图像的左视点图像进行更新得到的。

2.如权利要求1所述的采样方法，其特征在于，所述空间拼接方法包括：

左右拼接方法、上下拼接方法和交错拼接方法。

3.一种基于权利要求1～2任一项所述立体图像的采样方法的立体图像编码方法，其特征在于，所述方法包括：

若将当前拼接后的图像编码为I帧，则对该图像进行编码，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列；

若将当前拼接后的图像编码为P帧或B帧，判断所述拼接后的图像中左右两个视点的图像所处的帧数是否相同；

当左右两个视点的图像所处的帧数不同时，对左视点图像进行编码并对右视点图像的编码设置为SKIP模式，或者对右视点图像进行编码并对左视点图像的编码设置为SKIP模式，并且针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列；

当左右两个视点的图像所处的帧数相同时，对右视点图像进行编码并对左视点图像的编码设置为SKIP模式，或者对左视点图像进行编码并对右视点图像的编码设置为SKIP模式，并且针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

4.一种基于权利要求3所述立体图像编码方法的立体图像解码方法，其特征在于，所述方法包括：

接收编码后的码流，并解码；

根据解码后每个视频帧，判断针对该视频帧的SEI信息中是否写入了解冻标识；

当该SEI信息中写入解冻标识时，将所述视频帧发送到显示队列进行显示。

5.如权利要求4所述的解码方法，其特征在于，所述方法还包括：

通过拆分以及上采样，将两路下采样重构图像插值为原始分辨率之后用于显示。

6.一种立体图像的采样装置，其特征在于，所述装置包括：

判断模块，用于判断当前待采样的左右视点图像在进行编码时是否为I帧，当判断结果为是时，将该待采样的左右视点图像发动到第一采样模块采样，否则发送到第二采样模块采样；

第一采样模块，用于对当前待采样的左右视点图像进行下采样，并采用空间拼接方法，将采样后的左右视点图像拼接为一帧；

第二采样模块，用于分别对当前待采样的左和右视点图像进行下采样，采用空间拼接方法获得两帧，其中

第一帧为采用采样获得的左视点图像，对前一帧拼接后的图像的左视点图像进行更新得到的，第二帧为采用采样获得的右视点图像对第一帧拼接后的图像的右视点图像进行更新得到的；或者

第一帧为采用采样获得的右视点图像，对前一帧拼接后的图像的右视点图像进行更新得到的，第二帧为采用采样获得的左视点图像对第一帧拼接后的图像的左视点图像进行更新得到的。

7.如权利要求6所述的采样装置，其特征在于，所述第一采样模块和第二采样模块，具体用于采用空间拼接方法中的左右拼接方法、上下拼接方法和交错拼接方法中的任一种对左右视点图像进行拼接。

8.一种基于权利要求6～7任一项所述的立体图像采样装置的立体图像编码装置，其特征在于，所述装置包括：

判断模块，用于判断将当前拼接的图像是否编码为I帧，当确定将该当前拼接的图像编码为I帧时，将该图像发送到第一编码模块编码，当确定将该当前拼接的图像编码为P帧或B帧时，将该图像发送到第二编码模块编码；

第一编码模块，用于对该图像进行编码，并针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列；

第二编码模块，用于判断所述拼接后的图像中左右两个视点的图像所处的帧数是否相同；当左右两个视点的图像所处的帧数不同时，对左视点图像进行编码并对右视点图像的编码设置为SKIP模式，或者对右视点图像进行编码并对左视点图像的编码设置为SKIP模式，并且针对该帧在SEI信息中写入冻结标识，用于标识解码后不将该帧发送到显示队列；当左右两个视点的图像所处的帧数相同时，对右视点图像进行编码并对左视点图像的编码设置为SKIP模式，或者对左视点图像进行编码并对右视点图像的编码设置为SKIP模式，并且针对该帧在SEI信息中写入解冻标识，用于标识解码后将该帧发送到显示队列。

9.一种基于权利要求8所述立体图像编码装置的立体图像解码装置，其特征在于，所述装置包括：

接收解码模块，用于接收编码后的码流并解码；

判断模块，用于根据解码后的每个视频帧，判断针对该视频帧的SEI信息中是否写入了解冻标识；

发送模块，用于当该SEI信息中写入解冻标识时，将所述视频帧发送到显示队列进行显示。

10.如权利要求9所述的解码装置，其特征在于，所述装置还包括：

分辨率调整模块，用于通过拆分以及上采样，将两路下采样重构图像插值为原始分辨率之后用于显示。