CN102308583A - 对多视角图像进行编码和解码的设备和方法 - Google Patents

Abstract

提供了一种用于对包括立体图像的多视角图像进行编码和解码的设备和方法。用于对多视角图像进行编码的设备包括：基本层编码单元，对基本层图像进行编码以产生基本层比特流；基于视角的转换单元，对基本层图像执行基于视角的转换以产生视角转换的基本层图像；减法器，获得增强层图像和视角转换的基本层图像之间的残差；增强层编码单元，对获得的残差进行编码以产生增强层比特流。

Description

对多视角图像进行编码和解码的设备和方法

技术领域

与示例性实施例一致的设备和方法涉及对图像进行编码和解码，更具体地说，涉及在保持与特定视频编解码器的兼容性的同时对包括立体图像的多视角图像进行编码和解码。

背景技术

在运动图像专家组(MPEG)-2多视角配置(profile)中，已建立了使用MPEG-2支持三维(3D)图像服务的标准，但由于该标准具有低编码效率和应该基于MPEG-2的问题，还没有被使用。在以下描述中，应该理解，立体图像是指由左侧图像和右侧图像组成的双视角图像，3D图像是指包括立体图像的多视角图像(例如，多于两个视角的图像)。此外，国际标准化组织/国际电工委员会(ISO/IEC)和国际电信联盟(ITU)推动多视角图像的编码方法的标准，但所述标准具有基于H.264的结构。

发明内容

技术问题

因此，需要使用现有编解码器，但是不基于MPEG-2和H.264的系统不能够使用现有编解码器。为了在使用不同的编解码器(诸如数字影院等)的状态下有效地应用3D图像，需要在使用现有编解码器的同时还新支持3D图像的方案。该方案被要求在这样的系统中具有有效的增强：除了意图支持数字影院以外还意图支持3D图像，但当前不基于H.264或MPEG-2。

技术方案

示例性实施例提供一种用于在保持与现有视频编解码器的兼容性的同时对3D图像进行编码和解码的设备和方法。

示例性实施例还提供一种用于对分层结构的3D图像进行编码和解码的设备和方法。

示例性实施例还提供一种用于对分层结构的对多视角图像进行编码和解码的设备和方法。

根据示例性实施例的一方面，提供了一种用于对多视角图像进行编码的方法，所述方法包括：对基本层图像进行编码以产生基本层比特流；对基本层图像执行基于视角的转换以产生视角转换的基本层图像；获得输入的增强层图像和视角转换的基本层图像之间的残差；对获得的残差进行编码以产生增强层比特流。

根据另一示例性实施例的一方面，提供了一种用于对多视角图像进行编码的设备，所述设备包括：基本层编码单元，对基本层图像进行编码以产生基本层比特流；基于视角的转换单元，对基本层图像执行基于视角的转换以产生视角转换的基本层图像；残差检测单元，获得输入的增强层图像和基于视角转换的基本层图像之间的残差；增强层编码单元，对获得的残差进行编码以产生增强层比特流。

根据另一示例性实施例的一方面，提供了一种用于对多视角图像进行解码的方法，所述方法包括：重建基本层比特流以产生重建的基本层图像；对重建的基本层图像执行基于视角的转换以产生基于视角转换的基本层图像；对输入的增强层比特流进行解码以获得残差；将残差与基于视角转换的基本层图像相加以产生增强层图像。

根据另一示例性实施例的一方面，提供了一种用于对多视角图像进行解码的设备，所述设备包括：基本层解码单元，重建输入的基本层比特流以产生基本层图像；基于视角的转换单元，对重建的基本层图像执行基于视角的转换；增强层解码单元，对输入的增强层比特流进行解码以产生残差；图像重建单元，将残差与基于视角转换的基本层图像相加以产生增强层图像。

通过使用示例性实施例的分级结构，可在保持与特定视频编解码器的兼容性的同时对立体图像进行压缩和编码。因此，当在使用各种编解码器的环境中(如在传统数字影院中)，需要重新对立体图像进行压缩和发送时，可在使用现有编解码器的同时添加新的服务。此外，通过仅接收比特流的一部分，现有解码器可从由新的系统制作的比特流中连续提供现有服务。

附图说明

从下面结合附图的示例性实施例的详细描述中，以上和其它方面将更加明显，其中：

图1是示出根据示例性实施例的分层多视角图像编码设备的配置的示图；

图2是示出根据示例性实施例的分层多视角图像解码设备的配置的示图；

图3是示出根据示例性实施例的图1的多视角图像编码设备的操作的流程图；

图4是示出根据示例性实施例的图2的多视角图像解码设备的操作的流程图。

具体实施方式

以下，将参照附图描述示例性实施例。在以下描述中，虽然相同的标号在不同的附图中示出，但是相同的标号将指定相同的元件。此外，在以下描述中发现的各种特定定义(诸如特定种类的编解码器(诸如H.264或VC-I等))仅被提供以帮助一般的理解，而本领域技术人员将清楚，在没有这样的定义的情况下，也可实现本发明构思。此外，在以下描述中，可省略对合并于此的公知功能和配置的详细描述。

为了能够在保持与特定现有编解码器的兼容性的同时提供新的3D图像服务，在示例性实施例中，以分层结构设计3D图像编码和解码设备。以下，在示例性实施例中，将以用于对由左侧图像和右侧图像组成的立体图像进行编码和解码的方案作为示例。然而，本发明构思不限于立体图像，并且可以以相同的方式被应用于多视角图像(例如，多于两个视角的图像)。

在示例性实施例中，图像编码设备被配置为：在基本(或较低)层中，通过现有2D图像编解码器对基本层图像进行压缩和编码，在增强(或较高)层中，通过对具有与基本层的图像的视点不同的视点的图像进行压缩和编码来对3D图像数据进行压缩和编码。在这种情况下，增强层不使用与基本层的编解码器结构相似的编解码器结构(其中，基本层采用与现有方法相同的方式)，而是不管在基本层中使用的编码种类，将基本层的视点转换为增强层的视点，对增强层中的两个视点之间的差进行压缩和编码以发送编码的差。因此，当编码的差在解码设备中被解码时，在重建基本层之后，通过将经由基于视角的转换获得的数据与来自增强层的重建数据合并，可重建具有与基本层的视点不同的视点的数据，并且根据需要，可通过仅对基本层进行解码来重建现有2D图像。

图1是示出根据示例性实施例的分层多视角图像编码设备的配置的示图。

通过分离的相机、输入接口或文件将左侧图像(即，第一图像)和右侧图像(即，第二图像)输入到图1的编码设备。左侧图像和右侧图像之一被输入到基本层，并由基本层进行编码，另一图像被输入到增强层，并由增强层进行编码。以下，在示例性实施例中，假设左侧图像被输入到基本层，右侧图像被输入到增强层。然而，相反的情况也是可能的。

如果2D图像或与左眼相应的图像(即，左侧图像)被输入到图像编解码器，则图像编解码器的基本层编码部分对输入的左侧图像进行压缩和编码。这里，图像编解码器可以是公知的图像编解码器(诸如H.264或VC-I)。参照图1，公知图像编解码器的编码部分可被用作基本层编码单元11，这样，图1的图像编码设备具有与现有图像编解码器的兼容性。换句话说，图1的图像编码设备可具有接口单元，该接口单元用于将从特定图像编解码器压缩并编码的左侧图像输入为基本层比特流。

此外，为了对右侧图像进行编码，图1的图像编码设备将左侧图像的重建图像转换为右侧图像的视点。也就是说，如果从基本层编码单元11输入压缩并编码的左侧图像，则基本层重建单元13将压缩并编码的左侧图像重建为基本层图像。

随后，图1的基于视角的转换单元15对与左眼或一个视点相应的重建基本层图像执行基于视角的转换，将其转换为与右眼或另一视点相应的图像。具体地，基于视角的转换单元15估计左侧图像和右侧图像之间的位移(例如，诸如运动矢量的位移矢量)的程度，并且使用估计的位移执行左侧图像到右侧图像的基于视角的转换。也就是说，位移估计和补偿单元15作为视角转换器进行工作，将一个视点的图像(例如，左侧图像)转换为另一视点的图像(例如，右侧图像)。在预测编码结构中，视角转换的图像被用作右侧图像的预测图像。

图1的残差检测单元17可由减法器实现，并在使用估计的位移进行了视角转换的图像(即，估计图像)和具有与重建图像的视点不同的视点的图像之间进行减法运算。如上所述，根据示例性实施例，可通过获得输入的左侧图像和右侧图像的预测图像之间的差来获得残差。

图1的残差转换单元19控制由残差检测单元17获得的残差的范围，增强层编码单元21对范围控制的残差进行压缩和编码。图1的比特流合并单元23将增强层比特流与基本层比特流进行合并。因此，通过对残差进行压缩并编码而获得的压缩并编码的基本层比特流和增强层比特流被重建为将被发送的单个比特流。在这种情况下，为了确定比特流的指定单元是属于基本层还是属于增强层，可(例如)插入标记。复用器可被用作比特流合并单元23。

图3是示出根据示例性实施例的图1的多视角图像编码设备的操作的流程图。

参照图3，在操作301，基本层编码单元11对输入的基本层图像(例如，左侧图像)进行编码，并输出基本层比特流。在操作303，基本层重建单元13对编码的基本层图像进行重建，在操作305，基于视角的转换单元15执行将重建的基本层图像转换为增强层图像(例如，右侧图像)的视点的视角转换器的功能。随后，在操作307，减法器17将输入的增强层图像和视角转换的基本层图像之间的差输出为残差，在操作309，增强层编码单元21对残差进行编码，并输出增强层比特流。

如果多个增强层图像被提供，则各增强层图像具有不同的视点，并且对每个增强层执行基于视角的转换。

图2是示出根据示例性实施例的分层多视角图像解码设备的配置的示图。

参照图2，比特流分析单元52与图1的比特流合并单元23相应。比特流分析单元52基于标记将输入比特流分离为增强层比特流和基本层比特流。也就是说，比特流分析单元52检查标记以确定输入比特流是增强层比特流还是基本层比特流。如果确定输入比特流是增强层比特流，则比特流分析单元52将输入比特流传送到增强层解码部分。如果确定输入比特流是基本层比特流，则比特流分析单元52将输入比特流传送到基本层解码部分。

在图2中，基本层解码单元54对基本层进行解码以获得重建左侧图像。这里，基本层解码单元54与图1的基本层编码单元11相应，并可使用现有图像编解码器(诸如H.264和VC-1)的基本层解码部分实现。换句话说，图2的图像解码设备可具有用于输入从特定图像编解码器输出的重建左侧图像的接口单元。

在图2中，基于视角的转换单元56对由基本层解码单元54重建的左侧图像执行基于视角的转换，将其转换为不同视点的图像(例如，右侧图像)。也就是说，基于视角的转换单元56使用通过比特流传送的位移信息(例如，诸如运动矢量的位移矢量)来对重建左侧图像执行基于视角的转换，将其转换为与与增强层的视点相应的右侧图像以输出预测图像。

传送到图2中的增强层的比特流被输入到增强层解码单元58。增强层解码单元58对由图1的图像编码设备编码并且作为增强层比特流传送的残差进行重建。如上所述，所述残差是指右侧图像的预测图像和左侧图像之间的差。残差逆转换单元60执行由图1的残差转换单元执行的转换的逆处理。

在图2中，可由加法器来实现图像重建单元62，并且图像重建单元62通过将从残差逆转换单元60输出的残差与来自基本层的视角转换的图像相加来重建右侧图像。这里来自基本层的视角转换的图像从基于视角的转换单元56输出。

另一方面，如果仅有基本层的比特流将被重建，而不考虑由图2的比特流分析单元52提取的增强层的比特流，则可使用现有2D图像标准方法来重建2D图像。

图4是示出根据示例性实施例的图2的多视角图像解码设备的操作的流程图。

参照图4，在操作301，基本层解码单元54对输入的基本层比特流进行解码，并输出第一视角图像(例如，左侧图像)。另一方面，在基本层比特流和增强层比特流中，可包括指示相应的比特流是否是需要基于视角的转换的增强层图像的标志信息。因此，如果增强层比特流被输入，则图2的比特流分析单元52可通过确认标志信息来识别相应的比特流是否是增强层比特流。

如果在操作403确定相应的比特流是增强层比特流，则在操作405，执行基于视角的转换的功能的基于视角的转换单元56将重建的基本层图像转换为增强层图像(例如，右侧图像)的视点。随后，在操作407，增强层解码单元58对输入增强层比特流进行解码，并输出残差。在操作409，加法器62将残差与视角转换的基本层图像相加，并输出第二视角图像，即，增强层图像。

如参照图4所述，如果多个增强层图像被提供，则各增强层图像具有不同的视点，并且对每个增强层执行基于视角的转换。

虽然为了说明的目的描述了示例性实施例，但是清楚的是在不脱离本发明构思的范围的情况下可进行各种修改。因此，本发明构思不应受限于上述的示例性实施例，而应该由权利要求及其等同特定义。

例如，虽然在示例性实施例中描述了单个视点或两个视点(即，左侧图像和右侧图像)，但也可将根据示例性实施例的图像编码和解码方法提高为多个层从而对多个视点进行分层编码。这里，多个视点可与(例如)分别通过三个相机输入的左侧图像、右侧图像和中心图像。在这种情况下，右侧图像和中心图像的层可存在于用于处理左侧图像的基本层的周围。

以下，将描述根据示例性实施例的对多个时间点进行分层编码的图像编码和解码设备的配置示例。

在示例性实施例中，用于对3D图像(即，多视点图像)进行编码的设备包括：基本层处理单元，对输入的第一图像到第n(其中，n是等于或大于2的自然数)图像中的第一图像进行压缩和编码；第一增强层处理单元到第(n-1)增强层处理单元，对第二图像到第n图像执行基于视角的转换，从而第n图像具有与其它图像的视点不同的视点(例如，在第二图像的情况下，其视点不同于第一图像的视点，在第三图像的情况下，其视点不同于第一图像或第二图像的视点)，获得第n图像和所述其它图像之间的视点的差(例如，残差)，并对该残差进行压缩和编码；比特流合并单元，通过对从基本层处理单元输出的比特流和从第一增强层处理单元到第n-1增强层处理单元输出的比特流进行合并来重建比特流。

此外，在示例性实施例中，用于对3D图像(即，多视角图像)进行解码的设备包括：比特流分析单元，将输入比特流分离为第一到第n-1(其中，n是等于或大于2的自然数)；基本层解码单元，通过对分离的基本层比特流进行解码来重建输入第一图像；第一增强层处理单元到第n-1增强层处理单元，通过使用检测的视点信息来对第一增强层到第n-1增强层比特流进行解码和转换以使解码的比特流具有相应的视点，来重建输入第二图像到第n图像。

此外，还可将一个或多个位移矢量(例如，运动矢量)用作转换变量以将基本层的视点转换为增强层的视点，并将这些位移矢量插入比特流中。

为了将基本层的视点转换为增强层的视点，可使用特定函数，并可将关于所述函数的参数插入比特流。这里，特定函数可以是可将左侧图像和右侧图像之间的差表示为像素单元值之间的差的函数。

此外，在整个序列单元或在当前帧单元中可选择性地执行基本层的视点到增强层的视点的转换。这里，整个序列是指组成一定时间的运动图像的多个场景，当前帧是指单个场景。换句话说，图1所示的情况与单个场景相应，并且对于多个图像中的每个图像，都存在左侧图像和右侧图像。

如上所述，在整个序列单元或当前帧单元中选择性地执行基于视角的转换所需要的位移矢量和参数可被插入序列头或者帧/场头。

虽然已示出并描述了示例性实施例，但本领域的技术人员应该理解，可以对其形式和细节进行各种改变。

Claims (15)

1.一种用于对多视角图像进行编码的方法，包括以下步骤：

对输入的基本层图像进行编码以产生基本层比特流；

对基本层图像执行基于视角的转换以产生视角转换的基本层图像；

获得输入增强层图像和视角转换的基本层图像之间的残差；

对获得的残差进行编码以产生增强层比特流。

2.如权利要求1所述的方法，其中，通过估计基本层图像和增强层图像之间的位移矢量来执行基于视角的转换。

3.如权利要求1所述的方法，其中，执行基于视角的转换的步骤包括以下步骤：

重建编码的基本层图像；

将重建的基本层图像的视点转换为输入的增强层图像的视点。

4.一种对多视角图像进行编码的设备，包括：

基本层编码单元，对输入的基本层图像进行编码以产生基本层比特流；

基于视角的转换单元，对基本层图像执行基于视角的转换以产生视角转换的基本层图像；

减法器，获得输入的增强层图像和视角转换的基本层图像之间的残差；

增强层编码单元，对获得的残差进行编码以产生增强层比特流。

5.如权利要求4所述的设备，其中，基于视角的转换单元通过估计基本层图像和增强层图像之间的位移矢量来执行基于视角的转换。

6.如权利要求4所述的设备，还包括：基本层重建单元，重建编码的基本层图像；

其中，视点转换单元将重建的基本层图像的视点转换为输入的增强层图像的视点。

7.一种对多视角图像进行解码的方法，包括以下步骤：

重建输入的基本层比特流以产生重建的基本层图像；

对重建的基本层图像执行基于视角的转换以产生视角转换的基本层图像；

对输入的增强层比特流进行解码以获得残差；

将残差与视角转换的基本层图像相加以产生增强层图像。

8.如权利要求7所述的方法，其中，通过估计基本层图像和增强层图像之间的位移矢量来执行基于视角的转换。

9.如权利要求7所述的方法，其中，执行基于视角的转换的步骤包括以下步骤：将重建的基本层图像的视点转换为增强层图像的视点。

10.一种对多视角图像进行解码的设备，包括：

基本层解码单元，重建输入的基本层比特流以产生基本层图像；

基于视角的转换单元，对重建的基本层图像执行基于视角的转换以产生视角转换的基本层图像；

增强层解码单元，对输入的增强层比特流进行解码以获得残差；

加法器，将残差与视角转换的基本层图像相加以产生增强层图像。

11.如权利要求1所述的方法、权利要求4所述的设备、权利要求7所述的方法或权利要求10所述的设备，其中，用于在基本层比特流和增强层比特流之间进行区分的标志信息被插入每个比特流。

12.如权利要求10所述的设备，其中，基于视角的转换单元通过估计基本层图像和增强层图像之间的位移矢量来执行基于视角的转换。

13.如权利要求10所述的设备，其中，视点转换单元将重建的基本层图像的视点转换为增强层图像的视点。

14.如权利要求1所述的方法、权利要求4所述的设备、权利要求7所述的方法或权利要求10所述的设备，其中，如果多视角图像是立体图像，则基本层图像和增强层图像与左侧图像和右侧图像中的任何一个相应。

15.如权利要求1所述的方法、权利要求4所述的设备、权利要求7所述的方法或权利要求10所述的设备，其中，多个增强层图像被提供，各增强层图像具有不同的视点，并且对于每个增强层，执行基于视角的转换以及残差的编码。

Images