CN101273635A - 使用相机参数对多视图画面编码和解码的设备和方法以及存储用于执行该方法的程序的记录介质 - Google Patents

Abstract

提供一种使用相机参数对多视图画面进行编码和解码的设备和方法。所述多视图运动画面编码设备包括：多视图画面接收器，接收多视图画面和多个相机参数；相机参数信息设置单元，从多个接收的相机参数选择用于对多视图画面进行编码的相机参数，并且设置指示选择的相机参数的信息；编码器，基于设置的信息对多视图画面进行编码。因此，可以增强多视图画面的编码效率。

Description

使用相机参数对多视图画面编码和解码的设备和方法以及存储用于执行该方法的程序的记录介质

技术领域

与本发明一致的方法和设备涉及对多视图运动画面进行编码和解码，更具体地说，涉及使用相机参数对多视图画面进行编码和解码。

背景技术

根据MPEG-4和H.264标准的运动画面编码涉及对通过单个相机捕获的运动画面的编码，并且目的在于增强编码效率。然而，在诸如现实通信或虚拟现实等的技术领域中，需要一种使用多个相机捕获场景、构建具有多视图的三维运动画面和对构建的多视图画面进行有效地压缩编码并再现构建的多视图画面的方法。

然而，由于现有技术压缩编码和再现方法涉及对通过单个相机捕获的画面进行压缩编码和再现，因此很难将现有技术的压缩编码和再现方法应用于多视图画面。

发明内容

技术问题

本发明提供一种对多视图画面编码和解码的设备和方法，所述设备和方法能够使用相机参数增强多视图画面的编码效率。

本发明还提供一种存储用于执行对多视图画面进行编码和解码的方法的程序的计算机可读记录介质，所述方法能够使用相机参数增强多视图画面的编码效率。

有益效果

根据本发明的示例性实施例，提供一种对多视图画面进行编码的设备和方法，所述设备和方法能够不对所有相机参数进行编码并且不发送所有相机参数而仅通过选择性地对编码所必需的相机参数进行编码，来增强多视图画面编码效率。

另外，根据本发明的示例性实施例，提供一种对使用相机参数编码的多视图画面进行解码的方法和设备。

附图说明

通过下面参照附图对本发明的示例性实施例进行的详细描述，本发明的上述和其它方面将会变得更加明显，其中：

图1示出根据本发明的示例性实施例的表示相机组拍摄的多视图画面上的相应点的示图；

图2示出根据本发明的示例性实施例的表示纯位移(pure-translation)相机组拍摄的多视图画面上的相应点的示图；

图3示出根据本发明的示例性实施例的多视图画面编码设备的框图；

图4是示出根据本发明的示例性实施例的多视图画面编码方法的流程图；以及

图5示出根据本发明的示例性实施例的多视图画面解码设备的框图。

最佳方式

根据本发明的一方面，提供一种用于对多视图画面进行编码的设备，所述设备包括：多视图画面接收器，接收多视图画面和多个相机参数；相机参数信息设置单元，从多个接收的相机参数选择用于对多视图画面进行编码的相机参数，并且设置指示选择的相机参数的信息；以及编码器，基于设置的信息对多视图画面进行编码。

所述设备还包括：相机参数分类单元，当以合成信息接收到关于相机特性的多个相机参数时，将合成信息分别分类为包括相机排列类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数项。

相机参数信息设置单元根据多个接收的相机参数的使用或传输的频率选择用于对多视图画面进行编码的相机参数。

相机参数信息设置单元还设置指示相机参数是否已经改变的信息，并且如果指示相机参数是否已经改变的信息指示相机参数没有改变，则编码器不对先前发送的相机参数进行编码。

指示选择的相机参数的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

当设置的信息和根据设置的信息的相机参数指示纯位移组状态时，编码器使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。

根据本发明的另一方面，提供一种对多视图画面进行编码的方法，所述方法包括：接收多视图画面和多个相机参数；从多个接收的相机参数选择用于对多视图画面进行编码的相机参数；设置指示选择的相机参数的信息；以及基于设置的信息对多视图画面进行编码。

根据本发明的另一方面，提供一种用于对多视图画面进行解码的设备，所述设备包括：相机参数信息提取器，从使用相机参数编码的多视图画面提取包括对使用的相机参数设置的信息和使用的相机参数的相机参数信息；以及解码器，基于提取的相机参数对多视图画面进行解码，其中，如果从相机参数信息提取器提取了指示相机参数已经改变的信息，则解码器基于提取的相机参数信息对多视图画面进行解码，如果从相机参数信息提取器提取了指示相机参数没有改变的信息，则解码器使用先前接收的相机参数对多视图画面进行解码。

对使用的相机参数设置的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

根据本发明的另一方面，提供一种对多视图画面进行解码的方法，所述方法包括：从使用相机参数编码的多视图画面提取包括对使用的相机参数设置的信息和使用的相机参数的相机参数信息；基于提取的相机参数信息对多视图画面进行解码，其中，对多视图画面进行解码的步骤还包括：如果从编码的多视图画面提取了指示相机参数已经改变的信息，则基于提取的相机参数信息对多视图画面进行解码，如果从编码的多视图画面提取了指示相机参数没有改变的信息，则使用先前接收的相机参数对多视图画面进行解码。

具体实施方式

以下，参照附图来详细描述本发明的示例性实施例。

图1示出根据本发明的示例性实施例的表示相机组拍摄的多视图画面上的相应点的示图。当三个多视图相机拍摄点时，在图1中示出三个多视图相机拍摄的相应点的画面。在图1中，X表示画面1的相应点，X′表示画面2的相应点，X″表示画面3的相应点。

在图1中，假设画面1的相应点X的位置(即，在XYZ坐标系的三维空间中预定像素位置)是X＝(x，y，1)^T。这里，x和y是通过将xy坐标系中的关于x坐标和y坐标的值归一化到与z轴相应的值而获得的值。因此，可通过等式1和2计算画面2的相应点X′和画面3的相应点X″。

X′＝K′R₁₂K^-1X+K′t₁₂/Z    (1)

X″＝K″R₁₃K^-1X+K″t₁₃/Z    (2)

在等式1和2中，K、K′和K″分别表示画面1、画面2和画面3的相机固有参数，R₁₂和R₁₃分别表示画面2和画面3对于画面1的相机旋转参数，t₁₂和t₁₃分别表示画面2和画面3对于画面1的相机位移参数，Z表示图1中示出的三个多视图相机拍摄的相应点的z坐标值。

图2示出根据本发明的示例性实施例的表示纯位移(pure-translation)相机组拍摄的多视图画面上的相应点的示图。

在具有相同相机固有参数特性的多视图相机对于图2示出的预定对象沿直线平行排列的情况下被称为“纯位移组”。在这种情况下，在等式1和等式2中，R＝I(单位矩阵)并且K＝K′＝K″。

在图2中，X′和X″表示画面1上对于点X画面2和画面3的相应点。在纯位移组的情况下，位置差对应于X和X′之间的视差向量dv1，X′和X″之间的位置差对应于X′和X″之间的视差向量dv2，X和X″之间的位置差对应于X和X″之间的视差向量dv3。在纯位移组的情况下，X、X′和X″之间的相关性可由下面的等式3、4和5来表示：

X′＝X+Kt₁₂/Z      (3)

X″＝X+Kt₁₃/Z      (4)

X″＝X′+Kt₂₃/Z    (5)

从等式3和等式4导出下面的等式6：

$X^{\′}-X=\frac{t_{12}}{t_{13}}(X^{\′\′}-X)---\left(6\right)$

如果获得值t₁₂、t₁₃和X″-X(即dv3)，则可不使用现有技术的视差搜索方法而通过等式6获得dv1(即，X-X′)。

同时，可从等式3和等式5导出下面的等式7：

$X^{\′\′}-X^{\′}=\frac{t_{23}}{t_{12}}(X^{\′}-X)---\left(7\right)$

如果获得值t₁₂、t₂₃和X′-X(即dv1)，则可不使用现有技术的视差搜索方法而通过等式7获得dv2(即，X″-X′)。

其结果是，当仅有纯位移作为多视图相机组存在并且已知相机转换参数的值时，可使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。除了纯位移多视图相机组之外，能够以不同的形式排列多视图相机。然而，如果当以不同的形式排列并且正拍摄多视图画面的多视图相机时执行作为用于对多视图画面进行编码的预处理或后处理的校正，则可构建与纯位移多视图相机组相同的条件。因此，由于当构建纯位移多视图相机组时可如上所述估计视差向量，因此需要使用与位移相应的相机参数对多视图画面进行编码。

图3示出根据本发明的示例性实施例的多视图运动画面编码设备的框图。

参照图3，多视图运动画面编码设备包括多视图画面接收器310、相机参数信息设置单元330和编码器350。

多视图画面接收器310从拍摄多视图画面的多视图相机系统接收多视图画面和相机参数。所述相机参数是关于从多个相机接收的各个画面的相机特性信息。所述相机参数包括属于相机的特性，诸如相机排列类型、位移、旋转角、相机焦距、主点等。

相机参数信息设置单元330选择接收的相机参数中用于对多视图画面进行编码的相机参数。可根据预定标准选择相机参数以对多视图画面有效地进行编码。例如，相机参数信息设置单元330可根据接收的相机参数的传输频率选择对多视图画面进行编码的相机参数。

相机参数信息设置单元330随后设置指示选择的相机参数的信息。例如，通过Flag_CP1设置指示平行排列相机还是以曲线形式排列相机的相机排列类型，通过Flag_CP2设置位移，通过Flag_CP3设置旋转角度，通过Flag_CP4设置相机焦距，并通过Flag_CP5设置主点。指示相机参数的信息是指示选择的相机参数的标记信息，并且能够以片为单位或以每个画面的宏块为单位被设置。当各个标记被设置时，Flag_CPn可被设置为1。当相应相机参数不用于对多视图画面进行编码时，Flag_CPn可被设置为0。

编码器350基于设置的信息对多视图画面进行编码，并且产生多视图画面比特流。编码器350使用设置的标记信息和基于标记信息的相机参数对多视图画面进行编码。因此，在根据本发明的示例性实施例的多视图画面编码设备中，不对所有相机参数进行编码并且不发送所有相机参数而仅通过选择性地对编码所必需的相机参数进行编码，能够增强多视图画面的编码效率。

存在合成从多视图相机系统发送的相机参数的情况，例如，以矩阵发送各种相机参数。当以合成信息接收关于相机特性的相机参数时，根据本发明的示例性实施例的多视图画面编码设备还可包括用于对合成信息进行分类的相机参数分类单元320。这是因为必须根据属于相机的项或特性对各个相机参数进行分类，以在各种相机参数中选择用于对多视图画面进行编码的相机参数，并且根据本发明的示例性实施例设置关于选择的相机参数的信息。相机参数分类单元320将关于相机参数的合成信息分别分类为包括相机排列类型、位移、旋转角度、相机焦距和主点的相机参数项中的至少一个。

同时，当选择的相机参数改变成不同的相机参数并选择所述不同的相机参数时，或者当将相机参数的值改变成与相机参数项相同时，相机参数信息设置单元330还可设置指示相机参数已经改变的信息。例如，编码器350可设置指示相机参数是否已经改变的标记信息。

如果指示相机参数是否已经改变的标记信息指示相机参数已经改变，则编码器350使用改变的相机参数对多视图画面进行编码。同时，如果所述标记信息指示相机参数没有改变，则由于可使用先前从解码器发送的相机参数，因此不需要对发送的相机参数进行编码。以这种方式，防止相机参数的重新传输，从而增强了编码效率。

另外，如果设置信息和根据设置信息的相机参数指示纯位移组状态，则编码器350能够使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。

图4是示出根据本发明的示例性实施例的多视图运动画面编码方法的流程图。

在操作S410，接收多视图画面和相机参数。然后，在操作S420，在接收的相机参数中选择用于对多视图画面进行编码的相机参数。

在操作S410和操作S420之间，当以合成信息接收到关于相机特性的相机参数时，还可包括这样的操作：将合成信息分别分类为关于包括相机排列类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数的特性。在操作S420，可根据接收的相机参数的传输的频率选择用于对多视图画面进行编码的相机参数。

在操作S430，设置指示选择的相机参数的信息。指示选择的相机参数的信息是标记信息，并且能够以片为单位或以每个画面的宏块为单位被设置。

在操作S440，基于设置的信息对多视图画面进行编码。在操作S440，如果设置的信息和根据设置的信息的相机参数指示纯位移组状态，则还可执行这样的操作：使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。

同时，当设置了指示选择的相机参数的信息时，操作S430还可包括设置指示相机参数是否已经改变的信息的步骤。在这种情况下，在对多视图画面进行编码的操作S440中，如果指示相机参数是否已经改变的信息指示相机参数没有改变，则不必对与先前发送的相机参数相同的相机参数进行编码。

图5示出根据本发明的示例性实施例的多视图画面解码设备的框图。

参照图5，多视图运动画面解码设备包括相机参数信息提取器510和解码器520。相机参数信息提取器510从使用相机参数编码的多视图画面比特流提取相机参数信息。所述相机参数信息包括对用于多视图画面编码的相机参数设置的信息和用于多视图画面编码的相机参数。

对相机参数设置的信息可包括指示多视图画面编码使用的相机参数的信息和指示相机参数信息是否已经改变的信息。解码器520基于提取的相机参数信息对多视图画面进行自适应地解码。将解码的多视图画面输出到显示单元。

如果从相机参数信息提取器510提取了指示相机参数已经改变的信息，则解码器520基于提取的相机参数信息对多视图画面进行解码。如果提取了指示相机参数没有改变的信息，例如，如果指示相机参数已经改变的信息是无效值，则解码器520使用接收的相机参数对多视图画面进行解码。对使用的相机参数设置的信息是标记信息，并且能够以片为单位或以每个画面的宏块为单位被设置和接收。

根据本发明的多视图画面编码方法和多视图运动解码方法还可实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是存储其后能够由计算机系统读取的数据的任何数据存储装置。所述计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置和载波(诸如通过互联网的数据传输)。所述计算机可读记录介质还可分布于联网的计算机系统上，以便所述计算机可读代码能够以分布方式被存储和执行。

如上所述，根据本发明的示例性实施例，提供一种对多视图画面进行编码的设备和方法，所述设备和方法能够不对所有相机参数进行编码并且不发送所有相机参数而仅通过选择性地对编码所必需的相机参数进行编码，来增强多视图画面的编码效率。

另外，根据本发明的示例性实施例，提供一种对使用相机参数编码的多视图画面进行解码的方法和设备。

尽管已经参照本发明的示例性实施例具体显示并描述了本发明，但是本领域的普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以对本发明中的形式和细节进行各种改变。

Claims (24)

1、一种用于对多视图画面进行编码的设备，包括：

多视图画面接收器，接收多视图画面和多个相机参数；

相机参数信息设置单元，从多个接收的相机参数选择用于对多视图画面进行编码的相机参数，并且设置指示选择的相机参数的信息；

编码器，基于设置的信息对多视图画面进行编码。

2、如权利要求1所述的设备，还包括：相机参数分类单元，当以合成信息接收到关于相机特性的多个相机参数时，将合成信息分别分类为包括相机排列类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数特性。

3、如权利要求1所述的设备，其中，相机参数信息设置单元根据多个接收的相机参数的传输的频率选择用于对多视图画面进行编码的相机参数。

4、如权利要求1所述的设备，其中，相机参数信息设置单元还设置指示相机参数是否已经改变的信息，

如果指示相机参数是否已经改变的信息指示相机参数没有改变，则编码器不对先前发送的相机参数进行编码。

5、如权利要求1所述的设备，其中，指示选择的相机参数的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

6、如权利要求1所述的设备，其中，当设置的信息和根据设置的信息的相机参数指示纯位移组状态时，使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。

7、一种用于对多视图画面进行编码的方法，包括：

接收多视图画面和多个相机参数；

从多个接收的相机参数选择用于对多视图画面进行编码的相机参数；

设置指示选择的相机参数的信息；

基于设置的信息对多视图画面进行编码。

8、如权利要求7所述的方法，其中，当以合成信息接收到关于相机特性的多个相机参数时，将合成信息分别分类为包括相机排列类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数特性。

9、如权利要求7所述的方法，其中，在从所述多个接收的相机参数选择用于对多视图画面进行编码的相机参数的步骤中，根据所述多个接收的相机参数的传输的频率选择相机参数。

10、如权利要求7所述的方法，其中，设置指示选择的相机参数的信息的步骤还包括：设置指示相机参数是否已经改变的信息；

在对多视图画面进行编码的步骤中，如果指示相机参数是否已经改变的信息指示相机参数没有改变，则不使用先前发送的相机参数对多视图画面进行编码。

11、如权利要求7所述的方法，其中，指示选择的相机参数的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

12、如权利要求7所述的方法，其中，基于设置的信息对多视图画面进行编码的步骤包括：当设置的信息和根据设置的信息的相机参数指示纯位移组状态时，使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。

13、一种用于对多视图画面进行解码的设备，所述设备包括：

相机参数信息提取器，从使用相机参数编码的多视图画面提取包括对发送的相机参数设置的信息和发送的相机参数的相机参数信息；

解码器，基于提取的相机参数信息对多视图画面进行解码，

其中，如果从相机参数信息提取器提取了指示相机参数已经改变的信息，则解码器基于提取的相机参数信息对多视图画面进行解码，如果从相机参数信息提取器提取了指示相机参数没有改变的信息，则解码器使用先前接收的相机参数对多视图画面进行解码。

14、如权利要求13所述的设备，其中，对使用的相机参数设置的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

15、一种用于对多视图画面进行解码的方法，包括：

从使用相机参数编码的多视图画面提取包括对发送的相机参数设置的信息和发送的相机参数的相机参数信息；

基于提取的相机参数信息对多视图画面进行解码，

其中，对多视图画面进行解码的步骤还包括：如果从编码的多视图画面提取了指示相机参数已经改变的信息，则基于提取的相机参数信息对多视图画面进行解码，如果从编码的多视图画面提取了指示相机参数没有改变的信息，则使用先前接收的相机参数对多视图画面进行解码。

16、如权利要求15所述的方法，其中，对使用的相机参数设置的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

17、一种记录有用于执行对多视图画面进行编码的方法的计算机程序的计算机可读记录介质，包括：

接收多视图画面和多个相机参数；

从多个接收的相机参数选择用于对多视图画面进行编码的相机参数；

设置指示选择的相机参数的信息；

基于设置的信息对多视图画面进行编码。

18、如权利要求17所述的计算机可读记录介质，还包括：当以合成信息接收到关于相机特性的多个相机参数时，将合成信息分别分类为包括相机排列类型、位移、旋转角度、相机焦距和主点中的至少一个的相机参数特性。

19、如权利要求17所述的计算机可读记录介质，其中，在从多个接收的相机参数选择用于对多视图画面进行编码的相机参数的步骤中，根据多个接收的相机参数的传输的频率选择相机参数。

20、如权利要求17所述的计算机可读记录介质，其中，设置指示选择的相机参数的信息的步骤还包括：设置指示相机参数是否已经改变的信息；

在对多视图画面进行编码的步骤中，如果指示相机参数是否已经改变的信息指示相机参数没有改变，则不使用先前发送的相机参数对多视图画面进行编码。

21、如权利要求17所述的计算机可读记录介质，其中，指示选择的相机参数的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

22、如权利要求17所述的计算机可读记录介质，其中，基于设置的信息对多视图画面进行编码的步骤包括：当设置的信息和根据设置的信息的相机参数指示纯位移组状态时，使用当前编码帧的预定点和第二参考帧的相应点之间的视差向量来估计当前编码帧的预定点和第一参考帧的相应点之间的视差向量。

23、一种记录有用于执行对多视图画面进行解码的方法的计算机程序的计算机可读记录介质，包括：

从使用相机参数编码的多视图画面提取包括对发送的相机参数设置的信息和发送的相机参数的相机参数信息；

基于提取的相机参数信息对多视图画面进行解码，

其中，对多视图画面进行解码的步骤还包括：如果从编码的多视图画面提取了指示相机参数已经改变的信息，则基于提取的相机参数信息对多视图画面进行解码，如果从编码的多视图画面提取了指示相机参数没有改变的信息，则使用先前接收的相机参数对多视图画面进行解码。

24、如权利要求23所述的计算机可读记录介质，其中，对使用的相机参数设置的信息是标记信息，并且以片为单位或以每个画面的宏块为单位被设置。

Images