CN117396914A - 使用特征全景图的全景视图重建 - Google Patents

Abstract

一种用于多视点图像数据编码的方法，包括以下步骤：从多视点图像数据执行特征提取以获得多个特征图；对获得的多个特征图执行拼接和/或变换以获得至少一个特征全景图；对多视点图像数据执行变换以选择多视点图像数据的多个视图图块；编码至少一个特征全景图；编码多个视图图块。

Description

使用特征全景图的全景视图重建

技术领域

本发明涉及视觉信息压缩和解压缩技术领域。更具体地，本发明涉及用于多视点图像数据编码和多视点图像数据解码的设备和方法。

背景技术

编解码用于广泛的应用中，这些应用包括视觉信息，例如图像(例如静止图像(例如静止图片)以及动态图像(例如图像流和视频))。这种应用的示例包括通过有线移动网络和无线移动网络传输静止图像、通过有线移动网络或无线移动网络传输视频和/或视频流、广播数字电视信号、通过有线移动网络或无线移动网络进行诸如视频聊天或视频会议之类的实时视频对话、以及将图像和视频存储在诸如DVD盘或蓝光盘之类的便携式存储介质上。

编解码通常包括编码和解码。编码是压缩的过程，也可能改变图像内容的格式。因为编码减少了通过有线或无线网络传输图像所需的带宽，所以编码很重要。另一方面，解码是解码或解压缩编码或压缩的图像的过程。由于编码和解码适用于不同的设备，因此已经开发了用于称为编解码(codec)的编码和解码的标准。编解码通常是用于对图像和视频进行编码和解码的算法。

当图像是所谓的全景图像(例如静止全景图像或全景视频)时，由于全景图像通常尺寸较大，因此降低图像传输所需的带宽尤其重要。因此，例如，可以应用编解码来编码(压缩)全景图像(例如全景图像数据)，从而减少传输所需的带宽。同时，尽可能地保持编码(压缩)的全景图像的质量也非常重要。

通常，诸如静止全景图像(例如静止全景图片)的全景图像以及诸如全景图像流和全景视频的动态全景图像也可以称为或表示全景视图(panoramic view)。换句话说，全景视图通常被理解为表示在多个(至少两个)方向上的连续视图。例如，全景视图可以是360°图像或360°视频。这样的360°图像或360°视频示出了从给定点看到的场景的整个全景的视图。全景视图可以只是通过映射获得的2D全景表示或全向图像或视频的表示。

通常，全景视图由多个相机捕获，每个相机看向不同的方向。也可以使用捕获多个视图(理解为图像或视频的视图)的一个相机来捕获全景，每个视图都是在该相机看向不同方向的情况下捕获的。因此，因为全景视图是通过对各个视图应用适当的处理而基于若干的单独(输入)视图获得的，所以全景视图可以视为多视点(multiview)。

例如，在编码器侧，若干(至少两个)单独(输入)视图(例如若干图像或若干视频)被组合在一起成为全景视图。然后，该全景视图被编码(压缩)并通常以比特流的形式发送到解码侧，用于如上所述的解码。

在解码侧，通常应用特征提取从解码的全景视图中提取特征来重建全景视图。然而，特征提取的准确性可能很大程度上取决于解码的全景视图的编解码损失。

因此，需要提高解码侧的重建的全景视图的质量。

发明内容

上述问题和缺点通过独立权利要求的主题来解决。在从属权利要求中定义了其他优选实施例。具体地，本发明的各实施例提供了关于提高解码侧的重建的全景视图的质量的实质性益处。

根据本发明的一个方面，提供了一种用于多视点图像数据编码的方法，该方法包括以下步骤：

-从多视点图像数据执行特征提取以获得多个特征图；

-对获得的多个特征图执行拼接和/或变换以获得至少一个特征全景图；

-对多视点图像数据执行变换以选择多视点图像数据的多个视图图块；

-编码至少一个特征全景图；以及

-编码多个视图图块。

根据本发明的另一方面，提供了一种用于多视点图像数据解码的方法，该方法包括以下步骤：

-获得编码的至少一个特征全景图；

-对获得的编码的至少一个特征全景图执行解码；

-获得多视点图像数据的编码的多个视图图块；

-对获得的编码的多个视图图块执行解码；

-从解码的多个视图图块执行特征提取以获得多个特征图；以及

-对获得的多个特征图与解码的特征全景图执行匹配，以获得多个视图图块中的每个视图图块在全景图像数据中的位置。

根据本发明的一个方面，提供了一种多视点图像数据编码设备，该设备包括处理资源和对存储器资源的访问以获得代码，代码指示处理资源进行以下操作：

-从多视点图像数据执行特征提取以获得多个特征图；

-对获得的多个特征图执行拼接和/或变换以获得至少一个特征全景图；

-对多视点图像数据执行变换以选择多视点图像数据的多个视图图块；

-编码至少一个特征全景图；以及

-编码多个视图图块。

根据本发明的另一方面，提供了一种多视点图像数据解码设备，该设备包括处理资源和对存储器资源的访问以获得代码，代码指示处理资源进行以下操作：

-获得编码的至少一个特征全景图；

-对获得的编码的至少一个特征全景图执行解码；

-获得多视点图像数据的编码的多个视图图块；

-对获得的编码的多个视图图块执行解码；

-从解码的多个视图图块执行特征提取以获得多个特征图；以及

-对获得的多个特征图与解码的特征全景图执行匹配，以获得多个视图图块中的每个视图图块在全景图像数据中的位置。

根据本发明的一个方面，提供了一种计算机程序，该计算机程序包括代码，代码指示处理资源进行以下操作：

-从多视点图像数据执行特征提取以获得多个特征图；

-对获得的多个特征图执行拼接和/或变换以获得至少一个特征全景图；

-对多视点图像数据执行变换以选择多视点图像数据的多个视图图块；

-编码至少一个特征全景图；以及

-编码多个视图图块。

根据本发明的另一方面，提供了一种计算机程序，该计算机程序包括代码，代码指示处理资源进行以下操作：

-获得编码的至少一个特征全景图；

-对获得的编码的至少一个特征全景图执行解码；

-获得多视点图像数据的编码的多个视图图块；

-对获得的编码的多个视图图块执行解码；

-从解码的多个视图图块执行特征提取以获得多个特征图；以及

-对获得的多个特征图与解码的特征全景图执行匹配，以获得多个视图图块中的每个视图图块在全景图像数据中的位置。

附图说明

示出本发明的各实施例是为了更好地理解本发明的概念，但不应视为限制本发明，现在将参照附图来描述这些实施例，在附图中：

图1A示出了传统技术中的一般用例的示意图以及使用本发明实施例的环境；

图1B示出了用于编码和解码的传统配置的示意图；

图1C示意性地示出了用于从编码侧到解码侧的传输的传统方法流水线；

图2A示意性地示出了根据本发明实施例的用于编码和解码多视点图像数据的配置；

图2B示意性地示出了根据本发明实施例的用于传输多视点图像数据的流水线；

图3A示出了根据本发明实施例的编码侧的一般设备实施例的示意图；

图3B示出了根据本发明实施例的解码侧的一般设备实施例的示意图；

图4A和图4B示出了本发明的一般方法实施例的流程图；

具体实施方式

图1A示出了传统技术中的一般用例的示意图以及使用本发明实施例的环境。在编码侧1，布置有设备100-1、设备100-2(例如数据中心、服务器、处理设备、数据存储器等)，设备100-1、设备100-2用于存储和处理多视点图像数据，并通过对多视点图像数据进行编码来生成一个或多个比特流。

通常，下面描述中的术语“多视点图像数据”指的是与多个视图相关的图像数据。换句话说，多视点图像数据包括多个单独的视图。还可以看到上述多个单独的视图表示从特定视点的多个视口或多个方向。每个单独的视图是数据和/或包括数据，该数据是、包含、指示、和/或可以被处理以获得图片、图像、图像/图片流、视频、电影等，其中，具体地，流、视频、或电影可以包含一个或多个图像。

为了简洁，在下面的描述中，术语“视图”用作图像或视频。图像或视频可以是单色或彩色图像或视频。因此，多视点图像数据可以包括多个单独的图像或视频。每个单独的视图由至少一个图像捕获单元(例如相机)捕获，每个图像捕获单元从视点向外看向不同的方向。还可以由单个图像捕获单元捕获每个单独的视图，该图像捕获单元在捕获每个单独的视图时从视点向外看向不同的方向。

如下面进一步阐述的，通过进一步处理这样的多视点图像数据，可以在解码侧获得全景图像数据。全景图像数据可以理解为是、包含、指示、和/或可以被处理以获得至少部分(重建的)全景视图的数据。全景视图包括是、包含、指示、和/或可以被处理以获得全景图片、全景图像、全景图像/图片流、全景视频、全景电影等的数据，其中，具体地，全景流、全景视频、或全景电影可以包含一个或多个图像。为了简洁，在下面的描述中，术语“全景视图”用作全景图像或全景视频。词语“重建”可视为指示该数据是编码侧1上的对应数据的至少部分在解码侧2上的重建。

因此，由于全景视图是基于若干单独的(输入)视图获得的，所以全景视图可以视为多视点。

通常，全景视图是场景在至少两个方向上的连续视图。全景视图可以以不同的方式(例如圆柱形、立方体、球形等)表示场景。

例如，全景视图可以是360°图像或360°视频。这种360°图像或360°视频示出了从给定点看到的场景的整个全景的视图。全景视图也可以只是通过任何映射获得的2D全景表示或全向图像或视频的表示。

在编码侧1，一个或多个生成的比特流经由任何合适的网络和数据通信基础设施被传送50到解码侧2，其中，例如，移动设备200-1用于接收一个或多个比特流、解码这些比特流并处理这些比特流以生成全景图像数据，如上所述，全景图像数据可以是(重建的)全景视图、和/或包含(重建的)全景视图、和/或指示(重建的)全景视图、和/或可以被处理以获得(重建的)全景视图，以供在(目标)移动设备200-1的显示器200-2上显示或者在移动设备200-1上进行其他处理。

图1B示出了用于对多视点图像数据进行编码和解码的传统配置的示意图，图1C示意性地示出了用于将多视点图像数据从编码侧1传输到解码侧2的流水线。

如上所述，多视点图像数据10可以包括例如由多个相机捕获的多个单独视图，例如多个单独图像或视频，这些多视点图像数据10被组合在编码器侧1的一个全景视图28-1中。在下文中，多个单独视图也可以称为多个输入视图。组合可以包括例如在编码侧1中设置的拼接器13中将多个单独的视图10拼接13在一起，从而生成单个全景视图28-1。设置在编码侧1中的编码器30对生成的全景视图28-1进行编码，然后通常以一个或多个比特流的形式将编码的全景视图28-1发送50到解码侧2。

在解码侧2，设置有解码器60，在解码器60对接收的编码的全景视图28-1进行解码，从而获得解码的全景视图28-2。解码侧2上还设置有特征提取器25，在特征提取器25从解码的全景视图28-2执行特征的提取(特征提取)，从而获得特征全景图23。特征提取器25中的特征提取可以包括例如尺度不变特征变换(scale-invariant feature transform，SIFT)关键点提取。因此，特征全景图23需要在解码侧2可用。然后在解码侧2使用获得的特征全景图23，以根据在解码侧2接收的编码的全景视图至少部分地重建全景视图28-2。

如上所述，特征提取器25中特征提取的准确性非常依赖于解码的全景视图28-2的编解码损失。特征提取步骤的准确性降低反过来降低了至少部分重建的全景视图的准确性并因此降低了其质量。

因此，本发明旨在提高解码侧2上的至少部分重建的全景视图的质量。

为此，如下文进一步阐述，本发明提出将完整的特征全景图从编码侧1发送到解码侧2，并进一步提出在解码侧2根据接收到的特征全景图和视图图块构建(或重建)全景视图。如下文所述，视图图块(patch of view)指的是多个单独视图中的单个(单独的)视图、该视图的片段(fragment)、或片段的组合。换句话说，在下面的描述中，每个视图图块是单独视图、单独视图的一部分、或单独视图的至少两个部分的组合中的任何一个。因此，根据本发明，不需要在编码侧1产生全景视图(如上所述，参照全景视图28-1)。

图2A示意性地示出了根据本发明实施例的用于多视点图像数据编码和多视点图像数据解码的配置。图2B示意性地示出了根据本发明实施例的传输多视点图像数据的流水线。

如上所述，在编码侧获得多视点图像数据10。如上所述，多视点图像数据10包括多个单独的视图。在该实施例中，每个单独的视图由至少一个图像捕获单元捕获，每个图像捕获单元从视点向外看向不同的方向。因此，获得多视点图像数据10可以理解为在编码侧1从例如对应的图像捕获单元和/或任何其他信息处理设备和/或其他编码设备接收多个单独的视图。

在编码侧1，设置有特征提取器11，在特征提取器11从多视点图像数据10执行特征提取以获得多个特征图12。更具体地，在特征提取器11中，从多视点图像数据10的每个单独视图执行特征提取，从而获得每个单独视图的至少一个特征图12。为了简洁，可以认为特征图12的数量等于多视点图像数据10的单独视图的数量。

在特征提取器11中，通过应用预定的特征提取方法来执行特征提取。可以看到提取的特征表示多视点图像数据10的对应单独视图中的小片段。通常，每个特征包括特征关键点和特征描述符。特征关键点可以表示片段2D位置。特征描述符可以表示片段的视觉描述。特征描述符通常表示为向量，也称为特征向量。

预定的特征提取方法可以提取离散特征。例如，特征提取方法可以包括尺度不变特征变换(SIFT)方法、用于视频分析的紧凑描述符(compact descriptors for videoanalysis，CDVA)方法、或用于视觉搜索的紧凑描述符(compact descriptors for visualsearch，CDVS)方法中的任何一种。

在本发明的其他实施例中，预定的特征提取方法也可以应用线性或非线性滤波。例如，特征提取器11可以是一系列神经网络层，这些神经网络层通过线性或非线性操作从多视点图像数据10中提取特征。可以基于给定的数据来训练该系列神经网络层。给定的数据可以是一组图像，这些图像已经用每个图像中存在的对象类进行了注释。该系列神经网络层可以自动提取关于每个特定对象类的最显著特征。

例如，在本发明的实施例中，预定特征提取方法可以是例如上文阐述的尺度不变特征变换方法，并且在编码侧1的特征提取器11执行特征提取可以包括例如计算SIFT关键点。

在编码侧1，还设置有拼接器13，在拼接器13对从多视点图像数据10中提取的获得的多个特征图12执行拼接和/或变换，以获得至少一个特征全景图14。特征全景图可以是例如多个特征图12的立方体、圆柱形、或球形表示。在拼接器12中，可以例如基于从多视点图像数据10中提取的多个特征图12的重叠特征图来执行拼接和/或变换。例如，通过变换，可以去除冗余元素和/或信息。对从多视点图像数据10获得的多个特征图12进行拼接和/或变换以获得至少一个特征全景图14的特定方式不限于本发明。

在编码侧1，还设置有变换器16，在变换器16对多视点图像数据10执行变换，以选择多视点图像数据10的多个视图图块17。例如，在变换器16中，通过基于多个特征图12和至少一个全景图14对重叠区域执行搜索和裁剪，执行(单独的输入视图的)多视点图像数据的变换，以减少冗余信息，并由此选择多个视图图块17。例如，在图2B中用虚线箭头示出了这一点。可以从每个单独的视图中选择视图的一个或多个块。也有可能未从一些单独的视图中选择视图图块。选择多个视图图块17的方式可以是任何合适的方法。换句话说，本发明不限于选择多个视图图块17的任何特定方式。

如上所述，每个视图图块是多视点图像数据10的单独视图、单独视图的一部分、或单独视图的至少两个部分的组合中的任何一个。

在编码侧1，还设置有第一编码器15，在第一编码器15对至少一个特征全景图14执行编码。

在编码侧1，还设置有第二编码器18，在第二编码器18对多个视图图块17执行编码。

第一编码器15中的编码可以包括执行至少一个特征全景图14的压缩。类似地，第二编码器18中的编码可以包括执行多个视图图块17的压缩。在下文中，编码和压缩这两个词可以互换使用。

在第一编码器15和第二编码器18中，对至少一个特征全景图14的编码和对多个视图图块17的编码彼此独立地执行。

第一编码器15和第二编码器18也可以放置在单个编码器中，然而，即使当放置在单个编码器中时，对至少一个特征全景图14的编码和对多个视图图块17的编码也彼此独立地执行。例如，这样的单个编码器可以具有两个输入端口，一个输入端口用于至少一个特征全景图14，一个输入端口用于多个视图图块17，从而彼此独立地编码至少一个特征全景图14和编码多个视图图块17，并且可以分别具有两个输出端口，以分别输出编码的至少一个特征全景图14和编码的多个视图图块17。

此外，在第二编码器18中，编码多个视图图块17可以包括独立地编码每个视图图块17。

第一编码器15通过对至少一个特征全景图14执行编码来生成编码的至少一个特征全景图，第一编码器15可以应用适用于对至少一个特征全景图14进行编码的各种编码方法。更具体地，第一编码器15可以应用适用于对诸如静止图像和/或视频的一般图像进行编码的各种编码方法。第一编码器15应用适用于对一般静止图像和/或视频进行编码的各种编码方法可以包括第一编码器15应用预定的编码编解码(encoding codec)。这种编码编解码可以包括用于编码图像或视频的编码编解码，例如以下中的任何一个：联合摄影专家组(joint photographic experts group，JPEG)、JPEG 2000、JPEG XR等、便携式网络图形(portable network graphic，PNG)、高级视频编解码(advanced video coding，AVC)(H.264)、中国音频视频标准(audio video standard，AVS)、高效视频编解码(highefficiency video coding，HEVC)(H.265)、通用视频编解码(versatile video coding，VVC)(H.266)、或AOMedia Video 1(AV1)编解码。通常，第一编码器15可以应用至少一个特征全景图14的有损或无损压缩(编码)。使用的特定编码编解码不限于本发明。

类似地，通过对多个视图图块17执行编码来生成编码的多个视图图块的第二编码器18可以应用任意上述编码编解码。第一编码器15和第二编码器18可以应用相同的编码编解码，但是也可以应用不同的编码编解码。因为如上所述，在第一编码器15和第二编码器18中，对至少一个特征全景图14的编码和对多个视图图块17的编码彼此独立地执行，所以这是可能的。因此，可以彼此独立地调整(或控制)编码的至少一个特征全景图和编码的多个视图图块的质量。更具体地，可以使用适当的编码方法以这种方式保持特征全景图14的高质量。

编码或压缩的至少一个特征全景图(通常可以表示为比特流)被输出到第一发射器50-1，第一发射器50-1例如是任何类型的通信接口，该通信接口用于通过通信网络将编码的至少一个特征全景图14发送到解码侧2。通信网络可以是任何有线移动网络或无线移动网络。

换句话说，在编码侧1，还设置有第一发射器50-1，用于将编码的至少一个特征全景图(通常作为比特流)发送到解码侧2用于解码。

类似地，编码或压缩的多个视图图块可以表示为比特流，该比特流被输出到第二发射器50-2，第二发射器50-2例如是任何类型的通信接口，该通信接口用于通过通信网络传输被表示为比特流的编码的多个视图图块17。通信网络可以是任何有线移动网络或无线移动网络。

换句话说，在编码侧1，还设置有第二发射器50-2，用于将编码的多个视图图块(通常作为比特流)发送到解码侧2用于解码。

在第一发射器50-1和第二发射器50-2中，向解码侧2发送编码的至少一个特征全景图用于解码以及向解码侧发送编码的多个视图图块用于解码彼此独立地执行。

第一发射器50-1和第二发射器50-2可以布置在单个发射器50中，然而，即使当布置在单个发射器中时，将编码的至少一个特征全景图发送到解码侧2用于解码和将编码的多个视图图块发送到解码侧用于解码也彼此独立地执行。例如，这样的发射器可以包括两个输入端口，一个输入端口用于输入编码的至少一个特征全景图，一个输入端口用于输入编码的多个视图图块，并且还可以包括两个输出端口，一个输出端口用于发送编码的至少一个特征全景图，一个输出端口用于发送编码的多个视图图块，从而彼此独立地发送编码的至少一个特征全景图和编码的多个视图图块。

在实施方式中，模块可用于复用编码的至少一个特征全景图和编码的多个视图图块，以形成由发射器发送的单个比特流。在另一实施方式中，模块可以在发射器内。

在另一实施方式中，编码的至少一个特征全景图和编码的多个视图图块可以由复用发射器发送。换句话说，复用发射器可用于复用编码的至少一个特征全景图和编码的多个视图图块，以形成单个比特流。

以互补的方式，可以在解码侧2中或者在编码侧1和解码侧2之间使用模块来解复用复用的编码的至少一个特征全景图和编码的多个视图图块，以形成两个比特流，这两个比特流被提供用于在解码侧2中进行处理。

在解码侧2，设置有至少一个通信接口，通信接口用于通过通信网络接收传送编码的至少一个特征全景图和编码的多个视图图块的通信数据，通信网络可以是如上所述的任何有线移动网络或无线移动网络。换句话说，通信接口适于通过有线移动网络或无线移动网络执行通信。至少一个通信接口用于独立地接收(或获得)编码的至少一个特征全景图和编码的多个视图图块。例如，至少一个通信接口可以包括两个输入端口和两个输出端口。一组输入端口和输出端口用于接收编码的至少一个特征全景图并将编码的至少一个特征全景图输出到设置在解码侧2中的第一解码器21，一组输入端口和输出端口用于接收编码的多个视图图块并将编码的多个视图图块输出到设置在解码侧2中的第二解码器22。

相应地，在解码侧2设置有第一解码器21，在第一解码器21获得编码的至少一个特征全景图并解码(或解压缩)获得的编码的至少一个特征全景图，从而生成解码(或解压缩)的至少一个特征全景图23。在本说明书中，解码和解压缩这两个词可以互换使用。

此外，相应地，在解码侧2设置有第二解码器22，在第二解码器22获得多视点图像数据10的编码的多个视图图块并对获得的编码的多个视图图块执行解码(或解压缩)，从而获得解码(或解压缩)的多个视图图块24。

在解码侧，还设置有特征提取器25，在特征提取器25从解码的多个视图图块24执行特征的提取(特征提取)以获得多个特征图26。类似于设置在编码侧的特征提取器11，在设置在解码侧2的特征提取器25中，通过应用预定的特征提取方法来执行特征提取。预定的特征提取方法可以是参照编码侧1上的特征提取器11阐述的预定的特征提取方法中的任何一种，或者可以是根据特定需要(例如计算能力、可接受延迟等)选择的其他特征提取方法。

在解码侧2，还设置有匹配器27，在匹配器27对获得的多个特征图26与解码的特征全景图23执行匹配，以获得多个视图图块中的每个视图图块在全景图像数据29中的位置。对于匹配过程，可以使用任何合适的匹配方法。换句话说，本发明不限于特定的匹配方法。

在解码侧2，还设置有拼接器28。解码的多个视图图块24也从第二解码器22馈送到拼接器28，在拼接器28中，根据在匹配器27中获得的每个视图图块的位置，对解码的多个视图图块24执行拼接，以获得全景图像数据29。换句话说，关于多个视图图块24中的每个视图图块的位置的信息从匹配器27馈送到拼接器28中，拼接器28使用该信息分别拼接从第二解码器22馈送的解码的多个视图图块24，从而获得(或重建)全景图像数据29。

如上所述，全景图像数据29可以理解为是、包含、指示、和/或可以被处理以获得至少部分(重建的)全景视图的数据。全景视图包括是、包含、指示、和/或可以被处理以获得全景图片、全景图像、全景图像/图片流、全景视频、全景电影等的数据，其中，具体地，全景流、全景视频、或全景电影可以包含一个或多个图像。为了简洁，在下面的描述中，术语全景视图用作全景图像或全景视频。

获得的全景图像数据29可以从拼接器28输出，供解码侧2进一步处理，例如用于在上面参照图1A阐述的移动设备200-1的显示器200-2上显示或其他处理。获得的全景图像数据29可以是至少部分重建的全景视图。

这样，根据本发明，使用解码的特征全景图23和解码的多个视图图块24来执行解码侧2上的全景视图的重建。因此，关于获得的全景图像数据29中的多个视图图块24的每个视图图块的位置和变换的信息是从解码的特征全景图23和多个视图图块24的特征之间的匹配中得出的。

因为对特征全景图14的编码和对多个视图图块17的编码彼此独立地执行，所以可以如上所述独立地调整特征全景图14和多个视图图块17的质量。具体地，使用适当的编码方法，可以保持编码的特征全景图14的高质量。由于以这种方式能够保持高质量的解码的特征全景图23被用于获得(重建或生成)全景图像数据29，因此也提高了获得的(重建的)全景图像数据29的质量，并且因此也提高了至少部分重建的全景视图的质量。

图3A示出了根据本发明实施例的编码侧1的一般设备实施例的示意图。编码设备80包括处理资源81、存储器访问82、以及通信接口83。存储器访问82可以存储代码或者可以访问代码，代码指示处理资源81执行结合本公开描述和阐述的本发明的任何方法实施例的一个或多个步骤。

具体地，代码可以指示处理资源81：从多视点图像数据10执行特征提取以获得多个特征图12；对获得的多个特征图12执行拼接和/或变换以获得至少一个特征全景图14；对多视点图像数据10执行变换以选择多视点图像数据的多个视图图块17；编码至少一个特征全景图14；编码多个视图图块17。

处理资源81可以通过一个或多个处理单元(例如中央处理单元(centralprocessing unit，CPU))实现，或者也可以通过例如数据中心中或以所谓的云计算的形式的分布式和/或共享处理功能来提供。

可以由本地存储器实现的存储器访问82可以包括但不限于硬盘驱动器(harddisk drive，HDD)、固态驱动器(solid state drive，SSD)、随机存取存储器(randomaccess memory，RAM)、闪存。同样，分布式和/或共享存储器存储(例如数据中心和/或云存储器存储)也可以适用。

通信接口83可适于接收传送多视点图像数据10的数据，以及适于通过通信网络发送传送编码的至少一个特征全景图和编码的多个视图图块的通信数据。通信网络可以是有线移动网络或无线移动网络。

图3B示出了根据本发明实施例的解码侧2的一般设备实施例的示意图。解码设备90包括处理资源91、存储器访问92、以及通信接口93。存储器访问92可以存储代码或者可以访问代码，代码指示处理资源91执行结合本公开描述和阐述的本发明的任何方法实施例的一个或多个步骤。通信接口93可适于通过网络接收传送编码的至少一个特征全景图和编码的多个视图图块的通信数据。网络可以是有线网络或无线移动网络。此外，通信接口93可适于发送传送上述全景图像数据29的通信数据。

此外，设备90可以包括显示单元94，显示单元94可以从处理资源91接收显示数据，以根据显示数据显示内容。显示数据可以基于上面阐述的全景图像数据29。设备90通常可以是正如在本领域中所知的计算机、个人计算机、平板计算机、笔记本计算机、智能手机、移动电话、视频播放器、电视机顶盒、接收器等。

具体地，代码可以指示处理资源91：获得编码的至少一个特征全景图；对获得的编码的至少一个特征全景图执行解码；获得多视点图像数据的编码的多个视图图块；对获得的编码的多个视图图块执行解码；从解码的多个视图图块执行特征提取以获得多个特征图；对获得的多个特征图与解码的特征全景图执行匹配，以获得多个视图图块中的每个视图图块在全景图像数据中的位置。

图4A示出了涉及编码多视点视频数据的本发明的一般方法实施例的流程图。具体地，本实施例提供了一种用于多视点视频数据编码的方法，该方法包括以下步骤：从多视点图像数据10执行特征提取(S11)以获得多个特征图；对获得的多个特征图执行拼接和/或变换(S12)以获得至少一个特征全景图14；对多视点图像数据执行变换(S13)以选择多视点图像数据的多个视图图块17；编码(S14)至少一个特征全景图14；编码(S15)多个视图图块17。

图4B示出了涉及多视点数据10的解码的本发明的一般方法实施例的流程图。更具体地，该实施例提供了一种用于多视点视频数据解码的方法，该方法包括以下步骤：获得(S21)编码的至少一个特征全景图；对获得的编码的至少一个特征全景图执行解码(S22)；获得(S23)多视点图像数据的编码的多个视图图块；对获得的编码的多个视图图块执行解码(S24)；从解码的多个视图图块24执行特征提取(S25)以获得多个特征图26；对获得的多个特征图26与解码的特征全景图23执行匹配(S26)，以获得多个视图图块中的每个视图图块在全景图像数据29中的位置。

总之，根据本发明的各实施例，提供了从编码侧1到解码侧2的(完整的)特征全景图14的传输，并且在解码侧2构建全景图像数据29，全景图像数据29由接收和解码的特征全景图23以及接收和解码的视图图块24形成。因此，不需要如参照图1B和图1C所阐述的在编码侧1产生全景视图。换句话说，不需要在编码侧1拼接全景图28-1并对拼接的全景图进行编码。由于根据本发明，对至少一个特征全景图14的编码和对多个视图图块17的编码彼此独立，所以至少一个特征全景图14的质量和多个视图图块17的质量可以彼此独立地调整。具体地，可以使用适当的编码方法来保持至少一个特征全景图的高质量。

通常，本领域技术人员将理解，可以根据可用的计算能力、可接受延迟等来选择用于编码多视点图像数据10的确切方法。

虽然已经描述了详细的实施例，但是这些实施例仅用于提供对由独立权利要求定义的本发明的更好理解，并且不被视为是限制性的。

附图标记列表：

1 编码侧

2 解码侧

100-1、100-2编码侧的设备

200-1 解码侧的设备

200-2 解码侧的设备的显示器

10 多视点图像数据

11 编码侧的特征提取器

12 编码侧的多个特征图

13 编码侧的拼接器

14 编码侧的特征全景图

15 第一编码器

16 变换器

17 编码侧的视图图块

18 第二编码器

21 第一解码器

22 第二解码器

23 解码侧的特征全景图

24 解码侧的视图图块

25 解码侧的特征提取器

26 解码侧的多个特征图

27 解码侧的匹配器

28 解码侧的拼接器

29重建的全景视图/全景图像数据

28-1 编码侧的全景视图

28-2 解码的全景视图

30 编码器

50发送，发射器

50-1 第一发射器

50-2 第二发射器

60 解码器

Claims (21)

1.一种用于多视点图像数据编码的方法，包括以下步骤：

-从多视点图像数据执行特征提取以获得多个特征图；

-对获得的所述多个特征图执行拼接和/或变换以获得至少一个特征全景图；

-对所述多视点图像数据执行变换以选择所述多视点图像数据的多个视图图块；

-编码所述至少一个特征全景图；以及

-编码所述多个视图图块。

2.根据权利要求1所述的方法，其中，所述多视点图像数据包括多个单独的视图。

3.根据权利要求1或2所述的方法，其中，编码所述至少一个特征全景图的步骤和编码所述多个视图图块的步骤彼此独立地执行。

4.根据权利要求1至3中任一项所述的方法，其中，所述编码所述多个视图图块包括独立地编码每个所述视图图块。

5.根据权利要求1至4中任一项所述的方法，还包括以下步骤：

-将编码的所述至少一个特征全景图发送到解码侧用于解码；以及

-将编码的所述多个视图图块发送到解码侧用于解码。

6.根据权利要求5所述的方法，其中，将编码的所述至少一个特征全景图发送到解码侧用于解码的步骤和将编码的所述多个视图图块发送到解码侧用于解码的步骤彼此独立地执行。

7.根据权利要求1至6中任一项所述的方法，还包括以下步骤：

-获得所述多视点图像数据。

8.根据权利要求1至7中任一项所述的方法，其中，对获得的所述多个特征图执行拼接和/或变换以获得至少一个特征全景图的步骤基于从所述多视点图像数据中提取的重叠特征图。

9.根据权利要求1至8中任一项所述的方法，其中，对所述多视点图像数据执行变换的步骤包括基于所述多个特征图和所述至少一个全景视图对重叠区域执行搜索和裁剪，以选择所述多个视图图块。

10.根据权利要求1至9中任一项所述的方法，其中，每个视图图块是单独视图、单独视图的一部分、或单独视图的至少两个部分的组合中的任何一个。

11.一种用于多视点图像数据解码的方法，包括以下步骤：

-获得编码的至少一个特征全景图；

-对获得的所述编码的至少一个特征全景图执行解码；

-获得多视点图像数据的编码的多个视图图块；

-对获得的所述编码的多个视图图块执行解码；

-从解码的所述多个视图图块执行特征提取以获得多个特征图；以及

-对获得的所述多个特征图与解码的所述特征全景图执行匹配，以获得所述多个视图图块中的每个视图图块在全景图像数据中的位置。

12.根据权利要求11所述的方法，还包括以下步骤：

-基于获得的每个视图图块的所述位置，对所述多个视图图块执行拼接以获得所述全景图像数据。

13.根据权利要求11或12所述的方法，其中，获得的所述全景图像数据至少是部分重建的全景视图。

14.根据权利要求2至13中任一项所述的方法，其中，每个所述单独视图是数据和/或包括数据，所述数据是、包含、指示、和/或可以被处理以获得图片、图像、图像/图片流、视频、电影等，其中，具体地，流、视频、或电影可以包含一个或多个图像，和/或每个所述单独视图由至少一个图像捕获单元捕获，每个图像捕获单元看向不同的方向。

15.根据权利要求11至15中任一项所述的方法，其中，所述全景图像数据包括是、包含、指示、和/或可以被处理以获得至少部分全景视图的数据，其中，所述全景视图是场景在至少两个方向上的连续视图，所述全景视图包括是、包含、指示、和/或可以被处理以获得全景图片、全景图像、全景图像/图片流、全景视频、全景电影等的数据，其中，具体地，全景流、全景视频、或全景电影可以包含一个或多个图像，其中。

16.一种多视点图像数据编码设备，包括处理资源和对存储器资源的访问以获得代码，所述代码指示所述处理资源进行以下操作：

-从多视点图像数据执行特征提取以获得多个特征图；

-对获得的所述多个特征图执行拼接和/或变换以获得至少一个特征全景图；

-对所述多视点图像数据执行变换以选择所述多视点图像数据的多个视图图块；

-编码所述至少一个特征全景图；以及

-编码所述多个视图图块。

17.一种多视点图像数据解码设备，包括处理资源和对存储器资源的访问以获得代码，所述代码指示所述处理资源进行以下操作：

-获得编码的至少一个特征全景图；

-对获得的所述编码的至少一个特征全景图执行解码；

-获得多视点图像数据的编码的多个视图图块；

-对获得的所述编码的多个视图图块执行解码；

-从解码的所述多个视图图块执行特征提取以获得多个特征图；以及

-对获得的所述多个特征图与解码的所述特征全景图执行匹配，以获得所述多个视图图块中的每个视图图块在全景图像数据中的位置。

18.根据权利要求17所述的多视点图像数据解码设备，包括通信接口，所述通信接口用于通过通信网络接收通信数据，所述通信数据传送所述编码的至少一个特征全景图和所述编码的多个视图图块。

19.根据权利要求17或18所述的多视点图像数据解码设备，其中，所述通信接口适于通过有线移动网络或无线移动网络执行通信。

20.一种计算机程序，包括代码，所述代码指示处理资源进行以下操作：

-从多视点图像数据执行特征提取以获得多个特征图；

-对获得的所述多个特征图执行拼接和/或变换以获得至少一个特征全景图；

-对所述多视点图像数据执行变换以选择所述多视点图像数据的多个视图图块；

-编码所述至少一个特征全景图；以及

-编码所述多个视图图块。

21.一种计算机程序，包括代码，所述代码指示处理资源进行以下操作：

-获得编码的至少一个特征全景图；

-对获得的所述编码的至少一个特征全景图执行解码；

-获得多视点图像数据的编码的多个视图图块；

-对获得的所述编码的多个视图图块执行解码；

-从解码的所述多个视图图块执行特征提取以获得多个特征图；以及

-对获得的所述多个特征图与解码的所述特征全景图执行匹配，以获得所述多个视图图块中的每个视图图块在全景图像数据中的位置。