CN110024404A - 编码全局旋转运动补偿图像的方法，设备和流 - Google Patents

编码全局旋转运动补偿图像的方法，设备和流 Download PDF

Info

Publication number
CN110024404A
CN110024404A CN201780067749.XA CN201780067749A CN110024404A CN 110024404 A CN110024404 A CN 110024404A CN 201780067749 A CN201780067749 A CN 201780067749A CN 110024404 A CN110024404 A CN 110024404A
Authority
CN
China
Prior art keywords
image
data
equipment
encoded
immersion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780067749.XA
Other languages
English (en)
Other versions
CN110024404B (zh
Inventor
P.博德斯
G.拉思
F.拉卡普
F.加尔平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN110024404A publication Critical patent/CN110024404A/zh
Application granted granted Critical
Publication of CN110024404B publication Critical patent/CN110024404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及用于通过对输入图像应用全局旋转运动补偿来对图像序列进行编码和解码的方法、装置或系统。根据不同的实施例，输入图像是压缩回路中的参考图像或要编码的图像。要编码的图像是全向图像。结果，对它们应用全局旋转运动补偿对应于生成新图像，就好像它们是根据不同的正面方向捕获的。当该新的正面方向是参考图像的正面方向时，可以促进视运动的补偿。

Description

编码全局旋转运动补偿图像的方法，设备和流
1.技术领域
本公开涉及在沉浸式视频中编码运动补偿的领域，例如当在用于虚拟现实、增强现实或增强虚拟的系统中处理这样的沉浸式视频时，并且例如当在头戴式显示设备中显示这样的沉浸式视频时。
2.背景技术
最近，可用的大视场内容(高达360°)出现了增长。在诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能手机等沉浸式显示设备上观看内容的用户可能无法完全看到这样的内容。这意味着在给定时刻，用户可能只查看内容的一部分。然而，典型地，用户可以通过诸如头部移动、鼠标移动、触摸屏、语音等各种方式在内容内导航。典型地，希望对该内容进行编码和解码。
3.发明内容
根据本原理的一方面，本公开涉及对流中的图像序列的第一图像进行编码的方法。该方法包括：
-通过根据旋转参数对第三图像应用全局旋转运动补偿来获得第二图像。第三图像是通过在压缩过程的步骤处理第一图像获得的；和
-通过使用第二图像作为运动补偿模块的输入图像来编码流中的相关联的旋转参数和第一图像。
根据特定特征，第三图像是第一图像，因此，将全局旋转运动补偿在压缩回路的输入处直接应用于第一图像。
根据具体实施例，在压缩过程期间，通过获得响应于所输入的第一图像的残差图像、获得响应于第一图像的运动预测图像来从所述第一图像获得第三图像；并且其中第三图像是通过将残差图像与运动预测图像相加获得的重建的图像。
本公开还涉及对来自流的图像序列的第一图像进行解码的方法。该方法包括：
-从流中获得第二图像和相关联的旋转参数；和
-通过根据所述旋转参数对第三图像应用全局旋转运动补偿来解码第一图像。第三图像是在解压缩过程期间从第二图像获得的运动补偿模块的输出图像。
根据特定特征，第三图像是解码的第一图像，因此将全局运动旋转在解压缩回路的输出处应用于解码的图像。
根据具体实施例，通过获得响应于第二图像的残差图像、获得响应于第二图像的运动预测图像来获得第三图像；并且其中第三图像是通过在解压缩过程期间将残差图像与运动预测图像相加获得的重建的图像。
本公开还涉及携带表示图像序列的数据的比特流。该数据包括：
●表示图像序列的第一语法元素；以及
●表示与图像序列的至少一个图像的标识符相关联的参数化全局旋转运动的参数的第二语法元素。
本公开还涉及用于对流中的图像序列的第一图像进行编码的设备。该设备包括至少与处理器相关联的存储器，该处理器被配置为：
-通过根据旋转参数对第三图像应用全局旋转运动补偿来获得第二图像。第三图像是通过在压缩过程的步骤处理第一图像获得的；和
-通过使用第二图像作为运动补偿模块的输入图像来编码流中的第一图像和相关联的旋转参数。
根据具体实施例，第三图像是所述第一图像，因此，将全局旋转运动补偿在压缩回路的输入处直接应用于第一图像。
根据具体实施例，在解压缩过程期间，通过获得响应于第一图像的残差图像、获得响应于第一图像的运动预测图像来从第一图像获得第三图像；并且其中第三图像是通过将残差图像与运动预测图像相加获得的重建的图像。
本公开还涉及用于对来自流的图像序列的第一图像进行解码的设备。该设备包括至少与处理器相关联的存储器，该处理器被配置为：
-从流中获得第二图像和相关联的旋转参数；和
-通过根据所述旋转参数对第三图像应用全局旋转运动补偿来解码第一图像。第三图像是运动补偿模块的输出图像，并且在解压缩过程期间的步骤中从第二图像获得。
4.附图说明
在阅读以下描述时，本公开将得到更好的理解，并且其他具体特征和优势将会显现，描述参考了附图，其中：
-图1表示根据本公开实施例的示例环境的编码和解码系统的功能概述；
-图2表示根据本原理的特定实施例的系统的第一实施例；
-图3表示根据本原理的特定实施例的系统的第一实施例；
-图4表示根据本原理的特定实施例的系统的第一实施例；
-图5表示根据本原理的特定实施例的系统的第一实施例；
-图6表示根据本原理的特定实施例的系统的第一实施例；
-图7表示根据本原理的特定实施例的系统的第一实施例；
-图8表示根据本公开的系统的第一实施例，
-图9表示根据本公开的系统的第一实施例，
-图10表示根据本公开的沉浸式视频呈现设备的第一实施例，
-图11表示根据本公开的沉浸式视频呈现设备的第一实施例，
-图12表示根据本公开的沉浸式视频呈现设备的第一实施例，
-图13示出了根据本原理的特定实施例的根据两个不同映射函数在帧上映射全向视频的示例；
-图14示出了根据本原理的特定实施例的在平移(panning)之后映射图13的全向视频的示例；
-图15示意性地说明了根据本原理的特定实施例的通过对响应于要编码的图像的输入图像进行运动补偿来对要编码的图像进行编码的方法；
-图16示意性地说明了根据本原理的特定实施例的通过对响应于要解码的图像的输入图像进行运动补偿来对图像序列中的图像进行解码的方法；
-图17示意性地说明了根据本原理的特定实施例的通过对响应于要编码的图像的输入图像进行运动补偿来对要编码的图像进行编码的另一方法；
-图18说明了根据本原理的特定实施例的携带表示根据图15的方法编码的图像序列的数据的比特流的数据结构的特定实施例；
-图24说明了根据本原理的特定实施例的图15的方法150的第一实施例；
-图25说明了根据本原理的特定实施例的图16的方法160的实施例；
-图26说明了根据本原理的特定实施例的图15的方法150的第二实施例；
-图27说明了根据本原理的特定实施例的图17的方法170的实施例；
-图19示出了根据本原理的特定实施例的设备的第一实施例的框图，该设备被配置为实现图24的方法的步骤，通过对响应于要编码的图像的输入图像进行运动补偿来对图像序列的图像进行编码；
-图20示出了根据本原理的特定实施例的设备的实施例，该设备被配置为解码根据图24中所示的方法的第一实施例编码的比特流；
-图21示出了根据本原理的特定实施例的设备的第二实施例的框图，该设备被配置为实现图26的方法的步骤，通过对响应于要编码的图像的输入图像进行运动补偿来对图像序列的图像进行编码；
-图22示出了根据本原理的特定实施例的设备的实施例，该设备被配置为解码根据图26中所示的方法的第二实施例编码的比特流；
-图23示出了根据本原理的特定实施例的装置的硬件实施例，该装置被配置为实现结合图15、16、17、19、20、21或22描述的方法。
5.具体实施方式
现在参考附图描述主题，其中相同的参考数字始终用于表示相同的元素。在以下描述中，出于解释的目的，阐述了许多具体细节以提供对主题的透彻理解。应当理解，可以在没有这些具体细节的情况下实施主题实施例。
大视场内容尤其可以是三维计算机图形图像场景(3D CGI场景)、点云或沉浸式视频。可以使用许多术语来设计这样的沉浸式视频：例如虚拟现实(VR)、360、全景、4π球面度、沉浸式、全向或大视场。
沉浸式视频是在至少一个矩形帧上编码的视频，该矩形帧是二维像素(即，颜色信息的元素)阵列，类似于“常规”视频。为了呈现帧，首先将帧映射在凸体的内表面上，也称为映射表面(例如球体、立方体、锥体)，然后，该体的一部分由虚拟相机捕获。将由虚拟相机捕获的图像呈现在沉浸式显示设备的屏幕上。立体视频在一个或两个矩形帧上被编码，被投影在两个映射表面上，组合这两个映射表面以根据设备的特征由两个虚拟相机捕获这两个映射表面。
在帧中根据映射函数对像素进行编码。映射函数取决于映射表面。对于同一映射表面，可以有若干个映射函数。例如，可以根据帧表面内的不同布局构造立方体的面。例如，球体可以根据等矩形投影或日晷投影来进行映射。由所选择的投影函数产生的像素的组织修改或打破了线条的连续性、标准正交局部帧、像素密度，并引入了时间和空间上的周期性。这些是用于编码和解码视频的典型特征。在编码和解码方法中缺乏对沉浸式视频的特殊性的考虑。实际上，由于沉浸式视频是360°视频，例如，平移会引入运动和不连续性，这需要对大量数据进行编码，而场景的内容不会发生变化。在编码和解码视频帧时考虑沉浸式视频的特殊性将为现有技术方法带来有价值的优势。
图1说明了根据示例实施例的编码和解码系统的总体概述。图1的系统是功能系统。预处理模块300可以准备用于由编码设备400进行编码的内容。预处理模块300可以执行多图像采集、在公共空间(如果我们编码方向，则典型地是3D球体)中合并所采集的多个图像，以及使用例如但不限于等矩形映射或立方体映射将3D球体映射到2D帧。预处理模块300还可以接受特定格式(例如等矩形)的全向视频作为输入，并预处理视频以将映射改变为更适合于编码的格式。取决于所采集的视频数据表示，预处理模块300可以执行映射空间改变。将参照说明书的其他图描述编码设备400和编码方法。在编码数据之后，将可以编码例如沉浸式视频数据或3D CGI编码数据的数据发送到网络接口500，这典型地可以在任何网络接口中实现，例如现在在网关中。然后通过通信网络(诸如互联网，但是任何其他网络都是可以预见的)传输数据。然后，经由网络接口600接收数据。网络接口600可以在网关、电视、机顶盒、头戴式显示设备、沉浸式(投影)墙或任何沉浸式视频呈现设备中实现。在接收数据之后，将数据发送到解码设备700。解码功能是以下图2至12中描述的处理功能之一。然后由播放器800处理解码的数据。播放器800为呈现设备900准备数据，并且可以接收来自传感器的外部数据或用户输入数据。更确切地，播放器800准备将由呈现设备900显示的部分视频内容。解码设备700和播放器800可以集成在单个设备(例如，智能手机、游戏控制台、STB、平板电脑、计算机等)中。在变型中，播放器800集成在呈现设备900中。
可以设想若干种类型的系统来执行沉浸式显示设备的解码、播放和呈现功能，例如当呈现沉浸式视频时。
在图2至图6中说明了用于处理增强现实、虚拟现实或增强虚拟内容的第一系统。这样的系统包括处理功能、沉浸式视频呈现设备(其可以是例如头戴式显示器(HMD)、平板电脑或智能手机)，并且可以包括传感器。沉浸式视频呈现设备还可以包括显示设备和处理功能之间的附加接口模块。处理功能可以由一个或若干个设备执行。它们可以集成到沉浸式视频呈现设备中，或者可以集成到一个或若干个处理设备中。处理设备包括一个或若干个处理器和与沉浸式视频呈现设备的通信接口，诸如无线或有线通信接口。
处理设备还可以包括与诸如互联网的广域接入网的第二通信接口，并直接地或通过诸如家庭或本地网关的网络设备访问位于云上的内容。处理设备还可以通过诸如以太网类型的本地接入网接口的第三接口访问本地存储。在实施例中，处理设备可以是具有一个或若干个处理单元的计算机系统。在另一实施例中，它可以是智能手机，其可以通过有线或无线链路连接到沉浸式视频呈现设备，或者可以插入沉浸式视频呈现设备的外壳中并通过连接器或无线地与其通信。处理设备的通信接口是有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)。
当由沉浸式视频呈现设备执行处理功能时，可以直接或通过网关向沉浸式视频呈现设备提供到网络的接口以接收和/或传输内容。
在另一实施例中，系统包括辅助设备，其与沉浸式视频呈现设备和处理设备通信。在这样的实施例中，该辅助设备可以包含处理功能的至少一个。
沉浸式视频呈现设备可以包括一个或若干个显示器。设备可以在其每个显示器的前面采用诸如透镜之类的光学器件。如智能手机或平板电脑的情况，显示器也可以是沉浸式显示设备的一部分。在另一实施例中，显示器和光学器件可以嵌入用户可以佩戴的头盔、眼镜或面罩中。如稍后所述，沉浸式视频呈现设备还可以集成若干个传感器。沉浸式视频呈现设备还可以包括若干个接口或连接器。它可以包括一个或若干个无线模块，以便与传感器、处理功能、手持或与身体部位相关的其他设备或传感器通信。
沉浸式视频呈现设备还可以包括由一个或多个处理器运行的处理功能，并且被配置为解码内容或处理内容。在此通过处理内容，可以理解一切都是为了准备可以显示的内容而运作。这可以包括，例如，解码内容，在显示内容之前合并内容以及修改内容以适合显示设备。
沉浸式内容呈现设备的一个功能是控制虚拟相机，其捕获被构造为虚拟体的内容的至少一部分。系统可以包括姿势跟踪传感器，其完全或部分地跟踪用户的姿势，例如，用户头部的姿势，以便处理虚拟相机的姿势。一些定位传感器可以跟踪用户的位移。系统还可以包括与环境相关的其他传感器，例如以测量照明、温度或声音条件。这样的传感器还可以与用户的身体相关，例如，以测量出汗或心率。通过这些传感器获取的信息可用于处理内容。该系统还可以包括用户输入设备(例如，鼠标、键盘、遥控器、操纵杆)。来自用户输入设备的信息可用于处理内容、管理用户接口或控制虚拟相机的姿势。传感器和用户输入设备通过有线或无线通信接口与处理设备和/或沉浸式呈现设备通信。
使用图2至图6，描述了用于显示增强现实、虚拟现实、增强虚拟或从增强现实到虚拟现实的任何内容的该第一类型系统的若干实施例。
图2说明了被配置为解码、处理和呈现沉浸式视频的系统的特定实施例。系统包括沉浸式视频呈现设备10、传感器20、用户输入设备30、计算机40和网关50(可选)。
如图10所示的沉浸式视频呈现设备10包括显示器101。显示器例如是OLED或LCD类型。沉浸式视频呈现设备10例如是HMD、平板电脑或智能手机。设备10可以包括触摸表面102(例如触摸板或触摸屏)、相机103、与至少一个处理器104连接的存储器105和至少一个通信接口106。该至少一个处理器104处理从传感器20接收的信号。来自传感器的一些测量值用于计算设备的姿势和控制虚拟相机。用于姿势估计的传感器例如是陀螺仪、加速度计或罗盘。也可以使用更复杂的例如使用一组相机的系统。在这种情况下，该至少一个处理器执行图像处理以估计设备10的姿势。一些其他测量值用于根据环境条件或用户反应来处理内容。用于观测环境和用户的传感器例如是麦克风、光传感器或接触传感器。也可以使用更复杂的系统，例如跟踪用户眼睛的摄像机。在这种情况下，该至少一个处理器执行图像处理以操作预期测量。也可以将来自传感器20和用户输入设备30的数据传输到计算机40，其将根据这些传感器的输入处理数据。
存储器105包含用于处理器104的参数和代码程序指令。存储器105还可以包括从传感器20和用户输入设备30接收的参数。通信接口106使沉浸式视频呈现设备能够与计算机40通信。处理设备的通信接口106是有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)。计算机40将数据和可选的控制命令发送到沉浸式视频呈现设备10。计算机40负责处理数据，即准备数据以供沉浸式视频呈现设备10显示。处理可以仅由计算机40完成，或者部分处理可以由计算机完成，并且部分由沉浸式视频呈现设备10完成。计算机40直接或通过网关或网络接口50连接到互联网。计算机40从互联网接收表示沉浸式视频的数据，处理这些数据(例如，对它们进行解码并可能地准备将由沉浸式视频呈现设备10显示的部分视频内容)并将处理的数据发送到沉浸式视频呈现设备10以供显示。在变型中，系统还可以包括本地存储(未示出)，其中存储表示沉浸式视频的数据，所述本地存储可以在计算机40上或在例如可通过局域网访问的本地服务器上(未示出)。
图3表示第二实施例。在该实施例中，STB 90直接(即，STB 90包括网络接口)或经由网关50连接到诸如互联网的网络。STB 90通过无线接口或通过有线接口连接到诸如电视机100或沉浸式视频呈现设备200的呈现设备。除了STB的经典功能之外，STB 90还包括处理功能以处理用于在电视100或任何沉浸式视频呈现设备200上呈现的视频内容。这些处理功能与为计算机40描述的处理功能相同，这里不再描述。传感器20和用户输入设备30也与前面关于图2描述的传感器和用户输入设备类型相同。STB 90从互联网获得表示沉浸式视频的数据。在变型中，STB 90从其中存储有表示沉浸式视频的数据的本地存储(未示出)获得表示沉浸式视频的数据。
图4表示与图2中所示的实施例相关的第三实施例。游戏控制台60处理内容数据。游戏控制台60将数据和可选的控制命令发送到沉浸式视频呈现设备10。游戏控制台60被配置为处理表示沉浸式视频的数据并将处理的数据发送到沉浸式视频呈现设备10以供显示。处理可以仅由游戏控制台60完成，或者部分处理可以由沉浸式视频呈现设备10完成。
游戏控制台60直接或通过网关或网络接口50连接到互联网。游戏控制台60从互联网获得表示沉浸式视频的数据。在变型中，游戏控制台60从其中存储有表示沉浸式视频的数据的本地存储(未示出)获得表示沉浸式视频的数据，所述本地存储可以在游戏控制台60上或在例如可通过局域网访问的本地服务器上(未示出)。
游戏控制台60从互联网接收表示沉浸式视频的数据，处理这些数据(例如，对它们进行解码并可能地准备将要显示的部分视频)，并将处理的数据发送到沉浸式视频呈现设备10以供显示。游戏控制台60可以从传感器20和用户输入设备30接收数据，并且可以使用它们来处理从互联网或从本地存储获得的表示沉浸式视频的数据。
图5表示所述第一类型系统的第四实施例，其中沉浸式视频呈现设备70由插入外壳705中的智能手机701构成。智能手机701可以连接到互联网，并因此可以从互联网获得表示沉浸式视频的数据。在变型中，智能手机701从其中存储有表示沉浸式视频的数据的本地存储(未示出)获得表示沉浸式视频的数据，所述本地存储可以在智能手机701上或在例如可通过局域网访问的本地服务器上(未示出)。
参考图11描述了沉浸式视频呈现设备70，图11给出了沉浸式视频呈现设备70的优选实施例。它可选地包括至少一个网络接口702和用于智能手机701的外壳705。智能手机701包括智能手机和显示器的所有功能。智能手机的显示器用作沉浸式视频呈现设备70显示器。因此，不包括除智能手机701的显示器之外的显示器。然而，包括诸如透镜的光学器件704用于在智能手机显示器上观看数据。智能手机701被配置为可能根据从传感器20和从用户输入设备30接收的数据来处理(例如，解码并准备以供显示)表示沉浸式视频的数据。一些来自传感器的测量值用于计算设备的姿势和控制虚拟相机。用于姿势估计的传感器例如是陀螺仪、加速度计或罗盘。也可以使用更复杂的例如使用一组相机的系统。在这种情况下，至少一个处理器执行图像处理以估计设备10的姿势。一些其他测量值用于根据环境条件或用户反应来处理内容。用于观测环境和用户的传感器例如是麦克风、光传感器或接触传感器。也可以使用更复杂的系统，例如跟踪用户眼睛的摄像机。在这种情况下，至少一个处理器执行图像处理以操作预期测量。
图6表示所述第一类型系统的第五实施例，其中沉浸式视频呈现设备80包括用于处理和显示数据内容的所有功能。系统包括沉浸式视频呈现设备80、传感器20和用户输入设备30。沉浸式视频呈现设备80被配置为可能根据从传感器20和从用户输入设备30接收的数据来处理(例如，解码并准备以供显示)表示沉浸式视频的数据。沉浸式视频呈现设备80可以连接到互联网，并因此可以从互联网获得表示沉浸式视频的数据。在变型中，沉浸式视频呈现设备80从其中存储有表示沉浸式视频的数据的本地存储(未示出)获得表示沉浸式视频的数据，所述本地存储可以在呈现设备80上或在例如可通过局域网访问的本地服务器上(未示出)。
图12说明了沉浸式视频呈现设备80。沉浸式视频呈现设备包括显示器801。显示器可以是例如OLED或LCD类型，触摸板(可选)802，相机(可选)803，与至少一个处理器804连接的存储器805和至少一个通信接口806。存储器805包括用于处理器804的参数和代码程序指令。存储器805还可以包括从传感器20和用户输入设备30接收的参数。存储器也可以足够大以存储表示沉浸式视频内容的数据。为此，可以存在若干种类型的存储器，并且存储器805可以是单个存储器，或者可以是若干种类型的存储(SD卡、硬盘、易失性或非易失性存储器......)。通信接口806使沉浸式视频呈现设备能够与互联网网络通信。处理器804处理表示视频的数据，以便在显示器801上显示它们。相机803捕获环境的图像用于图像处理步骤。从该步骤提取数据以便控制沉浸式视频呈现设备。
在图7至9中说明了用于处理增强现实、虚拟现实或增强虚拟内容的第二系统。这种系统包括沉浸式墙。
图7表示第二类型系统。它包括显示器1000，该显示器1000是从计算机4000接收数据的沉浸式(投影)墙。计算机4000可以从互联网接收沉浸式视频数据。计算机4000通常直接或通过网关5000或网络接口连接到互联网。在变型中，沉浸式视频数据由计算机4000从其中存储有表示沉浸式视频的数据的本地存储(未示出)获得，所述本地存储可以在计算机4000中或在例如可通过局域网访问的本地服务器中(未示出)。
该系统还可以包括传感器2000和用户输入设备3000。沉浸式墙1000可以是OLED或LCD类型。它可以配备一个或若干个相机。沉浸式墙1000可以处理从传感器2000(或多个传感器2000)接收的数据。从传感器2000接收的数据可以与照明条件、温度、例如物体的位置的用户的环境有关，。
沉浸式墙1000还可以处理从用户输入设备3000接收的数据。用户输入设备3000发送诸如触觉信号的数据，以便提供关于用户情绪的反馈。用户输入设备3000的示例是诸如智能手机、遥控器和具有陀螺仪功能的设备的手持设备。
还可以将传感器2000和用户输入设备3000的数据传输到计算机4000。计算机4000可以根据从这些传感器/用户输入设备接收的数据处理视频数据(例如，对数据进行解码并准备数据以供显示)。可以通过沉浸式墙的通信接口接收传感器信号。该通信接口可以是蓝牙类型、WIFI类型或任何其他类型的连接，优选地是无线连接，但也可以是有线连接。
计算机4000将处理的数据和可选的控制命令发送到沉浸式墙1000。计算机4000被配置为处理将由沉浸式墙1000显示的数据，即准备数据以供显示。处理可以仅由计算机4000完成，或者部分处理可以由计算机4000完成，并且部分由沉浸式墙1000完成。
图8表示另一第二类型系统。它包括沉浸式(投影)墙6000，其被配置为处理(例如，解码并准备数据以供显示)并显示视频内容。它还包括传感器2000、用户输入设备3000。
沉浸式墙6000通过网关5000或直接从互联网接收来自互联网的沉浸式视频数据。在变型中，沉浸式视频数据由沉浸式墙6000从其中存储有表示沉浸式视频的数据的本地存储(未示出)获得，所述本地存储可以在沉浸式墙6000中或在例如可通过局域网访问的本地服务器中(未示出)。
该系统还可以包括传感器2000和用户输入设备3000。沉浸式墙6000可以是OLED或LCD类型。它可以配备一个或若干个相机。沉浸式墙6000可以处理从传感器2000(或多个传感器2000)接收的数据。从传感器2000接收的数据可以与照明条件、温度、例如物体的位置的用户的环境有关，。
沉浸式墙6000还可以处理从用户输入设备3000接收的数据。用户输入设备3000发送诸如触觉信号的数据，以便提供关于用户情绪的反馈。用户输入设备3000的示例是诸如智能手机、遥控器和具有陀螺仪功能的设备的手持设备。
沉浸式墙6000可以根据从这些传感器/用户输入设备接收的数据处理视频数据(例如，对数据进行解码并准备数据以供显示)。可以通过沉浸式墙的通信接口接收传感器信号。该通信接口可以是蓝牙类型、WIFI类型或任何其他类型的连接，优选地是无线连接，但也可以是有线连接。沉浸式墙6000可以包括至少一个通信接口，以与传感器和互联网通信。
图9说明了第三实施例，其中沉浸式墙用于游戏。优选地，通过无线接口将一个或多个游戏控制台7000连接到沉浸式墙6000。沉浸式墙6000通过网关5000或直接从互联网接收来自互联网的沉浸式视频数据。在变型中，沉浸式视频数据由沉浸式墙6000从其中存储有表示沉浸式视频的数据的本地存储(未示出)获得，所述本地存储可以在沉浸式墙6000中或在例如可通过局域网访问的本地服务器中(未示出)。
游戏控制台7000将指令和用户输入参数发送到沉浸式墙6000。沉浸式墙6000可能根据从传感器2000和用户输入设备3000以及游戏控制台7000接收的输入数据处理沉浸式视频内容，以便准备内容以供显示。沉浸式墙6000还可以包括内部存储器以存储要显示的内容。
根据本公开的非限制性实施例，公开了对流中的大视场视频的图像进行编码的方法和设备。还公开了对来自流的大视场视频的图像进行解码的方法和设备。还公开了对大视场视频的图像进行编码的流的语法。
图13示出了根据两个不同的映射函数在帧上映射全向视频的示例。将3D场景，这里是酒店大厅，投影在球形映射表面130上。选择正面方向以在帧上映射表面。在如图2至图12所述的沉浸式视频呈现设备上呈现时，正面方向可以对应于在用户前面显示的部分内容。在图13的示例中，正面方向面向其上打印有“A”的窗口。其上打印有“B”的旋转门在正面方向的左侧。图1的预处理模块在帧中执行投影130的映射。可以使用不同的映射函数，这导致不同的帧。在图13的示例中，预处理模块300根据应用于球体130的等距矩形映射函数生成帧序列131。在变型中，预处理模块300执行映射空间改变，在根据立方体布局134将立方体132在帧133上映射之前将球体130变换为立方体132。图13的示例立方体布局将帧划分为两行，每行三个正方形。顶行是立方体的左面、前面和右面；底行是旋转90°的立方体的上面、后面和下面。每行确保连续性。立方体布局134的表示上的数字表示立方体边的连接。
3D表面在一个或多个矩形图片上的映射不可避免地会引入一些效果，其可能在对得到的视频进行编码时影响压缩效率。
表1
实际上，投影可能引入以下效果：
●强几何畸变：
○直线不再是直的
○标准正交坐标系不再是标准正交的
●非均匀像素密度：要编码的图片中的像素并不总是表示要编码的表面上的相同表面(例如，球体的极点可以由2D图像中的像素线表示)，
●强不连续性：图片布局可能在表面上的两个相邻像素之间引入强不连续性，
●图片中可能出现一些周期性(例如从一个边界到对面的边界)。
表1列出了各种映射函数的这些效果的示例。这些效果中的一些出现在图13的视频帧131和133以及图14的帧141和143上。
图14示出了在平移之后映射图13的全向视频的示例。3D场景的正面方向发生旋转144。3D场景与图13中的场景相同，只有正面方向发生了旋转。在图14的示例中，旋转对应于左侧的平移。球体140的正面方向面向走廊，并且带有“A”的窗口在左侧，而带有“B”的旋转门在后面。根据等距矩形映射函数的球体140的映射生成视频帧141。在变型中，预处理模块执行映射空间改变，在根据图13的立方体布局134在帧143上映射立方体142之前将球体140变换为立方体142。使用欧拉角符号(α，β，γ)指代映射表面的3D旋转144。我们通过(a(t)，β(t)，Y(t))指代在时间t的3D场景中的正面方向的取向。根据参考系设置角度。可以根据绝对参考系表示正面方向，例如，水平面中的北方向。在变型中，在相对于参考图像的正面方向的参考系中设置与图像相关联的正面方向，也称为全局旋转运动参数。在这样的变型中，与图像相关联的角度对应于其自身正面方向与参考图像的正面方向之间的差别(例如，减法)。
这些角度对应于采集系统的取向，其可以是真实的或虚拟的。采集系统将表示与每个帧相关联的正面方向的取向的角度发送到编码模块400。在变型中，仅在检测到采集系统的旋转时才传输正面方向角度。在另一变型中，以规则频率将正面方向角度传输到编码模块400，例如每十帧或每二十四帧。在另一实施例中，采集系统不旋转。正面方向由介于采集系统和编码模块400之间的编辑模块(图1中未示出)管理。根据所选择的变型，编辑模块与每一帧相关联地或每次检测到旋转或以定期频率将由人类操作员或由算法修改的正面方向角度传输到编码模块400。在另一实施例中，预处理模块300通过比较两个映射的表面(例如，球体130和140)或根据所选择的映射函数(例如，帧131和141或133和143)生成的两个帧来计算正面方向角度。正面方向角度的变化对应于帧的全局旋转运动。对于全向视频，当捕获整个场景时，全局旋转运动不会修改图像的内容信息。帧131和141(相互地133和143)表示相同的3D场景并且包含从不同的正面方向编码的相同的颜色信息(直到网格插值)。然而，图片131和141的像素是完全不同的。使用视频压缩标准方法对包括全局旋转运动(例如平移)的帧序列进行编码意味着计算运动模型，这在计算上要求很高并且在编码的3D场景保持不变时需要大量数据。
诸如HEVC，H.264/AVC等的视频压缩标准利用时间冗余来减少要编码的信息。它基于帧间预测，其操作对应于先前或其他时刻的图片的重建块的运动补偿(MC)。时刻t2的图片P2的像素p2对应于时刻t1的图片P1的像素p1。
[公式1]p2(x2，y2，t2)＝p1(x1，y1，t1)
像素在P1和P2之间的位移可以如公式eq2分解。
[公式2]p2(x2，y2，t2)-p1(x1，y1，t1)＝dp(t1，t2)+gmc(p，t1，t2)
其中p是像素(即标识p1和p2为同一像素)，dp是由于3D场景中物理点的适当运动导致的像素的明显运动，而gmc是由于全局旋转运动导致的像素的明显运动。当正面方向旋转时，即使场景没有改变(即dp(t1,t2)＝(0，0))，图片的像素也将显著改变。这在实践中经常发生，因为正面方向通常指向场景中的感兴趣对象并通过旋转参考系来调整视点。
在本原理的示例非限制性实施例中，对输入图像操作全局旋转运动补偿产生新图像。将全局旋转运动参数(例如，与输入图像相关联的正面方向角度)与第一图像的全局旋转运动参数相比较，例如相减。重新组织输入图像的像素，使得新图像表示与输入图像的内容相同的内容，就好像它是用第一图像的正面方向捕获的一样。根据本原理，输入图像和参考图像具有易于比较的优势。在第一变型中，输入图像是压缩回路中的参考图像，例如诸如HEVC或H.264/AVC的压缩标准的压缩回路，并且第一图像是要编码的图像。在另一变型中，输入图像是要编码的图像，且第一图像是压缩回路的参考图像。该实施例是非限制性的。
图15示意性地说明了通过对响应于要编码的图像I1的输入图像I2进行运动补偿来对图像序列的图像I1进行编码的方法150。该方法在图1的编码模块400中实现。在步骤151，准备图像I1作为全局旋转运动补偿步骤152的输入图像I2。结合图19和21进一步描述了步骤151的实施例。在步骤152，根据先前获得的全局旋转运动参数RP(即正面方向角度)，对输入图像I2应用全局旋转运动补偿。结合图24和26进一步描述了步骤152的实施例。步骤152生成全局旋转运动补偿图像I3。在步骤153，图像I3用作运动补偿模块的输入，该运动补偿模块产生相对于残差数据的信息数据ID1、块的运动矢量和响应于预测图像的参考图像。在本原理的特定实施例中，步骤154生成携带表示要编码的图像的数据的比特流S。全局旋转运动参数RP以无损方式在流内编码。
图16示意性地说明了通过对响应于要解码的图像的输入图像进行运动补偿来对图像序列的图像进行解码的方法160。数据源S提供根据图15的方法150的第一实施例(图24所示)编码的比特流。例如，数据源属于包括本地存储器(例如视频存储器、随机存取存储器、闪存、只读存储器、硬盘等)、存储接口(例如，与大容量存储、光盘或磁支持的接口)和通信接口(例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(例如IEEE802.11接口或接口))的源集合。在步骤161，从流中获得图像I4，图像I4对应于全局旋转运动补偿步骤162的输入。从比特流中获得全局旋转运动参数。结合图20进一步描述了步骤161的实施例。在步骤162中，通过根据全局旋转运动参数RP对输入图像I4应用全局旋转运动补偿来生成图像I5。结合图20进一步描述了步骤162的实施例。在步骤163中，图像I3用作生成解码图像I6的运动补偿模块的输入。
图17示意性地说明了通过对响应于要解码的图像的输入图像进行运动补偿来对图像序列的图像进行解码的方法170。数据源S提供由图15的方法150的第二实施例(图26所示)编码的比特流。例如，源属于包括本地存储器(例如视频存储器、随机存取存储器、闪存、只读存储器、硬盘等)、存储接口(例如，与大容量存储、光盘或磁支持的接口)和通信接口(例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(例如IEEE 802.11接口或接口))的源集合。在步骤171，从比特流中获得相对于残差数据的信息数据ID2、运动矢量和响应于要解码的图像的图像参考，并且从比特流中获得全局旋转运动参数。在步骤172中，通过将残差图像与根据信息数据ID2获得的运动预测图像相加来解码图像I7。结合图22进一步描述了步骤172的实施例。在步骤173中，通过根据全局旋转运动参数对解码的图像I7应用全局旋转运动补偿来生成图像I8。结合图22进一步描述了步骤173的实施例。
图24说明了图15的方法150的第一实施例。在该方法中，根据诸如HEVC、H.264/AVC的视频压缩标准来启动压缩回路。序列的一些图像用作参考图像并存储在存储器中。在该实施例中，方法150的步骤151包括3个子步骤241、242和243。在步骤241，通过对要编码的图像和参考图像进行比较(例如，相减)来计算残差图像。根据众所周知的过程，在步骤242使用运动估计过程来获得运动预测图像。该过程在参考图像中搜索运动数据，例如运动矢量，以最小化在要编码的图像的像素和参考图像的像素之间计算的误差，或者最小化另一度量如率失真代价。在步骤243，通过将残差图像和运动预测图像相加来生成重建的图像。步骤243的输出对应于步骤151的输出。在步骤152，根据要编码的图像的GRM参数对参考图像进行全局旋转运动补偿。在变型中，以要编码的图像的RM参数与参考图像的GRM参数之间的角度差补偿图像。步骤153包括根据全局旋转运动补偿的参考图像对要编码的图像进行运动补偿。由于参考图像已被全局旋转运动补偿，因此促进了步骤153并且所计算的运动模型仅需要编码少量比特。在步骤154，对所准备的要编码的图像进行熵编码。熵编码的序列的图像形成比特流180的第一语法元素，其存储在比特流180的有效载荷部分182中。全局旋转运动参数包括在比特流的第二语法元素中，所述第二语法元素包括在比特流180的头部181中。头部181以无损方式进行编码。
图25说明了图16的方法160的实施例。在该方法中，根据诸如HEVC、H.264/AVC的视频压缩标准来启动解压缩回路。在该实施例中，方法160的步骤161包括两个子步骤251和252。在步骤251，对残差图像进行熵解码，并从比特流中获得运动模型。根据运动模型计算运动预测图像。一些从比特流中提取的图像用作参考图像并存储在存储器中。例如通过将残差图像和运动补偿图像相加，重建响应于要解码的图像的图像。在步骤252，从比特流中获得与要解码的图像相关联的GRM参数。如先前解码的图像，存储在存储器中的参考图像也与它们的GRM参数相关联。在步骤162，根据要解码的图像的GRM参数，对与要解码的图像相关联的参考图像进行全局旋转运动补偿。在变型中，以要编码的图像的RM参数与参考图像的GRM参数之间的角度差补偿图像。步骤163包括根据全局旋转运动补偿的参考图像对要解码的图像进行运动补偿。由于参考图像已被全局旋转运动补偿，因此促进了步骤163。
图26说明了图15的方法150的第二实施例。在方法150的该实施例中，步骤151是获得要编码的帧和与图像相关联的GRM参数。已经启动了压缩回路，并且已经选择了一些图像序列的图像具有参考图像并存储在存储器中。参考图像也与GRM参数相关联。在步骤152，将要编码的图像用作输入图像，并根据与其相关联的GRM参数进行全局旋转运动补偿。以例如包括在GRM参数中并且根据绝对参考方向，例如，在局部水平平面中的北方向定义的角度旋转图像。在变型中，要编码的图像与存储在存储器中的参考图像相关联，并且以根据要编码的图像的GRM参数与参考图像的GRM参数之间的差计算的角度旋转要编码的图像。在步骤153，图像输出步骤152进入根据诸如HEVC、H.264/AVC的视频压缩标准配置的压缩回路。执行运动补偿步骤。根据众所周知的过程，运动估计在参考图像I3中搜索运动数据，诸如运动矢量，以最小化在要编码的图像I1的像素和参考图像I3的像素之间计算的误差，或者最小化另一度量如率失真代价。由于在步骤152，已经对要编码的图像I1进行了全局旋转运动补偿，因此促进了运动数据的搜索，并且对它们进行编码所需的数据量很小。在步骤154，对所准备的要编码的图像进行熵编码。熵编码的序列的图像形成比特流180的第一语法元素，其存储在比特流180的有效载荷部分182中。全局旋转运动参数包括在比特流的第二语法元素中，所述第二语法元素包括在比特流180的头部181中。头部181以无损方式进行编码。
图27说明了图17的方法170的实施例。数据源S提供由图15的方法150的第二实施例(由图26描述)编码的比特流。在该方法中，根据诸如HEVC、H.264/AVC的视频压缩标准来启动解压缩回路。已经执行了至少一个参考图像的解压缩和解码。至少一个参考图像存储在存储器中并与从数据源S提取的GRM参数相关联。在步骤171，从比特流中获得相对于残差数据的信息数据、运动矢量和响应于要解码的图像的全局旋转运动参数。在步骤172中，通过将残差图像与根据信息数据获得的运动预测图像相加来解码图像。根据众所周知的解压缩过程重建要解码的图像，包括与存储在存储器中的参考图像相关的运动补偿过程。在步骤173中，根据与要解码的图像相关联的全局旋转运动参数对重建的图像进行全局旋转运动补偿。以对应于由与要解码的图像相关联的GRM参数编码的绝对角度值的三维角度旋转重建的图像，例如在参考系中使用局部水平面中的北方向。在变型中，重建的图像被旋转三维角度，该三维角度对应于在该重建的图像的GRM参数中编码的角度与在与用于重建要解码的图像的参考图像相关联的GRM参数中编码的角度之间的差。
图18说明了携带表示根据图15的方法150编码的图像序列的数据的比特流180的数据结构的特定实施例。熵编码的序列的图像形成比特流180的第一语法元素，其存储在比特流180的有效载荷部分182中。全局旋转运动参数包括在比特流的第二语法元素中，所述第二语法元素包括在比特流180的头部181中。头部181以无损方式进行编码。
图19示出了用于通过对响应于要编码的图像的输入图像进行运动补偿来对图像序列的图像进行编码的设备的第一实施例的框图。图19的设备的模块实现图24的方法的步骤。
图19仅示出了与基于时间预测的编码(即INTER编码)相关的设备的功能模块。在现有技术中众所周知的未示出的其他模块实现例如具有或不具有空间预测的INTRA编码。
模块191将要编码的图像I1作为输入，模块191例如在像素基础上从当前图像I1提取预测图像Ip以生成残差图像Ir。模块192对残差图像Ir进行变换和量化。变换T例如是离散余弦变换(DCT)、基于块的变换或基于小波的变换。模块193实现逆操作：逆量化IQ，接着是逆变换IT。模块194例如在像素基础上合并模块193输出的图像和预测图像Ip，以生成重建的(也叫做解码的)图像，该图像存储在作为解码图片缓冲器(DPB)的存储器(模块195)中。模块193生成并在存储器(模块195)中存储图像I2，其可以用作用于时间预测模块的参考输入图像。
模块196将存储在存储器195中的参考输入图像I2和全局旋转运动参数(正面方向的角度)作为输入。根据在其上首先应用全局旋转运动的参考输入I2，由另一模块197计算当前图像的每个像素的视运动(apparent motion)。要编码的当前图像I1与全局旋转运动参数(GRM参数)(α(t)，β(t)，γ(t))相关联且m(x，y)是该图片的像素。从解码图片缓冲器(模块195)、GRM参数(α(t′)，β(t′)，γ(t′))重建图像I2且n(x′，y′)是该图片中的像素。通过对I1的每个像素应用运动补偿来重建全局运动补偿的参考图片，以获得I2中的对应像素：(x，y)→(x′，y′)。通过应用全局旋转运动补偿来计算坐标(x′，y′)。计算点Mt′。Mt′对应于在时刻t的图像I1的参考系中表示的像素m(x，y)到时刻t′的图像I1的参考系的投影。公式[公式.3]操作轴系变化变换。
[公式.3]
其中函数f和Proj是根据图像I1和I2的映射定义的函数；Rt是根据GRM参数(α(t)，β(t)，γ(t))计算的旋转矩阵；Rt’是根据GRM参数(α(t′)，β(t′)，γ(t′))计算的旋转矩阵。像素n(x′，y′)通过根据公式[公式.4]投影参考输入图像I2中的点Mt′来计算。
[公式.4]n(x′，y′)＝f-1(Proj(Mt，))
[公式.5]
公式[eq.5]表示一次全局旋转运动补偿。在图19的实施例的变型中，根据如图13的图像131和图14的141所示的等距矩形映射来对图像I1和I2进行编码。等矩形映射定义函数f和Proj如下：
Proj：M→M′ Proj-1：M′→M
在图19所示的设备的实施例的变型中，根据如图13的图像133和图14的143所示的具有图13的布局134的立方体映射来对图像I1和I2进行编码。在这种情况下，函数f和Proj定义如下：
f：M(x，y)→M′(u，v，k)
其中w是图像宽度的三分之一，h是图像高度的一半。根据上述等式，反函数f-1可以从上面的公式直接得到。
Proj-1：M′(u，v，k)→M3d(X，Y，Z)
反函数Proj可以从上面的公式直接得到。
在图19所示的模块197中，对模块152输出的图像I3执行运动补偿和预测。模块196估计要编码的图像I1和全局旋转运动补偿的参考图像I3之间的至少一个运动矢量。根据众所周知的过程，运动估计在参考图像I3中搜索运动数据，诸如运动矢量，以最小化在要编码的图像I1的像素和参考图像I3的像素之间计算的误差，或最小化另一度量如率失真代价。由于模块196已经对参考图像I3进行了全局旋转运动补偿，因此促进了运动数据的搜索。将图像I1编码为预测图像Ip。
模块198将量化的数据熵编码为编码的数据的比特流S。该模块生成如结合图18所描述的流。在比特流的第一语法元素中，语法元素形成比特流180的有效载荷部分182，模块使用通常的CABAC(上下文自适应二进制算术编码)并存储表示图像序列的熵编码数据。在形成比特流180的头部181的第二语法元素中，模块以无损方式编码与图像的标识符相关联的全局旋转运动参数以及其他数据。
图20示出了被配置为对根据图24中所示的方法150的第一实施例编码的比特流S进行解码的设备的实施例。比特流S表示图像序列，并且包括如结合图18和19所述的两个语法元素。图20的设备的模块实现图25的方法的步骤。
模块201实现CABAC，用于对与要解码的编码的图像序列相关的残差数据和重建解码的图像所需的诸如例如编码模式、用于编码图像的映射、运动数据或重要性表(significant map)的语法元素进行熵解码。该模块还提取与每个图像相关联的全局旋转运动参数。根据未在图20示出的变型，解码运动数据包括运动估计。将与要解码的图像相关的解码的视频数据传输到模块202，其应用逆量化，然后进行逆变换。模块202相当于图19的模块193。模块202链接到模块203，其例如在逐像素基础上合并模块202输出的残差图像和预测图像Ip，以生成表示要解码的图像的解码的图像I6。重建的图像I6也存储在存储器204中。
模块205将存储在存储器204中的参考输入图像I4和与该图像I4相关联的全局旋转运动参数以及与要解码的当前图像相关联的GRM参数作为输入。根据在其上首先应用全局旋转运动的参考输入I4，由另一模块206计算当前图像的每个像素的视运动。通过对I4的每个像素应用运动补偿来重建全局运动补偿的参考图片，以获得I5中的对应像素：(x,y)→(x′,y′)。通过应用结合图19的模块196描述的全局旋转运动补偿来计算坐标(x′，y′)。根据用于编码图像的映射来选择函数f，f-1，Proj和Proj-1。
由模块206对模块205输出的图像I5执行运动补偿和预测。模块206估计要解码的图像与全局旋转运动补偿的参考图像I5之间的至少一个运动矢量。根据众所周知的过程，运动估计在参考图像I5中搜索运动数据，诸如运动矢量，以最小化在要解码的图像的像素和参考图像I5的像素之间计算的误差，或另一度量如率失真代价。由于模块205已经对参考图像I5进行了全局旋转运动补偿，因此促进了对运动数据的搜索。将要解码的图像编码为预测图像Ip。
图21示出了被配置为通过对响应于要编码的图像的输入图像进行运动补偿来编码图像序列的图像的设备的第二实施例的框图。图21的设备的模块实现图26的方法的步骤。
模块211配置为获得图像I1。模块211通过根据参考全局旋转运动参数(例如，序列的第一图像的GRM参数或仅利用帧内预测进行编码的最后图像的GRM参数、以及与要编码的图像I1相关联的GRM参数)应用如结合图19所述的函数f，f-1，Proj和Proj-1来执行全局旋转运动补偿。根据参考图像的正面方向映射图像I1。参考图像和模块211输出的GRM补偿的图像I3之间的像素差是由于场景中物体的视运动而不再是正面方向的旋转导致的。通过模块212的结构根据现有技术中众所周知的方法对GRM补偿图像I3进行运动补偿，并由模块213对GRM补偿图像I3进行熵编码。模块213将量化的数据熵编码为编码的数据的比特流S。该模块生成如结合图18所描述的流。在比特流的第一语法元素中，语法元素形成比特流180的有效载荷部分182，该模块使用通常的CABAC(上下文自适应二进制算术编码)并存储表示图像序列的熵编码数据。在形成比特流180的头部181的第二语法元素中，模块以无损方式编码与图像的标识符相关联的全局旋转运动参数以及其他数据。
图22示出了被配置为对根据图26中所示的方法150的第二实施例编码的比特流S进行解码的设备的实施例。比特流S表示图像序列，并且包括如结合图18和21所述的两个语法元素。图22的设备的模块实现图27的方法的步骤。
模块221使用CABAC用于对与要解码的编码的图像序列相关的残差数据和重建解码的图像所需的诸如例如编码模式、用于编码图像的映射、运动数据或重要性表的语法元素进行熵解码。该模块还提取与每个图像相关联的全局旋转运动参数。根据未在图20示出的变型，解码运动数据包括运动估计。将与要解码的图像相关的解码的视频数据传输到模块222，其应用逆量化，然后进行逆变换。模块222相当于图19的模块193。模块222链接到模块203，其例如在逐像素基础上合并步骤222输出的残差图像和预测图像Ip，以生成表示要解码的图像的解码的图像I7。重建的图像I7也存储在存储器224中。由模块225在存储器224输出的图像上执行运动补偿和预测。模块226估计要解码的图像与全局旋转运动补偿的参考图像之间的至少一个运动矢量。根据众所周知的过程，运动估计在参考图像中搜索运动数据，例如运动矢量，以最小化在要解码的图像的像素与参考图像的像素之间计算的误差，或任何其他度量如率失真代价。由于模块225已经对参考图像进行了全局旋转运动补偿，因此促进了运动数据的搜索。将要解码的图像编码为预测图像Ip。
图23示出了被配置为实现结合图15、16、17、19、20、21或22描述的方法的装置230的硬件实施例。在该示例中，设备230包括以下元件，这些元件通过地址和数据的总线231彼此连接，该总线还传送时钟信号：
-微处理器232(或CPU)，其例如是DSP(或者数字信号处理器)；
-ROM(只读存储器)类型的非易失性存储器233；
-随机存取存储器或RAM(234)；
-用于从应用接收要传输的数据的I/O接口235；和
-可以嵌入随机存取存储器的寄存器的图形卡236；
-电源237。
根据示例，电源237在设备外部。在每个提到的存储器中，说明书中使用的“寄存器”一词可以对应于小容量(一些比特)区域或非常大的区域(例如整个程序或大量接收或解码的数据)。ROM 233至少包括程序和参数。ROM233可以存储算法和指令以执行根据本原理的技术。当接通时，CPU 232将程序上载到RAM中并运行相应的指令。
RAM 234包括在寄存器中的由CPU 232运行并在设备230接通之后上载的程序、寄存器中的输入数据、寄存器中方法的不同状态中的中间数据，以及用于寄存器中的方法的运行的其他变量。
这里描述的实施方式可以在例如方法150、160或170中的一个的模块，或过程、装置、软件程序、数据流或信号中实现。即使仅在单个实施方式形式的上下文中讨论(例如，仅作为方法或设备讨论)，所讨论的特征的实施方式也可以以其他形式(例如程序)实现。装置可以在例如适当的硬件、软件和固件中实现，其可以是图2至12中描述的系统的组件中的一个。方法及其模块可以在例如装置中实现，诸如例如处理器，其通常指处理设备，包含例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包含通信设备，诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)、机顶盒和其他促进终端用户之间信息通信的设备，例如图2至12中描述的系统的组件。
根据通过对响应于要编码的图像的输入图像进行运动补偿来对序列图像的图像进行编码的示例，如图15、19和21所示，从源获得表示图像序列的比特流。例如，源属于包括以下内容的集合：
-本地存储器(233、234或236)，例如，视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘；
-存储接口(235)，例如，与大容量存储、RAM、闪存、ROM、光盘或磁支持的接口；和
-通信接口(235)，例如，有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)。
根据一个特定实施例，实现通过对响应于要编码的图像的输入图像进行运动补偿来对序列图像的图像进行编码的方法150的步骤的算法存储在与实现这些步骤的设备230相关联的图形卡236的存储器GRAM中。根据变型，RAM(234)的一部分由CPU(232)分配用于存储算法。这些步骤导致视频流的生成，该视频流被发送到属于包括例如视频存储器(234)、RAM(234)、ROM(233)、闪存(233)或硬盘(233)的本地存储器、例如与大容量存储、RAM、ROM、闪存、光盘或磁支持的接口的存储接口的集合的目的地，和/或从例如指向点对点链路、总线、点对多点链路或广播网络的接口的通信接口(235)接收该视频流。
根据通过对响应于要解码的图像的输入图像进行运动补偿来对图像序列的图像进行解码的示例，从源获得表示图像序列的流。示例性地，从例如视频存储器(234)、RAM(234)、ROM(233)、闪存(233)或硬盘(233)的本地存储器读取比特流。在变型中，从例如和大容量存储、RAM、ROM、闪存、光盘或磁支持的接口的存储接口(235)接收流和/或从例如指向点对点链路、总线、点对多点链路或广播网络的接口的通信接口(235)接收流。
根据一个特定实施例，实现通过对响应于要解码图像的输入图像进行运动补偿来对图像序列的图像进行解码的方法的步骤的算法存储在与实现这些步骤的设备230相关联的图形卡236的存储器GRAM中。根据变型，RAM(234)的一部分由CPU(232)分配用于存储算法。这些步骤导致视频的构成，该视频被发送到属于包括图2至12中描述的系统的组件的集合的目的地，诸如例如：
-移动设备；
-通信设备；
-游戏设备；
-机顶盒；
-电视；
-平板电脑(或平板计算机)；
-笔记本电脑；
-显示器，和
-解码芯片。
当然，本公开不限于先前描述的实施例。
特别地，本公开不限于对图像序列进行编码和解码的方法，反而还扩展到任何显示解码的视频的方法以及任何将该显示方法实现为例如图2到图12的显示设备的设备。对比特流进行编码和解码所必需的计算的实现不限于着色器类型微程序中的实现，反而还扩展到任何程序类型的实现，例如可由CPU类型的微处理器运行的程序。本公开的方法的使用不限于实时利用，反而还扩展到任何其他利用，例如用于在录音棚中称为后期制作处理的处理。
这里描述的实施方式可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个实施方式形式的上下文中讨论(例如，仅作为方法或设备讨论)，所讨论的特征的实施方式也可以以其他形式(例如程序)实现。装置可以在例如适当的硬件、软件和固件中实现。方法可以在例如装置中实现，诸如例如处理器，其通常指处理设备，包含例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包含通信设备，诸如例如智能手机、平板电脑、计算机、移动电话、便携式/个人数字助理(“PDA”)，以及其他促进终端用户之间的信息通信的设备。
这里描述的各种过程和特征的实施方式可以体现在各种不同的设备或应用中，特别是例如与数据编码、数据解码、视图生成、纹理处理以及图像和相关的纹理信息和/或深度信息的其他处理相关联的设备或应用。这样的设备的示例包含编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、笔记本电脑、个人计算机、手机、PDA和其他通信设备。应该清楚的是，设备可以是移动的，甚至可以安装在移动车辆中。
另外，该方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实施方式产生的数据值)可以存储在处理器可读介质上，诸如例如集成电路、软件载体或其他存储设备，诸如例如硬盘、紧凑磁盘(“CD”)、光盘(诸如例如DVD，通常称为数字多功能光盘或数字视频光盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或组合中。指令可以在例如操作系统、单独的应用或两者的组合中找到。因此，可以将处理器描述为，例如，被配置为完成过程的设备和包括具有用于完成过程的指令的处理器可读介质(诸如存储设备)的设备。此外，除了指令之外或代替于指令，处理器可读介质可以存储由实施方式产生的数据值。
对于本领域技术人员显而易见的是，实施方式可以产生各种被格式化以携带可以例如存储或传输的信息的信号。信息可以包含例如用于执行方法的指令，或者由所述实施方式中的一个产生的数据。例如，可以将信号格式化以将写入或读取所述实施例的语法的规则作为数据携带，或者将由所述实施例写入的实际语法值作为数据携带。这样的信号可以被格式化为，例如电磁波(例如，使用频谱的射频部分)或者基带信号。格式化可以包含，例如，编码数据流和用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述了许多实施方式。然而，应该理解，可以做出各种修改。例如，可以组合、补充、修改或移除不同实施方式的元件以产生其他实施方式。另外，普通技术人员将理解，其他结构和过程可以替代所公开的那些，并且所得到的实施方式将以至少基本相同的方式执行至少基本相同的功能，以实现与所公开的实施方式至少基本相同的结果。因此，本申请考虑了这些和其他实施方式。

Claims (15)

1.一种编码流中的图像序列的第一图像(I1)的方法，所述方法包括：
-通过根据旋转参数对第三图像(I2)应用全局旋转运动补偿来获得第二图像(I3)，所述第三图像(I2)从所述第一图像获得；和
-通过使用所述第二图像(I3)作为运动补偿模块的输入图像，对所述第一图像(I1)和与所述流中的第一图像相关联的旋转参数进行编码。
2.如权利要求1所述的方法，其中所述第三图像是所述第一图像。
3.如权利要求1所述的方法，其中通过以下方式从所述第一图像获得所述第三图像：
-获得响应于所述第一图像的残差图像；
-获得响应于所述第一图像的运动预测图像；
并且其中所述第三图像是通过将所述残差图像与所述运动预测图像相加获得的重建的图像。
4.一种解码来自流的图像序列的第一图像的方法，所述方法包括：
-获得来自流的第二图像和与所述第二图像相关联的旋转参数；和
-通过根据所述旋转参数对第三图像(I4，I7)应用全局旋转运动补偿来对所述第一图像进行解码，所述第三图像是运动补偿模块的输出图像，所述输出图像从所述第二图像获得。
5.如权利要求4所述的方法，其中所述第三图像是解码的第一图像。
6.如权利要求4所述的方法，其中通过以下方式获得所述第三图像：
-获得响应于所述第二图像的残差图像；
-获得响应于所述第二图像的运动预测图像；
并且其中所述第三图像是通过将所述残差图像与所述运动预测图像相加获得的重建的图像。
7.一种携带表示图像序列的数据的比特流，其特征在于，所述数据包括：
-表示图像序列的第一语法元素；和
-表示与所述图像序列的至少一个图像的标识符相关联的参数化全局旋转运动的参数的第二语法元素。
8.一种用于对流中的图像序列的第一图像(I1)进行编码的设备，所述设备包括至少与处理器相关联的存储器，所述处理器被配置为：
-通过根据旋转参数对第三图像(I2)应用全局旋转运动补偿来获得第二图像(I3)，所述第三图像(I2)从所述第一图像获得；和
-通过使用所述第二图像(I3)作为运动补偿模块的输入图像，对所述流中的与第一图像相关联的旋转参数和所述第一图像(I1)进行编码。
9.如权利要求8所述的设备，其中所述第三图像是所述第一图像。
10.如权利要求8所述的设备，其中通过以下方式从所述第一图像获得所述第三图像：
-获得响应于所述第一图像的残差图像；
-获得响应于所述第一图像的运动预测图像；
并且其中所述第三图像是通过将所述残差图像与所述运动预测图像相加获得的重建的图像。
11.一种用于对来自流的图像序列的第一图像进行解码的设备，所述设备包括至少与处理器相关联的存储器，所述处理器被配置为：
-获得来自流的第二图像和与所述第二图像相关联的旋转参数；和
-通过根据所述旋转参数对第三图像(14，17)应用全局旋转运动补偿来对所述第一图像进行解码，所述第三图像是运动补偿模块的输出图像，所述输出图像从所述第二图像获得。
12.如权利要求11所述的设备，其中所述第三图像是解码的第一图像。
13.如权利要求12所述的装置，其中通过以下方式获得所述第三图像：
-获得响应于所述第二图像的残差图像；
-获得响应于所述第二图像的运动预测图像；
并且其中所述第三图像是通过将所述残差图像与所述运动预测图像相加获得的重建的图像。
14.一种非暂时性处理器可读介质，其中存储有用于使处理器至少执行根据权利要求2、3、5或6中的一个的方法的步骤的指令。
15.一种用于被编码为比特流的大视场视频的沉浸式呈现的系统，至少包括：
-用于从数据网络接收所述比特流的网络接口(600)，
-用于根据权利要求12或13对所述比特流进行解码的设备(700)，
-沉浸式呈现设备(900)。
CN201780067749.XA 2016-09-30 2017-09-21 编码全局旋转运动补偿图像的方法，设备和流 Active CN110024404B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16306266.4A EP3301928A1 (en) 2016-09-30 2016-09-30 Methods, devices and stream to encode global rotation motion compensated images
EP16306266.4 2016-09-30
PCT/EP2017/073906 WO2018060048A1 (en) 2016-09-30 2017-09-21 Methods, devices and stream to encode global rotation motion compensated images

Publications (2)

Publication Number Publication Date
CN110024404A true CN110024404A (zh) 2019-07-16
CN110024404B CN110024404B (zh) 2023-06-20

Family

ID=57138002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067749.XA Active CN110024404B (zh) 2016-09-30 2017-09-21 编码全局旋转运动补偿图像的方法，设备和流

Country Status (9)

Country Link
US (1) US11812066B2 (zh)
EP (2) EP3301928A1 (zh)
JP (1) JP7217226B2 (zh)
KR (2) KR102658946B1 (zh)
CN (1) CN110024404B (zh)
BR (1) BR112019006250A2 (zh)
CA (1) CA3038689A1 (zh)
MX (1) MX2019003587A (zh)
WO (1) WO2018060048A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166969A1 (zh) * 2021-02-08 2022-08-11 荣耀终端有限公司 基于二维规则化平面投影的点云序列编解码方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560678B2 (en) * 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
WO2020053329A1 (en) * 2018-09-14 2020-03-19 Koninklijke Kpn N.V. Video coding based on global motion compensated motion vectors
EP3850850A1 (en) 2018-09-14 2021-07-21 Koninklijke KPN N.V. Video coding based on global motion compensated motion vector predictors
CN111225208B (zh) * 2018-11-27 2022-09-02 北京小米移动软件有限公司 视频编码方法及装置
KR20210094646A (ko) * 2018-12-14 2021-07-29 지티이 코포레이션 몰입형 비디오 비트 스트림 처리
WO2021045536A1 (en) 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568015A (zh) * 2003-06-27 2005-01-19 中国科学院计算技术研究所 多视角视频编解码预测补偿方法及装置
EP1578135A2 (en) * 2004-03-15 2005-09-21 Samsung Electronics Co., Ltd. Image coding apparatus and method for predicting motion using rotation matching
CN1939066A (zh) * 2004-04-02 2007-03-28 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
US8374244B2 (en) * 2007-01-03 2013-02-12 Samsung Electronics Co., Ltd. Motion compensation method and apparatus that sequentially use global motion compensation and local motion compensation, decoding method, video encoder, and video decoder

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3505199B2 (ja) * 1992-06-30 2004-03-08 株式会社リコー ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法
US5844613A (en) * 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
JP2005020478A (ja) 2003-06-27 2005-01-20 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
CN101350920A (zh) 2007-07-17 2009-01-21 北京华辰广正科技发展有限公司 一种面向全景视频的全局运动估计方法
JP2009081622A (ja) 2007-09-26 2009-04-16 Oki Semiconductor Co Ltd 動画像圧縮符号化装置
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
EP3267688A4 (en) * 2015-03-05 2018-08-01 Sony Corporation Image processing device and image processing method
US11228754B2 (en) * 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
KR20190039669A (ko) * 2016-05-26 2019-04-15 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10127637B2 (en) * 2016-08-30 2018-11-13 Adobe Systems Incorporated Automatic orientation adjustment of spherical panorama digital images
US10390039B2 (en) * 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
EP3518534B1 (en) 2016-09-26 2023-05-17 Sony Group Corporation Encoding device, encoding method, decoding device, decoding method, transmission device, and reception device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568015A (zh) * 2003-06-27 2005-01-19 中国科学院计算技术研究所 多视角视频编解码预测补偿方法及装置
EP1578135A2 (en) * 2004-03-15 2005-09-21 Samsung Electronics Co., Ltd. Image coding apparatus and method for predicting motion using rotation matching
CN1906948A (zh) * 2004-03-15 2007-01-31 三星电子株式会社 利用旋转匹配预测运动的图像编码设备和方法
CN1939066A (zh) * 2004-04-02 2007-03-28 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
US8374244B2 (en) * 2007-01-03 2013-02-12 Samsung Electronics Co., Ltd. Motion compensation method and apparatus that sequentially use global motion compensation and local motion compensation, decoding method, video encoder, and video decoder

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDREAS KRUTZ等: "Tool Experiment 3: Inter Prediction in HEVC", <JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 > *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166969A1 (zh) * 2021-02-08 2022-08-11 荣耀终端有限公司 基于二维规则化平面投影的点云序列编解码方法及装置
CN114915791A (zh) * 2021-02-08 2022-08-16 荣耀终端有限公司 基于二维规则化平面投影的点云序列编解码方法及装置
CN114915791B (zh) * 2021-02-08 2023-10-20 荣耀终端有限公司 基于二维规则化平面投影的点云序列编解码方法及装置

Also Published As

Publication number Publication date
JP2019534608A (ja) 2019-11-28
EP3301928A1 (en) 2018-04-04
KR102658946B1 (ko) 2024-04-18
JP7217226B2 (ja) 2023-02-02
US11812066B2 (en) 2023-11-07
BR112019006250A2 (pt) 2019-06-18
MX2019003587A (es) 2019-06-10
US20200045342A1 (en) 2020-02-06
KR20190054076A (ko) 2019-05-21
EP3520411A1 (en) 2019-08-07
CN110024404B (zh) 2023-06-20
KR20230051638A (ko) 2023-04-18
WO2018060048A1 (en) 2018-04-05
CA3038689A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
JP6939883B2 (ja) 自由視点映像ストリーミング用の復号器を中心とするｕｖコーデック
US10600233B2 (en) Parameterizing 3D scenes for volumetric viewing
CN110024404A (zh) 编码全局旋转运动补偿图像的方法，设备和流
US11087549B2 (en) Methods and apparatuses for dynamic navigable 360 degree environments
US10313686B2 (en) Apparatus and methods for compressing video content using adaptive projection selection
US10388025B2 (en) Interactive image based 3D panogragh
EP3520417A1 (en) Methods, devices and stream to provide indication of mapping of omnidirectional images
KR20190054150A (ko) 무지향성 비디오들에 대한 개선된 모션 보상을 위한 방법 및 장치
US10692246B2 (en) Geometry sequence encoder and decoder
Schreer et al. Lessons learned during one year of commercial volumetric video production
US12079924B2 (en) System and method for dynamic images virtualization
WO2022191070A1 (ja) ３ｄオブジェクトのストリーミング方法、装置、及びプログラム
WO2015185537A1 (en) Method and device for reconstruction the face of a user wearing a head mounted display
Eisert et al. Volumetric video–acquisition, interaction, streaming and rendering
CN114503554B (zh) 用于传送体积视频内容的方法和装置
EP3729805A1 (en) Method for encoding and decoding volumetric video data
WO2018109265A1 (en) A method and technical equipment for encoding media content
JP2022551064A (ja) 容積ビデオを符号化、送信、及び復号化するための方法及び装置
Eisert et al. Geometry-assisted image-based rendering for facial analysis and synthesis
JP2024514066A (ja) 光効果をサポートする容積ビデオ
Ho Virtual Reality and Augmented Reality Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant