CN116686286A - 在沉浸式视频中改变视频轨道 - Google Patents

在沉浸式视频中改变视频轨道 Download PDF

Info

Publication number
CN116686286A
CN116686286A CN202180083052.8A CN202180083052A CN116686286A CN 116686286 A CN116686286 A CN 116686286A CN 202180083052 A CN202180083052 A CN 202180083052A CN 116686286 A CN116686286 A CN 116686286A
Authority
CN
China
Prior art keywords
video
track
tracks
rendering
video tracks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180083052.8A
Other languages
English (en)
Inventor
B·克龙
B·W·D·范格斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116686286A publication Critical patent/CN116686286A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的方法，其中，每个视频轨道具有对应的渲染优先级。所述方法包括：接收从第一视频轨道VT1的第一集合转变到第二视频轨道VT2的第二集合的指令，获得所述视频轨道VT2，并且如果所述视频轨道VT2不同于所述视频轨道VT1，则向视频轨道VT1的所述第一集合中的一个或多个视频轨道的所述渲染优先级应用降低函数，并且/或者向视频轨道VT2的所述第二集合中的一个或多个视频轨道的所述渲染优先级应用升高函数。所述降低函数和所述升高函数随时间分别降低和升高所述渲染优先级。所述渲染优先级用于确定对用于渲染多轨道视频的视频轨道和/或视频轨道的元素的加权。

Description

在沉浸式视频中改变视频轨道
技术领域
本发明涉及多轨道沉浸式视频的领域。特别地，本发明涉及多轨道沉浸式视频中的视频轨道的集合之间的转变。
背景技术
沉浸式视频也被称为3DoF+或6DoF视频(其中，DoF表示“自由度”)，它使得观察者能够在观察空间内拥有大视场(FoV)。在真实世界场景的情况下，观察空间和FoV由用于捕获视频数据的相机系统来确定。在计算机图形的情况下，有更大的灵活性，例如可以直接渲染360度等矩形投影。
由于所需的资源，沉浸式视频的编码和传输是一个挑战。客户端可以解码和渲染的总比特率、解码器数量和总帧大小也存在实际限制。同样，为了保持广播的成本效益，可以通过卫星或5G并且在云服务之间从实况事件上传的内容也存在实际限制。
对于现代视频流服务而言，使视频流适应客户端功能是常见的。诸如ISO/IEC23009-1MPEG动态自适应HTTP流传输(MPEG-DASH)、ISO/IEC 23000-19通用媒体应用格式(CMAF)和苹果(TM)的HTTP实时流传输(HLS)之类的标准规定了如何将视频分成小片段。每个片段都有多种版本，例如，不同的比特率。客户端能够测量可用带宽和CPU使用率，并且决定向服务器请求更低或更高质量的片段。
ISO/IEC 23009MPEG全向媒体格式(OMAF)标准(ISO/IEC 23090-2)规定了如何传输VR360(3DoF)视频并带有DASH和CMAF的配置文件。请注意，VR360也被称为“3DoF”，并且名称“3DoF+”是通过向VR360添加某种视差而根据这个命名方案导出的。支持独立于视口的模式和依赖于视口的模式。在后一种情况下，视频帧被分成片块，每个片块是单独的视频轨道。这使得总视频帧超过了普通硬件视频解码器的能力。
例如，HEVC Main 10Level 5.2限于4K×2K个帧，当用于360度FoV时，这低于头戴式显示器的分辨率。对于VR360，8K×4K或者甚至16K×8K的分辨率是优选的。
MPEG沉浸式视频(MIV)的新标准(ISO/IEC 23090-12)描述了如何将多视图+深度视频修剪和打包成多个纹理和深度图集，以供2D视频编解码器进行编码。虽然该标准本身并不包括自适应流传输，但是包括了对子比特流访问的支持，并且预期诸如自适应流传输之类的系统方面将在相关的MPEG(或非MPEG)标准(例如，基于视觉体积视频的编码数据的ISO/IEC 23090-10传送)中得到处理。
子比特流访问的思想是能够移除比特流中的部分单元，从而产生仍然有效的较小比特流。子比特流访问的常见形式是时间访问(即，降低帧速率)，但是在MIV中也支持空间访问，这是通过允许移除图集的子集来实施的。每个图集提供一个视频轨道，并且视频轨道的组合用于渲染MIV。
然而，切换视频轨道可能会导致可见的伪影，因为特定的跳跃在去遮挡区和任何非朗伯场景元素中尤其明显。例如，视口的改变可能会导致视频轨道的改变，这可能会由于突然切换而导致伪影。
发明内容
本发明由权利要求来限定。
根据本发明的一个方面的示例，提供了一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的方法，其中，每个视频轨道具有对应的渲染优先级，所述方法包括：
接收从视频轨道VT1转变到视频轨道VT2的指令；
获得所述视频轨道VT2；并且
如果所述视频轨道VT2不同于所述视频轨道VT1，则执行以下操作：
向视频轨道VT1的所述第一集合中的一个或多个视频轨道的所述渲染优先级应用降低函数，其中，所述降低函数随时间降低所述渲染优先级；并且/或者
向所述视频轨道VT2中的一个或多个视频轨道的所述渲染优先级应用升高函数，其中，所述升高函数随时间升高所述渲染优先级，
其中，所述一个或多个视频轨道的所述渲染优先级用于在渲染所述多轨道视频时选择对相应视频轨道和/或所述视频轨道的元素的加权。
所述方法还可以包括选择所述加权的步骤和使用一个或多个所述加权的渲染步骤。
具有大视场的沉浸式视频通常无法适配用户观察的单个屏幕，因此视频的视口(即，整个视频的部分)被显示给用户。然后，视口能够基于用户(例如，检测用户移动或用户移动操纵杆/鼠标的传感器)或其他因素(例如，服务器)而改变。
如上面所讨论的，沉浸式视频能够基于用于创建沉浸式视频本身的几个视频轨道。然而，当视口改变时，它能够触发用于渲染视口的视频轨道的改变。这种改变能够在视频中引起可见伪影。视频轨道中的相似改变也能够由于其他原因而发生，例如，当流传输多轨道视频时带宽发生变化，从而减少了并可能改变了用于渲染多轨道视频的视频轨道(例如，为了以较低的分辨率来渲染视频，从而减小流传输多轨道视频所需的带宽)。
本发明基于对视频轨道之间的显示转变的改进。当接收到从一个视频轨道集合转变到另一个视频轨道集合的指令(例如用户移动操纵杆)时，获得新的视频轨道集合。如果新的视频轨道集合不同于先前使用的视频轨道，则逐渐降低该视频轨道集合中的一些(或全部)视频轨道的渲染优先级。
通过对视频轨道的渲染优先级应用降低函数来降低渲染优先级，该降低函数随时间逐渐降低表示渲染优先级的数值。
通过在视频轨道之间的转变期间逐渐降低渲染优先级，减少了沉浸式视频(即，MIV)中的突然变化，因此也减少了由这种突然变化引起的可见伪影，从而改善了用户的观察体验。
类似地(或替代地)，能够将新的视频轨道VT2的渲染优先级逐渐升高到相同的效果。通过利用升高函数逐渐升高渲染优先级，也能够将新的视频轨道逐渐引入渲染。这种逐渐“引入”渲染还减少了能够使用户分心并感到迷惑的突然变化(例如，质量突然增加)。
渲染优先级告知由CPU/GPU在渲染沉浸式视频时对不同视频轨道的使用的加权。例如，在所渲染的沉浸式视频上的像素的颜色可以基于所提供的三个视频轨道中的对应像素的颜色。所渲染的像素的最终颜色将是这三个像素的颜色的组合，其中的每个像素都经过加权。对这三种颜色中的每种颜色的加权通常取决于例如从中获得像素的视频轨道的重要性。然而，通过逐渐改变视频轨道的渲染优先级，也能够降低对像素的加权。
通常，渲染优先级将基于视口和视频轨道的特性(姿态、视场等)。当观察者在虚拟场景中四处移动时，视口姿态逐渐改变，因此渲染优先级也逐渐改变。本发明进一步修改了视频轨道的切换过程中的渲染优先级。
所述降低函数和/或所述升高函数可以被配置为在以下时段内改变所述渲染优先级：0.2秒至2秒之间的时段；或3帧至60帧之间的时段，例如，5帧的时段。
替代地，降低函数和/或升高函数可以是指数衰减函数。在这种情况下，当对应的渲染优先级达到预定义值时，可以移除视频轨道。预定义值将取决于渲染优先级的值的可能范围。例如，对于从0-100的范围，预定义值可以是0.01、0.1、1或5，具体取决于衰减函数的半衰期。类似地，可以在若干半衰期过去后移除视频轨道。
当渲染优先级达到低值(例如，0、0.1等)时或者过了一段时间后，不需要严格地“移除”视频轨道(例如不从服务器请求视频轨道)。例如，当渲染优先级为0时，可以保留视频轨道，因此实际上不使用该视频轨道来渲染沉浸式视频。然而，如果不移除具有低渲染优先级的视频轨道并且添加新的视频轨道，则渲染沉浸式视频所需的计算资源将显著增加。例如，在渲染优先级达到预定义值之后，可以将一些视频轨道保留相对较短的时间。
获得所述视频轨道VT2可以基于：从服务器请求所述视频轨道VT2；或从服务器接收所述视频轨道VT2。
能够基于用户想要的视口来请求视频轨道。例如，用户可以要求沉浸式视频的特定视口，并因此请求渲染想要的视口所需的视频轨道。
替代地，服务器可以基于针对用户的期望输出向用户发送视频轨道的特定集合。例如，服务器可能想要用户渲染特定的视口，并因此向用户发送渲染这样的视口所需的视频轨道。
所述方法还可以包括保留所述多轨道视频和/或所述视频轨道VT1的最新可用帧中的一个或多个最新可用帧，以用于当从视频轨道VT1转变到视频轨道VT2时修补后续帧中的一个或多个后续帧的缺失数据。
基于旧帧来修补新帧中的丢失数据也能够用于进一步减少由于用于渲染帧的视频轨道的突然变化而产生的伪影。用于修补的帧可以来自从先前的视频轨道渲染的多轨道视频，或者用于修补的帧可以是来自视频轨道本身的帧，具体取决于改变本身以及修补新帧需要哪些信息。
所述方法还可以包括：
降低视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的分辨率；
降低视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的帧速率；并且/或者
降低视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的比特率。
在视频轨道集合之间的转变期间，由于必须同时处理与先前的视频轨道有关的数据和与新的视频轨道有关的数据，因此用于渲染多轨道视频的资源可能会被数据淹没。因此，降低视频轨道的分辨率、帧速率和/或比特率能够减少在转变期间必须处理的数据量，以便确保能够完全渲染转变。特别地，这能够确保由用户流传输的全部数据适配任何比特率和/或像素速率限制。
本发明还提供了一种计算机程序产品，包括计算机程序代码模块，所述计算机程序代码模块当在具有处理系统的计算设备上被运行时使所述处理系统执行上文定义的用于从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的方法的所有步骤。
本发明还提供了一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的客户端系统，其中，每个视频轨道具有对应的渲染优先级，所述客户端系统包括：
客户端通信模块，其被配置为从服务器系统接收视频轨道和针对每个视频轨道的所述对应的渲染优先级；以及
客户端处理系统，其被配置为：
接收从视频轨道VT1转变到视频轨道VT2的指令；
从所述客户端通信模块接收所述视频轨道VT2；
如果所述视频轨道VT2不同于所述视频轨道VT1，则执行以下操作：
向视频轨道VT1的所述第一集合中的一个或多个视频轨道的所述渲染优先级应用降低函数，其中，所述降低函数随时间降低所述渲染优先级；并且/或者
向所述视频轨道VT2中的一个或多个视频轨道的所述渲染优先级应用升高函数，其中，所述升高函数随时间升高所述渲染优先级，
其中，所述一个或多个视频轨道的所述渲染优先级用于在渲染所述多轨道视频时选择对相应视频轨道和/或所述视频轨道的元素的加权。
所述客户端处理系统还可以被配置为选择所述加权并使用一个或多个所述加权来执行所述渲染。
所述客户端处理系统还可以被配置为保留所述多轨道视频的最新可用帧中的一个或多个最新可用帧，以用于当从视频轨道VT1改变到视频轨道VT2时修补后续帧中的一个或多个后续帧的缺失数据。
所述客户端处理系统还可以被配置为：
经由所述客户端通信模块从所述服务器系统请求一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低分辨率版本；
经由所述客户端通信模块从所述服务器系统请求视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的较低帧速率版本；并且/或者
经由所述客户端通信模块从所述服务器系统请求一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低比特率版本。
所述客户端处理系统可以被配置为基于所述客户端处理系统的处理能力来请求较低分辨率版本、较低帧速率版本和/或较低比特率版本。
本发明还提供了一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的服务器系统，其中，每个视频轨道具有对应的渲染优先级，所述服务器系统包括：
服务器通信模块，其被配置为向客户端系统发送视频轨道和针对每个视频轨道的所述对应的渲染优先级；以及
服务器处理器系统，其被配置为：
接收从视频轨道VT1转变到视频轨道VT2的指令；
经由所述服务器通信模块来发送所述视频轨道VT2；并且
如果所述视频轨道VT2不同于对应于第一视口的视频轨道VT1，则经由所述服务器通信模块向所述客户端系统发送指令以执行以下操作：
向视频轨道VT1的所述第一集合中的一个或多个视频轨道的所述渲染优先级应用降低函数，其中，所述降低函数随时间降低所述渲染优先级；并且/或者
向所述视频轨道VT2中的一个或多个视频轨道的所述渲染优先级应用升高函数，其中，所述升高函数随时间升高所述渲染优先级，
其中，所述一个或多个视频轨道的所述渲染优先级用于在渲染所述多轨道视频时选择对相应视频轨道和/或所述视频轨道的元素的加权。
所述服务器处理系统还可以被配置为：
经由所述服务器通信模块向所述客户端系统发送一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低分辨率版本；
经由所述服务器通信模块向所述客户端系统发送视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的较低帧速率版本；并且/或者
经由所述服务器通信模块向所述客户端系统发送一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低比特率版本。
所述服务器处理系统可以被配置为基于所述客户端系统的客户端处理系统的处理能力来发送较低分辨率版本、较低帧速率版本和/或较低比特率版本。
参考下文描述的(一个或多个)实施例，本发明的这些方面和其他方面将变得明显并且得到阐明。
附图说明
为了更好地理解本发明并且更清楚地示出如何将本发明付诸实践，现在将仅通过示例的方式参考附图，在附图中：
图1示出了360度的3D场景的2D投影；
图2示出了三个图集的图示；
图3示出了向客户端系统发送视频轨道的服务器系统；
图4示出了视频轨道的改变的第一示例；并且
图5示出了视频轨道的改变的第二示例。
具体实施方式
将参考附图来描述本发明。
应当理解，详细描述和具体示例虽然指示装置、系统和方法的示例性实施例，但是这仅用于说明的目的而并不旨在限制本发明的范围。根据以下描述、权利要求和附图将更好地理解本发明的装置、系统和方法的这些和其他特征、方面和优点。应当理解，这些附图仅仅是示意性的并且不是按比例渲染的。还应当理解，贯穿整个附图使用相同的附图标记来指示相同或相似的部分。
本发明提供了一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的方法，其中，每个视频轨道具有对应的渲染优先级。该方法包括：接收从第一视频轨道VT1(以下简称为“视频轨道VT1”)的第一集合转变到第二视频轨道VT2(以下简称为“视频轨道VT2”)的第二集合的指令；获得视频轨道VT2；并且如果视频轨道VT2不同于视频轨道VT1，则向视频轨道VT1的第一集合中的一个或多个视频轨道的渲染优先级应用降低函数，并且/或者向视频轨道VT2的第二集合中的一个或多个视频轨道的渲染优先级应用升高函数。降低函数和升高函数随时间分别降低和升高渲染优先级。渲染优先级用于确定对用于渲染多轨道视频的视频轨道和/或视频轨道的元素的加权。
图1示出了360度的3D场景的2D投影102。图1(a)中的3D场景是整个教室。2D投影102可以是教室的沉浸式视频的360度截屏。在沉浸式视频中，用户可能能够在该视频中在教室中转身(例如，VR360)并且/或者在教室中四处移动(例如，6DoF视频)。
图1(b)示出了具有示例性视口104的3D场景的2D投影102。视口104具有(大约)90度的视场。视口104是观察沉浸式视频的用户将看到的3D场景的最后部分。当用户在沉浸式视频中转身和/或移动时，视口104将改变以示出用户面对的3D场景的部分。
为了使用户能够在沉浸式视频中移动，必须能够从3D场景内的不同位置看到3D场景。这能够通过使用各种传感器(例如，相机)创建3D场景来实现，其中，各种传感器被放置在3D场景内的不同位置处。各种传感器然后被分组到所谓的图集中。
图2示出了三个图集202的图示。每个图集202包含一个或多个传感器(例如，相机、深度传感器等)。在该图示中，仅示出了三个图集202，并且每个图集202具有三个传感器：一个主相机204和两个额外的深度传感器206。然而，图集202的数量、传感器的数量和每个图集202的传感器的类型可以基于使用情况而变化。
在替代示例中，相机204可以提供完整(基本)视图，而传感器206可以提供额外的视图。此外，来自所有传感器的视图被分组到图集202中，由此图集202可以相交也可以不相交。
MPEG沉浸式视频(MIV)指定了具有多个图集202的比特流格式。优选地，每个图集202至少具有几何和纹理属性视频。在自适应流传输的情况下，预期每个图集202输出多种类型的视频数据，从而形成单独的视频轨道(例如，每个图集202有一个视频轨道)。每个视频轨道被分成短段(例如，一秒的量级)，以允许客户端通过改变从服务器请求的视频轨道的子集来响应视口姿态103的改变。
图集系统包含多幅相机视图，并且通过距离传感器、深度估计或其他方式，图集系统还能够创建深度图。所有这些图的组合形成了每个图集202(在这种情况下)的视频轨道。也能够配准相机204，从而将相机204放置在公共的“场景”坐标系中。因此，每个图集202的输出具有多视图+深度(或几何)表示。
图3示出了向客户端系统306发送视频轨道302的服务器系统304。服务器系统304接收来自图集202中的每个图集的输出，并且对每个图集进行编码。在该示例中，单个图集202的编码输出形成了视频轨道302。服务器系统304然后(例如基于由客户端系统306请求的视口104)确定将哪些视频轨道302发送到客户端系统306。在图3中，在由服务器系统304从图集202接收的三个潜在视频轨道302中，只有两个视频轨道302被发送到客户端系统306。
对于流传输，服务器系统304能够对来自图集202中的每个图集的所有输出进行编码。然而，由于传输所有视频轨道302是不可行的，因此只有视频轨道302的子集被完全传输到客户端系统306。如果被完全传输的视频轨道302不能预测视口104的某些区，则也可以部分传输其他视频轨道302。
每个图集202包含一组视图，并且每个图集202的输出被单独编码，从而形成视频轨道302。在图2和图3中，假顶每个视频轨道302只有一个图集202。图集202将包含完整的视图以及额外的视图的一些片块(即，截头体切片)。在其他情况下，图集202可以仅包含额外的视图或者仅包含完整的视图，并且视频轨道302可以由多个图集202的输出形成。
当目标视口104处于在视频轨道302中存在的视图中的一幅视图附近时，客户端系统306可以不需要其他视频轨道302。然而，当目标视口104稍微远离源视图时，客户端系统306将受益于具有多个视频轨道302。
多个轨道302也能够用于扩展VR360内容的观察者相关的流传输的视场。例如，每个相机可以只有50度的视场，而整个场景可以具有超过180度的视场。在这种情况下，客户端系统306可以请求与观察者的取向匹配的视频轨道302，而不是以全分辨率获得完整的180度场景。
在视频轨道的请求与视频轨道302的传递之间存在延迟，并且视口姿态104可能已经间歇地改变。因此，客户端系统306也可以执行子比特流访问操作以减少资源或者提高渲染质量。这不会降低传输的比特率，但是会降低客户端系统306的CPU、GPU和存储器需求。此外，在一些情况下，当远离目标视口104的视频轨道302被消除时，可以提高渲染质量。然后渲染所请求的视频轨道302的子集。
重要的是要考虑到并非所有的渲染错误都对人类可见。例如，当大片块移动了几个像素时(即，由于对深度值的编码)，这对于人类观看者来说是不可见的，而相同的错误会导致客观质量估计(例如，峰值信噪比(PSNR))的大幅下降。在视频轨道302的切换中，有问题的场景元素可能突然被不同地渲染，这将导致突然的视觉变化。另外，人类视觉系统对运动特别敏感。
因此，发明人建议逐渐改变视频轨道302中的视觉元素的渲染优先级，以降低这些伪影的可见性。
一般而言，当视口104位置远离视频轨道302内的基本视图位置时，渲染伪影的量将会增加。然而，可以渲染在视频轨道302的观察空间之外的视口104，特别是当这仅需要几个视频帧并且因此可能对观察者不完全可见时。由于视频轨道302的可用性的改变而导致的像素值的突然切换对于人类来说是非常明显的，因此，渲染优先级的逐渐降低允许在更长的时间段内进行改变，从而降低了改变的显著性。
每个视频轨道的渲染优先级可以被描述为每个视频轨道的单个变量或变量集合(例如，前景、背景等的不同渲染优先级变量)。因此，当渲染优先级被改变(升高/降低)时，这会意味着渲染优先级的不同变量以相同的速率或不同的速率被改变。例如，从图集输出的片块集合可以各自具有不同的变量，并且变量集合将因此形成图集的渲染优先级。然而，为了简单起见，在以下示例中，渲染优先级将被描述为单个元素。
图4示出了视频轨道302的改变的第一示例。两个视频轨道302a和302b最初用于渲染沉浸式视频。然而，在片段二404与片段三406之间，先前的视频轨道302a被改变为新的视频轨道302c。在片段二404结束之前，先前的视频轨道302a的渲染优先级402逐渐降低，并且从片段三406开始，新的视频轨道302c的渲染优先级402逐渐升高。在这种情况下，视频轨道302b没有被移除，因此也被用于渲染视频。
当视频轨道302具有低渲染优先级402时，它将仅在没有其他具有所需信息的视频轨道302时被使用。当视频轨道302具有零渲染优先级(即，0％)时，就好像视频轨道302不在那里。然而，当信息丢失时，它能够利用具有零渲染优先级402的视频轨道302来修补。通过逐渐改变视频轨道302的渲染优先级402，减少了渲染伪影的突然出现、消失或替换。
通过向视频轨道302的渲染优先级402应用降低函数来获得渲染优先级402的逐渐降低，该视频轨道302在未来的片段中将不再被使用。降低函数在例如0.2-2秒或5-200帧内逐渐降低渲染优先级402。降低函数可以是线性的、指数的、二次的等。从100％到0％所引起的特定形状和时间是任意的，并且可以基于特定的使用情况来选择。同样的推理适用于在新的视频轨道302c上使用的升高函数。
注意，在图4中，假定客户端306知道即将到来的视频轨道302切换。通常，客户端306请求视频轨道302的片段。然而，如果服务器304控制所传输的视频轨道302，则服务器304可以发送消息作为视频数据的部分(例如，SEI消息)来向客户端306告知该切换。注意，具有非常短的片段会存在编码缺点，因此可以想到服务器304能够在子片段时间尺度上与客户端306通信。
客户端306也可以(逐步地)切换到先前的视频轨道302a的较低分辨率版本，然后完全丢弃它；并且/或者首先请求新的视频轨道302c的低分辨率版本。这将允许客户端306在切换到高分辨率并丢弃先前的视频轨道302a之前保留三个视频轨道302a、302b和302c。视图混合引擎在对视频轨道302进行优先级排序时可以考虑分辨率，并且在这种情况下，可以进一步降低缩减的视频轨道的渲染优先级402。然而，可能会看到分辨率的突然降低。因此，逐渐改变会是有用的。
客户端306还可以(逐步地)切换到先前的视频轨道302a的较低帧速率版本，然后将其完全丢弃，或者首先请求新的视频轨道302c的较低帧速率版本。这可以允许客户端306在切换到更高的帧速率并丢弃先前的视频轨道302a之前保留(在客户端306的资源限制内的)各种视频轨道302。
图5示出了视频轨道302的改变的第二示例。当接收多个视频轨道302的视频数据时，通过改变多个视频轨道302中的一个或多个视频轨道的渲染优先级402，能够使视频轨道302的改变更加平缓。然而，当客户端306仅接收一个视频轨道302时，则可能需要不同的策略。在图5中，先前的视频轨道302a的质量也被降低，以便能够同时传输单个片段502的先前的视频轨道302a和新的视频轨道302c。关于如何将传输/解码/渲染视频轨道302所需的资源减半的一些示例是：
-降低比特率(例如，10Mbps→5Mbps)，
-降低空间分辨率(例如，8K×4K→6K×3K)，
-降低帧速率(例如，120Hz→60Hz)。
特别地，图7示出了当引入新的视频轨道302c时，先前的视频轨道302a从60FPS的帧速率降低到30FPS的帧速率。新的视频轨道302a也以30FPS的帧速率被引入，然后在先前的视频轨道302a被移除时被升高到60FPS的帧速率。在单个片段502期间，先前的视频轨道302a的渲染优先级402逐渐降低，并且新的视频轨道302c的渲染优先级402逐渐升高。
另外的改进(尤其适用于静态区域(例如，背景))是保留视频轨道302的最后一个可用帧并将其用于几个更多的帧，以允许更加平缓的降低。视频轨道302的最后一个可用帧然后被外推以反映新的视点。这种改进对于需要桥接的时间跨度很短的低延迟网络特别有用。当客户端306能够进行具有运动补偿的视频帧速率转换时，这可以用于基于最后一个可用帧中的运动向量来外推视频轨道302内的运动。
视口通常取决于视点(姿态、外部数据)和相机特性(内部数据)，例如，视场和焦距。
客户端系统还可以保存所渲染的视口(帧缓冲区)并从该视口进行渲染，以在新的帧中填充丢失的数据。该策略可以仅在从视频轨道302切换时启用，或者被默认为修补策略。能够利用偏移来渲染帧缓冲区，以补偿观察者位置的变化。对于没有新的视频轨道302c时(在短时间内，例如由于网络延迟)，这也是一个很好的回退策略。
沉浸式视频的视频轨道302的改变/转变是指具有多个轨道的3DoF视频、3DoF+和6DoF视频。它们也可以被称为球形视频。
渲染优先级本质上是一个或多个能够被修改以改变视频元素参与最终渲染结果的程度的参数的总称。换句话说，渲染优先级是指在渲染新图像期间影响对特定视频元素(例如，像素)的加权的一个或多个参数。渲染优先级也可以被称为最终混合权重。
例如，视图混合基于贡献的加权和，由此每幅视图都具有权重(对于每个像素是均匀的或变化的)。可以将每幅视图渲染到单独的缓冲区中，并且可以基于视口与视图中的每幅视图的接近度来混合缓冲区。在该示例中，视口与视图中的每幅视图的接近度用于确定渲染优先级。
常规地，渲染优先级基于与视口的接近度。建议当视频轨道改变时，也调整(即，升高或降低)渲染优先级。例如，当渲染三幅视图[v1，v2，v3]时，但是对于下一个片段，视图[v2，v3，v4]将是可用的，则能够将v1在加权和中的贡献逐渐修改为零。当v4进来时，能够将贡献(即，渲染优先级)从零开始逐渐提高。
替代地，也可以在视口的透视图中渲染深度图，然后从多幅视图中取回纹理。在这种情况下，还将有一个加权函数来决定如何混合多个纹理贡献。可以用于确定渲染优先级的参数是与输出视图的接近度以及渲染深度与源深度之间的深度值差异。
其他渲染解决方案可以只渲染部分数据，在这种情况下，可能存在一个阈值，低于该阈值的数据将被丢弃。例如，当渲染视频帧的片块或块时，渲染优先级可以基于接近度、片块大小、片块分辨率等。建议基于未来片块可用性/需求来调整渲染优先级。
总之，渲染优先级可以基于源视图与渲染视图的接近度、深度差异、片块大小和片块分辨率。用于确定渲染优先级的其他方法对于技术人员来说可以是已知的。
技术人员将能够容易地开发用于执行本文描述的任何方法的处理器。因此，流程图的每个步骤可以表示由处理器执行的不同动作，并且可以由处理处理器的相应模块来执行。
处理器能够利用软件和/或硬件以多种方式实施，以执行所需的各种功能。处理器通常采用一个或多个微处理器，可以使用软件(例如，微代码)对这一个或多个微处理器进行编程以执行所需的功能。处理器可以被实施为用于执行一些功能的专用硬件与用与执行其他功能的一个或多个经编程的微处理器和相关联的电路的组合。
可以在本公开内容的各种实施例中使用的电路的示例包括但不限于常规的微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
在各种实施方式中，处理器可以与一个或多个存储介质相关联，例如，易失性和非易失性计算机存储器，例如，RAM、PROM、EPROM和EEPROM。存储介质可以用一个或多个程序来编码，当在一个或多个处理器和/或控制器上被运行时，这一个或多个程序执行所需的功能。各种存储介质可以被固定在处理器或控制器内，或者可以是可转移的，使得存储在其上的一个或多个程序能够被加载到处理器中。
根据对附图、公开内容和所附权利要求的研究，本领域技术人员在实践所要求保护的发明时能够理解和实现所公开的实施例的变型。在权利要求中，词语“包括”并不排除其他元件或步骤，并且词语“一”或“一个”并不排除多个。
单个处理器或其他单元可以实现权利要求中记载的若干项的功能。
在相互不同的从属权利要求中记载了某些措施的事实并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供的或作为其他硬件的部分的光学存储介质或固态介质，但是也可以以其他形式分布，例如经由互联网或其他有线或无线电信系统进行分布。
如果在权利要求书或说明书中使用了术语“适于”，那么应当注意，术语“适于”旨在等同于术语“被配置为”。
在权利要求中的任何附图标记都不应被解释为限制范围。

Claims (15)

1.一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的方法，其中，每个视频轨道(302)具有对应的渲染优先级(402)，所述方法包括：
接收从视频轨道VT1转变到视频轨道VT2的指令；
获得所述视频轨道VT2；并且
如果所述视频轨道VT2不同于所述视频轨道VT1，则执行以下操作：
向视频轨道VT1的所述第一集合中的一个或多个视频轨道的所述渲染优先级(402)应用降低函数，其中，所述降低函数随时间降低所述渲染优先级(402)；并且/或者
向所述视频轨道VT2中的一个或多个视频轨道的所述渲染优先级(402)应用升高函数，其中，所述升高函数随时间升高所述渲染优先级(402)，
其中，所述一个或多个视频轨道的所述渲染优先级(402)用于在渲染所述多轨道视频时选择对相应视频轨道(302)和/或所述视频轨道(302)的元素的加权。
2.根据权利要求1所述的方法，其中，所述降低函数和/或所述升高函数被配置为在以下时段内改变所述渲染优先级(402)：
0.2秒至2秒之间的时段；或
3帧至60帧之间的时段。
3.根据权利要求1或2中的任一项所述的方法，其中，获得所述视频轨道VT2基于：
从服务器系统(304)请求所述视频轨道VT2；或
从服务器系统(304)接收所述视频轨道VT2。
4.根据权利要求1至3中的任一项所述的方法，还包括保留所述多轨道视频和/或所述视频轨道VT1的最新可用帧中的一个或多个最新可用帧，以用于当从视频轨道VT1转变到视频轨道VT2时修补后续帧中的一个或多个后续帧的缺失数据。
5.根据权利要求1至4中的任一项所述的方法，还包括：
降低视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的分辨率；
降低视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的帧速率；并且/或者
降低视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的比特率。
6.一种计算机程序产品，包括计算机程序代码模块，所述计算机程序代码模块当在具有处理系统的计算设备上被运行时使所述处理系统执行根据权利要求1至5中的任一项所述的方法的所有步骤。
7.一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的客户端系统(306)，其中，每个视频轨道(302)具有对应的渲染优先级(402)，所述客户端系统(306)包括：
客户端通信模块，其被配置为从服务器系统(304)接收视频轨道(302)和针对每个视频轨道(302)的所述对应的渲染优先级(402)；以及
客户端处理系统，其被配置为：
接收从视频轨道VT1转变到视频轨道VT2的指令；
从所述客户端通信模块接收所述视频轨道VT2；
如果所述视频轨道VT2不同于所述视频轨道VT1，则执行以下操作：
向视频轨道VT1的所述第一集合中的一个或多个视频轨道的所述渲染优先级(402)应用降低函数，其中，所述降低函数随时间降低所述渲染优先级(402)；并且/或者
向所述视频轨道VT2中的一个或多个视频轨道的所述渲染优先级(402)应用升高函数，其中，所述升高函数随时间升高所述渲染优先级(402)，并且
使用所述一个或多个视频轨道的所述渲染优先级(402)来选择对相应视频轨道(302)和/或所述视频轨道(302)的元素的加权，其中，一个或多个所述加权用于渲染所述多轨道视频。
8.根据权利要求7所述的客户端系统(306)，其中，所述降低函数和/或所述升高函数被配置为在以下时段内改变所述渲染优先级(402)：
0.2秒至2秒之间的时段；或
3帧至60帧之间的时段。
9.根据权利要求7或8中的任一项所述的客户端系统(306)，其中，所述客户端处理系统还被配置为保留所述多轨道视频的最新可用帧中的一个或多个最新可用帧，以用于当从视频轨道VT1改变到视频轨道VT2时修补后续帧中的一个或多个后续帧的缺失数据。
10.根据权利要求7至9中的任一项所述的客户端系统(306)，其中，所述客户端处理系统还被配置为：
经由所述客户端通信模块从所述服务器系统(304)请求一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低分辨率版本；
经由所述客户端通信模块从所述服务器系统(304)请求视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的较低帧速率版本；并且/或者
经由所述客户端通信模块从所述服务器系统(304)请求一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低比特率版本。
11.根据权利要求10所述的客户端系统(306)，其中，所述客户端处理系统被配置为基于所述客户端处理系统的处理能力来请求较低分辨率版本、较低帧速率版本和/或较低比特率版本。
12.一种用于在渲染多轨道视频时从视频轨道VT1的第一集合转变到视频轨道VT2的第二集合的服务器系统(304)，其中，每个视频轨道(302)具有对应的渲染优先级(402)，所述服务器系统(304)包括：
服务器通信模块，其被配置为向客户端系统(306)发送视频轨道(302)和针对每个视频轨道(302)的所述对应的渲染优先级(402)；以及
服务器处理器系统，其被配置为：
从所述客户端系统(306)接收从视频轨道VT1转变到视频轨道VT2的指令；
经由所述服务器通信模块向所述客户端系统(306)发送所述视频轨道VT2；并且
如果所述视频轨道VT2不同于对应于第一视口的视频轨道VT1，则经由所述服务器通信模块向所述客户端系统(306)发送指令以执行以下操作：
向视频轨道VT1的所述第一集合中的一个或多个视频轨道的所述渲染优先级(402)应用降低函数，其中，所述降低函数随时间降低所述渲染优先级(402)；并且/或者
向所述视频轨道VT2中的一个或多个视频轨道的所述渲染优先级(402)应用升高函数，其中，所述升高函数随时间升高所述渲染优先级(402)，
其中，所述一个或多个视频轨道的所述渲染优先级(402)用于在渲染所述多轨道视频时选择对相应视频轨道(302)和/或所述视频轨道的元素的加权。
13.根据权利要求12所述的服务器系统(304)，其中，所述降低函数和/或所述升高函数被配置为在以下时段内改变所述渲染优先级(402)：
0.2秒至2秒之间的时段；或
3帧至60帧之间的时段。
14.根据权利要求11至13中的任一项所述的服务器系统(304)，其中，所述服务器处理系统还被配置为：
经由所述服务器通信模块向所述客户端系统(306)发送一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低分辨率版本；
经由所述服务器通信模块向所述客户端系统(306)发送视频轨道VT1中的一个或多个视频轨道和/或视频轨道VT2中的一个或多个视频轨道的较低帧速率版本；并且/或者
经由所述服务器通信模块向所述客户端系统(306)发送一个或多个视频轨道VT1和/或一个或多个视频轨道VT2的较低比特率版本。
15.根据权利要求14所述的服务器系统(304)，其中，所述服务器处理系统被配置为基于所述客户端系统(306)的处理能力来发送较低分辨率版本、较低帧速率版本和/或较低比特率版本。
CN202180083052.8A 2020-12-11 2021-12-03 在沉浸式视频中改变视频轨道 Pending CN116686286A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20213300.5A EP4013059A1 (en) 2020-12-11 2020-12-11 Changing video tracks in immersive videos
EP20213300.5 2020-12-11
PCT/EP2021/084150 WO2022122580A1 (en) 2020-12-11 2021-12-03 Changing video tracks in immersive videos

Publications (1)

Publication Number Publication Date
CN116686286A true CN116686286A (zh) 2023-09-01

Family

ID=73834198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180083052.8A Pending CN116686286A (zh) 2020-12-11 2021-12-03 在沉浸式视频中改变视频轨道

Country Status (10)

Country Link
US (1) US12069334B2 (zh)
EP (2) EP4013059A1 (zh)
JP (1) JP2023552543A (zh)
KR (1) KR20230117609A (zh)
CN (1) CN116686286A (zh)
AR (1) AR127086A1 (zh)
CA (1) CA3204470A1 (zh)
MX (1) MX2023006813A (zh)
TW (1) TW202241135A (zh)
WO (1) WO2022122580A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595069B2 (en) 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
WO2018104102A1 (en) 2016-12-06 2018-06-14 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image
CN116723338A (zh) 2018-03-22 2023-09-08 Vid拓展公司 用于全向视频的等待时间报告方法和系统
WO2019195547A1 (en) * 2018-04-05 2019-10-10 Vid Scale, Inc. Viewpoint metadata for omnidirectional video
EP3818716A4 (en) 2018-07-02 2022-06-01 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
KR102258446B1 (ko) 2018-07-11 2021-05-31 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US10757389B2 (en) * 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause

Also Published As

Publication number Publication date
KR20230117609A (ko) 2023-08-08
EP4013059A1 (en) 2022-06-15
TW202241135A (zh) 2022-10-16
EP4260564A1 (en) 2023-10-18
US20240107110A1 (en) 2024-03-28
JP2023552543A (ja) 2023-12-18
AR127086A1 (es) 2023-12-20
US12069334B2 (en) 2024-08-20
WO2022122580A1 (en) 2022-06-16
CA3204470A1 (en) 2022-06-16
MX2023006813A (es) 2023-06-21

Similar Documents

Publication Publication Date Title
US10897614B2 (en) Method and an apparatus and a computer program product for video encoding and decoding
US11303881B2 (en) Method and client for playing back panoramic video
KR102715333B1 (ko) 몰입형 미디어 콘텐츠 프레젠테이션 및 양방향 360° 비디오 통신
CN105791882B (zh) 视频编码方法及装置
EP3114844A1 (en) Methods and apparatus for streaming content
CN110035331B (zh) 一种媒体信息的处理方法及装置
US12088932B2 (en) Methods and apparatus for encoding, communicating and/or using images
CN112153391B (zh) 视频编码的方法、装置、电子设备及存储介质
CN112753224B (zh) 用于生成并且绘制视频流的装置和方法
KR101898822B1 (ko) 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍
CN109587579A (zh) 基于cdn的多视角码流传输方法、装置、设备和存储介质
TW202245469A (zh) 預處理沉浸式視訊
US12069334B2 (en) Changing video tracks in immersive videos
CN116033180A (zh) 视频处理方法、电子设备及存储介质
WO2018224799A1 (en) Image processing device and system
Miao et al. Low-delay cloud-based rendering of free viewpoint video for mobile devices
KR101981868B1 (ko) 가상 현실 비디오 품질 제어
WO2023194648A1 (en) A method, an apparatus and a computer program product for media streaming of immersive media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination