CN112470481A - 用于对基于图块的沉浸式视频进行编码的编码器和方法 - Google Patents

用于对基于图块的沉浸式视频进行编码的编码器和方法 Download PDF

Info

Publication number
CN112470481A
CN112470481A CN201980047985.4A CN201980047985A CN112470481A CN 112470481 A CN112470481 A CN 112470481A CN 201980047985 A CN201980047985 A CN 201980047985A CN 112470481 A CN112470481 A CN 112470481A
Authority
CN
China
Prior art keywords
tile
segment
new
current
immersive video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980047985.4A
Other languages
English (en)
Other versions
CN112470481B (zh
Inventor
沙利纳·泰比
弗雷德里克·亨伯特
雷米·侯代尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN112470481A publication Critical patent/CN112470481A/zh
Application granted granted Critical
Publication of CN112470481B publication Critical patent/CN112470481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在基于图块的沉浸式视频的流传输会话期间，根据用于在参考时间从与当前图块相关联的当前图块分段切换到与新图块相关联的新图块分段的请求，编码器(300)被提供用于生成新图块分段的一个或多个互补帧，从而允许由请求播放器根据参考时间对新图块分段进行解码。

Description

用于对基于图块的沉浸式视频进行编码的编码器和方法
技术领域
本公开总体上涉及通过递送网络将沉浸式视频(诸如球形视频，所谓的虚拟现实(VR)360°视频，或全景视频)流传输到终端设备。
背景技术
本部分旨在向读者介绍可能与下面描述和/或要求保护的本公开的各个方面相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应当理解，这些陈述应就此而论来阅读，而不是作为对现有技术的承认。
球形视频提供沉浸式体验，其中用户可使用VR头戴式显示器(HMD)环视，或者可通过用控制设备(诸如鼠标或遥控器)控制视口来在平面显示器上的场景内自由导航。
空间导航中的这种自由要求整个360°场景被递送给播放器(嵌入在HMD或电视机内)，该播放器被配置为根据观察者的瞄准点在场景内的位置来提取要被可视化的视频部分。在这种情况下，需要高吞吐量来递送视频。
因此，一个主要问题依赖于以可接受的沉浸式体验质量(即，避免冻结屏幕、块效应、黑屏等)通过带宽受限网络高效传输球形视频。当前，为了以流传输递送球形视频服务，正在寻求沉浸式体验、视频分辨率和内容递送网络的可用吞吐量之间的折衷。
大多数已知的流传输球形视频的解决方案向终端设备提供完整的360°场景，但是仅向用户呈现整个场景的不到10％。由于递送网络具有有限的吞吐量，所以降低视频分辨率以满足带宽约束。
其它已知的解决方案通过降低360°场景的布置在终端设备的当前视口外部的部分的分辨率来减轻视频质量的降级。然而，当终端设备的视口基于用户的动作被移动到较低分辨率区域时，所显示的视频遭受突然的降级。
此外，当目标使用要求所显示的视频总是处于最佳质量时，它防止了在用户的瞄准点变化时使用基于分辨率的过渡性降级的解决方案。因此，所递送的视频必须覆盖场景的足够大的部分以允许用户在没有由于缺少视频数据而造成灾难性的黑色区域显示的风险的情况下进行摇摄。场景的这一部分例如可以包括当前观看的区域(即视口或瞄准点)和周围区域，以防止当用户移动其视口时质量降级。这可以通过用图块的集合在空间上图块化沉浸式视频的场景并且在时间上将沉浸式视频划分成由多个图块分段定义的多个视频分段来实现，图块覆盖沉浸式视频的场景的一部分并且图块分段与所述图块的集合中的图块相关联。沉浸式视频的一个或多个相关的图块分段(对应于包括视口及其周围的图块(一个或多个)被递送到播放器。
具体地，当用户在场景内导航时，可能需要一个或多个新的图块(和对应的一个或多个图块分段)来显示视口。然而，当仅可以以分段持续时间的周期性来改变可用场景时，切换图块(一个或多个)仅可以在给定时刻(例如，分段的开始)发生。
本公开是考虑到前述内容而设计的。
发明内容
根据一个或多个实施例，提供了一种编码器，所述编码器被配置用于对沉浸式视频进行编码，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，所述编码器包括至少一个处理器，所述至少一个处理器被配置用于：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于沉浸式视频的与当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从当前图块分段到新图块分段的图块切换的参考时间，
-获得至少一个互补(complementary)帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
根据一个或多个实施例，提供了一种用于在编码器处对沉浸式视频进行编码的方法，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，
所述方法包括：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于沉浸式视频的与当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从当前图块分段到新图块分段的图块切换的参考时间，
-获得至少一个互补帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
根据一个或多个实施例，提供了一种播放器，其被配置用于接收沉浸式视频，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，
所述播放器包括至少一个处理器，其被配置用于：
-发送从与当前图块相关联的至少一个当前图块分段切换到与对应于沉浸式视频的与当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从当前图块分段到新图块分段的图块切换的参考时间，
-接收至少一个互补帧，所述至少一个互补帧允许根据所述参考时间解码所述新图块分段。
根据一个或多个实施例，提供了一种用于在播放器处接收沉浸式视频的方法，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，
所述方法包括：
-发送从与当前图块相关联的至少一个当前图块分段切换到与对应于沉浸式视频的与当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从当前图块分段到新图块分段的图块切换的参考时间，
-接收至少一个互补帧，所述至少一个互补帧允许根据所述参考时间解码所述新图块分段。
根据一个或多个实施例，提供了一种计算机程序产品，其是可从通信网络下载的和记录在非暂时性计算机可读介质上的中的至少一者，所述非暂时性计算机可读介质可由至少一个计算机读取并且可由处理器执行，所述计算机程序产品包括用于实现方法的程序代码指令，所述方法用于在编码器处对沉浸式视频进行编码，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，所述方法包括：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于沉浸式视频的与当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从当前图块分段到新图块分段的图块切换的参考时间，
-获得至少一个互补帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
根据一个或多个实施例，提供了一种计算机可读的非暂时性程序存储设备，其有形地体现了指令程序，所述指令程序可由所述计算机执行以执行用于在编码器处对沉浸式视频进行编码的方法，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，所述方法包括：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于沉浸式视频的与当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从当前图块分段到新图块分段的图块切换的参考时间，
-获得至少一个互补帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
根据一个或多个实施例，提供了一种比特流，包括根据上述编码方法获得的至少一个互补帧。
根据一个或多个实施例的方法可以在可编程装置上的软件中实现。它们可以单独地以硬件或软件或其组合来实现。
由一个或多个实施例的元件实现的一些过程可以是计算机实现的。因此，这样的元件可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式，其可以全部在本文中一般地被称为“电路”、“模块”或“系统”。此外，这样的元件可以采取在任何有形表达介质中体现的计算机程序产品的形式，该有形表达介质具有在该介质中体现的计算机可用程序代码。
由于元件可以以软件实现，因此实施例的一些方面可以被实现为计算机可读代码，用于在任何适当的载体介质上提供给可编程装置。有形载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。
因此，一个或多个实施例提供了一种计算机可读程序，其包括计算机可执行指令以使得计算机能够执行上述方法。
下面阐述与所公开的实施例的范围相当的某些方面。应当理解，这些方面仅被呈现以向读者提供一个或多个实施例可能采取的某些形式的简要概述，并且这些方面不旨在限制本公开的范围。实际上，本公开可以涵盖可能未在下面阐述的各种方面。
附图说明
通过以下实施方案和实施例，参考附图将更好地理解和说明本公开，但本公开不以任何方式限制，其中：
-图1是其中可以实现一些实施例的示例性客户端-服务器架构的示意图；
-图2是根据实施例的示例性客户端终端的示意性框图；
-图3是根据实施例的示例性内容服务器的示意性框图；
-图4是根据实施例的示例性编码器的示意性框图；
-图5描绘了根据实施例的球形视频的场景的示例性图块化；
-图6示出了根据实施例的包括视口的示例性图块；
-图7示出了根据实施例的覆盖图5的球形视频的图块集合中的示例性图块；
-图8示意性地描绘了根据实施例的被格式化以用于自适应流传输的基于图块的沉浸式视频的不同可用表示的视频分段和图块分段的集合；
-图9A是由一些实施例使用的用于在编码器侧在沉浸式视频的自适应流传输会话期间切换图块的示例性方法的流程图；
-图9B是由一些实施例使用的用于在客户端侧处的沉浸式视频的自适应流传输会话期间切换图块的示例性方法的流程图；
-图10示出了根据实施例的图9A的方法的示例性实现，其中瞄准切换时间对应于图像组的P帧；
-图11示出了根据实施例的图9A的方法的示例性实现，其中瞄准切换时间对应于跟随在先前的P帧之后的图像组的B帧；
-图12示出了根据实施例的图9A的方法的示例性实现，其中瞄准切换时间对应于跟随在先前的B帧之后的图像组的B帧；
-图13描绘了根据实施例的根据传输顺序与沉浸式视频的图块分段相关联的图像组；
-图14示出了根据实施例的当在沉浸式视频的流传输会话期间接收到切换图块的请求时在服务器侧和客户端侧执行的示例性操作。
在可能的情况下，在所有附图中使用相同的附图标记来表示相同或相似的部件。
具体实施方式
以下描述示出了一些实施例。因此，将理解，本领域技术人员将能够设计各种布置，尽管未在本文中明确描述或示出，但是这些布置体现实施例的一些方面并且被包括在其范围内。
本文所述的所有实例和条件语言旨在用于教育目的以帮助读者理解实施例，并且应被解释为不限于此类具体所述的实例和条件。
此外，本文中叙述实施例的所有陈述及其特定实例既定涵盖其结构和功能等同物两者。另外，这些等同物旨在包括当前已知的等同物以及将来开发的等同物，即，所开发的执行相同功能的任何元件，而不管结构如何。
因此，例如，本领域技术人员将理解，这里呈现的框图表示体现实施例的一些方面的说明性电路的概念视图。类似地，将理解，任何流程图、流图、状态转移图、伪代码等表示可基本上在计算机可读介质中表示并因此由计算机或处理器执行的各种过程，而不管是否明确示出了这样的计算机或处理器。
可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为排他性地指代能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。
在所附权利要求中，被表达为用于执行指定功能的装置和/或模块的任何元件旨在包括执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括固件、微代码等，其与用于执行该软件以执行该功能的适当电路组合。因此，认为可以提供那些功能的任何装置都等效于这里所示的那些装置。
另外，应理解，本发明的图式和描述已被简化以说明与清楚理解本实施例相关的元素，同时出于清楚的目的而消除在典型数字多媒体内容递送方法、装置和系统中发现的许多其它元素。然而，因为这些元素在本领域中是公知的，所以在此不提供对这些元件的详细讨论。本文的实施例涉及本领域技术人员已知的所有这样的变化和修改。
描述了关于通过传递网络将沉浸式或大视场视频(例如，球形视频、全景视频等)递送到客户端终端的流环境的实施例。
如图1的示例性实施例所示，由网络N(例如，因特网、家庭网络、企业网络)支持的客户端-服务器网络架构包括一个或多个客户端终端100(仅示出一个客户端终端)和一个或多个网络设备200(在图1中仅示出了一个)，诸如内容服务器(例如，实现HTTP协议以递送数据)，以及编码器装置300，其向内容服务器200提供编码的沉浸式(或大视场)视频。
客户端终端100可能希望在流传输会话(例如，自适应流传输会话)期间请求存储在内容服务器200上的基于图块的沉浸式视频。
服务器200被配置为基于客户端的请求使用流传输协议将基于图块的沉浸式视频的分段流传输到客户端终端100。在下文中，作为说明性而非限制性的示例，自适应流传输(诸如HTTP自适应流传输协议，所谓的HAS，如MPEG-DASH或HTTP直播流传输(HLS))被认为是将沉浸式视频从服务器200递送到客户端终端100。显然，可以实现不同类型的流传输协议以支持基于图块的沉浸式视频的流传输会话。
如图2的示例中所示，客户端终端100可以至少包括：
-到网络N或附加网络(图1中未示出)的一个或多个连接的接口101(有线和/或无线，例如Wi-Fi、以太网等)；
-通信电路102，包含协议栈以与服务器200通信。特别地，通信模块102包括本领域公知的TCP/IP栈。当然，它可以是使客户端终端100能够与服务器200通信的任何其它类型的网络和/或通信装置；
-流传输控制器103，其从服务器200接收沉浸式视频(并且尤其是对应的分段)；
-视频播放器104，适于解码和渲染编码的沉浸式视频；
-一个或多个处理器105，用于执行存储在客户端终端100的非易失性存储器中的应用和程序；
-存储装置106，例如易失性存储器，用于在将从服务器200接收的分段传输到视频播放器104之前对其进行缓冲；
-内部总线107，用于连接各种模块和本领域技术人员公知的所有装置，以执行通用客户端终端功能。
作为示例，客户端终端100是便携式媒体设备、移动电话、平板电脑或膝上型电脑、头戴式设备、电视机、或机顶盒等。自然地，客户端终端100可以不包括完整的视频播放器，而仅包括一些子元件，诸如用于对媒体内容进行解复用和解码的子元件，并且可以依赖于外部装置来向终端用户显示解码的内容。
如图3的实施例所示，服务器200可以至少包括：
-到网络N或附加网络(图1中未示出)的一个或多个连接的接口201(有线和/或无线)；
-通信电路202，用于将数据递送到一个或几个请求客户终端100。特别地，通信电路202可以包括本领域公知的TCP/IP栈。当然，它可以是使服务器200能够与客户终端100通信的任何其它类型的网络和/或通信装置；
-流传输控制器203，其被配置为将基于图块的沉浸式视频递送到一个或若干客户端终端100；
-一个或多个处理器204，用于执行存储在服务器200的非易失性存储器中的应用和程序；
-存储装置205；
-内部总线206，用于连接各种模块和本领域技术人员公知的所有装置，以执行通用服务器功能。
如图4的实施例所示，编码器300可以至少包括：
-到内容服务器200的连接的接口301(有线和/或无线)；
-通信电路302，用于将编码数据递送到一个或多个内容服务器200。特别地，通信电路312可以包括本领域公知的TCP/IP栈。当然，它可以是使编码器300能够与服务器200通信的任何其它类型的网络和/或通信装置；
-一个或多个处理器303，用于执行存储在编码器300的非易失性存储器中的应用和程序；
-存储装置304；
-内容生成器305，被配置为生成沉浸式视频内容并对其进行格式化。当被编码时，存储在存储装置304中的沉浸式视频内容可以被转发到内容服务器200；
-内部总线306，用于连接各种模块，并且所有装置对于本领域技术人员来说是公知的，用于执行编码器的一般功能。
在变型或互补中，编码器300可以嵌入在服务器200内以形成单个设备。
根据图5中所示的示例性实施例，在基于图块的视频服务中，沉浸式视频可以在服务器/编码器侧被空间地分割成图块400的集合。该图块的集合覆盖沉浸式视频的整个场景500(在图5的示例中为球形)。
如图6和7所示，可以将图块400的尺寸定义得足够大，以允许改变聚焦点，而不用被迫立即获得并解码另一图块。特别地，在下文中，假设被递送到终端100的一个图块可以覆盖要通过与请求沉浸式视频的客户端终端100相关联的视口VP显示的场景500的至少一部分。自然地，在变型或互补中，当图块小于视口VP时，可能需要若干图块来获得通过视口VP显示的场景的部分。
虽然不是必需的，但是还假设在图块的集合的连续图块400之间存在重叠。另外，虽然在图6中示出了矩形形状的图块，但是本布置自然可以应用于任何其它类型的图块形状。
在自适应流传输的示例中，基于图块的沉浸式视频在时间上被划分为多个具有相等持续时间的视频分段，每个视频分段在服务器200处可以不同的视频质量或比特率(也称为表示)获得，如图8所示。尽管其可以是不同的，但是在下文中假设沉浸式视频的所有视频分段具有相等的持续时间。
在图8中，对于所有可用的视频质量(质量1、质量2、…、质量z)，沉浸式视频的每个视频分段1到n根据相同的图块布置被空间地分割成图块400(每个图块覆盖沉浸式场景的一部分，如图5所示)。然后，每个视频分段由具有相同持续时间的图块分段的集合定义，以覆盖整个球形场景(每个图块分段在所述不同的视频质量下可用)。每个图块分段(包括多个编码视频帧)具有相等的持续时间。
当用户在场景内导航时，可能需要一个或多个新图块(和对应的一个或多个图块分段)来显示视口。在正常操作模式中，切换图块(一个或多个)发生在定义的切换时间(例如，根据MPEG-DASH标准被称为SAP或流接入点)。
在实施例中，为了减少等待时间，可以将图块分段的持续时间选择为短(例如，0.5秒)，并且图块分段Sti(对应于沉浸式视频的时间ti)可以包括一个图片组(GOP)，用于减少I帧(内部帧)的数量。为了解码分段Sti，至少需要其第一帧I。编码方案通常包括插入在一个预测帧(所谓的P帧，其是预测编码帧，基于先前编码帧而被编码)之间的双向预测帧(所谓的B帧，其是双向预测帧，基于先前和未来编码帧而被编码)。
在图10所示的说明性而非限制性的例子中，GOP可以包括15个帧，其中只有一个I帧，例如I-B-B-P-B-B-P-B-B-P-B-B-P-B-P(考虑显示顺序)，这是一种编码方案，其中B帧可以使用先前的或在前的I或P帧和下一P帧进行预测，且P帧可以使用先前的或在前的I或P帧。在这个说明性的示例中，播放器104将在能够解码第一个B帧之前，利用第一个P帧获取第一个I帧(帧内译码帧，独立于所有其它帧译码)。由于P和B帧比I帧小得多，所以在开始解码之前要下载的数据大小可大致对应于分段数据的一半量。当然，应当理解，在不同的实施例中，GOP可以包括不同于15的一数量的帧(例如10个帧)。还应当注意，一些实施例可以实现任何其它适当的编码方案。
根据实施例，编码器300可以操作如图9A所示的方法600，以向内容服务器200提供基于图块的沉浸式视频，以便根据请求运行与客户端终端100的流传输会话。特别地，即使没有定义或没有存在切换时间(例如SAP)，方法600也允许在分段间隔期间(即，在一个分段内)从一个或多个当前图块分段Sti切换到一个或多个新图块段S’ti。在接收到这种请求时，编码器将获得适当的分段部分(一个或多个)以及可能的附加信息，整体上允许客户端终端对新分段S’ti的所请求的部分进行解码并正确地显示它。应当理解，当前图块分段(一个或多个)和新图块分段(一个或多个)对应于沉浸式视频的相同时间间隔。
更特别地，在步骤601中，编码器300(例如，经由其连接接口301和/或一个或多个处理器303)从客户端终端100(例如，经由内容服务器200)接收请求，该请求用于从与当前图块400相关联的至少一个当前图块分段Sti(当前处理和显示的)切换到与新图块400相关联的至少一个新图块分段S’ti。这种请求可以包括参考时间
Figure BDA0002902686160000131
(也称为瞄准切换时间)，其定义了实现从当前图块分段Sti到新图块分段S’ti的图块切换的期望时间。选择大于当前显示的时间戳的参考时间。应当注意，当内容服务器和编码器是两个不同的实体时，服务器从客户端终端接收的请求可以在被传送到编码器之前被修改。
在进一步的步骤602中，编码器300可以(例如，经由其处理器303和/或内容生成器305)获得至少一个互补帧，该互补帧允许根据所发送的参考时间解码与新图块相关联的新图块分段S’ti。
在步骤603中，编码器300可以将所获得的互补帧传递到内容服务器200，以便递送到客户端终端100。在编码器被嵌入内容服务器内的情况下，所获得的互补帧可以在编码器与内容服务器的一个或多个专用元件(例如，流传输控制器203和/或存储装置205)之间被内部地传送(例如，经由内部总线206)。
根据实施例，客户端终端100可以实现如图9B所示的方法700，以在基于图块的沉浸式视频的流传输会话期间请求图块切换。
在步骤701中，在发送图块切换请求之前，可以预先检查定时条件(例如，取决于参考时间、互补帧的编码时间、新图块分段S’ti的至少包括互补帧的一些帧的加载时间和解码时间、以及往返时间，如下文所规定的)。
在步骤702中，当定时条件满足时(当实现时)，客户端终端向服务器200发送包括参考时间
Figure BDA0002902686160000141
的、用于从一个当前图块切换到新图块的图块切换的请求。
应注意，所述实施例适用于从一个当前图块切换到与当前图块重叠的新图块，而且还适用于从一个当前图块切换到新图块，而在图块之间没有任何重叠。
在步骤703中，客户端100可以从服务器200接收新图块的新图块分段S’ti的剩余部分，其包括互补帧以及新图块的图块分段S’ti的最后的帧。
在步骤704中，客户端终端100(例如，由于其一个或多个处理器105和/或其视频播放器104)可以解码所接收的互补帧以及根据经解码的互补帧解码新分段S’ti的剩余帧(其可以被显示或不被显示)。
在步骤705中，新图块的图块分段S’ti的剩余部分可以在时间
Figure BDA0002902686160000142
被显示在屏幕107上。取决于切换时间(即，参考时间)，可以显示或不显示互补帧。特别地，当参考时间对应于当前图块分段Sti中的P帧时，互补帧被配置为由播放器解码并显示。当当前时间对应于当前图块分段Sti中的B帧时，仅对互补帧进行解码而不由播放器显示。
利用在图10中所示的依赖于编码方案的示例性GOP，其中所述编码方案中B帧可使用先前的P帧及下一P帧来进行预测且P帧使用先前的I或P帧，由客户端终端发送的请求中所指定的参考时间
Figure BDA0002902686160000151
(ti为当前图块分段Sti的开始时间)可对应于当前图块(例如，图10的示例中的参考图块X)的当前图块分段中的P帧或B帧(跟随在P帧或B帧之后的)。当前图块X的当前图块分段Sti和新图块Y的新图块分段S’ti对应于沉浸式视频(在时间ti开始)的相同时间间隔。
当参考时间对应于如图10中所示的P帧(即，帧P7,X)时，互补帧存在于参考已发送到客户端终端200的当前图块分段的一个或多个帧(在示例中为当前图块X分段的帧P7,X)而编码的一个新帧(在图10的实例中为P帧)中。在这种情况下，在新图块分段S’ti的剩余部分中将互补帧布置在参考时间
Figure BDA0002902686160000152
处。客户端终端200的播放器104然后能够解码并显示该互补帧(例如，图10的示例中的P’7,Y)。
应注意，当前图块X分段Sti的帧P7,X被发送到客户端终端200且由其播放器104解码，因为帧P7,X(其未显示于屏幕107上)用于解码当前图块X分段Sti的先前的B帧(例如，B5,X及B6,X)。
当参考时间对应于P帧之后的B帧时，如图11的实例中所示(即，帧B8,X)，互补帧存在于由参考先前传输到客户端终端200的当前图块分段Sti的一个或多个帧(在示例中为当前图块X分段的帧P7,X)编码的一个新帧中。在这种情况下，在属于新图块分段S’ti的剩余部分的在参考时间
Figure BDA0002902686160000153
的帧(即，图11中的B8,Y)之前一个帧布置互补帧。客户端终端200的播放器104然后能够解码该互补帧(在图11中的示例中，为P’7,Y)，而不在屏幕107上显示它。互补帧P’7,Y将被用作新图块Y的新图块分段S’ti的接下来的帧(也称为剩余帧)的参考帧。
当参考时间对应于如图12的示例中所示的B帧之后的B帧(即，帧B9,X)时，互补帧存在于参考先前传输到客户端终端200的当前图块分段Sti的一个或多个帧(在示例中，为当前图块X分段的帧P7,X，即，当前图块分段的先前的P帧)而编码的一个新帧(在图12的示例中，为P帧)中。在这种情况下，在属于新图块分段S’ti的剩余部分的在参考时间
Figure BDA0002902686160000161
的帧(即，图11中的B9,Y)之前的两个帧布置互补帧。客户端终端200的播放器104然后能够解码该互补帧(在图11中的示例P’7,Y中)，而不在屏幕107上显示它。互补帧P’7,Y将用作新图像块Y的新图像块分段S’ti的接下来的帧的参考帧。如图12中所示，当前图块分段的帧P10,X被传输但不显示(因为被布置在图块切换之后)，以便能够解码被传输且显示的当前图块分段的帧B8,X(帧B8,X是参考帧P7,X和P10,X编码)。
应当理解，无论对应于参考时间的帧的类型是什么(即，P帧、P帧之后的B帧、B帧之后的B帧)，都是在时间
Figure BDA0002902686160000162
处布置互补帧，其中n是属于[0，2]的整数(对于P帧，n＝0；对于P帧之后的B帧，n＝1；对于B帧之后的B帧，n＝2)。
当参考时间对应于跟随在先前的B帧之后的B帧时(如图12的示例所示)，传送17个帧以实现当前图块的当前图块分段和新图块的新图块分段之间的图块切换。当参考时间对应于GOP的P帧(如图10所示)或P帧之后的B帧(如图11所示)时，传送16个帧以实现图块切换。
用于编码互补帧的一个或多个参考帧可以是I帧、P帧或B帧。另外，用于获得互补帧的一个或多个参考帧可以对应于已经被发送到客户端终端的当前图块X的当前分段Sti的一个或多个帧(在当前图块和新图块之间重叠的情况下导致高效编码)。在互补或变型中，用于获得互补帧的一个或多个参考帧可以对应于当前图块Y的新图块分段S’ti的一个或多个帧。
应了解，在图10到图12的示例中，互补帧P’m,Y之后的GOP的帧(m为图块分段的GOP中的互补帧的时间位置(按显示顺序)，使得图10到图12的示例中m等于7)没有任何对互补帧P’m,Y之前的帧的参考。
在图10至图12的示例中，GOP的帧根据帧显示顺序(其不同于帧传输顺序，一些B帧可以指更大时间戳的帧)来表示。图13示出了根据其传输顺序的示例性GOP的帧。请注意，GOP的帧编号7(显示顺序)被两次发送到客户端终端200(一次针对当前图块的当前图块分段(帧P7,X)，一次针对新图块的新图块分段，作为互补帧P’7,Y)，但依据进行切换的参考时间仅显示一个(在图10到12的实例中为P7,X或P’7,Y)。
假设服务器200和播放器104有时间执行某些操作，则实施例允许在当前分段间隔内的任何时间戳处进行切换(即使没有定义SAP)。实际上，如图14的说明性而非限制性示例所示，当参考图块对应于P帧之后的B帧时，编码互补帧(即，帧P’7,Y)的时间加上加载和解码新图块的分段S’ti的剩余部分(下文引用为segment′)的前3个帧(即，{P′7,Y,P10,Y,B8,Y})的时间应当小于请求图块切换的时间treq’和参考时间
Figure BDA0002902686160000171
(即，切换时间)之间的间隔。segment′包括互补帧P’Y和新图块Y的图块分段S’ti的从参考时间起的最后的帧。
具体地，根据图14的示例的用于实现图块切换的操作序列被描述如下：
-在时间treq′，用于图块切换的请求被客户机终端100发送到服务器200，
-RTT/2时间之后，服务器200接收所述请求并开始对互补帧(即，在该示例中为P′7,Y)进行编码，RTT对应于往返时间(即，在客户端发送请求的时间和客户端开始接收对应于该请求的数据的时间之间在网络中花费的时间)，
-Tenc时间之后，互补帧(P′7,Y)准备好被发送。当刚刚完成图块X的最后一帧(在参考时间以前用于解码当前图块分段的部分)的传输时，服务器200可开始互补帧(P′7,Y)的传输，
-新的RTT/2时间之后，客户终端100开始接收互补帧(P′7,Y)，
-在与所需互补帧和segment′的随后2个帧的传输持续时间相对应的附加时间T发送{P′7,Y,P10,Y,B8,Y}之后，客户端终端100准备好对新图块分段的互补帧(帧P′7,Y和P10,Y已经被并行解码并且当假定解码比传输快时是准备好的)之后的第一帧(B8,Y)进行解码，
-在与互补帧之后的第一帧的解码持续时间相对应的时间Tdec{B8,Y}之后，帧B8,Y准备好由客户端终端100显示。
由上可知，对于P帧之后的B帧所对应的参考时间，可推导出客户端终端100在当前图块分段的处理期间请求新图块的新图块分段的定时条件：
Figure BDA0002902686160000181
更一般地，无论对应于参考时间的帧的类型如何(即，P帧、P帧之后的B帧、B帧之后的B帧)，客户端终端100在当前图块分段的处理期间请求新图块的新图块分段的定时条件可由以下定义：
Figure BDA0002902686160000182
其中：
-Tenc对应于互补帧的编码持续时间，
-T发送_剩余对应于在参考时间以前要发送的当前图块分段的剩余数据的传输持续时间，
-T发送_新对应于所需的互补帧和用于解码布置在参考时间的帧的segment′的后续帧的传输持续时间，
-Tdec对应于布置在参考时间的帧的解码持续时间。
应当注意，服务器可以预先通知客户端终端这种定时条件(例如，在发起流传输会话时，例如利用清单提供的信息)。
如描绘当切换时间对应于P帧之后的B帧时在服务器侧和播放器侧发生的操作的图14的实例中所示，服务器200当前正发送当前图块X的图块分段S’ti。在时间treq’+RTT/2处，服务器200从客户端100接收用于从当前图块X切换到新图块Y的请求。一经接收到该请求，当时间treq’满足上文所述的定时条件时，服务器200(经由编码器300)准备与布置在时间
Figure BDA0002902686160000191
的帧对应的互补帧。服务器200在不早于
Figure BDA0002902686160000192
的时间取消发送当前图块X的图块分段Sti。在图14的示例中，互补帧P’7,Y由客户端终端100接收并被解码，但不被显示。
在另一实施例中，可针对一个或多个分段和/或针对一个或多个图块将互补帧(P'Y)预编码并存储于服务器侧，从而减少服务器/编码器侧所使用的处理资源。在这种实施例中，仅在给定时刻允许图块切换(例如，在由服务器准备并被递送到客户端终端的清单中列出)。
由于所描述的实施例，在自适应流传输会话期间，即使没有定义切换时间(例如SAP)，也可以允许在分段间隔期间的图块切换。
另外，所描述的实施例中的一个或多个适于在基于图块化的沉浸式视频的自适应流传输会话内实现慢动作模式。在自适应流传输标准MPEG-DASH的说明性而非限制性的示例中，当专用内容可用于慢动作模式时，客户段终端可以以与用于图块和分段选择和恢复的正常播放操作模式相同的方式来操作慢动作操作。在缺少专用慢动作内容的情况下，将以正常和慢动作模式播放相同的内容。因此，DASH分段在慢动作期间将比在正常播放模式中播放更长的时间。作为示例，如果在慢动作期间视频帧速率被除以二(慢动作因子)，则该分段实际上将被显示两倍长。
当慢动作模式不能用于整个沉浸式视频(而仅用于一些序列)时，由内容服务器发送并由客户端终端接收的清单可以指示这样的信息(例如，通过列出慢动作模式可用的一个或多个分段)。
在说明书、权利要求书和附图中公开的参考可以独立地或以任何适当的组合提供。在适当的情况下，特征可以以硬件、软件或两者的组合来实现。
本文对“一个实施例”或“实施例”的引用意味着结合实施例描述的特定特征、结构或特性可包括在所描述的方法和设备的至少一个实现中。在说明书中的各个地方出现的短语“在一个实施例中”不必都指相同的实施例，也不是必须与其它实施例互斥的单独的或替代的实施例。
权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围具有限制作用。
尽管本文仅描述了本公开的某些实施例，但是本领域的任何技术人员将理解，本公开的其他修改、变化和可能性是可能的。因此，这些修改、变化和可能性被认为落入本公开的精神和范围内，并因此形成如本文所述和/或例示的本公开的一部分。
附图中的流程图和/或框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的配置、操作和功能。在这点上，流程图或框图中的每个框可以表示代码的模块、分段或部分，其包括用于实现一个或多个指定的逻辑功能的一个或多个可执行指令。还应当注意，在一些备选实现中，框中所标注的功能可以不按图中所标注的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，或者这些框可以以替代的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。虽然没有明确地描述，但是可以以任何组合或子组合来采用本实施例。

Claims (15)

1.一种编码器，被配置用于对沉浸式视频进行编码，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖所述沉浸式视频的场景的一部分，并且一图块分段与所述图块的集合中的一图块相关联，
所述编码器包括至少一个处理器，所述至少一个处理器被配置用于：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于所述沉浸式视频的与所述当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从所述当前图块分段到所述新图块分段的图块切换的参考时间，
-获得至少一个互补帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
2.一种用于在编码器处对沉浸式视频进行编码的方法，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖所述沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，
所述方法包括：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于所述沉浸式视频的与所述当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从所述当前图块分段到所述新图块分段的图块切换的参考时间，
-获得至少一个互补帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
3.根据权利要求1所述的编码器或根据权利要求2所述的方法，其中，所述互补帧是根据所述当前图块分段的一个或多个帧获得的。
4.根据权利要求1或3所述的编码器或者根据权利要求2或3所述的方法，其中，用于获得所述互补帧的所述当前图块分段的所述一个或多个帧已经被递送到所述播放器。
5.根据权利要求1、3或4所述的编码器或者根据权利要求2至4所述的方法，其中，当所述参考时间对应于所述当前图块的所述当前图块分段的图片组的P帧或B帧时，所述互补帧存在于新的P帧中。
6.根据权利要求1、3至5所述的编码器或根据权利要求2至5所述的方法，其中，所述互补帧参考所述当前图块的所述当前图块分段的先前的P帧来编码而被编码。
7.根据权利要求1、3至6所述的编码器或根据权利要求2至6所述的方法，其中，所述当前图块和所述新图块部分地覆盖所述场景的相同部分。
8.根据权利要求1、3至7所述的编码器或者根据权利要求2至7所述的方法，其中，根据所述参考时间定义所述新图块分段的所述剩余帧没有对布置在所述互补帧之前的一个或多个帧的任何参考。
9.一种播放器，被配置用于接收沉浸式视频，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖所述沉浸式视频的场景的一部分，并且一图块分段与所述图块的集合中的一图块相关联，
所述播放器包括至少一个处理器，所述至少一个处理器被配置用于：
-发送用于从与当前图块相关联的至少一个当前图块分段切换到与对应于所述沉浸式视频的与所述当前图块段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从所述当前图块分段到所述新图块分段的图块切换的参考时间，
-接收至少一个互补帧，所述至少一个互补帧允许根据所述参考时间解码所述新图块分段。
10.一种用于在播放器处接收沉浸式视频的方法，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分为由多个图块分段定义的多个视频分段，图块覆盖所述沉浸式视频的场景的一部分，并且一图块分段与所述图块的集合中的一图块相关联，
所述方法包括：
-发送用于从与当前图块相关联的至少一个当前图块分段切换到与对应于所述沉浸式视频的与所述当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从所述当前图块段到所述新图块段的图块切换的参考时间，
-接收至少一个互补帧，所述至少一个互补帧允许根据所述参考时间解码所述新图块分段。
11.根据权利要求9所述的播放器，其中所述处理器进一步被配置用于，或者根据权利要求10所述的方法，进一步包括：
-在发送用于所述图块切换的请求之前检查定时条件。
12.根据权利要求11所述的播放器或根据权利要求11所述的方法，其中所述定时条件取决于所述参考时间、所述互补帧的编码时间、所述新的图块分段的至少包括所述互补帧的一些帧的加载时间和解码时间、以及往返时间。
13.一种计算机程序产品，所述计算机程序产品是能够从通信网络下载的并且被记录在非暂时性计算机可读介质上的中的至少一者，所述非暂时性计算机可读介质能够由至少一个计算机中读取并且能够由处理器执行，所述计算机程序产品包括用于实现用于在编码器处对沉浸式视频进行编码的方法的程序代码指令，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分成由多个图块分段定义的多个视频分段，图块覆盖所述沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，所述方法包括：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于所述沉浸式视频的与所述当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从所述当前图块分段到所述新图块分段的图块切换的参考时间，
-获得至少一个互补帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
14.一种计算机可读的非暂时性程序存储设备，有形地体现指令程序，所述指令程序可由所述计算机执行以执行用于在编码器处对沉浸式视频进行编码的方法，所述沉浸式视频通过图块的集合而被空间地图块化并且在时间上被划分成由多个图块分段定义的多个视频分段，图块覆盖所述沉浸式视频的场景的一部分并且一图块分段与所述图块的集合中的一图块相关联，所述方法包括：
-接收用于从与当前图块相关联的至少一个当前图块分段切换到与对应于所述沉浸式视频的与所述当前图块分段相同的时间间隔的新图块相关联的至少一个新图块分段的请求，所述请求包括用于实现从所述当前图块分段到所述新图块分段的图块切换的参考时间，
-获得至少一个互补帧，所述至少一个互补帧允许由请求播放器根据所述参考时间解码所述新图块分段。
15.一种比特流，包括根据权利要求2至8中任一项所述的方法获得的至少一个互补帧。
CN201980047985.4A 2018-05-31 2019-05-24 用于对基于图块的沉浸式视频进行编码的编码器和方法 Active CN112470481B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305674.6 2018-05-31
EP18305674.6A EP3576413A1 (en) 2018-05-31 2018-05-31 Encoder and method for encoding a tile-based immersive video
PCT/EP2019/063429 WO2019228916A1 (en) 2018-05-31 2019-05-24 Encoder and method for encoding a tile-based immersive video

Publications (2)

Publication Number Publication Date
CN112470481A true CN112470481A (zh) 2021-03-09
CN112470481B CN112470481B (zh) 2023-09-12

Family

ID=62567571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047985.4A Active CN112470481B (zh) 2018-05-31 2019-05-24 用于对基于图块的沉浸式视频进行编码的编码器和方法

Country Status (6)

Country Link
US (1) US20210203987A1 (zh)
EP (2) EP3576413A1 (zh)
JP (2) JP2022501846A (zh)
CN (1) CN112470481B (zh)
MX (1) MX2020012931A (zh)
WO (1) WO2019228916A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470139B2 (en) * 2020-06-23 2022-10-11 Comcast Cable Communications, Llc Video encoding for low-concurrency linear channels

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978707A (zh) * 2008-03-18 2011-02-16 阿瓦雅公司 计算机生成的三维虚拟环境中的真实音频通信
CN107113476A (zh) * 2015-01-12 2017-08-29 诺基亚技术有限公司 用于视频流的方法、装置以及计算机可读存储介质
US9788077B1 (en) * 2016-03-18 2017-10-10 Amazon Technologies, Inc. Rendition switching
US20180103199A1 (en) * 2016-10-12 2018-04-12 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041515A (ja) * 2008-08-06 2010-02-18 Sanyo Electric Co Ltd 画像処理装置
US8837586B2 (en) * 2011-10-10 2014-09-16 Cisco Technology, Inc. Bandwidth-friendly representation switching in adaptive streaming
JP6095393B2 (ja) * 2013-02-12 2017-03-15 株式会社スクウェア・エニックス ビデオゲーム装置、及びビデオゲーム処理プログラム
EP3183878B1 (en) * 2014-08-20 2019-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video composition
EP3160147A1 (en) * 2015-10-19 2017-04-26 Thomson Licensing Method for fast channel change, corresponding arrangement and device
EP3160145A1 (en) * 2015-10-20 2017-04-26 Harmonic Inc. Edge server for the distribution of video content available in multiple representations with enhanced open-gop transcoding
EP3513562A1 (en) * 2016-09-14 2019-07-24 Koninklijke KPN N.V. Streaming virtual reality video
KR20180037725A (ko) * 2016-10-05 2018-04-13 엘지전자 주식회사 디스플레이 장치
GB2555410B (en) * 2016-10-25 2020-11-04 Sony Interactive Entertainment Inc Video content synchronisation method and apparatus
EP3863296B1 (en) * 2017-09-11 2023-11-22 Tiledmedia B.V. Streaming frames of spatial elements to a client device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978707A (zh) * 2008-03-18 2011-02-16 阿瓦雅公司 计算机生成的三维虚拟环境中的真实音频通信
CN107113476A (zh) * 2015-01-12 2017-08-29 诺基亚技术有限公司 用于视频流的方法、装置以及计算机可读存储介质
US9788077B1 (en) * 2016-03-18 2017-10-10 Amazon Technologies, Inc. Rendition switching
US20180103199A1 (en) * 2016-10-12 2018-04-12 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions

Also Published As

Publication number Publication date
JP2022501846A (ja) 2022-01-06
JP2023171661A (ja) 2023-12-01
WO2019228916A1 (en) 2019-12-05
CN112470481B (zh) 2023-09-12
MX2020012931A (es) 2021-04-13
US20210203987A1 (en) 2021-07-01
EP3804339A1 (en) 2021-04-14
EP3576413A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
JP7256212B2 (ja) ３６０°没入型ビデオを提供するためのタイル選択および帯域幅最適化
JP7486527B2 (ja) イマーシブメディアコンテンツの提示および双方向性の３６０°ビデオ通信
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
JP2020519094A (ja) ビデオ再生方法、デバイス、およびシステム
EP3490263B1 (en) Channel switching method and device
CN110582012B (zh) 视频切换方法、视频处理方法、装置及存储介质
US20190268607A1 (en) Method and network equipment for encoding an immersive video spatially tiled with a set of tiles
JP2023171661A (ja) タイルベースの没入型ビデオをエンコードするためのエンコーダおよび方法
US20140321556A1 (en) Reducing amount of data in video encoding
US9667885B2 (en) Systems and methods to achieve interactive special effects
WO2023071469A1 (zh) 视频处理方法、电子设备及存储介质
JP2012137900A (ja) 映像出力システム、映像出力方法及びサーバ装置
EP3503559A1 (en) Method and terminal for managing a streaming session of an immersive video spatially tiled with a set of tiles and stored on a network equipment
US11871079B2 (en) Client and a method for managing, at the client, a streaming session of a multimedia content
US11743442B2 (en) Bitstream structure for immersive teleconferencing and telepresence for remote terminals
EP3493552A1 (en) Method for managing a streaming processing of a multimedia video spatially tiled stored on a network equipment, and corresponding terminal
WO2022222533A1 (zh) 视频播放方法、装置及系统、计算机可读存储介质
Gül et al. IMMERSIVE MEDIA CONTENT PRESENTATION AND INTERACTIVE 360 VIDEO COMMUNICATION
JP2024019620A (ja) 遠隔端末用の没入型テレビ会議およびテレプレゼンスのためのｒｔｃｐビューポートのシグナリングにおけるイベントベースのトリガ間隔
CN116170609A (zh) 视频转码方法、装置、直播服务器、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant