CN112673634A - 用于支持渐进式视频比特流切换的系统和方法 - Google Patents

用于支持渐进式视频比特流切换的系统和方法 Download PDF

Info

Publication number
CN112673634A
CN112673634A CN201880097350.0A CN201880097350A CN112673634A CN 112673634 A CN112673634 A CN 112673634A CN 201880097350 A CN201880097350 A CN 201880097350A CN 112673634 A CN112673634 A CN 112673634A
Authority
CN
China
Prior art keywords
reconstructed image
image frame
quality
data
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880097350.0A
Other languages
English (en)
Inventor
赵文军
郑萧桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112673634A publication Critical patent/CN112673634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

系统和方法可以支持视频流传输中的比特流切换。可以采用分布式IDR图片传输技术来减少延迟，该延迟是由于为了执行比特流切换所要发送的数据量增加而引起的。附加地或备选地，即使在发生比特流切换时，渐进式码流切换技术也可以确保平滑的数据流传输。

Description

用于支持渐进式视频比特流切换的系统和方法
版权声明
本专利文档的公开的一部分包含受到版权保护的材料。版权所有人不反对任何人对专利文档或专利公开(如其在专利和商标局中的专利文件或记录中出现的原样)进行复制再现，但是在其他情况下版权所有人保留所有版权。
技术领域
本公开的实施例总体上涉及视频处理，更具体地但非排他地，涉及视频流传输、编码和解码。
背景技术
近年来视频内容的消费量激增，这主要是由于各种类型的便携式、手持式或可穿戴设备的普及。例如，虚拟现实(VR)或增强现实(AR)能力可以集成到不同的头戴式设备(HMD)中。随着视频内容的形式变得更加复杂，视频内容的存储和传输变得越来越具有挑战性。例如，需要减少用于视频存储和传输的带宽。这是本发明的实施例旨在解决的一般领域。
发明内容
本文描述的是可以支持视频流传输的系统和方法。可以采用分布式IDR图片传输技术来减少延迟，该延迟是由于为了在视频流传输中执行比特流切换所要发送的数据量增加而引起的。附加地或备选地，即使在发生比特流切换时，渐进式码流切换技术也可以确保平滑的数据流传输。
本文还描述了可以支持视频流传输中的比特流切换的系统和方法。系统可以使用将图像帧序列中的每个图像帧划分为多个部分的方案，其中多个部分至少包括第一部分和第二部分。系统可以为第一部分获取不同编码质量的第一组经编码的数据，并且可以为第二部分获取不同编码质量的第二组经编码的数据。另外，系统可以确定与第一部分的编码质量的改变相对应的第一切换点，并且可以确定与第二部分的编码质量的改变相对应的第二切换点。此外，系统可以从第一组经编码的数据中选择在第一切换点之前具有第一先验编码质量的经编码的数据和在第一切换点之后具有第一后验编码质量的经编码的数据。此外，系统可以从第二组经编码的数据中选择在第二切换点之前具有第二先验编码质量的经编码的数据和在第二切换点之后具有第二后验编码质量的经编码的数据。然后，系统可以将所选择的经编码的数据合并到比特流中。
本文还描述了可以支持视频流传输的系统和方法。系统可以接收包括用于重构图像帧序列的二进制数据的比特流，其中基于划分方案将图像帧序列中的每个图像帧划分为多个部分，其中多个部分至少包括第一部分和第二部分。系统可以根据二进制数据生成第一重构图像帧，其中第一重构图像帧包括第一部分的第一重构图像数据和第二部分的第一重构图像数据。当第一重构图像帧在与第一部分的编码质量的改变相对应的第一切换点之前时，可以以第一先验编码质量来重构第一部分的第一重构图像数据，并且当第二重构图像帧在与第二部分的编码质量的改变相对应的第二切换点之前时，可以以第二先验编码质量来重构第二部分的第一重构图像数据。此外，系统可以根据二进制数据生成第二重构图像数据，其中第二重构图像帧包括第一部分的第二重构图像数据和第二部分的第二重构图像数据。当第一重构图像帧在第一切换点之后时，以第一后验编码质量来重构第一部分的第二重构图像数据，并且当第二重构图像帧在第二切换点之后时，以第二后验编码质量来重构第一部分的第二重构图像数据。
附图说明
图1示出了根据本发明各实施例的对弯曲视图视频进行编码/压缩。
图2示出了根据本发明各实施例的可以将三维球形视图映射到二维平面的示例性经纬图投影。
图3示出了根据本发明各实施例的可以将三维球形视图映射到二维布局的示例性立方面投影。
图4示出了根据本发明各实施例的将弯曲视图映射到二维(2D)图像。
图5示出了根据本发明各实施例的示例性视频流传输环境。
图6示出了根据本发明各实施例的基于瓦片的示例性图像划分方案。
图7示出了根据本发明各实施例的对图像帧序列进行编码以支持视频流传输。
图8示出了根据本发明各实施例的在使用瓦片的视频流传输中支持比特流切换。
图9示出了根据本发明各实施例的在使用瓦片的视频流传输中的比特流切换。
图10示出了根据本发明各实施例的基于片的示例性图像划分方案。
图11示出了根据本发明各实施例的对图像帧序列进行编码以支持视频流传输。
图12示出了根据本发明各实施例的在使用片的视频流传输中支持比特流切换。
图13示出了根据本发明各实施例的在使用片的视频流传输中的比特流切换。
图14示出了根据本发明的各实施例的支持比特流切换的示例性视频流式处理传输环境。
图15示出了根据本发明各实施例的在基于瓦片的视频流传输中支持分布式IDR图片传输。
图16示出了根据本发明各实施例的在基于片的视频流传输中支持分布式IDR图片传输。
图17示出了根据本发明各实施例的基于与不同瓦片相关联的重要性等级来配置IDR图片插入周期。
图18至图19示出了基于如图17(a)所示的示例性配置在服务器侧执行比特流切换。
图20至图21示出了基于如图17(b)所示的示例性配置在服务器侧执行比特流切换。
图22示出了根据本发明各实施例的基于与不同片相关联的重要性等级来配置IDR图片插入周期。
图23至图24示出了基于如图22(a)所示的示例性配置在服务器侧执行比特流切换。
图25至图26示出了基于如图22(b)所示的示例性配置在服务器侧执行比特流切换。
图27示出了根据本发明各实施例的用于支持视频流传输中的比特流切换的流程图。
图28至图29示出了基于如图17(a)所示的示例性配置在终端侧执行比特流切换。
图30至图31示出了基于如图17(b)所示的示例性配置在终端侧执行比特流切换。
图32至图33示出了基于如图22(a)所示的示例性配置在终端侧执行比特流切换。
图34至图35示出了基于如图22(b)所示的示例性配置在终端侧执行比特流切换。
图36示出了根据本发明各实施例的用于支持视频流传输的流程图。
图37示出了根据本发明各实施例的可移动平台环境。
具体实施方式
在附图的图中通过示例而非限制的方式示出本发明，在附图中，相同的附图标记表示相似的元件。应当注意，在本公开中针对“实施例”或“一个实施例”或“一些实施例”的引用不一定指的是相同实施例，且这种引用意味着至少一个实施例。
根据本发明的各实施例，系统和方法可以支持视频流传输中的比特流切换。系统可以将图像帧序列中的每个图像帧划分为多个部分，其中多个部分至少包括第一部分和第二部分，可以为第一部分获取不同编码质量的第一组经编码的数据，并且可以为第二部分获取不同编码质量的第二组经编码的数据。另外，系统可以确定与第一部分的编码质量的改变相对应的第一切换点，并且可以确定与第二部分的编码质量的改变相对应的第二切换点。此外，系统可以从第一组经编码的数据中选择在第一切换点之前具有第一先验编码质量的经编码的数据和在第一切换点之后具有第一后验编码质量的经编码的数据。此外，系统可以从第二组经编码的数据中选择在第二切换点之前具有第二先验编码质量的经编码的数据和在第二切换点之后具有第二后验编码质量的经编码的数据。然后，系统可以将所选择的经编码的数据合并到比特流中。
根据本发明的各实施例，系统和方法可以支持视频流传输。系统可以接收包括用于重构图像帧序列的二进制数据的比特流，其中基于划分方案将图像帧序列中的每个图像帧划分为多个部分，其中多个部分至少包括第一部分和第二部分。系统可以根据二进制数据生成第一重构图像帧，其中第一重构图像帧包括第一部分的第一重构图像数据和第二部分的第一重构图像数据。当第一重构图像帧在与第一部分的编码质量的改变相对应的第一切换点之前时，可以以第一先验编码质量来重构第一部分的第一重构图像数据，并且当第二重构图像帧在与第二部分的编码质量的改变相对应的第二切换点之前时，可以以第二先验编码质量来重构第二部分的第一重构图像数据。此外，系统可以根据二进制数据生成第二重构图像数据，其中第二重构图像帧包括第一部分的第二重构图像数据和第二部分的第二重构图像数据。当第一重构图像帧在第一切换点之后时，以第一后验编码质量来重构第一部分的第二重构图像数据，并且当第二重构图像帧在第二切换点之后时，以第二后验编码质量来重构第一部分的第二重构图像数据。
根据本发明的各实施例，可以采用分布式IDR图片传输技术来减少延迟，该延迟是由于为了在视频流传输中执行比特流切换所要发送的数据量增加而引起的。附加地或备选地，即使在发生比特流切换时，渐进式码流切换技术也可以确保平滑的数据流传输。
图1示出了根据本发明各实施例的对视频进行编码/压缩。如图1所示，诸如弯曲视图视频的全景或广角视频的编码/压缩可以涉及多个步骤，诸如映射101、预测102、变换103、量化104和熵编码105。
根据各实施例，在映射步骤101中，系统可以将视频序列中的三维(3D)弯曲视图投影到二维(2D)平面上，以利用各种视频编码/压缩技术。系统可以使用二维矩形图像格式来存储和发送弯曲视图视频(例如，球形视图视频)。此外，系统可以使用二维矩形图像格式来支持数字图像处理和执行编解码器操作。
可以采用不同的方法将弯曲视图(例如，球形视图)映射到矩形图像。例如，可以基于经纬图投影将球形视图映射到矩形图像。在一些实施例中，经纬图投影可以将经线映射到恒定间距的垂直直线，并且可以将纬度圈映射到恒定间距的水平直线。备选地，可以基于立方面投影将球形视图映射到矩形图像。立方面投影可以基于其外接立方体来近似3D球体表面。可以使用不同的立方面布局来将立方体的六个面上的3D球体表面的投影布置为2D图像，其定义了诸如每个单独投影的相对位置和朝向的立方面布置。除了上述经纬图投影和立方面投影之外，可以利用其他投影机制将3D弯曲视图映射到2D视频。可以基于诸如HEVC/H.265、H.264/AVC、AVS1-P2、AVS2-P2、VP8、VP9之类的一些常用视频编解码器标准来对2D视频进行压缩、编码和解码。
根据各实施例，可以采用预测步骤102来减少图像中的冗余信息。预测步骤102可以包括帧内预测和帧间预测。帧内预测可以仅基于当前帧内包含的信息执行，而与视频序列中的其他帧无关。可以通过基于参考帧(例如，先前处理过的帧)消除当前帧中的冗余来执行帧间预测。
例如，为了执行用于帧间预测的运动估计，可以将帧划分为多个图像块。每个图像块可以例如基于块匹配算法，与参考帧中的块相匹配。每个图像块可以例如基于块匹配算法，与参考帧中的块相匹配。此外，可以计算残差并对残差分组，该残差即为当前帧中的每个图像块与参考帧中的经匹配的块之间的差。
此外，可以通过应用变换步骤103来消除帧的冗余。在变换步骤103中，系统可以处理残差以提高编码效率。例如，可以通过在经分组的残差上应用变换矩阵及其转置矩阵来生成变换系数。随后，可以在量化步骤104中对变换系数进行量化，并且在熵编码步骤105中进行编码。然后，包括从熵编码步骤105生成的信息以及其他编码信息(例如，帧内预测模式、运动矢量)的比特流可以被存储并被发送到解码器。
在接收端，解码器可以对接收到的比特流执行逆过程(例如，熵解码、去量化和逆变换)以获取残差。因此，可以基于残差和其他接收到的解码信息来对图像帧进行解码。然后，经解码的图像可以被用于显示弯曲视图视频。
图2示出了根据本发明各实施例的可以将三维球形视图映射到二维平面的示例性经纬图投影200。如图2所示，使用经纬图投影，球体视图201可以被映射到二维矩形图像202。另一方面，二维矩形图像202可以以相反的方式映射回球体视图201。
在一些实施例中，可以基于以下等式来定义映射。
Figure BDA0002967564340000071
Figure BDA0002967564340000072
其中，x表示2D平面坐标系中的水平坐标，y表示2D平面坐标系202中的垂直坐标。表示球体201距离中央经线的经度，而
Figure BDA0002967564340000073
表示球体距离标准纬线的纬度。1表示投影比例为真的标准纬线。在一些实施例中，1可以设置为0，并且坐标系202的点(0，0)可以位于中心。
图3示出了根据本发明各实施例的将三维球形视图映射到二维布局的示例性立方面投影。如图3所示，使用立方面投影，球体视图301可以被映射到二维布局302。另一方面，二维布局302可以以相反的方式映射回球体视图301。
根据各实施例，用于球面301的立方面投影可以基于立方体310，例如，球体301的外接立方体。为了确定映射关系，可以从球体的中心执行射线投射，以分别在球面和立方面上获取多对交叉点。
如图3所示，用于存储和发送球形视图的图像帧可以包括立方体310的六个立方面，例如，顶立方面、底立方面、左立方面、右立方面、前立方体面和后立方面。这六个立方面可以在2D平面上展开(或投影到2D平面)。
应注意，为了说明的目的，提供了基于立方面投影的诸如球形视图或椭圆形视图的弯曲视图的投影，并且不旨在限制本公开的范围。对于本领域普通技术人员来说，可以在本公开的教导下进行各种修改和变化。用于与本公开有关的投影的投影格式的示例性实施例可以包括八面体、十二面体、二十面体或任何多面体。例如，可以基于八面体生成八个面上的投影以用于近似，并且可以将这八个面上的投影展开和/或投影到2D平面上。在另一示例中，可以基于十二面体生成十二个面上的投影以用于近似，并且可以将这十二个面上的投影展开和/或投影到2D平面上。在又一个示例中，可以基于二十面体生成二十个面上的投影以用于近似，并且可以将这二十个面上的投影展开和/或投影到2D平面上。在又一个示例中，可以生成多面体的各个面上的椭圆形视图的投影以用于近似椭圆形视图，并且可以将这二十个面上的投影展开和/或投影到2D平面上。
还应注意的是，对于图3中所示的立方面布局，可以使用其相对位置来描绘不同的立方面，诸如顶立方面、底立方面、左立方面、右立方面、前立方面和后立方面。提供这样的描绘仅是为了说明的目的，而不是为了限制本公开的范围。对于本领域普通技术人员来说，可以在本公开的教导下进行各种修改和变化。
根据各实施例，取决于每个立方面的朝向或相对位置，可以使用不同的连续性关系来表示各立方面之间的连续关系。
图4示出了根据本发明各实施例的将弯曲视图映射到二维(2D)图像。如图4所示，映射401可用于将弯曲视图403与2D图像404相对应。2D图像404可以包括一组图像区域411-412，每个图像区域包含投影在多面体(例如，立方体)的面上的弯曲视图403的一部分。
根据各实施例，可以通过将弯曲视图的所述至少一部分投影到多面体上的多个面来获取该组图像区域。例如，球形视图403可以从球面或球面的一部分投影到一组立方面。以类似的方式，弯曲视图可以从椭圆形表面或椭圆形表面的一部分投影到一组矩形立方体表面。
此外，弯曲视图(例如，球形视图403)可以基于不同的布局被映射到二维矩形图像404中。如图4所示，一组图像区域411-412可以基于布局402布置在2D图像404中，布局402定义了图像区域411-412在2D图像中的相对位置信息，诸如位置和朝向。
如图4所示，球形视图403在每个方向上是连续的。根据各实施例，可以通过将弯曲视图403的至少一部分投影到多面体上的多个面来获取一组图像区域411-412。可以使用与特定映射401和布局402相关的连续性关系来表示连续关系。由于几何限制，二维图像404可能无法完全保持球形视图403中的连续性。
根据各实施例，系统可以采用填充方案来提供或保持一组图像区域411-412之间的连续性，以便提高对球形视图视频进行编码/解码的效率。
根据各实施例，各种映射机制可用于将弯曲视图403(例如，球形视图403)映射为二维平面视图(即，可以将弯曲视图视频映射到二维平面视频)。球形视频或部分球形视频可以由多个相机或诸如鱼眼相机的广角相机捕捉。二维平面视频可以通过球形映射获取，并且还可以经由部分球形映射获取。可以应用该映射方法来提供360度全景视频、180度全景视频或具有宽视野(FOV)的视频的表示。此外，可以通过诸如HEVC/H.265、H.264/AVC、AVS1-PS、AVS2-P2、VP8和VP9之类的各种视频编解码器标准对通过映射方法获取的二维平面视频进行编码和压缩。
根据各实施例，诸如360度全景视频或具有较大视野(FOV)的视频之类的全景或广角视频可以包含大量数据。此外，这样的视频可能需要以高编码质量进行编码，并且可能需要以高分辨率呈现。因此，即使在映射和压缩(例如，使用各种视频编解码器方法)之后，经压缩的数据的大小仍可能很大。因此，在当前网络传输条件下，全景或广角视频的传输仍然是一项艰巨的任务。
根据各实施例，各种方法可用于对全景或广角视频进行编码和压缩。例如，可以使用基于视口(viewport)的方法，以便减少网络带宽的消耗，同时确保用户以令人满意的主观感觉观看全景或广角视频。这里，全景或广角视频可以覆盖比人类视觉更宽的视角，并且视口可以表示人类视觉中需要更多关注的主要景色。另一方面，视口外的区域，即可能仅经由人类周边视觉观察到或不被人类观察到的区域可能需要较少的关注。
图5示出了根据本发明各实施例的示例性视频流传输环境。如图5所示，可以包括图像帧(或图片)序列的视频510，例如具有大视野(FOV)的全景或广角视频，可以在视频流传输环境500中从流传输服务器501流向用户设备(UE)502。
在服务器侧，编码器508可以对视频510中的图像帧序列进行编码，并且将经编码的数据合并到存储在存储器503中的各比特流504中。
根据各实施例，流传输控制器505可以负责控制视频510到用户设备(UE)502的流传输。在一些实例中，流传输控制器505可以是编码器或编码器的部件。在一些实例中，流传输控制器505可以包括编码器或与编码器一同操作。例如，流传输控制器505可以从用户设备(UE)502接收诸如视口信息之类的用户信息512。然后，流传输控制器505可以基于存储器503中所存储的比特流504来生成相应的比特流511，并且将所生成的比特流511发送到用户设备(UE)502。
在用户设备(UE)侧，解码器506可以获取比特流511，比特流511包含视频510中的图像帧序列的二进制数据。然后，在将经解码的信息提供给显示器506以供用户观看之前，解码器506可以相应地对二进制数据进行解码。另一方面，用户设备(UE)502或用户设备(UE)502的部件(例如，显示器507)可以获取诸如经更新的视口信息(例如，当用户的视线四处移动时)之类的经更新的用户信息，并且将这种经更新的用户信息提供回流传输服务器501。因此，流传输控制器505可以重新配置比特流511并将比特流发送到用户设备(UE)502。
根据各实施例，可以使用不同类型的划分方案来将视频510中的每个图像帧划分为多个部分。例如，划分方案可以基于瓦片或片，或任何其他有益于视频编码和解码的几何分区。在各种实例中，可以将视频510中的每个图像帧划分为相同数量的部分。此外，不同图像帧中的相应部分可以定位在相同或基本相似的相对位置，并且具有相同或基本相同的几何大小(例如，视频510中的每个图像帧可以以相同或基本相似的方式进行划分)。
根据各实施例，划分图像帧的多个部分中的每个部分可以配置为具有多个等级的编码质量。例如，在服务器侧，划分图像帧的多个部分中的每个部分可以配置为具有多个等级的编码质量。在用户设备(UE)侧，划分图像帧的多个部分中的每个部分可以配置为具有多个等级的解码质量。
根据各实施例，可以基于诸如感兴趣区域(ROI)信息之类的用户偏好来确定视频510中的图像帧中的每个部分的编码质量。备选地或附加地，可以基于第一图像帧的视口信息来确定图像帧中的每个部分的编码质量，该视口信息可以指示图像帧中视口的位置。这里，可以将图像帧中与视口相对应的部分的编码质量配置为具有比图像帧中在视口之外的另一部分的编码质量高的等级。
如图5所示，在服务器侧，可以将用于视频510中的图像帧序列的多个比特流504存储在存储器503中。在一些实例中，所存储的比特流中的每一个可以包含针对图像帧序列中的特定部分具有特定编码质量的经编码的数据。
根据各实施例，编码器508可以利用如图1所示的编码过程。例如，编码器508可以通过共享诸如预测步骤和变换步骤之类的各种编码步骤来准备使用不同的编码质量对视频510中的图像帧序列进行编码。在量化步骤中，编码器508可以在共享预测和变换结果的同时将不同的量化参数应用于图像帧序列。因此，编码器508可以获取针对图像帧序列的具有不同编码质量的多个比特流。
图6示出了根据本发明各实施例的基于瓦片的示例性图像划分方案600。如图6(a)和图6(b)所示，许多瓦片可用于对视频中的图像帧(或图片)进行划分。
根据各实施例，可以使用瓦片进行编码，瓦片是图像帧中的矩形区域。例如，在各种视频编解码器标准中，可以将图像帧水平地和垂直地划分为瓦片。在诸如HEVC/H.265之类的一些视频编码标准中，瓦片在相同行中的高度可能需要一致，并且瓦片在图像帧中的宽度可能不需要一致。不可以对相同图像帧中的不同瓦片的数据进行交叉参考和预测(尽管可以跨相同图像中的不同瓦片的边界执行滤波操作)。滤波操作可以包括去块滤波、样本自适应偏移(SAO)、自适应环路滤波器(ALF)等。
在图6(a)所示的示例中，可以将图像划分为九个部分(或区域)。每个部分可以以不同的质量编码。在各实例中，编码质量可以定量地或定性地定义。例如，编码质量可以被定义为“高”、“中等”或“低”中的一种(它们中的每一种都可以与量化度量相关联)。备选地或附加地，编码质量可以由数字、字符、字母数字字符串或任何其他合适的表示来表示。在各实例中，编码质量可以指各种编码客观度量、主观度量和不同的采样率(或分辨率)。
如图6(a)中所示，瓦片5，即区域(1，1)被视口覆盖。因此，可以为瓦片5分配“高”质量。此外，瓦片2、4、6和8，即区域(0，1)、(1，0)、(2，1)和(1，2)与区域(1、1)相邻，区域(1，1)与视口相对应。因此，可以以“中等”质量对这些区域进行编码，因为即使这些区域不是焦点，这些区域仍在人眼的视线内(即，在周边视觉范围之内)。另外，瓦片1、3、7和9，即区域(0，0)、(0，2)、(2，0)和(2，2)离视口更远，人眼可能无法观察到它们。因此，可以以“低”质量对这些区域进行编码。
备选地，在图6(b)所示的示例中，可以将图像划分为两个部分或区域。可以以不同的质量对每个部分进行编码，并且可以将编码质量定义为“高”、“中等”或“低”中的一种。如图6(b)所示，部分B(例如，瓦片)被视口覆盖。因此，可以为部分B分配“高”质量。此外，可以为包围部分B的部分A分配“低”质量或“中等”质量。
图7示出了根据本发明各实施例的对图像帧序列进行编码以支持视频流传输。如图7所示，可以对图像序列701进行编码，并且在服务器700中将其存储为比特流702。这里，可以在服务器侧为针对单个部分的每个比特流提供特定的质量。例如，所存储的比特流711与图像序列中的部分1的具有质量A(例如，“高”)的经编码的数据相对应。
如图7所示，可以将图像序列701(即，视频)中的图像帧划分为九个部分，而每个部分可以以三种质量(例如，A代表“高”、B代表“中等”或C代表“低”)进行编码。例如，编码可以基于诸如H.264/AVC、H.265/HEVC、AVS1-P2、AVS1-P2之类的各种视频编解码器标准。
根据各实施例，每个比特流能够被独立地解码。例如，每个比特流可以包含独立的视频参数集(VPS)信息、独立的序列头信息、独立的序列参数集(SPS)信息、独立的图片头信息或单独的图片参数集(PPS)参数。
图8示出了根据本发明各实施例的在使用瓦片的视频流传输中支持比特流切换。如图8所示，使用基于瓦片的划分方案802，可以将图像帧序列801中的图像帧811划分为多个瓦片(例如，瓦片1-9)。此外，流传输控制器可以为图像帧811中的每个瓦片确定编码质量803。另外，流传输控制器可以从服务器中所存储的比特流中为图像帧811的每个瓦片获取具有所确定的编码质量的经编码的数据804。然后，流传输控制器可以根据预定顺序将第一图像帧的多个部分(例如，瓦片)的经编码的数据804合并(例如，封装)到比特流805中以进行传输。在一些实例中，可以基于每个特定部分(例如，瓦片)在图像帧序列中的相对位置来配置预定顺序。
根据各实施例，流传输控制器可以根据用户设备(UE)的视口从所存储的比特流中动态地选择针对图像帧中的每个部分(例如，瓦片)所需要传输的经编码的数据。
参考图9(a)，瓦片5与时间点T(N)处的视口821相对应。因此，可以为瓦片5可以分配“高”质量(H)。此外，可以为瓦片2、4、6和8中的每一个分配“中等”质量(M)，并且可以为瓦片1、3、7和9中的每一个分配“低”质量(L)。
在确定与图像帧811中的瓦片中的每个瓦片相对应的编码质量之后，流传输控制器可以从服务器中的相应存储的比特流中为图像帧811中的每个瓦片获取具有期望质量的经编码的数据。例如，在如图9(a)所示的示例中，流传输控制器可以从高质量比特流(例如，图7的710)获取瓦片5的经编码的数据。此外，流传输控制器可以从中等质量比特流(例如，图7的720)获取瓦片2、4、6和8的经编码的数据，并且流传输控制器可以从低质量比特流(例如，图7的730)获取瓦片1、3、7和9的经编码的数据。
然后，流传输控制器可以将所获取的不同瓦片的经编码的数据封装到比特流805中以进行传输。在各实例中，可以根据预定顺序封装每个瓦片的经编码的数据。例如，可以基于光栅扫描顺序来配置预定顺序，光栅扫描顺序是指图像帧中从左到右以及从上到下的顺序。
根据各实施例，基于视口的视频流传输方法可以有效地减少全景或广角视频所要发送的数据，同时考虑观看时的主观体验。另一方面，当视口改变时，即当人的视线四处移动时，与视口相对应的图像部分也可以改变。
根据各实施例，流传输控制器可以在针对每个所划分的部分的不同质量的比特流之间动态地切换，这些比特流用于生成在视频流传输中进行传输的比特流805。例如，流传输控制器可以接收在稍后时间点针对第二图像帧的视口信息。这里，第二图像帧的视口信息可以指示第二图像帧的视口的位置。第二图像帧在图像帧序列中跟随或落后(trail)于第一图像帧，并且第一图像帧的视口的位置可以与第二图像帧的视口的位置不同。
参考图9(b)，在时间点T(M)处，视口822可以移至瓦片2。流传输控制器可以为图像帧中的每个瓦片调整编码质量。如图9(b)所示，为瓦片2分配“高”质量(H)。此外，可以为瓦片1、3和5分配“中等”质量(M)，并且可以为瓦片4、6、7、8和9分配“低”质量(L)。
因此，流传输控制器可以在时间点T(M)处或在时间点T(M)之后执行比特流切换。在为图像帧中的瓦片中的每个瓦片确定编码质量之后，流传输控制器可以从服务器中相应存储的比特流中为图像帧中的每个瓦片获取具有期望的质量的经编码的数据。在图9(b)所示的示例中，流传输控制器可以从高质量比特流(例如，图7的710)获取瓦片2的经编码的数据。另外，流传输控制器可以从中等质量比特流(例如，图7的720)获取瓦片1、3和5的经编码数的据，并且流传输控制器可以从低质量比特流(例如，图7的730)获取瓦片4、6、7、8和9的经编码的数据。
在各实例中，可以在随机访问点处执行比特流切换。例如，随机访问点可以是即时解码刷新(IDR)图片、纯随机访问(CRA)图片、序列头、序列头+1帧等。
如图9(b)所示，在视口的位置在时间点T(M)处改变之后，流传输控制器可以在时间点T(M)之后的第一随机访问点执行比特流切换。例如，如果第二图像帧在随机访问点处，则流传输控制器可以基于接收到的针对第二图像帧的视口信息来确定第二图像帧中的每个部分的编码质量，以对比特流中的经编码的数据进行解码。否则，如果第二图像帧不在随机访问点处，则流传输控制器可以基于第一图像帧中的相应部分的编码质量来确定第二图像帧中的每个部分的编码质量，以对比特流中的经编码的数据进行解码。在这种情况下，流传输控制器可以等待，并在直到时间点T(M)之后的第一个随机访问点才执行比特流切换。
根据各实施例，使用以上方案，流传输控制器可以将针对图像帧中的不同部分的具有不同质量的经编码的数据合并到单个比特流805中。与依靠发送多个比特流的方法不同，以上方案可以避免多通道同步问题。因此，用于发送视频码流的系统层不需要执行同步操作，例如，使用系统协议DASH(Http上的动态自适应流传输)、HLS(Http实时流传输)、MPEGTS(传输流)。另外，以上方案可以避免在用户设备处组合来自多个通道的数据的需求，因为每个瓦片的经编码的数据的位置与每个瓦片在图像帧中的相对位置相对应地进行封装。
另外，可以提供指示符812并将该指示符与比特流相关联。根据各实施例，指示符812可以指示：将图像帧序列中的每个图像帧的特定部分的编码预测依赖性限制在所述特定部分之内。
在各实施例中，由服务器侧的编码器或流传输控制器提供的指示符812可以与由解码器接收的指示符相同或相关，即，指示符可以指示编码预测依赖性和解码预测依赖性二者。
图10示出了根据本发明各实施例的基于片的示例性图像划分方案。如图10(a)和图10(b)所示，许多片可被用于划分视频中的图像帧(或图片)。
根据各实施例，片可以是每个图像帧中的片分段序列，该片分段序列从独立片分段开始，并且包含位于下一个独立片分段之前的零个或多个随后的非独立片分段。备选地，片可以是编码块序列或编码块对序列。
在各实例中，可以将片用于视频编码。例如，图像帧仅允许沿水平方向的一个片(即，不能在垂直方向上执行划分)。不能对相同图像帧中的不同片的数据进行交叉引用和预测(尽管可以跨相同图像中的不同瓦片的边界执行滤波操作)。滤波操作包括去块滤波、样本自适应偏移(SAO)、自适应环路滤波器(ALF)等。
在图10(a)所示的示例中，可以将图像划分为三个片(或区域)。每个片可以用不同的质量进行编码。在各实例中，编码质量可以被定量地或定性地定义。例如，编码质量可以被定义为“高”、“中等”或“低”中的一种(它们中的每一种都可以与量化度量相关联)。备选地或附加地，编码质量可以由数字、字符、字母数字字符串或任何其他合适的表示来表示。在各实例中，编码质量可以指各种编码客观度量、主观度量和不同的采样率(或分辨率)。
如图10(a)所示，片2，即区域(1，0)被视口覆盖。因此，可以为片2分配“高”质量。此外，片2和3，即区域(0，0)和区域(2，0)与区域(1，0)相邻，区域(1，0)与视口相对应。因此，可以以“中等”质量对这些区域进行编码。
备选地，在图10(b)所示的示例中，可以将图像划分为两个部分或区域。每个部分以不同的质量进行编码，并且编码质量可以定义为“高”、“中等”或“低”之一。如图10(b)所示，部分B(例如，片)被视口覆盖。因此，可以为部分B分配“高”质量。此外，可以为包围部分B的部分A分配“低”质量或“中等”质量。
图11示出了根据本发明各实施例的对图像帧序列进行编码以支持视频流传输。如图11所示，可以对图像序列1101进行编码，并且在服务器1100中将其存储为比特流1102。这里，可以在服务器侧为针对单个部分的每个比特流提供特定的质量。例如，所存储的比特流1111与图像序列中的部分1的具有质量A(例如，“高”)的经编码的数据相对应。
如图11所示，可以将图像序列1101中的图像帧(即，视频)划分为3个部分，而每个部分可以用三种质量(例如，“高”、“中等”或“低”)进行编码。例如，编码可以基于各种视频编解码器标准，诸如H.264/AVC、H.265/HEVC、AVS1-P2、AVS1-P2等。
根据各实施例，每个比特流能够被独立地解码。例如，每个比特流可以包含独立的视频参数集(VPS)信息、独立的序列头信息、独立的序列参数集(SPS)信息、独立的图片头信息或单独的图片参数集(PPS)参数。
图12示出了根据本发明各实施例的在使用片的视频流传输中支持比特流切换。如图12所示，使用基于片的划分方案1202，可以将图像帧序列1201中的图像帧1211划分为多个片(例如，片1-3)。此外，流传输控制器可以为图像帧1211中的每个片确定编码质量1203。另外，流传输控制器可以从服务器中所存储的比特流中为图像帧1211的每个瓦片获取具有所确定的编码质量的经编码的数据1204。然后，流控制器可以根据预定顺序将第一图像帧的多个部分的经编码的数据1204合并(例如，封装)到比特流1205中以进行传输。在一些实例中，可以基于每个特定部分(例如，片)在图像帧序列中的的相对位置来配置预定顺序。
根据各实施例，流传输控制器可以根据用户设备(UE)的视口从所存储的比特流中动态地选择针对图像帧中的每个部分所需要传输的经编码的数据。
参考图13(a)，片2，即片(1，0)与时间点T(N)处的视口1211相对应。因此，可以为片2分配“高”质量(H)。此外，可以为片1和3中的每一个分配“中等”质量(M)。
在确定与图像帧1211中的片中的每个片相对应的编码质量之后，流传输控制器可以从服务器中的相应存储的比特流中为图像帧1211中的每个片获取具有期望质量的经编码的数据。例如，在如图13(a)所示的示例中，流传输控制器可以从高质量比特流(例如，图11的1110)获取片2的经编码的数据，并且流传输控制器可以从中等质量比特流(例如，图11的1120)获取片1和3的经编码的数据。
然后，流传输控制器可以将所获取的不同片的经编码的数据封装到比特流1205中以进行传输。在各实例中，可以根据预定顺序封装每个片的经编码的数据。例如，可以基于光栅扫描顺序来配置预定顺序，光栅扫描顺序是指图像中从上到下的顺序。
根据各实施例，基于视口的视频流传输方法可以有效地减少360度视频或具有大FOV的视频所要发送的数据，同时考虑观看时的主观体验。另一方面，当视口改变时，即，当人的视线四处移动时，与视口相对应的图像部分也可以改变。
根据各实施例，流传输控制器可以在针对每个所划分的部分的不同质量的比特流之间动态地切换，这些比特流用于生成在视频流传输中进行传输的比特流1205。例如，流传输控制器可以接收针对第二图像帧的视口信息。这里，第二图像帧的视口信息可以指示第二图像帧的视口的位置。第二图像帧在图像帧序列中落后于第一图像帧，并且第一图像帧的视口的位置与第二图像帧的视口的位置不同。
参考图13(b)，在时间点T(M)处，视口1212可以移至片1，即片(0，0)。流传输控制器可以调整图像帧中的每个片的编码质量。如图13(b)所示，为片1分配“高”质量(H)。此外，可以为片2分配“中等”质量(M)，为片3分配“低”质量(L)。
因此，流传输控制器可以在时间点T(M)处或在时间点T(M)之后执行比特流切换。在确定与图像帧中的每个片相对应的编码质量之后，流传输控制器可以从服务器中相应存储的比特流中为图像帧中的每个片获取具有期望质量的经编码的数据。例如，在如图13(b)所示的示例中，流传输控制器可以从高质量比特流(例如，图11的1110)获取片1的经编码的数据。另外，流传输控制器可以从中等质量比特流(例如，图11的1120)获取片2的经编码的数据，并且流传输控制器可以从低质量比特流(例如，图11的1130)获取片3的经编码的数据。
在各实例中，可以在随机访问点处执行比特流切换。例如，随机访问点可以是即时解码刷新(IDR)图片、纯随机访问(CRA)图片、序列头、序列头+1帧等。
如图13(b)所示，在时间点T(M)处改变视口的位置之后，流传输控制器可以在时间点T(M)之后的第一随机访问点处执行比特流切换。例如，如果第二图像帧是随机访问点，则流传输控制器可以基于接收到的针对第二图像帧的视口信息来确定第二图像帧中的每个部分的编码质量，以对比特流中的经编码的数据进行解码。否则，如果第二图像帧不是随机访问点，则流传输控制器可以基于第一图像帧中的相应部分的编码质量来确定第二图像帧中的每个部分的编码质量，以对比特流中的经编码的数据进行解码。在这种情况下，流传输控制器可以等待，并在直到时间点T(M)之后的第一个随机访问点才执行比特流切换。
根据各实施例，使用以上方案，流传输控制器可以将针对图像帧中的不同部分的具有不同质量的经编码的数据合并到单个比特流1205中。与依靠发送多个比特流的方法不同，以上方案避免多通道同步问题。因此，用于发送视频码流的系统层不需要执行同步操作，例如，使用系统协议DASH(Http上的动态自适应流传输)、HLS(Http实时流传输)、MPEGTS(传输流)。另外，以上方案可以避免在用户设备处组合来自多个通道的数据，因为每个瓦片的经编码的数据的位置与每个瓦片在图像帧中的相对位置相对应地进行封装。
另外，可以提供指示符1212并将该指示符与比特流相关联。根据各实施例，指示符1212可以指示：将图像帧序列中的每个图像帧的特定部分的编码预测依赖性限制在所述特定部分之内。
在各实施例中，由服务器侧的编码器或流传输控制器提供的指示符1212可以与由解码器接收的指示符相同或相关，即，指示符可以指示编码预测依赖性和解码预测依赖性二者。
图14示出了根据本发明各实施例的支持比特流切换的示例性视频流传输环境。如图14所示，视频1410可以在视频流传输环境1400中从服务器侧(例如，流传输服务器1401)流向终端侧(例如，用户设备(UE)1402)。
根据各实施例，在服务器侧，编码器1408可以对视频1410中的图像帧序列进行编码，并将具有经编码的数据的各比特流1404存储到存储器1403中。视频1410，例如全景或广角视频可以包括具有大视野(FOV)的图像帧(或图片)序列。可以使用不同类型的划分方案来将视频1410中的各个图像帧划分为多个部分。例如，划分方案可以将各个图像帧划分为瓦片或盘、或者对视频编码和解码有益的任何其他几何分区。在各实例中，视频1410中的各个图像帧可以以相同或基本相似的方式进行划分。例如，视频1410中的每个图像帧可以被划分为相同数量的部分。此外，不同图像帧中的相应部分可以定位在相同或基本相似的相对位置，并且可以配置为具有相同或基本相似的几何大小。
根据各实施例，划分图像帧的多个部分中的各个部分可以配置为具有多个等级的编码质量。例如，在服务器侧，划分图像帧的多个部分中的每个部分可以配置为具有多个等级的编码质量。在用户设备(UE)侧，划分图像帧的多个部分中的每个部分可以配置为具有多个等级的解码质量。在各实施例中，编码质量和解码质量可以被配置为相同或使用相关的预定相关性。在其他实施例中，可以单独地且独立地配置编码质量和解码质量。
根据各实施例，在服务器侧，可以基于诸如感兴趣区域(ROI)信息之类的用户偏好信息来确定视频1410中的图像帧中的各个部分的编码质量。根据各实施例，在服务器侧，可以基于诸如感兴趣区域(ROI)信息之类的用户偏好信息来确定视频1410中的图像帧中的各个部分的编码质量。在各实施例中，可以将图像帧中与视口相对应的部分的编码质量配置为具有比图像帧中位于视口之外的其他部分的编码质量高的等级的编码质量。
根据各实施例，编码器1408可以利用如图1所示的编码过程。例如，编码器1408可以将视频1410中的图像帧序列编码为具有不同编码质量的多个比特流。可以在多个编码操作之间共享各编码步骤，以生成不同的比特流。例如，编码器1408可以使用相同的预测步骤102和变换步骤103，同时采用不同的量化步骤104(例如，使用不同的量化参数)来生成具有不同编码质量的各比特流。
如图14所示，在服务器侧，可以将视频1410中的图像帧序列的多个比特流1404存储在存储器1403中。在各实例中，每个单独存储的比特流可以包含图像帧序列中的特定部分的具有特定级别的编码质量的经编码的数据。
在用户设备(UE)侧，解码器1406可用于对比特流1411进行处理，比特流1411包含视频1410中的图像帧序列的经编码的数据。在将重构图像帧提供给显示器1407进行显示或供用户(例如，观看者)以其他方式观看之前，解码器1406可以对比特流1411中的二进制数据进行解码并相应地重构图像帧。另一方面，用户设备(UE)1402或用户设备(UE)1402的部件(例如，显示器1407)可以获取经更新的用户信息(例如，当用户的视线四处移动时的经更新的视口信息)，并且将这种经更新的用户信息提供回流传输服务器1401。因此，流传输控制器1405可以重新配置发送到用户设备(UE)1402的比特流1411。例如，流传输控制器1405可以经由执行比特流切换1420来重新配置比特流1411。
根据各实施例，流传输控制器1405可以负责控制视频1410到用户设备(UE)1402的流传输。在一些实例中，流传输控制器1405可以是编码器或编码器的部件。在一些实例中，流传输控制器1405可以包括编码器或者可以与编码器一同操作。流传输控制器1405可以从用户设备(UE)1402接收用户信息1412，例如用户视点信息。例如，这样的用户视点信息可以包括视口信息，其指示用户的观看区域。然后，流传输控制器1405可以基于接收到的用户信息1412来创建(或指示另一部件来创建)比特流1411。例如，可以基于选择和组合存储器1403中的适当的所存储的比特流1404来创建比特流1411。然后，可以将比特流1411发送到用户设备(UE)1402，用于提供和实现最佳观看体验。
根据各实施例，流传输控制器1405可以基于接收到的用户信息来执行比特流切换1420。例如，当观看者环顾四周时，在服务器侧接收的用户信息1412可以指示视口的改变。流传输控制器1405可以相应地确定流1411中的图像的每个部分的期望编码质量。然后，流传输控制器1405可以从存储器1403中所存储的比特流获取(例如选择)各个图像帧中的各部分的具有期望编码质量的经编码的数据，并且将这些所获取的信息合并到要发送给UE1402的比特流1411中。
根据各实施例，为了消除编码器1408和解码器1406二者中在执行流切换1420之前的图像帧和在执行比特流切换1420之后的图像帧之间的不期望的编码依赖性(例如，帧间编码依赖性)，可以在预定或动态确定的各个切换点执行比特流切换1420。在各实施例中，这些切换点可以是在各种编解码器标准中定义的随机访问点，因为随机访问点图片的编码和解码一般不依赖于另一图像帧。例如，随机访问点图片可以是即时解码刷新(IDR)图片、纯随机访问(CRA)图片、序列头、序列头+1帧等。
根据各实施例，使用以上方案，流传输控制器1405可以将针对图像帧的不同部分的经编码的数据合并到比特流1411中。可以为经编码的数据配置不同的编码质量(即，比特流1411中的图像帧中的不同部分可以具有不同等级的编码质量)。与依赖于发送多个比特流的方法不同，以上方案避免了多通道同步。例如，用于发送视频流的系统层可以不需要执行同步操作，例如，使用诸如HTTP上的动态自适应流传输(DASH)、HTTP实时流传输(HLS)、MPEG传输流(TS)的各种系统协议。另外，每个部分在经编码的图像帧中的位置信息可以根据每个部分在图像帧中的相对位置进行封装。因此，以上方案可以避免在UE 1402处组合来自多个通道的经编码的数据的步骤。
根据各实施例，可以在随机访问点处执行比特流切换1420。例如，系统可以选择随机访问点之前的具有先验编码质量的经编码的数据，并且选择随机访问点之后的具有后验编码质量的经编码的数据。然后，系统可以将所选择的经编码的数据(包括随机访问点之前具有先验编码质量的经编码的数据和随机访问点之后具有后验编码质量的经编码的数据)合并到要被发送到用户设备(UE)1402的比特流1411中。
根据各实施例，随机访问点可用于插入即时解码刷新(IDR)图片。在各实施例中，可以基于帧内预测对IDR图片进行编码。因此，用于IDR图片的编码数据量可以比用于使用帧间预测编码的图像帧(例如，在所插入的IDR图片之前或之后的图像帧)的编码数据量大得多。此外，示例性的比特流切换方法可能需要图像帧中的所有区域或所有部分，它们可以根据视角进行划分，以同时执行比特流切换(即，随着视点改变，所有区域或所有部分可能同时依赖帧内预测进行编码)。因此，执行比特流切换所需的比特流数据量可能比紧接在切换之前的比特流数据量大得多。由于需要将大量的流数据发送到显示器，例如，经由稳定(或恒定)的通道发送，这可能导致显示IDR图片的显著延迟。因此，在观看者改变视点之后，系统可能花费大量时间将正确的比特流切换到每个相应的视点，这可能对观看体验造成负面影响。
此外，在观看者改变视点之后，可以在视频1410中的下一个IDR图片到达时执行比特流切换1420。在服务器侧，可以周期性地插入IDR帧(例如，以预先配置或动态确定的时间间隔)以适应可能在任何时间发生的视点改变。这样的时间间隔可以对整体系统性能和用户观看体验产生重大影响。如果IDR图像插入之间的时间间隔短，则可能频繁地执行比特流切换。因此，经压缩的视频码流可能具有相对大的大小。如果IDR图像插入之间的时间间隔长，则可以减少经压缩的视频码流的数据量，但是当用户改变视点时，它可能导致显著的延迟，直到可以切换相应的IDR图像码流为止，这可能对用户体验产生负面影响。
根据各实施例，可以采用分布式IDR图片传输技术来减少延迟，该延迟是由于执行比特流切换所要发送的IDR图像的数据量增加而引起的。如图14所示，在服务器侧，系统可以采用各种编码策略1409来支持分布式IDR图像传输技术。例如，编码器1408可以被配置为在不同时间点(或帧)处对IDR图片的不同区域或部分进行编码，从而可以减少发送的最大数据量。因此，系统可以减少各个传输瓶颈点处的显著的延迟。另外，可以根据不同区域的重要性来配置IDR图片插入周期(或时期)，以进一步减少为某些视点的相应区域生成的数据量。此外，IDR图片插入周期可以被配置为引导用户的注意力(即视点)，以便准确地根据视频制作者的意图来传达内容。
图15示出了根据本发明各实施例的在基于瓦片的视频流传输中支持分布式IDR图片传输。如图15所示，视频流中的各个图像帧1520可以被划分为多个部分，例如区域。例如，每个区域可以包括符合各种视频编解码器标准的一个或多个瓦片。在各实施例中，图像帧1520中的每个区域可以与具有不同编码质量的多个比特流相对应。
根据各实施例，所存储的比特流1510可以包括与不同区域相对应的各比特流组。如图15所示，图像帧1520中的不同区域可以与不同的比特流组相关联。例如，图像帧1520中的瓦片1可以与比特流组1512相关联；图像帧1520中的瓦片2可以与比特流组1511相关联；以及图像帧1520中的瓦片5可以与比特流组1513相关联。比特流组，例如比特流组1511-1513中的每个比特流组可以包括具有不同编码质量的各比特流，编码质量例如是高(C)、中等(B)和低(A)。另外，比特流组，例如比特流组1511-1513中的每个比特流组可以包括IDR图片，IDR图片周期性地插入在各个随机访问点处。
根据各实施例，系统可以为不同区域配置不同的IDR图片插入周期。与区域相关联的IDR图片插入周期可以被配置为，以特定间隔插入相应的IDR图片部分，该特定间隔可以是预定或动态确定的。例如，可以使用第一间隔1521来配置与瓦片2相对应的比特流组1511；可以使用第二间隔1522来配置与瓦片1相对应的比特流组1512；以及可以使用第三间隔1523来配置与瓦片5相对应的比特流组1513。另外，在图像帧1520中可能存在与各个其他区域相对应的更多的比特流组。
根据各实施例，可以将用于不同区域的相应IDR图片部分配置为在不同的时间点(或帧)处插入。如图15所示，可以不同地配置(例如，彼此具有偏移)用于不同区域的IDR图片插入周期1521-1523，使得在任意给定时刻都可以对不超过一个区域执行IDR图片插入。换言之，当执行针对区域的比特流切换操作时，系统可以确保在任意给定时刻，可以仅在比特流中发送IDR图片中与特定区域相对应的部分，并且与其他区域相对应的流中的经编码的数据是非IDR图像(即，使用帧间预测编码的图像)的部分。因此，系统可以大大减少瓶颈点处的传输数据量。
图16示出了根据本发明各实施例的在基于片的视频流传输中支持分布式IDR图片传输。如图16所示，视频流中的各个图像帧1620可以被划分为多个部分，例如区域。例如，每个区域可以包括符合各种视频编解码器标准的一个或多个片。在各实施例中，图像帧1620中的每个区域可以与具有不同编码质量的多个比特流相对应。
根据各实施例，所存储的比特流1610可以包括与不同区域相对应的各比特流组。如图16所示，图像帧1620中的不同区域可以与不同的比特流组相关联。例如，图像帧1620中的片1可以与比特流组1611相关联；图像帧1620中的片2可以与比特流组1612相关联；以及图像帧1620中的片3可以与比特流组1613相关联。比特流组，例如比特流组1611-1613中的每个比特流组可以包括具有不同编码质量的比特流，编码质量例如是高(C)、中等(B)和低(A)。另外，比特流组，例如比特流组1611-1613中的每个比特流组可以包括(或插入有)IDR图片，IDR图片周期性地出现在各个随机访问点处。
根据各实施例，系统可以针对不同区域配置不同的IDR图片插入周期。与特定区域相关联的每个IDR图片插入周期可以配置有用于插入IDR图片的相应部分的间隔。如图16所示，可以使用第一间隔1621来配置与片1相对应的比特流组1611；可以使用第二间隔1622来配置与片2相对应的比特流组1612；以及可以使用第三间隔1623来配置与片3相对应的比特流组1613。另外，图像帧1620中可能存在与各个其他区域(未示出)相对应的更多的比特流组。
根据各实施例，不同区域的IDR图片的相应部分的插入可以被配置为在不同的时间点(或帧)处发生。如图16所示，用于不同区域的IDR图片插入周期1621-1623彼此偏移，从而可以在任意给定时刻在有限数量的区域(例如，不超过一个区域)上执行IDR图片插入。换言之，当执行针对区域的比特流切换操作时，系统可以确保在任意给定时刻，仅在比特流中发送与IDR图片中与特定区域相对应的部分，并且与其他区域相对应的流中的经编码的数据是非IDR图像(即，使用帧间预测编码的图像)的部分。因此，系统可以大大减少瓶颈点处的传输数据量。
根据各实施例，可以采用渐进式比特流切换技术。例如，可以将渐进式比特流切换技术与分布式IDR图片传输技术一起使用。系统可以针对不同区域不同地配置IDR图片插入周期，以便在不同区域之间实现最佳带宽分配。在一个示例中，可以为不同区域分配不同的重要性等级，这些重要性等级可以用作设置不同区域的IDR图片插入周期的参考。在另一个示例中，渐进式比特流切换技术可以根据视频制作者的意图来设置重要性等级，以便根据视频制作者的意图来引导观看者的注意力。
根据各实施例，可以针对图像中的不同区域不同地配置IDR图片插入周期，以便控制在解码过程中刷新图像数据的周期，这继而影响了针对每个区域所需要传输的经编码的比特流数据量。因此，IDR图片插入周期越短，使用帧内预测编码的图像越多，编码过程因而可能生成大量的码流数据。根据各实施例，可以根据用于插入IDR图片的周期来控制针对不同区域的带宽的分配。例如，优选地允许较重要的区域比较不重要的区域消耗更多的带宽。因此，可以为重要区域设置较短的IDR图像插入周期，以便当用户将视点从较不重要的区域改变到更重要的区域时，可以将重要区域快速切换到具有高编码质量的图像。
根据各实施例，即使在发生比特流切换发生时，渐进式码流切换技术也可以确保平滑的数据流传输。可以以渐进方式切换不同区域的比特流，这可以确保在任意给定时间对传输带宽的影响都得到控制。
图17示出了根据本发明各实施例的基于与不同瓦片相关联的重要性等级来配置IDR图片插入周期。如图17(a)至图17(b)所示，可以将图像帧划分为多个部分(例如，瓦片1-9)。可以为不同的部分配置或分配不同的重要性等级。
在图17(a)所示的示例中，可以将全景或广角视图中的前部或中心区域(例如，瓦片5)配置为具有高重要性等级。另一方面，可以将后部或周边区域(例如，瓦片1、3、7和9)配置为具有低重要性等级。另外，可以将其他区域(例如，瓦片3、4、6和8)配置为具有中等重要性等级。相应地，可以基于重要性等级为瓦片1-9中的每一个配置IDR图片插入周期。例如，瓦片5可以被配置为具有最短的IDR图片插入周期；瓦片1、3、7和9可以被配置为具有最长的IDR图片插入周期；以及瓦片3、4、6和8可以被配置为具有中等的IDR图片插入周期。
在图17(b)所示的示例中，视频制作者可能希望将观看者的注意力吸引到视频的上半部分。因此，瓦片2可以被配置为具有高重要性等级。此外，周围区域(例如，瓦片1、3、4、5和6)可以被配置为具有中等重要性等级。另外，底部部分(例如，瓦片7、8和9)可以被配置为具有低重要性等级。相应地，可以基于重要性等级为瓦片1-9中的每一个配置IDR图像插入周期。例如，瓦片2可以被配置为具有最短的IDR图片插入周期瓦片1、3、4、5和6可以被配置为具有最长的IDR图片插入周期；以及瓦片7、8和9可以被配置为具有中等的IDR图片插入周期。
图18至图19示出了基于如图17(a)所示的示例性配置在服务器侧执行比特流切换。例如，瓦片5可以被配置为具有最短的IDR图片插入周期；瓦片1、3、7和9可以被配置为具有最长的IDR图片插入周期；以及瓦片2、4、6和8可以被配置为具有中等的IDR图片插入周期。
根据各实施例，所存储的比特流1810可以包括与不同的瓦片相对应的各比特流组。图像帧1820中的不同瓦片可以与不同的比特流组相关联。例如，图像帧1820中的瓦片1可以与比特流组1812相关联；图像帧1820中的瓦片2可以与比特流组1811相关联；以及图像帧1820中的瓦片5可以与比特流组1813相关联。比特流组，例如比特流组1811-1813中的每个比特流组可以包括具有不同编码质量的比特流，编码质量例如是高(C)、中等(B)和低(A)。另外，比特流组，例如比特流组1811-1813中的每个比特流组可以包括(或插入有)IDR图片，IDR图片周期性地出现在各个随机访问点处。
如图18所示，视口最初可以位于瓦片2处(例如，当用户将注意力集中在视图的顶部时)。因此，可以(例如，从存储器中)选择具有高编码质量的经编码的数据以在瓦片2处进行显示。另外，可以为瓦片1、3和5选择具有中等编码质量的经编码的数据；以及可以为瓦片4、6、7、8和9选择具有中等编码质量的经编码的数据。
然后，如图19所示，事件可能在时刻T(M)发生，该事件触发比特流切换。例如，当视点从瓦片2移动到瓦片5时，例如，当观看者将视口从视图的顶部移动到视图的前部时，系统可以相应地更新每个瓦片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的瓦片分别执行比特流切换。在各实施例中，可以按照IDR图片中用于每个相应瓦片的的对应部分到达的顺序，对每个瓦片执行比特流切换。在图19所示的示例中，用于瓦片5的IDR图片部分首先到达，则系统可以在其他瓦片之前对瓦片5执行比特流切换1911。按照IDR图片部分到达的顺序，系统可以对其他区域渐进式地执行比特流切换。例如，用于瓦片2的IDR图片部分在用于瓦片1的IDR图片部分之前到达。然后，可以在用于瓦片1的比特流切换1912之前但是在用于瓦片5的比特流切换1911之后，执行用于瓦片2的比特流切换1913。作为比特流切换的结果，可以为瓦片5选择具有高编码质量的经编码的数据；可以为区域2、4、6和8选择具有中等编码质量的经编码的数据；以及可以为区域1、3、7和9选择具有中等编码质量的经编码的数据，其优化了观看体验。
图20至图21示出了基于图17(b)所示的示例性配置在服务器侧执行比特流切换。例如，瓦片2可以被配置为具有最短的IDR图片插入周期瓦片1、3、4、5和6可以被配置为具有中等IDR图片插入周期；以及瓦片7、8和9可以被配置为具有最长的IDR图片插入周期。
根据各实施例，所存储的比特流2010可以包括与不同的瓦片相对应的各比特流组。图像帧2020中的不同瓦片可以与不同的比特流组相关联。例如，图像帧2020中的瓦片1可以与比特流组2012相关联；图像帧2020中的瓦片2可以与比特流组2011相关联；以及图像帧2020中的瓦片5可以与比特流组2013相关联。比特流组，例如比特流组2011-2013中的每个比特流组可以包括具有不同编码质量的比特流，编码质量例如是高(C)、中等(B)和低(A)。另外，比特流组，例如比特流组2011-2013中的每个比特流组可以包括(或插入有)IDR图片，IDR图片周期性地出现在各个随机访问点处。
如图20所示，视口最初可以位于瓦片5处(例如，当用户将注意力集中在视图的前部时)，则可以(例如，从存储器中)选择具有高编码质量的经编码的数据，以在瓦片5处进行显示。另外，可以为瓦片2、4、6和8选择具有中等编码质量的经编码的数据；以及可以为瓦片1、3、7和9选择具有低编码质量的经编码的数据。
如图21所示，事件可能在时刻T(M)处发生，该事件触发比特流切换。例如，当视点从瓦片5移动到瓦片2时，例如，当观看者按照视频制作者的意图将视口从视图的前部移动到视图的顶部时，系统可以相应地更新每个瓦片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的瓦片分别执行比特流切换。如图21所示，可以按照IDR图片中针对每个瓦片的各个部分到达的顺序，对每个瓦片执行比特流切换。在图21所示的示例中，瓦片2的IDR图片部分首先到达，则系统可以在其他瓦片之前对瓦片2执行比特流切换2111。按照IDR图片部分到达的顺序，系统可以对其他区域渐进式地执行比特流切换。例如，用于瓦片5的IDR图片部分在用于瓦片2的IDR图片部分之后到达。然后，可以在用于瓦片2的比特流切换2111之后执行用于瓦片5的比特流切换2112。另外，由于瓦片7中的编码质量没有改变，因此不需要对瓦片7执行比特流切换。作为比特流切换的结果，可以为瓦片2选择具有高编码质量的经编码的数据；可以为瓦片1、3、4、5和6选择具有中等编码质量的经编码的数据；以及可以为瓦片7、8和9选择具有中等编码质量的经编码的数据，其优化了观看体验。
如以上示例所示，使用渐进式比特流切换技术以及分布式IDR图像传输技术，系统可以减少用于执行比特流切换的最大带宽，同时允许快速刷新高重要性的区域而没有显著的延迟，从而改善观看体验。
图22示出了根据本发明各实施例的基于与不同片相关联的重要性等级来配置IDR图片插入周期。如图22所示，图像帧可以被划分为多个部分，例如，片1-3。可以为不同的部分分配不同的重要性等级。
在图22(a)所示的示例中，可以将全景或广角视图(例如，片2)中的中心区域配置为具有较高的重要性等级。另一方面，顶部和底部区域(例如，片1和3)可以被配置为具有较低的重要性等级。相应地，可以基于重要性等级为片1-3中的每一个配置IDR图片插入周期。例如，片可以被配置为具有最短的IDR图片插入周期；以及片1和3可以被配置为具有较长的IDR图片插入周期。
在图22(b)所示的示例中，视频制作者可能希望将观看者的注意力吸引到视频的上半部分。因此，片1可以被配置为具有较高的重要性等级。另一方面，其余区域(例如，片2和3)可以被配置为具有较低的重要性等级。相应地，可以基于重要性等级为片1-3配置IDR图像插入周期。例如，片可以被配置为具有最短的IDR图片插入周期；以及片2和3可以被配置为具有较长的IDR图片插入周期。
图23至图24示出了基于如图22(a)所示的示例性配置在服务器侧执行比特流切换。例如，片2可以被配置为具有最短的IDR图片插入周期；以及片1和3可以被配置为具有较长的IDR图片插入周期。
根据各实施例，所存储的比特流2310可以包括与不同的瓦片相对应的各比特流组。图像帧2320中的不同片可以与不同的比特流组相关联。例如，图像帧2320中的片1可以与比特流组2312相关联；图像帧2320中的片2可以与比特流组2311相关联；以及图像帧2320中的片3可以与比特流组2313相关联。比特流组，例如比特流组2311-2313中的每个比特流组可以包括具有不同编码质量的比特流，编码质量例如是高(C)、中等(B)和低(A)。另外，比特流组，例如比特流组2311-2313中的每个比特流组可以包括(或插入有)IDR图片，IDR图片周期性地出现在各个随机访问点处。
如图23所示，视口最初可以位于片1处(例如，当用户将注意力集中在视图的顶部上时)。因此，可以(例如，从存储器中)选择具有高编码质量的经编码的数据以在片1处进行显示。此外，可以为片2和3选择具有较低编码质量的经编码的数据。
如图24所示，事件可能在时刻T(M)处发生，该事件触发比特流切换。例如，当视点从片1移动到片2时，例如，当观看者将视口从视图的顶部移动到视图的中部时，系统可以相应地更新每个片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的片分别执行比特流切换。如图24所示，可以按照IDR图片中针对片的各个部分到达的顺序，对每个片执行比特流切换。如图24所示，可以按照IDR图片中针对片的各个部分到达的顺序，对每个片执行比特流切换。例如，片2的IDR图片部分首先到达，则系统可以在其他片之前对片2执行比特流切换2412。然后，按照其他IDR图片部分的到达顺序，系统可以针对其他区域渐进式地执行比特流切换。例如，片1的IDR图片部分在片3的IDR图片部分之前到达。然后，可以在用于片3的比特流切换2411之前但是在用于片2的比特流切换2412之后，执行片1的比特流切换2413。因此，作为比特流切换的结果，可以为片2选择具有高编码质量的经编码的数据；以及可以为片1和3选择具有较低编码质量的经编码的数据，其优化了观看体验。
图25至图26示出了基于如图22(b)所示的示例性配置在服务器侧执行比特流切换。例如，片1可以被配置为具有最短的IDR图片插入周期；以及片2和3可以配置为具有较长的IDR图片插入周期。
根据各实施例，所存储的比特流2510可以包括与不同的瓦片相对应的各比特流组。图像帧2520中的不同片可以与不同的比特流组相关联。例如，图像帧2520中的片1可以与比特流组2512相关联；图像帧2520中的片2可以与比特流组2511相关联；以及图像帧2520中的片3可以与比特流组2513相关联。比特流组，例如比特流组2511-2513中的每个比特流组可以包括具有不同编码质量的比特流，编码质量例如是高(C)、中等(B)和低(A)。另外，比特流组，例如比特流组2511-2513中的每个比特流组可以包括(或插入有)IDR图片，IDR图片周期性地出现在各个随机访问点处。
如图25所示，视口最初可以位于片2处(例如，当用户将注意力集中在视图的前部时)。因此，可以(例如，从存储器中)选择具有高编码质量的经编码的数据以在片2处进行显示。此外，可以为片1和3选择具有较低编码质量的经编码的数据。
然后，如图26所示，事件可能在时刻T(M)处发生，该事件触发比特流切换。例如，当视点从片2移动到片1时，例如，当观看者按照视频制作者的意图将视口从视图的前部移动到视图的顶部时，系统可以相应地更新每个片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的片分别执行比特流切换。如图26所示，可以按照IDR图片的各个部分到达的顺序对各个片执行比特流切换。在图26所示的示例中，片1的IDR图片部分首先到达，则系统可以在其他瓦片之前执行片1的比特流切换2611。按照IDR图片部分到达的顺序，系统可以对其他区域渐进式地执行比特流切换。例如，片2的IDR图片部分在片1的IDR图片部分之后到达。然后，可以在用于片1的比特流切换2111之后执行用于片2的比特流切换2112。另外，由于片3中的编码质量没有改变，因此无需对片7执行比特流切换。作为比特流切换的结果，可以为片1选择具有高编码质量的经编码的数据；以及可以为片2和片3选择具有较低编码质量的经编码的数据，其优化了观看体验。
如以上示例所示，使用渐进式比特流切换技术以及分布式IDR图像传输技术，系统可以减少用于执行比特流切换的最大带宽，同时允许快速刷新高重要性的区域而没有显著的延迟，从而改善观看体验。
图27示出了根据本发明各实施例的在视频流传输中支持视比特流切换的流程图。如图27所示，在步骤2701处，系统可以使用将图像帧序列中的每个图像帧划分为多个部分的方案，其中多个部分至少包括第一部分和第二部分。在步骤2702处，系统可以为第一部分获取不同编码质量的第一组经编码的数据，并且可以为第二部分获取不同编码质量的第二组经编码的数据。在步骤2703处，系统可以确定与第一部分的编码质量的改变相对应的第一切换点，并且确定与第二部分的编码质量的改变相对应的第二切换点。在步骤2704处，系统可以从第一组经编码的数据中选择在第一切换点之前的具有第一先验编码质量的经编码的数据和在第一切换点之后的具有第一后验编码质量的经编码的数据。在步骤2705处，系统可以从第二组经编码的数据中选择在第二切换点之前的具有第二先验编码质量的经编码的数据和在第二切换点之后的具有第二后验编码质量的经编码的数据。在步骤2705处，系统可以将所选择的经编码的数据合并到比特流中。
图28至图29示出了基于如图17(a)所示的示例性配置在终端侧执行比特流切换。例如，瓦片5可以被配置为具有最短的IDR图片插入周期；瓦片1、3、7和9可以被配置为具有最长的IDR图片插入周期；以及2、4、6和8可以被配置为具有中等的IDR图片插入周期。
如图28所示，视口最初可以位于瓦片2处(例如，当用户将注意力集中在视图的顶部时)。因此，可以(例如，从流传输服务器)接收具有高编码质量的二进制数据，以用于在瓦片2处进行显示。另外，可以接收瓦片1、3和5的具有中等编码质量的二进制数据；以及可以接收瓦片4、6、7、8和9的具有中等编码质量的二进制数据。
如图29所示，事件可能在时刻T(M)处发生，该事件触发比特流切换。例如，当视点从瓦片2移动到瓦片5时(例如，当观看者将视口从视图的顶部移动到视图的前部时)，系统可以相应地更新每个瓦片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的瓦片分别执行比特流切换。在各实施例中，可以按照IDR图片中针对每个瓦片的各个部分到达的顺序，对瓦片执行比特流切换。在图29所示的示例中，瓦片5的IDR图片部分首先到达，则系统可以在其他瓦片之前对瓦片5执行比特流切换2911。然后，按照IDR图片部分到达的顺序，系统可以对其他区域渐进式地执行比特流切换。例如，用于瓦片2的IDR图片部分在用于瓦片1的IDR图片部分之前到达。然后，可以在用于瓦片1的比特流切换2912之前但是在用于瓦片5的比特流切换2911之后，执行用于瓦片2的比特流切换2913。因此，作为比特流的切换和解码的结果，可以为瓦片5显示具有高编码质量的图像数据；可以为瓦片2、4、6和8显示具有中等编码质量的图像数据；以及可以为瓦片1、3、7和9选择具有低编码质量的图像数据，其优化了观看体验。
图30至图31示出了基于如图17(b)所示的示例性配置在终端侧执行比特流切换。例如，瓦片2可以被配置为具有最短的IDR图片插入周期；瓦片1、3、4、5和6可以被配置为具有中等IDR图片插入周期；以及瓦片7、8和9可以被配置为具有最长的IDR图片插入周期。
如图30所示，视口最初可以位于瓦片5处(例如，当用户将注意力集中在视图的前部时)，那么可以(例如从流传输服务器)接收具有高编码质量的二进制数据，以用于在瓦片5处进行显示。另外，可以为瓦片2、4、6和8接收具有中等编码质量的二进制数据；以及可以为瓦片1、3、7和9接收具有低编码质量的二进制数据。
如图31所示，事件可能在时刻T(M)处发生，该事件触发比特流切换。例如，当视点从瓦片5移动到瓦片2时，例如，当观看者按照视频制作者的意图将视口从视图的前部移动到视图的顶部时，系统可以相应地更新每个瓦片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的瓦片分别执行比特流切换。在各实施例中，可以按照IDR图片中针对每个瓦片的各个部分到达的顺序，对每个瓦片执行比特流切换。在图31所示的示例中，瓦片2的IDR图片部分首先到达，则系统可以在其他瓦片之前对瓦片2执行比特流切换3111。按照各个IDR图片部分的到达顺序，系统可以对其他区域渐进式地执行比特流切换。例如，用于瓦片5的IDR图片部分在用于瓦片2的IDR图片部分之后到达。然后，可以在用于瓦片2的比特流切换3111之后执行用于瓦片5的比特流切换3112。另外，因为瓦片7中的编码质量没有改变，所以不需要为瓦片7执行比特流切换。作为比特流切换的结果，可以为瓦片5显示具有高编码质量的图像数据；可以为瓦片1、3、4、5和6显示具有中等编码质量的图像数据；以及可以为瓦片7、瓦片8和瓦片9显示具有中等编码质量的图像数据，其优化了观看体验。
如以上示例所示，使用渐进式比特流切换技术以及分布式IDR图像传输技术，系统可以减少用于执行比特流切换的最大带宽，同时允许快速刷新高重要性的区域而没有显著的延迟，从而改善观看体验。
图32至图33示出了基于如图22(a)所示的示例性配置在终端侧执行比特流切换。例如，片2可以被配置为具有最短的IDR图片插入周期，而片1和3可以被配置为具有较长的IDR图片插入周期。
如图32所示，视口最初可以位于片1处(例如，当用户将注意力集中在视图的顶部上时)。因此，可以(例如，从流传输服务器)接收具有高编码质量的图像数据以在片1处进行显示。另外，可以为片2和3接收具有较低编码质量的图像数据。
如图33所示，事件可能在时刻T(M)处发生，该事件触发比特流切换。例如，当视点从片1移动到片2时，例如，当观看者将视口从视图的顶部移动到视图的中部时，系统可以相应地更新每个片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的片分别执行比特流切换。如图33所示，可以按照IDR图片的各个部分到达的顺序对各个片执行比特流切换。在图33所示的示例中，片2的IDR图片部分首先到达，则系统可以在其他片之前对片2执行比特流切换3412。然后，按照其他IDR图片部分的到达顺序，系统可以对其他区域渐进式地执行比特流切换。例如，片1的IDR图片部分在片3的IDR图片部分之前到达。然后，可以在用于片3的比特流切换3411之前但是在用于片2的比特流切换2412之后，执行片1的比特流切换3413。因此，作为比特流切换的结果，可以为片2显示具有高编码质量的图像数据；以及可以为片1和3显示具有中等编码质量的图像数据，其优化了观看体验。
图34至图35示出了基于如图22(b)所示的示例性配置在终端侧执行比特流切换。例如，片1可以被配置为具有最短的IDR图片插入周期；以及片2和3可以被配置为具有较长的IDR图片插入周期。
如图34所示，视口最初可以位于片2处(例如，当用户将注意力集中在视图的前部时)，则可以(例如，从流传输服务器)接收具有高编码质量的二进制数据，以用于在片2处进行显示。此外，可以为片1和3接收具有较低编码质量的二进制数据。
如图35所示，事件可能在时刻T(M)处发生，该事件触发比特流切换。例如，当视点从片2移动到片1时(例如，当观看者按照视频制作者的意图将视口从视图的前部移动到视图的顶部时)，系统可以相应地更新每个片的编码质量。
使用分布式IDR图像传输技术，可以针对不同的片分别执行比特流切换。如图35所示，可以按照IDR图片中针对每个片的各个部分到达的顺序对每个瓦片执行比特流切换。在图35所示的示例中，片1的IDR图片部分首先到达，系统可以在其他瓦片之前对片1执行比特流切换3511。按照IDR图片部分到达的顺序，系统可以对其他区域渐进式地执行比特流切换。例如，片2的IDR图片部分在片1的IDR图片部分之后到达。然后，可以在片1的比特流切换3511之后但在片3的比特流切换3513之前，执行片2的比特流切换3512。作为比特流切换的结果，可以为片1显示具有高编码质量的图像数据；以及可以为片2和3显示具有低编码质量的图像数据，其优化了观看体验。具体地，由于视口远离片3，因此片3可以从中等编码质量切换到低编码质量。
如以上示例所示，使用渐进式比特流切换技术以及分布式IDR图像传输技术，系统可以减少用于执行比特流切换的最大带宽，同时允许快速刷新高重要性的区域而没有显著的延迟，从而改善观看体验。
图36示出了根据本发明各实施例的用于支持视频流式处理的流程图。如图36所示，在步骤3601处，系统可以接收比特流，该比特流包括用于重构图像帧序列的二进制数据，其中基于划分方案将图像帧序列中的每个图像帧划分为多个部分，其中多个部分至少包括第一部分和第二部分。在步骤3602处，系统可以根据二进制数据生成第一重构图像帧，其中第一重构图像帧包括第一部分的第一重构图像数据和第二部分的第一重构图像数据。当第一重构图像帧在与第一部分的编码质量的改变相对应的第一切换点之前时，可以以第一先验编码质量来重构第一部分的第一重构图像数据，并且当第二重构图像帧在与第二部分的编码质量的改变相对应的第二切换点之前时，可以以第二先验编码质量来重构第二部分的第一重构图像数据。在步骤3602处，系统可以根据二进制数据生成第二重构图像数据，其中第二重构图像帧包括第一部分的第二重构图像数据和第二部分的第二重构图像数据。当第一重构图像帧在第一切换点之后时，以第一后验编码质量来重构第一部分的第二重构图像数据，并且当第二重构图像帧在第二切换点之后时，以第二后验编码质量来重构第一部分的第二重构图像数据。
图37示出了根据本发明各实施例的可移动物平台环境。如图37中所示，可移动平台环境3700中的可移动平台3718(也被称作可移动物体)可以包括载具3702和搭载物3704。尽管可移动平台3718可以被描述为飞行器，但是该描述并非意在限制，并且可以使用任何合适类型的可移动平台。本领域技术人员将了解，本文中在飞行器系统的背景下描述的任何实施例可以应用于任何合适的可移动物平台(例如，UAV)。在一些实例中，搭载物3704可以设置在可移动物平台3718上，而不需要载具3702。根据本发明的各实施例，可以在可移动平台3718(例如，UAV)的操作中实现各实施例或特征或者各实施例或特征可以对可移动平台3718的操作有益
在一些实施例中，可移动平台3718可以包括一个或多个移动机构3706(例如，推进机构)、感测系统3708和通信系统3710。移动机构3706可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体、喷嘴、或可以由动物或人类用于产生移动的任意机构中的一个或多个。例如，可移动平台可以具有一个或多个推进机构。移动机构3706可以都是相同类型的。备选地，移动机构3706可以是不同类型的移动机构。移动机构3706可以使用诸如支撑元件(例如，驱动轴)之类的任何合适的方法安装在可移动平台3718上(反之亦然)。移动机构3706可以安装在可移动平台3718的任何合适的部分上，例如顶部、底部、前部、后部、侧面或其合适的组合。
在一些实施例中，移动机构3706可以使可移动平台3718能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动平台3718的任何水平移动(例如，无需沿着跑道行进)。可选地，移动机构3706可以可操作地允许可移动平台3718以特定位置和/或朝向悬停在空中。移动机构3706中的一个或多个可以独立于其他移动机构受到控制。备选地，移动机构3706可以被配置为同时受到控制。例如，可移动平台3718可以具有多个水平朝向的旋翼，其可以向可移动平台提供升力和/或推力。可以致动多个水平朝向的旋翼以向可移动平台3718提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可以沿顺时针方向旋转，而水平旋翼中的一个或多个可以沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动平台3718(例如，相对于多达三个平移度和多达三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
感测系统3708可以包括可以感测可移动平台3718(例如，相对于各个平移度和各个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括GPS传感器、运动传感器、惯性传感器、接近传感器或图像传感器中的任一个。感测系统3708提供的感测数据可用于(例如，使用合适的处理单元和/或控制模块)控制可移动平台3718的空间布置、速度和/或朝向。备选地，感测系统108可以用于提供与可移动平台周围的环境有关的数据，例如，天气条件、到可能障碍物的接近度、地理特征的位置、人造结构的位置等。
通信系统3710能够经由无线信号3716与具有通信系统3714的终端3712进行通信。通信系统3710、通信系统3714可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。通信可以是单向通信，使得数据只能在沿方向发送。例如，单向通信可以仅涉及可移动平台3718向终端3712发送数据，或者反之亦然。可以从通信系统3710的一个或多个发射机向通信系统3712的一个或多个接收机发送数据，或者反之亦然。备选地，通信可以是双向通信，使得可以在可移动平台3718和终端3712之间的两个方向上发送数据。双向通信可以涉及从通信系统3710的一个或多个发射机向通信系统3714的一个或多个接收机发送数据，并且反之亦然。
在一些实施例中，终端3712可以向可移动平台3718、载具3702和搭载物3704中的一个或多个提供控制数据，并且从可移动平台3718、载具3702和搭载物3704中的一个或多个接收信息(例如，可移动平台、载具或搭载物的位置和/或运动信息；由搭载物感测的数据，例如由搭载物相机捕获的图像数据；以及由搭载物相机捕获的图像数据生成的数据)。在一些实例中，来自终端的控制数据可以包括用于可移动平台、载具和/或搭载物的相对位置、移动、致动或控制的指令。例如，控制数据(例如，经由移动机构3706的控制)可以导致可移动平台的位置和/或朝向的修改、或(例如，经由载具3702的控制)导致搭载物相对于可移动平台的移动。来自终端的控制数据可以导致对搭载物的控制，例如对相机或其他图像捕获设备的操作的控制(例如，拍摄静止或移动图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。
在一些实例中，来自可移动平台、载具和/或搭载物的通信可以包括来自(例如，感测系统3708或搭载物3704的)一个或多个传感器的信息和/或基于感测信息生成的数据的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、接近传感器或图像传感器)的感测信息。这样的信息可以涉及可移动平台、载具和/或搭载物的定位(例如，位置、朝向)、移动或加速度。来自搭载物的这种信息可以包括由搭载物捕获的数据或搭载物的感测状态。由终端3712发送的控制数据可以被配置为控制可移动平台3718、载具3702或搭载物3704中的一个或多个的状态。备选地或组合地，载具3702和搭载物3704也可以各自包括被配置为与终端3712进行通信的通信模块，使得该终端可以独立地与可移动平台3718、载具3702和搭载物3704中的每一个进行通信并对其进行控制。
在一些实施例中，可移动平台3718可以被配置为与除了终端3712之外的或者替代终端3712的另一远程装置通信。终端3712还可以被配置为与另一远程装置以及可移动平台3718进行通信。例如，可移动平台3718和/或终端3712可以与另一可移动平台或另一可移动平台的载具或搭载物通信。当需要时，远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动装置)。远程装置可以被配置为向可移动平台3718发送数据、从可移动平台3718接收数据、向终端3712发送数据、和/或从终端3712接收数据。可选地，远程装置可以被连接至互联网或其他电信网络，使得从可移动平台3718和/或终端3712接收的数据可以被上传到网站或服务器。
本发明的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，可以使用处理系统(例如，包括一个或多个处理器)来实现本发明的特征。示例性处理器包括但不限于：一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
本发明的特征可以以计算机程序产品的形式、或者使用计算机程序产品、或者借助于计算机程序产品执行，计算机程序产品例如是具有存储在其上/内的指令的存储介质(媒介)或计算机可读介质(媒介)，这些指令可用于对处理系统进行编程以执行本文陈述的任何特征。存储介质可以包括但不限于：任何类型的盘，包括：软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC)或者适于存储指令和/或数据的任何类型的介质或设备。
存储在任何一个机器可读介质(媒介)上的本发明的特征可以并入软件和/或固件中，用来对处理系统的硬件进行控制，并且用来使处理系统能够利用本发明的结果与其他机构进行交互。这样的软件或固件可以包括但不限于应用代码、装置驱动程序、操作系统和执行环境/容器。
本发明的特征还可以使用例如诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)设备的硬件组件以硬件实现。实现硬件状态机以执行在此描述的功能对于相关领域的技术人员将是显而易见的。
此外，可以使用包括一个或多个处理器、存储器和/或根据本公开的教导编程的计算机可读存储介质在内的一个或多个常规通用或专用数字计算机、计算设备、机器或微处理器，来方便地实现本公开的实施例。编程技术人员可以根据本公开的教导容易地准备适当的软件编码，这对软件领域的技术人员将是显而易见的。
尽管上面已经描述了本发明的各实施例，但是应当理解，它们仅仅是作为示例而不是限制来提出的。本领域普通技术人员应该清楚的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
以上已经在功能构建块的辅助下描述了本发明，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义备选边界。因此任何这样的替代边界都在本发明的范围和精神之内。
已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是明显的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物限定。

Claims (40)

1.一种用于视频流传输的方法，包括：
使用将图像帧序列中的每个图像帧划分为多个部分的方案，其中所述多个部分至少包括第一部分和第二部分；
为所述第一部分获取不同编码质量的第一组经编码的数据，并且为所述第二部分获取不同编码质量的第二组经编码的数据；
确定与所述第一部分的编码质量的改变相对应的第一切换点，并且确定与所述第二部分的编码质量的改变相对应的第二切换点；
从所述第一组经编码的数据中选择在第一切换点之前的具有第一先验编码质量的经编码的数据和在所述第一切换点之后的具有第一后验编码质量的经编码的数据；
从所述第二组经编码的数据中选择在第二切换点之前的具有第二先验编码质量的经编码的数据和在所述第二切换点之后的具有第二后验编码质量的经编码的数据；以及
将所选择的经编码的数据合并到比特流中。
2.根据权利要求1所述的方法，其中，基于用户信息来确定所述第一部分和所述第二部分中每个部分的编码质量的改变。
3.根据权利要求2所述的方法，其中，所述用户信息包括视口信息，所述视口信息指示用户的视点。
4.根据权利要求2所述的方法，其中，所述用户信息包括感兴趣区域“ROI”。
5.根据权利要求1所述的方法，其中，所述第一部分的编码质量的改变和所述第二部分的编码质量的改变由事件触发。
6.根据权利要求5所述的方法，其中，所述第一部分的第一切换点与所述第二部分的第二切换点不同。
7.根据权利要求5所述的方法，其中，所述第一部分与第一组周期性随机访问点相关联，并且所述第二部分与第二组周期性随机访问点相关联。
8.根据权利要求7所述的方法，其中，所述第一部分的第一切换点基于第一组周期性随机访问点中在所述事件之后的第一随机访问点来确定，所述第二部分的第二切换点基于第二组周期性随机访问点中在所述事件之后的第二随机访问点来确定。
9.根据权利要求7所述的方法，还包括：以第一间隔配置与所述第一部分相关联的第一组周期性随机访问点，并且以第二间隔配置与所述第二部分相关联的第二周期性随机访问点。
10.根据权利要求9所述的方法，其中，所述第一间隔和所述第二间隔不同。
11.根据权利要求1所述的方法，其中，在所述第一切换点所选择的经编码的数据包括针对所述第一部分具有第一后验编码质量的第一刷新部分，并且在所述第二切换点所选择的经编码的数据包括针对所述第二部分具有第二后验编码质量的第二刷新部分。
12.根据权利要求11所述的方法，其中，所述第一刷新部分包括第一即时解码器刷新“IDR”图片的一部分，并且所述第二刷新部分包括即时解码器刷新“IDR”图片的第二部分。
13.根据权利要求1所述的方法，还包括：使用编码器为所述第一部分生成不同编码质量的第一组经编码的数据，并且为所述第二部分生成不同编码质量的第二组经编码的数据。
14.根据权利要求13所述的方法，其中，所述编码器操作以共享一个或多个编码步骤。
15.根据权利要求13所述的方法，其中，所述编码器操作以使用第一组量化参数为所述第一部分生成不同编码质量的第一组经编码的数据，并且使用第二组量化参数为所述第二部分生成不同编码质量的第二组经编码的数据。
16.根据权利要求15所述的方法，其中，所述第一组量化参数和所述第二组量化参数是相同的。
17.根据权利要求1所述的方法，其中，所述多个部分中的每个部分是瓦片，所述瓦片是所述图像帧序列中的每个图像帧中的矩形区域。
18.根据权利要求1所述的方法，其中，所述多个部分中的每个部分是片，所述片是所述图像帧序列中的每个图像帧中的编码块序列或编码块对序列。
19.一种用于视频流传输的系统，包括：
一个或多个微处理器；
在所述一个或多个微处理器上运行的流传输控制器，其中所述流传输控制器操作用于：
使用将图像帧序列中的每个图像帧划分为多个部分的方案，其中所述多个部分至少包括第一部分和第二部分；
为所述第一部分获取不同编码质量的第一组经编码的数据，并且为所述第二部分获取不同编码质量的第二组经编码的数据；
确定与所述第一部分的编码质量的改变相对应的第一切换点，并且确定与所述第二部分的编码质量的改变相对应的第二切换点；
从所述第一组经编码的数据中选择在第一切换点之前的具有第一先验编码质量的经编码的数据和在所述第一切换点之后的具有第一后验编码质量的经编码的数据；
从所述第二组经编码的数据中选择在第二切换点之前的具有第二先验编码质量的经编码的数据和在所述第二切换点之后的具有第二后验编码质量的经编码的数据；以及
将所选择的经编码的数据合并到比特流中。
20.一种装置，包括：
处理器；以及
其上存储有指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时，执行以下步骤，包括：
使用将图像帧序列中的每个图像帧划分为多个部分的方案，其中所述多个部分至少包括第一部分和第二部分；
为所述第一部分获取不同编码质量的第一组经编码的数据，并且为所述第二部分获取不同编码质量的第二组经编码的数据；
确定与所述第一部分的编码质量的改变相对应的第一切换点，并且确定与所述第二部分的编码质量的改变相对应的第二切换点；
从所述第一组经编码的数据中选择在第一切换点之前的具有第一先验编码质量的经编码的数据和在所述第一切换点之后的具有第一后验编码质量的经编码的数据；
从所述第二组经编码的数据中选择在第二切换点之前的具有第二先验编码质量的经编码的数据和在所述第二切换点之后的具有第二后验编码质量的经编码的数据；以及
将所选择的经编码的数据合并到比特流中。
21.一种用于视频流传输的方法，包括：
接收比特流，所述比特流包括用于重构图像帧序列的二进制数据，其中基于划分方案将所述图像帧序列中的每个图像帧划分为多个部分，其中所述多个部分至少包括第一部分和第二部分；
根据所述二进制数据生成第一重构图像帧，其中所述第一重构图像帧包括所述第一部分的第一重构图像数据和所述第二部分的第一重构图像数据，
其中，当所述第一重构图像帧在与所述第一部分的编码质量的改变相对应的第一切换点之前时，以第一先验编码质量来重构所述第一部分的第一重构图像数据，并且
其中，当第二重构图像帧在与所述第二部分的编码质量的改变相对应的第二切换点之前时，以第二先验编码质量来重构所述第二部分的第一重构图像数据；以及
根据所述二进制数据生成第二重构图像数据，其中所述第二重构图像帧包括所述第一部分的第二重构图像数据和所述第二部分的第二重构图像数据，
其中，当所述第一重构图像帧在所述第一切换点之后时，以第一后验编码质量来重构所述第一部分的第二重构图像数据，和/或
其中，当所述第二重构图像帧在所述第二切换点之后时，以第二后验编码质量来重构所述第一部分的第二重构图像数据。
22.根据权利要求21所述的方法，其中，基于用户信息来确定所述第一切换点和所述第二切换点。
23.根据权利要求22所述的方法，其中，所述用户信息包括视口信息，所述视口信息指示用户的视点。
24.根据权利要求22所述的方法，其中，所述用户信息包括感兴趣区域“ROI”。
25.根据权利要求21所述的方法，其中，所述第一部分的第一切换点与所述第二部分的第二切换点不同。
26.根据权利要求21所述的方法，其中，所述第一部分与第一组周期性随机访问点相关联，并且所述第二部分与第二组周期性随机访问点相关联。
27.根据权利要求26所述的方法，其中，所述第一部分的第一切换点是基于所述第一组周期性随机访问点中的第一随机访问点确定的，并且所述第二部分的第二切换点是基于所述第二组周期性随机访问点中的第二随机访问点确定的。
28.根据权利要求26所述的方法，其中，以第一间隔配置与所述第一部分相关联的第一组周期性随机访问点，并且以第二间隔配置与所述第二部分相关联的第二周期性随机访问点。
29.根据权利要求28所述的方法，其中，所述第一间隔和所述第二间隔不同。
30.根据权利要求29所述的方法，其中，基于重要性等级来配置所述第一间隔和所述第二间隔。
31.根据权利要求30所述的方法，其中，当所述第一部分被配置为具有比所述第二部分高的重要性等级时，所述第一间隔比所述第二间隔短。
32.根据权利要求21所述的方法，还包括：根据所述二进制数据生成第三重构图像帧，其中当所述第三重构图像帧的顺序在所述第一切换点之后但在所述第二切换点之前时，所述第三重构图像帧包括第一部分的具有第一后验编码质量的第三重构图像数据和第二部分的具有第二先验编码质量的第三重构图像数据。
33.根据权利要求32所述的方法，其中，基于帧内预测来重构所述第一部分的具有第一后验编码质量的第三重构图像数据，并且基于帧间预测来重构具所述第二部分的具有所述第二先验编码质量的第三重构图像数据。
34.根据权利要求21所述的方法，还包括：使用解码器来生成所述第一重构图像帧和所述第二重构图像帧。
35.根据权利要求21所述的方法，还包括：将所述第一重构图像帧和所述第二重构图像帧提供给显示器。
36.根据权利要求21所述的方法，还包括：将用户信息提供给发送比特流的流传输服务器。
37.根据权利要求21所述的方法，其中，所述多个部分中的每个部分是瓦片，所述瓦片是所述图像帧序列中的每个图像帧中的矩形区域。
38.根据权利要求21所述的方法，其中，所述多个部分中的每个部分是片，所述片是所述图像帧序列中的每个图像帧中的编码块序列或编码块对序列。
39.一种用于视频流传输的系统，包括：
一个或多个微处理器；
运行在所述一个或多个微处理器上的解码器，其中，所述解码器操作用于：
接收包括用于重构图像帧序列的二进制数据的比特流，其中基于划分方案将所述图像帧序列中的每个图像帧划分为多个部分，其中所述多个部分至少包括第一部分和第二部分；
根据所述二进制数据生成第一重构图像帧，其中所述第一重构图像帧包括所述第一部分的第一重构图像数据和所述第二部分的第一重构图像数据，
其中，当所述第一重构图像帧在与所述第一部分的编码质量的改变相对应的第一切换点之前时，以第一先验编码质量来重构所述第一部分的第一重构图像数据，并且
其中，当第二重构图像帧在与所述第二部分的编码质量的改变相对应的第二切换点之前时，以第二先验编码质量来重构所述第二部分的第一重构图像数据；以及
根据所述二进制数据生成第二重构图像数据，其中，所述第二重构图像帧包括所述第一部分的第二重构图像数据和所述第二部分的第二重构图像数据，
其中，当所述第一重构图像帧在所述第一切换点之后时，以第一后验编码质量来重构所述第一部分的第二重构图像数据，和/或
其中，当所述第二重构图像帧在所述第二切换点之后时，以第二后验编码质量来重构所述第一部分的第二重构图像数据。
40.一种装置，包括：
处理器；以及
其上存储有指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时执行以下步骤，包括：
接收包括用于重构图像帧序列的二进制数据的比特流，其基于划分方案将所述图像帧序列中的每个图像帧划分为多个部分，其中，所述多个部分至少包括第一部分和第二部分；
根据所述二进制数据生成第一重构图像帧，其中，所述第一重构图像帧包括所述第一部分的第一重构图像数据和所述第二部分的第一重构图像数据，
其中，当所述第一重构图像帧在与所述第一部分的编码质量的改变相对应的第一切换点之前时，以第一先验编码质量来重构所述第一部分的第一重构图像数据，并且
其中，当第二重构图像帧在与所述第二部分的编码质量的改变相对应的第二切换点之前时，以第二先验编码质量来重构所述第二部分的第一重构图像数据；以及
根据所述二进制数据生成第二重构图像数据，其中，所述第二重构图像帧包括所述第一部分的第二重构图像数据和所述第二部分的第二重构图像数据，
其中，当所述第一重构图像帧在所述第一切换点之后时，以第一后验编码质量来重构所述第一部分的第二重构图像数据，和/或
其中，当所述第二重构图像帧在所述第二切换点之后时，以第二后验编码质量来重构所述第一部分的第二重构图像数据。
CN201880097350.0A 2018-09-11 2018-09-11 用于支持渐进式视频比特流切换的系统和方法 Pending CN112673634A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/105108 WO2020051777A1 (en) 2018-09-11 2018-09-11 System and method for supporting progressive video bit stream swiitching

Publications (1)

Publication Number Publication Date
CN112673634A true CN112673634A (zh) 2021-04-16

Family

ID=69777308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097350.0A Pending CN112673634A (zh) 2018-09-11 2018-09-11 用于支持渐进式视频比特流切换的系统和方法

Country Status (6)

Country Link
US (1) US20210227227A1 (zh)
EP (1) EP3797515A4 (zh)
JP (1) JP2020043559A (zh)
KR (1) KR20200069350A (zh)
CN (1) CN112673634A (zh)
WO (1) WO2020051777A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170339416A1 (en) * 2016-05-19 2017-11-23 Qualcomm Incorporated Regional random access in pictures
WO2018107404A1 (en) * 2016-12-14 2018-06-21 SZ DJI Technology Co., Ltd. System and method for supporting video bit stream switching

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201100397D0 (en) * 2011-01-11 2011-02-23 Univ Gent Fast channel switching
US9042458B2 (en) * 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
US9813736B2 (en) * 2013-09-27 2017-11-07 Qualcomm Incorporated Inter-view dependency type in MV-HEVC
US9591324B2 (en) * 2013-10-14 2017-03-07 Qualcomm Incorporated Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
US20150264345A1 (en) * 2014-03-13 2015-09-17 Mitsubishi Electric Research Laboratories, Inc. Method for Coding Videos and Pictures Using Independent Uniform Prediction Mode
JP6391694B2 (ja) * 2015-07-31 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム
KR102511705B1 (ko) * 2015-11-16 2023-03-20 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
JP2018026670A (ja) * 2016-08-09 2018-02-15 日本電信電話株式会社 映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラム
US20180098131A1 (en) * 2016-09-30 2018-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Apparatus and methods for adaptive bit-rate streaming of 360 video
CN114928733B (zh) * 2016-10-12 2023-10-24 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170339416A1 (en) * 2016-05-19 2017-11-23 Qualcomm Incorporated Regional random access in pictures
WO2018107404A1 (en) * 2016-12-14 2018-06-21 SZ DJI Technology Co., Ltd. System and method for supporting video bit stream switching

Also Published As

Publication number Publication date
JP2020043559A (ja) 2020-03-19
EP3797515A1 (en) 2021-03-31
WO2020051777A1 (en) 2020-03-19
US20210227227A1 (en) 2021-07-22
KR20200069350A (ko) 2020-06-16
EP3797515A4 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
CN110036640B (zh) 用于支持视频比特流切换的系统和方法
CN111355954B (zh) 为视频播放器装置处理视频数据
JP6501904B2 (ja) 球面ビデオのストリーミング
US10341650B2 (en) Efficient streaming of virtual reality content
EP3443749B1 (en) Systems and methods for video processing and display
US10310266B2 (en) Method and system for streaming information in wireless virtual reality
EP3489900A1 (en) Method, apparatus and stream for encoding/decoding volumetric video
CN110268711B (zh) 用于编码宽视图视频的球面旋转的方法及装置
US20180098090A1 (en) Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
US20190313097A1 (en) Method and apparatus for coding/decoding a large field of view video
US20200092571A1 (en) Scalability of multi-directional video streaming
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US11924442B2 (en) Generating and displaying a video stream by omitting or replacing an occluded part
Frieß et al. Foveated encoding for large high-resolution displays
EP3644619A1 (en) Method and apparatus for receiving a tile-based immersive video
EP3540696A1 (en) A method and an apparatus for volumetric video rendering
US20210227227A1 (en) System and method for supporting progressive video bit stream switching
US20230388542A1 (en) A method and apparatus for adapting a volumetric video to client devices
WO2019127244A1 (en) System and method for supporting low latency in a movable platform environment
US20240107110A1 (en) Changing video tracks in immersive videos
CN112088352A (zh) 用于对表示球面多媒体内容的球体进行分块的方法和网络设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210416