CN112637679B - 视频编解码方法和装置、计算机设备和存储介质 - Google Patents

视频编解码方法和装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112637679B
CN112637679B CN202010999804.2A CN202010999804A CN112637679B CN 112637679 B CN112637679 B CN 112637679B CN 202010999804 A CN202010999804 A CN 202010999804A CN 112637679 B CN112637679 B CN 112637679B
Authority
CN
China
Prior art keywords
independent
picture
sub
layers
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010999804.2A
Other languages
English (en)
Other versions
CN112637679A (zh
Inventor
崔秉斗
文格尔史蒂芬
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN112637679A publication Critical patent/CN112637679A/zh
Application granted granted Critical
Publication of CN112637679B publication Critical patent/CN112637679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编解码方法包括：获取多个视频源；将所述多个视频源编码为比特流，所述比特流包括与所述多个视频源对应的多个独立层；在所述多个独立层上生成信令信息，并将所述信令信息与所述比特流集成；以及传输所述比特流以进行解码处理，其中所述信令信息在解码过程中使用，使得单个解码器能够对类似单层比特流的所述多个独立层进行解码。所述信令信息包括至少一个视频参数集(VPS)，并且所述VPS包括：标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指示在所有层中的同一已编码视频序列(CVS)中，有一个且只有一个具有特定图片顺序号(POC)值的已编码图片。

Description

视频编解码方法和装置、计算机设备和存储介质
优先权信息
本申请要求于2019年9月22日递交的、申请号为62/903,869的美国临时申请、于2019年9月25日递交的、申请号为62/906,077的美国临时申请、于2019年12月12日递交的、申请号为62/947,245的美国临时申请、以及于2020年9月21日递交的、申请号为17/026,310的美国申请的优先权，其全部内容通过引用并入本申请中。
技术领域
本申请涉及通用视频编解码技术领域，更具体地，涉及视频编解码方法和装置、计算机设备和存储介质。
背景技术
通用视频编码(VVC)也称为H.266的MPEG-I第3部分和未来视频编码(FVC)，是一种正在发展的视频压缩标准。2015年10月，动态图像专家组(MPEG)和视频编码专家组(VCEG)成立了联合视频开发组(JVET)，以评估可用的压缩技术并研究下一代视频压缩标准的需求。VVC标准仍在开发中，仍然需要增加新的功能并对其进行改进。
在当前的编码标准下，当将单层比特流划分成多个子图片时，通常很难处理比特流的合并和子图片的提取。相反，如果一层代表一个子图片，并且多层包含在一个比特流中，则很容易处理子图片的合并和提取。然后，整个或部分图片可以由解码器侧的一层或多层组成。但是，多层比特流通常需要多DPB(Decoder Picture Bufffer)模型，并且需要多个解码器实例(即，解码器)。所公开的方法和系统旨在解决上述一个或多个问题以及其他问题。
发明内容
本公开的实施例涉及视频编解码方法和装置、计算机设备和存储介质，旨在解决当前编码标准中将单层比特流划分成多个子图片时，比特流的合并和子图片的提取的问题，以及多层比特流需要多个解码器的问题。
根据本公开的实施例，提供了一种视频编解码方法。该方法包括：获取多个视频源；将所述多个视频源编码为比特流，所述比特流包括与所述多个视频源对应的多个独立层；在所述多个独立层上生成信令信息，并将所述信令信息与所述比特流集成；以及传输所述比特流以进行解码处理，其中所述信令信息在解码过程中使用，使得单个解码器能够对类似单层比特流的所述多个独立层进行解码。所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指定在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
根据本公开的实施例，提供了另一种视频编解码方法。该方法包括：获取多个视频源的比特流，所述比特流包括与所述多个视频源对应的多个独立层、以及与所述比特流集成在一起的、所述多个独立层上的信令信息；使用单个解码器对所述比特流进行解码，以基于所述信令信息对类似单层比特流的所述多个独立层进行解码，以生成集成了所述多个视频源的已解码输出视频内容；以及使用所述信令信息渲染所述已解码输出视频内容。所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指定在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
根据本公开的实施例，提供了一种视频编解码装置。该装置包括：
视频源获取模块，用于获取多个视频源；
编码模块，用于将所述多个视频源编码为比特流，所述比特流包括与所述多个视频源对应的多个独立层；
生成模块，用于在所述多个独立层上生成信令信息，并将所述信令信息与所述比特流集成；以及
传输模块，用于传输所述比特流以进行解码处理，其中所述信令信息在解码过程中使用，使得单个解码器能够对类似单层比特流的所述多个独立层进行解码；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指定在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
根据本公开的实施例，提供了另一种视频编解码装置。该装置包括：
比特流获取模块，用于获取多个视频源的比特流，所述比特流包括与所述多个视频源对应的多个独立层、以及与所述比特流集成在一起的、所述多个独立层上的信令信息；
解码模块，用于使用单个解码器对所述比特流进行解码，以基于所述信令信息对类似单层比特流的所述多个独立层进行解码，以生成集成了所述多个视频源的已解码输出视频内容；以及
渲染模块，用于使用所述信令信息渲染所述已解码输出视频内容；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指定在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
根据本公开的实施例，提供了一种非易失性计算机可读存储介质，用于存储计算机程序指令，当所述计算机程序指令被用于视频编码/解码的计算机执行时，使得所述计算机执行所述的视频编解码方法
根据本公开的实施例，提供了一种计算机设备，包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序指令，所述至少一条程序指令由所述一个或多个处理器加载并执行，以实现所述的视频编解码方法。
通过本公开的实施例，能够使用单个解码器和单层VVC解码过程对多个独立层进行解码，同时还可以使用单独的解码器对每个独立层进行解码，从而显著地改善了子图片级别的处理和信令。
根据本公开的说明书，权利要求书和附图，本领域技术人员可以理解本公开的其他方面。
附图说明
图1示出了本公开一些实施例的运行环境的示意图；
图2示出了根据本公开实施例的计算机系统的示意图；
图3示出了根据本公开实施例的多用户视频会议界面的示意图；
图4示出了根据本公开实施例的示例性编码和解码过程的示意图；
图5示出了根据本公开实施例的具有独立已编码区域层的示例性序列结构的示意图；
图6示出了根据本公开实施例的具有层映射信息的独立已编码区域的示例；
图7示出了根据本公开实施例的独立已编码区域层的每个层的4-相邻信息的示意图；
图8示出了根据本公开实施例的用于填充的立方体贴图投影的示例性子图片的示意图。
具体实施方式
下面结合附图描述本公开实施例的技术方案。在所有附图中，将尽可能使用相同的附图标号表示相同或相似的部件。很显然，所描述的实施例仅仅是本公开的一些实施例，而非全部实施例。基于本公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都属于本公开的保护范围。
下面列出了本公开实施例中使用的一些首字母缩略词和术语，其他未列出的首字母缩略词和/或术语可以从VVC标准或其他相关文献中找到。
CVS：已编码视频序列(coded video sequences)
HRD：假想参考解码器(hypothetical reference decoder)
NAL：网络抽象层(network abstraction layer)
POC：图片顺序号(picture order count)
PPS：图片参数集(picture parameter set)
RBSP：原始字节序列载荷(raw byte sequence payload)
RPL：参考图片列表(reference picture list)
RPS：参考图片集(reference picture set)
SPS：序列参数集(sequence parameter set)
VVC：通用视频编解码(versatile video coding)
VCL：视频编解码层(video coding layer)
VPS：视频参数集(video parameter set)
比特流(Bitstream)：NAL单元流或字节流形式的一系列比特，其是已编码图片和形成一个或多个CVS的相关数据的表示。
VVC标准(VVC standard)：VVC规范的当前公布版本(例如，JVET-R2001)，其通过引用并入本文。
色度(Chroma)：形容词，用符号Cb和Cr表示，其指示样本阵列或单个样本表示与原色相关的两个色差信号之一。
已编码图片(Coded picture)：图片的已编码表示，包括访问单元内具有nuh_layer_id特定值的VCL NAL单元，并且包含图片的所有CTU。
编码树块(Coding tree block，CTB)：针对N的某个值的N×N样本块，使得将组成部分划分成CTB是一种分区。
编码树单元(Coding tree unit，CTU)：亮度样本的CTB、具有三个样本阵列的图片的色度样本的两个对应的CTB、单色图片的样本的CTB、或使用三个单独的颜色平面和用于编码样本的语法结构进行编码的图片的样本的CTB。
标志(Flag)：变量或单比特语法元素，可以采用两个可能值的其中之一：0和1。
层(Layer)：一组均具有nuh_layer_id的特定值的VCL NAL单元和相关的非VCLNAL单元。
层访问单元(Layer access unit)：一组NAL单元，对于这些NAL单元，VCL NAL单元均具有nuh_layer_id的特定值；这些NAL单元根据指定的分类规则相互关联，按解码顺序连接起来，并且正好包含一个已编码图片。
级别(Level)：对本规范的语法元素和变量可以采用的值、或缩放之前的变换系数的值定义的一组约束。
子图片(Subpicture)：图片内的一个或多个切片的矩形区域。
补充增强信息(SEI)消息(Supplemental enhancement information(SEI)message)：具有指定语义的语法结构，该语义传递解码过程不需要的信息，以确定已解码图片中样本的值。
语法元素(Syntax element)：比特流中表示的数据元素。
语法结构(Syntax structure)：零个或多个语法元素以指定的顺序一起出现在比特流中。
图1示出了本公开的一些实施例的运行环境100。如图1所示，运行环境100可以包括具有视频功能的各种设备。例如，运行环境100可以包括移动设备102、终端设备104和电子设备106。运行环境100还可以包括其他类型的设备。
运行环境100还可以包括服务器120、至少一个用户130、以及连接各种设备和服务器120的通信网络140。用户130可以使用、访问或控制各种设备中的一个或多个。
移动设备102、终端设备104和电子设备106通常可以称为终端设备，其可以包括任何用户终端，例如个人数字助理(PDA)、移动电话、智能电话、集成消息收发设备(IMD)、平板计算机、笔记本计算机、台式计算机、以及其他计算设备。终端设备104可以包括任何图像或视频捕获设备，例如数码相机、摄像机、安全摄像机、车载摄像机、立体摄像机等，或者具有视频功能的任何电子设备，例如数字门铃、自动驾驶传感器、数字语音助手、智能扬声器、智能家电，或具有视频处理能力的任何工业或商业物联网(IoT)系统。移动设备102、终端设备104和电子设备106中的任何一个在被移动的个人携带时可以是静止的或移动的，并且还可以作为运输的一部分或以运输模式来放置，该运输模式包括汽车、卡车、出租车、公共汽车、火车、轮船、飞机、自行车、摩托车或任何类似的合适运输模式。
网络140可以包括任何适当类型的通信网络，并且可以包括有线网络或无线网络的任意组合，该有线网络或无线网络包括但不限于无线蜂窝电话网络、无线局域网(WLAN)、蓝牙个人域网络、以太网局域网、令牌环局域网、广域网和因特网。网络140还可以包括用于语音/数据通信的私有或公共云计算平台。当包括因特网或其他类型的网络时，与因特网的连接可以包括长距离无线连接、短距离无线连接、以及包括电话线、电缆线、电力线和类似通信路径的各种有线连接。
服务器120可以包括配置在服务器集群中或分布在不同位置的任何类型的服务器计算机系统或多个计算机系统。服务器120还可以包括云计算平台上的云服务器。服务器120也可以称为服务器实体，其可以与任何适当的设备(包括电子设备)集成，以执行本公开实施例的视频解码和应用处理的服务器侧功能。
图2示出了实现各种终端设备102、104和/或106、和/或服务器120的某些方面的示例性计算机系统。如图2所示，计算机系统200可以包括硬件处理器202、存储器204、读卡器206、显示器208、键盘210、射频(RF)接口212、基带214、天线216、编码器222、解码器224、照相机226、扬声器232和麦克风234等。图2所示的组件是说明性的，可以省略某些组件，并且可以添加其他组件。
可以提供处理器202以控制计算机系统200。处理器202可以通过至少一个总线或其他电连接连接到其他组件，以向其他组件发送数据和从其他组件接收数据。处理器202可以包括至少一个处理核，例如四核处理器或八核处理器。处理器202可以使用数字信号处理(DSP)、现场可编程门阵列(FPGA)和可编程逻辑阵列(PLA)的至少一种硬件形式来实现。处理器202还可以包括主处理器和协处理器。主处理器可以是中央处理单元(CPU)，协处理器可以是图形处理单元(GPU)，该图形处理单元被配置为负责渲染和绘制显示屏幕需要显示的内容。在一些实施例中，处理器202可以进一步包括人工智能(AI)处理器。AI处理器被配置为处理与机器学习有关的计算操作。
存储器204可以包括诸如高速随机存取存储器和非易失性存储器的一个或多个计算机可读存储介质，例如，一个或多个磁盘存储设备或闪存设备。存储器204既可以存储图像和音频数据形式的数据，还可以存储用于处理器202的指令，例如计算机可读程序指令。当所述计算机可读程序指令被用于编码/解码的计算机(即该计算机的处理器)执行时，使得所述计算机执行本公开实施例提供的视频编解码方法。读卡器206可以包括任何类型的便携式卡接口，例如智能卡接口、通信卡接口(例如，近场通信(NFC)卡)、用户识别模块(SIM)卡、或其他用于提供用户信息并适于为用户130的认证和授权提供认证信息的卡接口。
此外，显示器208可以是适于显示图像或视频的任何合适的显示技术。例如，显示器208可以包括液晶显示器(LCD)屏幕、有机发光二极管(OLED)屏幕等，并且可以是触摸屏。键盘210可以包括物理或虚拟键盘，以便用户130输入信息，并且还可以包括其他类型的输入/输出设备。扬声器232和麦克风234可以用于为计算机系统200输入和输出音频。
RF接口212(连同天线216)可以包括用于接收和发送RF信号的RF电路。RF接口212可以将电信号转换成用于发送的电磁信号，或者将接收到的电磁信号转换成用于接收的电信号。RF接口212可以通过至少一种无线通信协议与其他电子设备通信。无线通信协议可以包括城域网、各代移动通信网络(2G、3G、4G和5G)、无线局域网(LAN)和/或无线保真(WiFi)网络。在一些实施例中，RF接口212还可以包括与近场通信(NFC)相关的电路。基带214可以包括电路，用于处理去往和来自RF接口212的信号。
此外，照相机226可以包括用于收集图像或视频的任何类型的成像或视频捕获设备。当计算机系统200是由用户130携带的便携式设备时，照相机226可以包括前置摄像头和后置摄像头。前置摄像头可以设置在电子设备的前面板上，后置摄像头可以设置在电子设备的后表面上。在一些实施例中，至少有两个后置摄像头，每个摄像头都是主摄像头、景深摄像头、广角摄像头和长焦摄像头中的任何一个，以便通过融合主摄像头与景深摄像头来实现背景模糊功能，并且通过融合主摄像头与广角摄像头来实现全景拍摄和虚拟现实(VR)拍摄功能或其他融合拍摄功能。在一些实施例中，照相机226可以进一步包括闪光灯。
编码器222和解码器224可以被称为电子设备的编解码器电路，该编解码器电路适于执行音频和/或视频数据的编码和解码，或者辅助处理器202执行编码和解码。
图2所示的计算机系统200还可以包括用于实现任何特定系统的附加结构。例如，当实现服务器120时，计算机系统200可以包括数据库和/或基于陆线(land-line)的网络通信接口，或者当实现移动设备102等时，计算机系统200可以包括与无线通信系统中的移动终端或用户设备类似的结构。然而，计算机系统200还可以包括或省略任何结构，以实现可能需要编码和解码、或者需要编码、或者需要解码视频的任何电子设备或装置。
返回图1，计算机系统200(即，各种设备102、104和/或106中的任何一个或多个)可以捕获或收集各种数据(例如，音频数据、环境/操作数据、图像数据和/或视频数据)，并通过网络140将数据发送到服务器120。计算机系统200可以在将数据发送到服务器120之前处理或预处理数据，或者可以将未处理的数据发送到服务器120。
在操作过程中，一个终端设备的用户可以使用视频应用向服务器120发送视频内容，和/或从服务器120接收视频内容，或者各种终端设备的用户可以使用各种视频应用来彼此传递视频内容。在一个实施例中，一个用户可以经由服务器120与另一个用户传递视频内容，或者服务器120可以在用户之间建立通信信道，使得一个用户可以经由该通信信道直接与另一个用户传递视频。图3示出了根据本公开实施例的示例性多用户视频会议应用。
如图3所示，用于终端设备的用户的多用户视频会议界面包括视频显示器300、第一用户302的显示器、第二用户304的显示器和第三用户306的显示器。尽管图3总共在视频会议中示出了三个用户，但实际上可以包括任何数量的用户。
第一用户302可以控制视频会议。例如，第一用户302可以在视频会议期间与其他用户讲话。此时，第二用户304和第三用户306可以是被动的，使得第二用户304和第三用户306的显示器可以位于视频显示器300的侧面，而活跃的(active)第一用户302的显示器可以更大，并且可以位于视频显示器300的中心部分。
此外，因为第一用户302、第二用户304和第三用户306的视频内容/源可以是独立的，所以视频显示器300可以包括多个独立的视频内容(其中包括它自己的视频内容)。也就是说，视频显示器300可以使用多个独立层来实现，以显示视频显示器的不同区域或子图片。例如，服务器120可以将各种视频源连同信令信息一起编码为比特流的不同独立层，并将比特流发送到终端设备，以进行解码、渲染和显示。
终端设备在接收到具有不同独立层的已编码视频比特流之后，可以对该比特流进行解码，并在单个视频显示器中显示多个用户显示器，即，将比特流的多个独立层的视频集成到多用户视频会议界面的单个显示器中。在一个实施例中，终端设备在接收到比特流中的视频内容之后，可以使用单个解码器实例(也称为解码器)对包含针对独立已编码区域的多个独立层的视频内容进行解码。这种视频解码过程也可以称为用于解码多个独立层的单层VVC解码过程。执行解码就好像所有NAL单元仅驻留在单个层中一样。
图4示出了根据本公开实施例的由计算机系统(例如，处理器、VVC编码器和/或VVC解码器)执行的视频编解码过程(例如，编码和/或解码过程)。如图4所示，在该过程开始，可以获取多个视频源(步骤S402)。
例如，计算机系统(例如，服务器120)可以从不同的设备或用户接收多个视频源，例如从多用户视频会议应用中的多个用户摄像头或用户终端，或者从监控或安全视频应用中的多个监控摄像头等。
此外，计算机系统可以将多个视频源编码为比特流，该比特流包括与该多个视频源对应的多个独立层(步骤S404)。该比特流也称为已编码视频比特流。
该多个独立层可以包括任何类型的独立层，例如“独立已编码区域”层、以及例如用于3DoF+的纹理或深度层。此外，在一个实施例中，终端设备还可以使用单独的解码器实例对每个独立层进行解码，并且可以向后兼容以前的VVC标准。
可以执行编码，使得图片顺序号(POC)值在各层之间是不同的，即，对于所有层中的给定POC值，最多存在一张图片。图5示出了具有独立已编码区域层的示例性序列结构。如图5所示，编码器(例如，服务器120上的编码器)可以使用POC值将具有总共四(4)个独立已编码区域的视频内容编码到比特流中的四个独立层。
例如，编码器可以将第一已编码区域的一部分编码为独立层(层标识(layer_id)0)和POC 0，将第二已编码区域的一部分编码为独立层(层标识1)和POC 1，将第三已编码区域的一部分编码为独立层(层标识2)和POC 2，以及将第四已编码区域的一部分编码为独立层(层标识3)和POC 3。此外，编码器可以继续将第一已编码区域的另一部分编码为独立层(层标识0)和POC 4，将第二已编码区域的另一部分编码为独立层(层标识1)和POC 5，将第三已编码区域的另一部分编码为独立层(层标识2)和POC 6，以及将第四已编码区域的另一部分编码为独立层(层标识3)和POC 7。编码器可以继续此编码过程，直到所有的已编码区域都被编码为比特流中的独立层为止。此外，编码器还可以生成要与比特流一起发送的相应的信令信息，例如参考图片列表(RPL)信令信息、层间参考图片集(RPS)信令信息等。例如，基于POC增量指示，RPL信令可以支持独立已编码区域层内的任何预测结构。信令信息可以嵌入在比特流中，或者可以通过带外信令信道发送。可以使用任何适当的信令格式。
使用这种方法的一个优点是，能够使用单个解码过程发信号通知单个配置文件-图块-级别(profile-tile-level)，以对所有独立层进行解码。例如，该方法能够为比特流(例如，包含被编码为独立层的纹理和深度的比特流)指示单个配置文件-层-级别(profile-tier-level)。
此外，返回图4，计算机系统还可以生成与已编码比特流的独立层对应的信令信息。即，计算机系统在多个独立层上生成信令信息，并将信令信息与比特流集成(步骤S406)。也就是说，计算机系统或计算机系统的编码器可以提供足够的信息和/或处理手段(means)，以使得比特流的独立层被正确地解码和渲染。
在VVC的上下文中，编码侧可以引入VPS标志(inbl_one_pic_per_poc_flag)，以指示在所有独立层中每个POC值有一个而且只有一个图片，并且可以像在同一层中一样对独立层进行解码。
此外，对于包含多个独立层的比特流，可以按如下所述发信号通知用于独立层的HRD参数(即，集体HRD参数)。
(A)当inbl_one_pic_per_poc_flag等于1时，共同应用于该多个独立层的配置文件-层-级别和HRD参数在VPS中表示如下：(i)应用于比特流(就像只有一个层一样)的单个配置文件-层-级别语法结构，(ii)共同应用于比特流(而不是每个层)的参数max_dec_pic_buffering_minus1、max_num_reorder_pics和max_latency_increase_plus1，以及(iii)应用于比特流的hrd_parameters()。
(B)提供独立层集嵌套(Independent layer set nesting)SEI消息，用于携带共同应用于比特流的独立层的SEI消息。独立层集嵌套SEI消息可用于携带应用于比特流(而不是每个层)的缓冲周期SEI消息和图片定时SEI消息。
因此，有可能通过外部手段来控制使用单个解码器实例对整个比特流进行解码，就好像它是单层比特流一样。否则，可以使用多个解码器实例来执行VVC的逐层操作。单个解码器实例和多个解码器实例均可以跨各种终端设备得到支持。
此外，基于特定条件和配置，信令信息还可以包括某些标志、视频参数和设置。具体地，信令信息可以包括独立已编码区域层SEI消息、参数集或元数据追踪路径(metadatatrack)。例如，可以在独立已编码区域层SEI消息、参数集或元数据追踪路径中发信号通知独立已编码区域层的布局信息。将每个独立已编码区域连接到每个层的映射信息也可以包括在独立已编码区域层SEI消息中。图6示出了具有层映射信息的独立已编码区域的示例，图7示出了构成布局信息的每个层的顶部、右侧、底部和左侧的4-相邻信息。
如图6所示，视频显示器包括四个独立已编码区域，它们被编码为具有四个独立已编码区域层的比特流，包括具有层标识0的第一已编码区域层、具有层标识1的第二已编码区域层、具有层标识2的第三已编码区域层、以及具有层标识3的第四已编码区域层。信令信息可以包括每个层的左上位置的偏移值(偏移(x，y))和已编码区域大小(例如，高度、宽度等)。
如图7所示，附加地或可替代地，层映射信息(显示为黑点)可以包括四个独立层A、B、C和D中的每个层的4-相邻信息，例如顶部、右侧、底部和左侧的布局信息。
利用图6和图7中任何一个所示的信令信息，层的图片大小的粒度可以比作为单层的子图片分区方法中的子图片的粒度更细。
返回图4，具体地，下面的表1示出了相应的视频参数集(VPS)的语法(即，VPS语法)，并且要求这些参数可用于解码。
表1 VPS语法
Figure BDA0002693890450000111
/>
Figure BDA0002693890450000121
参数vps_video_parameter_set_id提供VPS的标识符，以供其他语法元素引用。vps_video_parameter_set_id的值应大于0。
参数vps_max_layers_minus1加1指示由VPS指示的层数，其是引用VPS的每个CVS中的最大允许层数。
标志vps_all_independent_layers_flag等于1指示对VPS指示的所有层进行独立编码，不使用层间预测。vps_all_independent_layers_flag等于0指示由VPS指定的层中的一个或多个可以使用层间预测。当该标志不存在时，推断vps_all_independent_layers_flag的值等于1。
参数vps_layer_id[i]指示第i层的nuh_layer_id值。对于m和n的任意两个非负整数值，当m小于n时，vps_layer_id[m]的值应小于vps_layer_id[n]的值。
标志vps_independent_layer_flag[i]等于1指示具有索引i的层不使用层间预测。vps_independent_layer_flag[i]等于0指示具有索引i的层可以使用层间预测，并且VPS中存在j的语法元素vps_direct_ref_layer_flag[i][j]，j的范围在0到i-1之间(包括0和i-1)。当该标志不存在时，推断vps_independent_layer_flag[i]的值等于1。
标志vps_extension_flag等于0指示在VPS RBSP语法结构中不存在vps_extension_data_flag语法元素。vps_extension_flag等于1指示在VPS RBSP语法结构中存在vps_extension_data_flag语法元素。
标志vps_extension_data_flag可以具有任何值。
标志inbl_one_pic_per_poc_flag等于0指示不同层的已编码图片可以具有相同的PicOrderCnt值。ols_one_pic_per_poc_flag等于1指示比特流由多个独立层组成，并且在所有层中的同一CVS中有一个且只有一个具有特定PicOrderCnt值的已编码图片，并且，除了可能包含在SPS RBSP中的profile_tier_level()、general_hrd_parameters()和vui_parameters()语法结构的内容之外，引用该VPS RBSP的所有SPS RBSP的内容是相同的。
标志inbl_hrd_param_present_flag等于1指示VPS RBSP语法结构中存在语法元素inbl_num_units_in_tick和inbl_time_scale、以及语法结构hrd_parameters()。inbl_hrd_param_present_flag等于0指示VPS RBSP语法结构中不存在语法元素inbl_num_units_in_tick和inbl_time_scale、以及共同应用于所有独立层的语法结构hrd_parameters()。
参数inbl_num_units_in_tick和inbl_time_scale分别以与num_units_in_tick和time_scale相同的方式指示，并且应用于VPS中存在的hrd_parameters()，以及应用于嵌套在独立层集嵌套SEI消息中的缓冲周期SEI消息和图片定时SEI消息。
参数inbl_max_sub_layers_minus1指示可能存在的时间子层的最大数量。
标志inbl_sub_layer_ordering_present_flag等于1指示对于inbl_max_sub_layers_minus1+1子层，存在inbl_max_dec_pic_buffering_minus1[j]、inbl_max_num_reorder_pics[j]和inbl_max_latency_increase_plus[j]。inbl_sub_layer_ordering_present_flag等于0指示将inbl_max_dec_pic_buffering_minus1[inbl_max_sub_layers_minus1]、inbl_max_num_reorder_pics[inbl_max_sub_layers_minus1]和inbl_max_latency_increase_plus1[inbl_max_sub_layers_minus1]的值应用于所有子层。
参数inbl_max_dec_pic_buffering_minus1[j]、inbl_max_num_reorder_pics[j]和inbl_max_latency_increase_plus[j]，针对包含所有层的比特流，分别以与sps_max_dec_pic_buffering_minus1[j]、sps_max_num_reorder_pics[j]和sps_max_latency_increase_plus1[j]相同的方式指示。
返回图4，在生成已编码比特流(连同信令信息)(步骤S406)之后，可以存储和/或传输已编码比特流以用于解码器侧处理(步骤S408)。例如，传输该比特流以便解码器侧进行解码处理。
此外，在计算机系统(例如，终端设备)获取已编码比特流(连同信令信息)(步骤S410)之后，计算机系统或计算机系统的解码器可以使用信令信息对比特流进行解码，以生成已解码视频内容(步骤S412)。在解码过程中使用信令信息可以使得单个解码器能够对类似单层比特流的多个独立层进行解码。
例如，对于解码侧，除了当前VVC标准所要求的一般解码过程之外，对于比特流中的每个CVS，变量TargetLayerId(其标识要解码的目标层)和变量HighestTid(其标识要解码的最高时间子层)被指示如下：
-如果某个外部手段可用于设置TargetLayerIdList，则TargetLayerIdList通过外部手段设置。
-否则，如果vps_all_independent_layers_flag等于1，并且某个外部手段可用于指示包含所有层的整个比特流都已解码，则将DecodeAllLayersAsSingleLayerFlag设置为等于1。
-否则，如果vps_all_independent_layers_flag等于1，则将TargetLayerIdList设置为仅包含vps_layer_id[0]。
-否则，将TargetLayerIdList设置为包含vps_layer_id[i]，其中i在0到vps_max_layers_minus1的之间(包括0和vps_max_layers_minus1)。
-如果某个外部手段可用于设置HighestTid，则HighestTid通过外部手段设置。
-否则，将HighestTid设置为等于sps_max_sub_layers_minus1。
…
如果TargetLayerIdList通过外部手段提供或推断，则以下内容适用：
-对于比特流中的每个CVS，使用CVS、TargetLayerIdList和HighestTid作为输入，应用第10节中指定的子比特流提取过程，并将输出分配给称为CvsToDecode的比特流。
-之后，将所有CVS的CvsToDecode实例按解码顺序连接起来，并将结果分配给比特流BitstreamToDecode。
-对于BitstreamToDecode中的每个已编码图片，按解码顺序重复调用解码过程(参见VVC标准的第8.1.2节)。
否则(DecodeAllLayersAsSingleLayerFlag等于1)，以下内容适用：
-比特流一致性的要求是，inbl_one_pic_per_poc_flag等于1。
-为每个层导出并保留以大写字母开头的变量的单独实例。对于比特流中的每个已编码图片，按解码顺序重复调用解码过程(参见VVC标准的第8.1.2节)。在解码过程中使用大写变量，该大写变量与作为输入提供给解码过程的已编码图片的nuh_layer_id有关。
返回图4，在对视频比特流进行解码(步骤S412)之后，计算机系统可以基于已解码的视频比特流和信令信息渲染已解码视频内容(步骤S414)。
例如，在解码器侧，当比特流中存在独立已编码区域层SEI消息时，可以在渲染过程中使用独立已编码区域层SEI消息中用信号通知的布局信息，以进行图片合成。通过合并独立已编码区域层的一个或多个输出图片来构造用于显示的合成图片。
也就是说，对于已编码图片的解码处理，可以使用独立已编码区域层SEI消息。独立已编码区域层SEI消息可以提供被层覆盖的独立已编码区域的位置和大小信息。当存在独立已编码区域层SEI消息时，将图片中的每个区域独立地编码在层中，并且与该层对应的区域的位置和大小信息用于组成合成的输出图片。可以通过合并独立已编码区域层的一个或多个输出图片来构造合成的输出图片。具体地，下面的表2示出了独立已编码区域层SEI消息语法。
表2独立已编码区域层SEI消息语法
Figure BDA0002693890450000151
参数composed_pic_width_in_luma_samples指示由一个或多个独立已编码区域合成的图片的宽度，该宽度以亮度样本为单位。composed_pic_width_in_luma_samples不应等于0，且应为MinCbSizeY的整数倍。
参数composed_pic_height_in_luma_samples指示由一个或多个独立已编码区域合成的图片的高度，该高度以亮度样本为单位。composed_pic_height_in_luma_samples不应等于0，且应为MinCbSizeY的整数倍。
参数num_independent_regions_in_pic_minus1加1指示图片中独立已编码区域的数量。num_independent_regions_in_pic_minus1的值应在0到125之间(包括0和125)。
标志layer_id_present_flag等于1指示该SEI消息中存在region_layer_id[i]。layer_id_present_flag等于0指示该SEI消息中不存在region_layer_id[i]。
参数region_layer_id[i]指示与第i个独立已编码区域对应的NuhLayerId的值。与该SEI消息相关的CVS中应该存在一个或多个NAL单元，该一个或多个NAL单元的nuh_layer_id等于region_layer_id[i]。当不存在时，推断region_layer_id[i]的值等于i。
参数layer_region_offset_x_in_luma_samples[i]指示第i个独立已编码区域的左上角亮度样本相对于合成图片的左上角亮度样本的水平偏移，该偏移以亮度样本为单位。当不存在时，推断layer_region_offset_x_in_luma_samples[i]的值等于0。layer_region_offset_x_in_luma_samples[i]应为MinCbSizeY的整数倍。
参数layer_region_offset_y_in_luma_samples[i]指示第i个独立已编码区域的左上角亮度样本相对于合成图片的左上角亮度样本的垂直偏移，该偏移以亮度样本为单位。当不存在时，推断layer_region_offset_y_in_luma_samples[i]的值等于0。layer_region_offset_y_in_luma_samples[i]应为MinCbSizeY的整数倍。
参数layer_region_width_in_luma_samples[i]指示第i个独立已编码区域的宽度，该宽度以亮度样本为单位。layer_region_width_in_luma_samples[i]的值应等于该层的PicOutputWidthL的值，该层的nuh_layer_id等于region_layer_id[i]。
参数layer_region_height_in_luma_samples[i]指示第i个独立已编码区域的高度，该高度以亮度样本为单位。layer_region_height_in_luma_samples[i]的值应等于该层的PicOutputHeightL的值，该层的nuh_layer_id等于region_layer_id[i]。
此外，下面的表3指示SEI消息的持久性范围(Persistence scope)。
表3 SEI消息的持久性范围(信息性)
Figure BDA0002693890450000161
在某些实施例中，附加地或可替代地，下面的表4示出了另一种独立已编码区域层SEI消息语法。
表4独立已编码区域层SEI消息语法
Figure BDA0002693890450000162
Figure BDA0002693890450000171
参数boundary_identifier_length_minus1加1指示用于表示语法元素boundary_identifier_north[i]、boundary_identifier_east[i]、boundary_identifier_south[i]和boundary_identifier_west[i]的比特数。boundary_id_length_minus1的值应在0到15之间(包括0和15)。
参数boundary_identifier_north[i]、boundary_identifier_east[i]、boundary_identifier_south[i]和boundary_identifier_west[i]分别指示输出图片内第i层的已解码图片的北、东、南和西边界处的标识符。boundary_identifier_north[i]、boundary_identifier_east[i]、boundary_identifier_south[i]和boundary_identifier_west[i]语法元素的长度为boundary_id_length_minus1+1比特。
当boundary_identifier_north[i]和boundary_identifier_south[j]的值或boundary_identifier_east[i]和boundary_identifier_west[j]的值相等时，第i层的已解码图片和第j层的已解码图片在输出图片中相邻，并且分别在北/南边界和东/西边界共享公共边界。北/南边界相邻的两个已解码图片在输出图片中在其西边界上对齐。东/西边界相邻的两个已解码图片在输出图片中在其北边界上对齐。
此外，下面的表5指示SEI消息的持久性范围。
表5 SEI消息的持久性范围(信息性)
Figure BDA0002693890450000172
此外，对于已编码图片的解码过程，可以使用独立层集嵌套SEI消息。独立层集嵌套SEI消息可以提供一种机制，以将共同应用于比特流的所有独立层的SEI消息关联起来。独立层集嵌套SEI消息包含一个或多个SEI消息。下面的表6示出了独立层集嵌套SEI消息语法。
表6独立层集嵌套SEI消息语法
Figure BDA0002693890450000181
参数nesting_zero_bit等于0指示不存在嵌套SEI消息，nesting_zero_bit非零指示嵌套SEI消息。
此外，下面的表7指示嵌套SEI消息的持久性范围。
表7 SEI消息的持久性范围(信息性)
Figure BDA0002693890450000182
在某些实施例中，子图片级别一致性窗口也可以包含在编码器和/或解码器的视频比特流的信令信息中，以改善子图片处理。基于此信息和处理，可以将多个子图片解码为图片，并且可以通过裁剪填充区域来输出子图片。或者，可以将子图片之一提取为子比特流并解码为图片。已解码图片可以在裁剪其填充区域后输出，并带有子图片级别一致性窗口信令。
在VVC标准的上下文中，一致性窗口参数存在于图片参数集(PPS)中。一致性窗口参数指示输出图片的大小和位置。对于每张图片，一个参数集(conf_win_left_offset、conf_win_right_offset、conf_win_top_offset和conf_win_bottom_offset)指示在图片坐标中指定的用于输出的矩形区域。然而，对于各种使用情况，例如在立方体贴图(cubemap)投影中，仅指定的矩形区域可能无法处理多个子图片。
例如，可以使用立方体贴图投影来投影360视频。图8示出了根据本公开实施例的用于填充的立方体贴图投影的示例性子图片一致性窗口。可以将六个面部重新排列到具有填充区域的图片上，以减轻边界的不连续性。如图8所示，视频图片800包括六个子图片802，即，子图片0、子图片1、子图片2、子图片3、子图片4和子图片5，以及填充区域804。
也就是说，可以将图片划分成六个子图片，使得每个子图片包含具有填充区域的每个面部。在解码器侧使用该已编码图片可能有两种情况。首先，可以将所有六个面部都解码为图片，并且可以通过裁剪填充区域输出六个子图片。其次，可以将六个子图片之一提取为子比特流，并且可以将所提取的子比特流中的子图片解码为图片。已解码图片可以在裁剪其填充区域之后输出。在这两种情况下，可以用信号通知每个子图片的每个一致性窗口。在一个实施例中，当在CVS中使用子图片分区时，将为PPS中的每个子图片发信号通知一致性窗口参数集(subpic_conf_win_left_offset[i]、conf_win_right_offset[i]、conf_win_top_offset[i]和conf_win_bottom_offset[i])。具体地，下面的表8示出了一致性窗口参数SEI消息语法。
表8一致性窗口参数SEI消息语法
Figure BDA0002693890450000191
参数pps_pic_parameter_set_id标识PPS，以供其他语法元素引用。不管nuh_layer_id的值如何，PPS NAL单元共享pps_pic_parameter_set_id的相同值空间。
参数pps_seq_parameter_set_id指示用于SPS的sps_seq_parameter_set_id的值。pps_seq_parameter_set_id的值应在0到15之间(包括0和15)。在CLVS中的已编码图片所引用的所有PPS中，pps_seq_parameter_set_id的值应相同。
参数pps_pic_width_in_luma_samples指示引用PPS的每个已解码图片的宽度，该宽度以亮度样本为单位。pps_pic_width_in_luma_samples不应等于0，应为Max(8,MinCbSizeY)的整数倍，并且应小于或等于sps_pic_width_max_in_luma_samples。
参数pps_pic_height_in_luma_samples指示引用PPS的每个已解码图片的高度，该高度以亮度样本为单位。pps_pic_height_in_luma_samples不应等于0，应为Max(8,MinCbSizeY)的整数倍，并且应小于或等于sps_pic_height_max_in_luma_samples。
标志subpic_conformance_window_flag等于1指示在PPS之后是子图片一致性裁剪窗口偏移参数。conformance_window_flag等于0的指示不存在子图片一致性裁剪窗口偏移参数。比特流一致性的要求是，当subpic_present_flag的值等于0时，subpic_conformance_window_flag的值应等于0。
参数subpic_grid_idx_conf_win[i]指示第i个子图片一致性窗口的子图片索引。subpic_grid_idx_conf_win[i]的长度是Ceil(Log2(max_subpics_minus1+1))比特。
参数subpic_conf_win_left_offset[i]、subpic_conf_win_right_offset[i]、subpic_conf_win_top_offset[i]和subpic_conf_win_bottom_offset[i]指示引用PPS指示的图片中的子图片的样本，该子图片的子图片索引等于subpic_grid_idx_conf_win[i]，并且该子图片的样本以图片坐标中指定的用于输出的矩形区域的形式从解码过程中输出。当subpic_conformance_window_flag等于0时，推断subpic_conf_win_left_offset[i]、subpic_conf_win_right_offset[i]、subpic_conf_win_top_offset[i]和subpic_conf_win_bottom_offset[i]的值等于0。
子图片索引等于subpic_grid_idx_conf_win[i]的子图片的一致性裁剪窗口包含亮度样本，其水平图片坐标从SubPicLeftPos[SubPicIdx]+SubWidthC*subpic_conf_win_left_offset[i]到SubPicRightPos[SubPicIdx]-(SubWidthC*subpic_conf_win_right_offset[i]+1)，垂直图片坐标从SubPicTopPos[SubPicIdx]+SubHeightC*subpic_conf_win_top_offset[i]到SubPicBotPos[SubPicIdx]-(SubHeightC*subpic_conf_win_bottom_offset[i]+1)，包括端值。
变量SubPicLeftPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos和SubPicBotBoundaryPos导出如下：
SubPicIdx＝subpic_grid_idx_conf_win[i]
SubPicLeftPos[SubPicIdx]＝
SubPicLeft[SubPicIdx]*(subpic_grid_col_width_minus1+1)*4
SubPicRightPos[SubPicIdx]＝
(SubPicLeft[SubPicIdx]+SubPicWidth[SubPicIdx])*
(subpic_grid_col_width_minus1+1)*4
SubPicTopPos[SubPicIdx]＝
SubPicTop[SubPicIdx]*(subpic_grid_row_height_minus1+1)*4
SubPicBotPos[SubPicIdx]＝(SubPicTop[SubPicIdx]+SubPicHeight[SubPicIdx])*
(subpic_grid_row_height_minus1+1)*4
SubWidthC*(subpic_conf_win_left_offset[i]+subpic_conf_win_right_offset[i])的值应小于(SubPicRightPos[SubPicIdx]-SubPicLeftPos[SubPicIdx])，并且SubHeightC*(subpic_conf_win_top_offset[i]+subpic_conf_win_bottom_offset[i])的值应小于(SubPicBottomPos[SubPicIdx]-SubPicTopPos[SubPicIdx])。
变量SubPicOutputWidthL[i]和SubPicOutputHeightL[i]导出如下：
SubPicOutputWidthL[i]＝
(SubPicRightPos[SubPicIdx]-SubPicLeftPos[SubPicIdx])–
SubWidthC*(subpic_conf_win_right_offset[i]+subpic_conf_win_left_offset[i])
SubPicOutputHeightL[i]＝(SubPicTopPos[SubPicIdx]-SubPicLeftPos[SubPicIdx])–
SubHeightC*(subpic_conf_win_bottom_offset[i]+subpic_conf_win_top_offset[i])。
应注意，子图片一致性裁剪窗口偏移参数可以仅应用于子图片输出。所有内部解码过程可以应用于未裁剪的图片大小。
在某些实施例中，子图片级别输出窗口也可以包含在编码器和/或解码器的视频比特流的信令信息中，以改善子图片处理。例如，针对图8中所示的示例，可以在SEI消息中发信号通知子图片级别输出窗口。具体地，下面的表9示出了子图片级别输出窗口SEI消息语法。
表9子图片级别输出窗口SEI消息语法
Figure BDA0002693890450000211
Figure BDA0002693890450000221
参数pic_width_in_luma_samples指示包含该SEI消息的PU的每个已解码图片的宽度，该宽度以亮度样本为单位。pic_width_in_luma_samples不应等于0，应为Max(8,MinCbSizeY)的整数倍，并且应小于或等于pic_width_max_in_luma_samples。
参数pic_height_in_luma_samples指示包含该SEI消息的PU的每个已解码图片的高度，该高度以亮度样本为单位。pic_height_in_luma_samples不应等于0，应为max(8,mincbsizey)的整数倍，并且应小于或等于pic_height_max_in_luma_samples。
参数num_subpics_minus1加1指示包含该SEI消息的PU的子图片的数量。
参数subpic_id_len_minus1加1指示用于表示语法元素subpic_id[i]的比特数。subpic_id_len_minus1的值应在0到15之间(包括0和15)。
参数subpic_id[i]指示第i个子图片的子图片ID。subpic_id[i]语法元素的长度是subpic_id_len_minus1+1比特。
标志subpic_output_flag[i]等于1指示输出第i个子图片。subpic_output_flag[i]等于0指示不输出第i个子图片。
标志subpic_output_window_flag[i]等于1指示SEI消息之后是子图片输出裁剪窗口偏移参数。Output_window_flag等于0指示不存在子图片输出裁剪窗口偏移参数。比特流输出的要求是，当subpics_present_flag的值等于0时，subpic_Output_window_flag的值应等于0。
参数subpic_conf_win_left_offset[i]、subpic_conf_win_right_offset[i]、subpic_conf_win_top_offset[i]和subpic_conf_win_bottom_offset[i]指示包含SEI消息的图片中的子图片的样本，该子图片的子图片索引等于subpic_grid_idx_conf_win[i]，并且该子图片的样本以图片坐标中指示的用于输出的矩形区域的形式从解码过程中输出。当subpic_Output_window_flag等于0时，推断subpic_conf_win_left_offset[i]、subpic_conf_win_right_offset[i]、subpic_conf_win_top_offset[i]和subpic_conf_win_bottom_offset[i]的值等于0。
子图片索引等于subpic_grid_idx_conf_win[i]的子图片的输出裁剪窗口包含亮度样本，其水平图片坐标从SubPicLeftPos[SubPicIdx]+SubWidthC*subpic_conf_win_left_offset[i]到SubPicRightPos[SubPicIdx]-(SubWidthC*subpic_conf_win_right_offset[i]+1)，垂直图片坐标从SubPicTopPos[SubPicIdx]+SubHeightC*subpic_conf_win_top_offset[i]到SubPicBotPos[SubPicIdx]-(SubHeightC*subpic_conf_win_bottom_offset[i]+1)，包括端值。
变量SubPicLeftPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos和SubPicBotBoundaryPos导出如下：
SubPicIdx＝subpic_grid_idx_conf_win[i]
SubPicLeftPos[SubPicIdx]＝SubPicLeft[SubPicIdx]*(subpic_grid_col_width_minus1+1)*4
SubPicRightPos[SubPicIdx]＝(SubPicLeft[SubPicIdx]+SubPicWidth[SubPicIdx])*(subpic_grid_col_width_minus1+1)*4
SubPicTopPos[SubPicIdx]＝SubPicTop[SubPicIdx]*(subpic_grid_row_height_minus1+1)*4
SubPicBotPos[SubPicIdx]＝(SubPicTop[SubPicIdx]+SubPicHeight[SubPicIdx])*(subpic_grid_row_height_minus1+1)*4。
SubWidthC*(subpic_conf_win_left_offset[i]+subpic_conf_win_right_offset[i])的值应小于(SubPicRightPos[SubPicIdx]-SubPicLeftPos[SubPicIdx])，并且SubHeightC*(subpic_conf_win_top_offset[i]+subpic_conf_win_bottom_offset[i])的值应小于(SubPicBottomPos[SubPicIdx]-SubPicTopPos[SubPicIdx])。
变量SubPicOutputWidthL[i]和SubPicOutputHeightL[i]导出如下：
SubPicOutputWidthL[i]＝(SubPicRightPos[SubPicIdx]-SubPicLeftPos[SubPicIdx])–SubWidthC*(subpic_conf_win_right_offset[i]+subpic_conf_win_left_offset[i])
SubPicOutputHeightL[i]＝(SubPicTopPos[SubPicIdx]-SubPicLeftPos[SubPicIdx])–SubHeightC*(subpic_conf_win_bottom_offset[i]+subpic_conf_win_top_offset[i])。
应注意，子图片输出裁剪窗口偏移参数仅应用于子图片输出。所有内部解码过程都应用于未裁剪的图片大小。此外，下面的表10指示嵌套SEI消息的持久性范围。
表10 SEI消息的持久性范围(信息性)
SEI消息 持久性范围
子图片输出窗口 包含SEI消息的PU
返回图4，计算机系统在基于已解码的视频比特流和信令信息渲染已解码的视频内容(步骤S414)之后，可以向计算机系统的用户呈现渲染的视频内容(步骤S416)。计算机系统还可以将渲染的视频内容呈现给其他程序或应用，以进行进一步处理，例如图像分析或图案检测等。
本公开的实施例还提供了一种视频编解码装置。该装置包括：
视频源获取模块，用于获取多个视频源；
编码模块，用于将所述多个视频源编码为比特流，所述比特流包括与所述多个视频源对应的多个独立层；
生成模块，用于在所述多个独立层上生成信令信息，并将所述信令信息与所述比特流集成；以及
传输模块，用于传输所述比特流以进行解码处理，其中所述信令信息在解码过程中使用，使得单个解码器能够对类似单层比特流的所述多个独立层进行解码；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对VPS指定所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指定在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
本公开的实施例还提供了另一种视频编解码装置。该装置包括：
比特流获取模块，用于获取多个视频源的比特流，所述比特流包括与所述多个视频源对应的多个独立层、以及与所述比特流集成在一起的、所述多个独立层上的信令信息；
解码模块，用于使用单个解码器对所述比特流进行解码，以基于所述信令信息对类似单层比特流的所述多个独立层进行解码，以生成集成了所述多个视频源的已解码输出视频内容；以及
渲染模块，用于使用所述信令信息渲染所述已解码输出视频内容；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对指定所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指定在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
本公开的实施例还提供了一种非易失性计算机可读存储介质，用于存储计算机程序指令，当所述计算机程序指令被用于视频编码/解码的计算机执行时，使得所述计算机执行所述的视频编解码方法
本公开的实施例还提供了一种计算机设备，包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序指令，所述至少一条程序指令由所述一个或多个处理器加载并执行，以实现所述的视频编解码方法。
通过使用所公开的方法、装置和系统，能够使用单个解码器和单层VVC解码过程对多个独立层进行解码，同时还有可能使用单独的解码器对每个独立层进行解码。此外，显著地改善了子图片级别的处理和信令。
尽管通过说明书中的具体实施例描述了本公开的原理和实施方式，但是前面所述的实施例仅用于帮助理解本公开的方法及其核心思想。同时，本领域普通技术人员可以根据本公开的思想对具体的实施方式和应用范围进行修改。总之，说明书的内容不应解释为对本公开的限制。

Claims (24)

1.一种视频编解码方法，其特征在于，包括：
获取多个视频源；
将所述多个视频源编码为比特流，所述比特流包括与所述多个视频源对应的多个独立层；
在所述多个独立层上生成信令信息，并将所述信令信息与所述比特流集成；以及
传输所述比特流以进行解码处理，其中所述信令信息在解码过程中使用，使得单个解码器能够对类似单层比特流的所述多个独立层进行解码；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指示在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
2.根据权利要求1所述的方法，其特征在于，
所述多个独立层为独立已编码区域层；
所述信令信息进一步包括独立已编码区域层补充增强信息SEI消息、参数集或元数据追踪路径；以及
所述独立已编码区域层SEI消息、所述参数集或所述元数据追踪路径包括所述独立已编码区域层的布局信息。
3.根据权利要求2所述的方法，其特征在于，所述独立已编码区域层SEI消息、所述参数集或所述元数据追踪路径中的所述布局信息包括：
参数composed_pic_width_in_luma_samples，其指示由一个或多个独立已编码区域合成的图片的宽度，所述宽度以亮度样本为单位，
参数composed_pic_height_in_luma_samples，其指示由一个或多个独立已编码区域合成的图片的高度，所述高度以亮度样本为单位，以及
参数num_independent_regions_in_pic_minus1，其指示图片中所述独立已编码区域的数量。
4.根据权利要求2所述的方法，其特征在于，所述独立已编码区域层SEI消息、所述参数集或所述元数据追踪路径中的所述布局信息包括：
参数boundary_identifier_north、boundary_identifier_east、boundary_identifier_south和boundary_identifier_west，其分别指示在输出图片内每个层的已解码图片的北、东、南和西边界处的标识符。
5.根据权利要求1所述的方法，其特征在于，
所述多个独立层为独立已编码区域层；
所述信令信息进一步包括独立已编码区域层SEI消息；以及
所述独立已编码区域层SEI消息包括将每个独立已编码区域连接到每个层的映射信息。
6.根据权利要求1所述的方法，其特征在于，
所述信令信息包括独立层集嵌套SEI消息；以及
所述独立层集嵌套SEI消息用于携带共同应用于所述比特流的所述多个独立层的SEI消息，所述SEI消息包括应用于所述比特流的缓冲周期SEI消息和图片定时SEI消息。
7.根据权利要求1所述的方法，其特征在于，
所述信令信息包括图片参数集PPS；以及
所述PPS包括一致性窗口参数SEI消息，所述一致性窗口参数SEI消息用于与所述多个独立层对应的每个子图片，并且用于指示每个子图片的已解码图片的大小和位置。
8.根据权利要求7所述的方法，其特征在于，所述一致性窗口参数SEI消息包括：
标志subpic_conformance_window_flag等于1，其指示在所述一致性窗口参数SEI消息之后是子图片一致性裁剪窗口偏移参数；以及
参数subpic_conf_win_left_offset、subpic_conf_win_right_offset、subpic_conf_win_top_offset和subpic_conf_win_bottom_offset指示每个子图片的矩形区域或从每个子图片裁剪的矩形区域的坐标。
9.根据权利要求1所述的方法，其特征在于，
所述信令信息包括图片参数集PPS；以及
所述PPS包括子图片级别输出窗口SEI消息，所述子图片级别输出窗口SEI消息用于与所述多个独立层对应的每个子图片，并且用于指示每个子图片的子图片输出裁剪窗口的位置。
10.根据权利要求9所述的方法，其特征在于，所述子图片级别输出窗口SEI消息包括：
标志subpic_output_window_flag等于1，其指示在所述子图片级别输出窗口SEI消息之后是子图片输出裁剪窗口偏移参数；以及
参数subpic_conf_win_left_offset、subpic_conf_win_right_offset、subpic_conf_win_top_offset和subpic_conf_win_bottom_offset指示每个子图片的所述子图片输出裁剪窗口的矩形区域的坐标。
11.一种视频编解码方法，其特征在于，包括：
获取多个视频源的比特流，所述比特流包括与所述多个视频源对应的多个独立层、以及与所述比特流集成在一起的、所述多个独立层上的信令信息；
使用单个解码器对所述比特流进行解码，以基于所述信令信息对类似单层比特流的所述多个独立层进行解码，以生成集成了所述多个视频源的已解码输出视频内容；以及
使用所述信令信息渲染所述已解码输出视频内容；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指示在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
12.根据权利要求11所述的方法，其特征在于，
所述多个独立层为独立已编码区域层；
所述信令信息进一步包括独立已编码区域层补充增强信息SEI消息、参数集或元数据追踪路径；以及
所述独立已编码区域层SEI消息、所述参数集或所述元数据追踪路径包括所述独立已编码区域层的布局信息。
13.根据权利要求12所述的方法，其特征在于，所述独立已编码区域层SEI消息、所述参数集或所述元数据追踪路径中的所述布局信息包括：
参数composed_pic_width_in_luma_samples，其指示由一个或多个独立已编码区域合成的图片的宽度，所述宽度以亮度样本为单位，
参数composed_pic_height_in_luma_samples，其指示由一个或多个独立已编码区域合成的图片的高度，所述高度以亮度样本为单位，以及
参数num_independent_regions_in_pic_minus1，其指示图片中所述独立已编码区域的数量。
14.根据权利要求12所述的方法，其特征在于，所述独立已编码区域层SEI消息、所述参数集或所述元数据追踪路径中的所述布局信息包括：
参数boundary_identifier_north、boundary_identifier_east、boundary_identifier_south和boundary_identifier_west，其分别指示在输出图片内每个层的已解码图片的北、东、南和西边界处的标识符。
15.根据权利要求11所述的方法，其特征在于，
所述多个独立层为独立已编码区域层；
所述信令信息进一步包括独立已编码区域层SEI消息；以及
所述独立已编码区域层SEI消息包括将每个独立已编码区域连接到每个层的映射信息。
16.根据权利要求11所述的方法，其特征在于，
所述信令信息包括独立层集嵌套SEI消息；以及
所述独立层集嵌套SEI消息用于携带共同应用于所述比特流的所述多个独立层的SEI消息，所述SEI消息包括应用于所述比特流的缓冲周期SEI消息和图片定时SEI消息。
17.根据权利要求11所述的方法，其特征在于，
所述信令信息包括图片参数集PPS；以及
所述PPS包括一致性窗口参数SEI消息，所述一致性窗口参数SEI消息用于与所述多个独立层对应的每个子图片，并且用于指示每个子图片的已解码图片的大小和位置。
18.根据权利要求17所述的方法，其特征在于，所述一致性窗口参数SEI消息包括：
标志subpic_conformance_window_flag等于1，其指示在所述一致性窗口参数SEI消息之后是子图片一致性裁剪窗口偏移参数；以及
参数subpic_conf_win_left_offset、subpic_conf_win_right_offset、subpic_conf_win_top_offset和subpic_conf_win_bottom_offset指示每个子图片的矩形区域或从每个子图片裁剪的矩形区域的坐标。
19.根据权利要求11所述的方法，其特征在于，
所述信令信息包括图片参数集PPS；以及
所述PPS包括子图片级别输出窗口SEI消息，所述子图片级别输出窗口SEI消息用于与所述多个独立层对应的每个子图片，并且用于指示每个子图片的子图片输出裁剪窗口的位置。
20.根据权利要求19所述的方法，其特征在于，所述子图片级别输出窗口SEI消息包括：
标志subpic_output_window_flag等于1，其指示在所述子图片级别输出窗口SEI消息之后是子图片输出裁剪窗口偏移参数；以及
参数subpic_conf_win_left_offset、subpic_conf_win_right_offset、subpic_conf_win_top_offset和subpic_conf_win_bottom_offset指示每个子图片的所述子图片输出裁剪窗口的矩形区域的坐标。
21.一种视频编解码装置，其特征在于，包括：
视频源获取模块，用于获取多个视频源；
编码模块，用于将所述多个视频源编码为比特流，所述比特流包括与所述多个视频源对应的多个独立层；
生成模块，用于在所述多个独立层上生成信令信息，并将所述信令信息与所述比特流集成；以及
传输模块，用于传输所述比特流以进行解码处理，其中所述信令信息在解码过程中使用，使得单个解码器能够对类似单层比特流的所述多个独立层进行解码；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指示在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
22.一种视频编解码装置，其特征在于，包括：
比特流获取模块，用于获取多个视频源的比特流，所述比特流包括与所述多个视频源对应的多个独立层、以及与所述比特流集成在一起的、所述多个独立层上的信令信息；
解码模块，用于使用单个解码器对所述比特流进行解码，以基于所述信令信息对类似单层比特流的所述多个独立层进行解码，以生成集成了所述多个视频源的已解码输出视频内容；以及
渲染模块，用于使用所述信令信息渲染所述已解码输出视频内容；
其中所述信令信息包括至少一个视频参数集VPS，并且所述VPS包括：
参数vps_max_layers_minus1大于0，其指示所述多个独立层的层数量；
标志vps_all_independent_layers_flag等于1，其指示对所述多个独立层进行独立编码；以及
标志inbl_one_pic_per_poc_flag等于1，其指示所述比特流包含所述多个独立层，指定在所有层中的同一已编码视频序列CVS中，有一个且只有一个具有特定图片顺序号POC值的已编码图片，并且指示配置文件-层-级别和假想参考解码器HRD参数共同应用于所述多个独立层。
23.一种非易失性计算机可读存储介质，其特征在于，用于存储计算机程序指令，当所述计算机程序指令被用于视频编码/解码的计算机执行时，使得所述计算机执行权利要求1-20任一项所述的视频编解码方法。
24.一种计算机设备，其特征在于，包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序指令，所述至少一条程序指令由所述一个或多个处理器加载并执行，以实现所述权利要求1-20任一项所述的视频编解码方法。
CN202010999804.2A 2019-09-22 2020-09-22 视频编解码方法和装置、计算机设备和存储介质 Active CN112637679B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962903869P 2019-09-22 2019-09-22
US62/903,869 2019-09-22
US201962906077P 2019-09-25 2019-09-25
US62/906,077 2019-09-25
US201962947245P 2019-12-12 2019-12-12
US62/947,245 2019-12-12
US17/026,310 US11245899B2 (en) 2019-09-22 2020-09-21 Method and system for single loop multilayer coding with subpicture partitioning
US17/026,310 2020-09-21

Publications (2)

Publication Number Publication Date
CN112637679A CN112637679A (zh) 2021-04-09
CN112637679B true CN112637679B (zh) 2023-03-28

Family

ID=74881461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010999804.2A Active CN112637679B (zh) 2019-09-22 2020-09-22 视频编解码方法和装置、计算机设备和存储介质

Country Status (2)

Country Link
US (3) US11245899B2 (zh)
CN (1) CN112637679B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245899B2 (en) * 2019-09-22 2022-02-08 Tencent America LLC Method and system for single loop multilayer coding with subpicture partitioning
US11388427B2 (en) * 2020-01-09 2022-07-12 Qualcomm Incorporated Multiple decoder interface for streamed media data
EP4068788A1 (en) * 2021-03-31 2022-10-05 Panasonic Intellectual Property Corporation of America Encoder, decoder, encoding method, and decoding method
US11785239B2 (en) * 2021-06-29 2023-10-10 Tencent America LLC Independent coded region output supplementary enhancement information message

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US10116947B2 (en) * 2012-07-06 2018-10-30 Samsung Electronics Co., Ltd. Method and apparatus for coding multilayer video to include scalable extension type information in a network abstraction layer unit, and method and apparatus for decoding multilayer video
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CN105612745A (zh) * 2013-10-08 2016-05-25 夏普株式会社 图像解码装置、图像编码装置以及编码数据
US20160261878A1 (en) * 2013-10-11 2016-09-08 Sharp Kabushiki Kaisha Signaling information for coding
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
US9769492B2 (en) * 2014-06-06 2017-09-19 Qualcomm Incorporated Conformance parameters for bitstream partitions
US10447965B2 (en) * 2016-10-04 2019-10-15 39Degrees C Inc. Apparatus and method for processing image
US20200186795A1 (en) * 2018-12-07 2020-06-11 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
BR112021025875A2 (pt) * 2019-06-20 2022-03-03 Nokia Technologies Oy Um aparelho, um método e um programa de computador para codificação e decodificação de vídeo
US11109069B2 (en) * 2019-09-20 2021-08-31 Tencent America LLC Signaling of scalability parameters in video bitstream
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture
US11310492B2 (en) * 2019-09-20 2022-04-19 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11418813B2 (en) * 2019-09-20 2022-08-16 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11245899B2 (en) * 2019-09-22 2022-02-08 Tencent America LLC Method and system for single loop multilayer coding with subpicture partitioning
US11159827B2 (en) * 2019-09-23 2021-10-26 Tencent America LLC Method for signaling output layer set with sub picture
US20210092406A1 (en) * 2019-09-23 2021-03-25 Qualcomm Incorporated Inter-layer reference picture signaling in video coding
GB2587365B (en) * 2019-09-24 2023-02-22 Canon Kk Method, device, and computer program for coding and decoding a picture
US11265567B2 (en) * 2019-10-08 2022-03-01 Tencent America LLC Method for output layer set signaling in scalable video stream

Also Published As

Publication number Publication date
CN112637679A (zh) 2021-04-09
US11595648B2 (en) 2023-02-28
US20210092375A1 (en) 2021-03-25
US11876965B2 (en) 2024-01-16
US11245899B2 (en) 2022-02-08
US20230103881A1 (en) 2023-04-06
US20220124328A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
KR102334629B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN112637679B (zh) 视频编解码方法和装置、计算机设备和存储介质
JP6550633B2 (ja) ３ｄビデオコーディングのための予測パラメータ継承
CN111989925B (zh) 基于dmvr和bdof的帧间预测方法及其设备
JP2022500943A (ja) 逆量子化のための装置及び方法
AU2019370424B9 (en) Video picture prediction method and apparatus
AU2019335453B2 (en) Method and apparatus for intra prediction
KR101626683B1 (ko) 멀티뷰 비디오 코딩 방안
CN114930863A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN112511832A (zh) 视频解码方法、装置和可读存储介质
US11683513B2 (en) Partitioning of coded point cloud data
JP2022522571A (ja) 任意のｃｔｕサイズのためのｉｂｃ検索範囲最適化を用いるエンコーダ、デコーダおよび対応する方法
JP2023143935A (ja) サブブロック区分モードのためのエンコーダ、デコーダ、および対応する方法
AU2023202927B2 (en) Separate merge list for subblock merge candidates and intra-inter techniques harmonization for video coding
BR112021003999A2 (pt) relação entre elementos de restrição de partição
KR20230087474A (ko) 병렬 코딩을 위한 양방향 데이터 블록들의 조인트 터미네이션
CN114073092A (zh) 用于处理点云数据的设备和方法
CN115918093A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
KR20210090089A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230336765A1 (en) Image encoding/decoding method and device on basis of wrap-around motion compensation, and recording medium storing bitstream
US20220191544A1 (en) Radiative Transfer Signalling For Immersive Video
KR20240017109A (ko) 픽처 분할 방법 및 장치
US20240029313A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230362409A1 (en) A method and apparatus for signaling depth of multi-plane images-based volumetric video
WO2024030692A1 (en) Systems and methods of video decoding with improved buffer storage and bandwidth efficiency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042942

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant