CN114258681A - 在已编码视频流中用信号通知图片报头的方法 - Google Patents

在已编码视频流中用信号通知图片报头的方法 Download PDF

Info

Publication number
CN114258681A
CN114258681A CN202180003260.2A CN202180003260A CN114258681A CN 114258681 A CN114258681 A CN 114258681A CN 202180003260 A CN202180003260 A CN 202180003260A CN 114258681 A CN114258681 A CN 114258681A
Authority
CN
China
Prior art keywords
nal unit
vcl nal
picture
determining
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180003260.2A
Other languages
English (en)
Other versions
CN114258681B (zh
Inventor
崔秉斗
刘杉
史蒂芬·文格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN114258681A publication Critical patent/CN114258681A/zh
Application granted granted Critical
Publication of CN114258681B publication Critical patent/CN114258681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种使用至少一个处理器对已编码视频比特流进行解码的方法，包括：获得视频编码层(VCL)网络抽象层(NAL)单元；确定VCL NAL单元是否是包含VCL NAL单元的图片单元(PU)的第一个VCL NAL单元；基于确定VCL NAL单元是PU的第一个VCL NAL单元，确定VCL NAL单元是否是包含PU的访问单元(AU)的第一个VCL NAL单元；以及基于确定VCL NAL单元是AU的第一个VCL NAL单元，根据VCL NAL单元对AU进行解码。

Description

在已编码视频流中用信号通知图片报头的方法
相关申请的交叉引用
本申请根据35U.S.C.§119要求2020年4月6日在美国专利商标局提交的第63/005,640号美国临时申请和2020年11月12日在美国专利商标局提交的第17/096,168号美国申请的优先权，上述申请的公开内容通过引用整体并入本文。
技术领域
所公开的主题涉及视频编码和解码，并且更具体地，涉及在已编码视频流中用信号通知图片报头。
背景技术
ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)在2013(版本1)、2014(版本2)、2015(版本3)和2016(版本4)中公布了H.265/HEVC(高效视频编码)标准。2015年，这两个标准组织共同形成JVET(联合视频探索组(Joint Video Exploration Team))，以探索开发超越HEVC的下一视频编码标准的潜力。2017年10月，这两个标准组织发布了关于具有超越HEVC的能力的视频压缩的联合建议征求书(Call for Proposal，CfP)。到2018年2月15日，分别提交了关于标准动态范围(standard dynamic range，SDR)的22个CfP响应、关于高动态范围(high dynamic range，HDR)的12个CfP响应以及关于360个视频类别的12个CfP响应。2018年4月，在122MPEG/第10次JVET会议中对所有接收到的CfP响应进行了评估。这次会议的结果是，JVET正式地发起了超越HEVC的下一代视频编码的标准化过程。新标准被命名为多功能视频编码(Versatile Video Coding，VVC)，并且JVET被重新命名为联合视频专家组。
发明内容
在实施方式中，提供一种使用至少一个处理器对已编码视频比特流进行解码的方法，该方法包括：获得视频编码层(video coding layer，VCL)网络抽象层(networkabstraction layer，NAL)单元；确定VCL NAL单元是否是包含VCL NAL单元的图片单元(picture unit，PU)的第一个VCL NAL单元；基于确定VCL NAL单元是PU的第一个VCL NAL单元来确定VCL NAL单元是否是包含PU的访问单元(access unit，AU)的第一个VCL NAL单元；以及基于确定VCL NAL单元是AU的第一个VCL NAL单元来根据VCL NAL单元对AU进行解码。
在实施方式中，提供一种用于对已编码视频比特流进行解码的装置，该装置包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取程序代码以及如由程序代码所指示的进行操作，该程序代码包括：第一获得代码，其被配置成使至少一个处理器获得视频编码层(video coding layer，VCL)网络抽象层(networkabstraction layer，NAL)单元；第一确定代码，其被配置成使至少一个处理器确定VCL NAL单元是否是包含VCL NAL单元的图片单元(picture unit，PU)的第一个VCL NAL单元；第二确定代码，其被配置成使至少一个处理器基于确定VCL NAL单元是PU的第一个VCL NAL单元来确定VCL NAL单元是否是包含PU的访问单元(access unit，AU)的第一个VCL NAL单元；以及解码代码，其被配置成使至少一个处理器基于确定VCL NAL单元是AU的第一个VCL NAL单元来根据VCL NAL单元对AU进行解码。
在实施方式中，提供一种存储指令的非暂态计算机可读介质，所述指令包括一个或更多个指令，所述一个或更多个指令在由用于对已编码视频比特流进行解码的装置的一个或更多个处理器执行时使所述一个或更多个处理器进行以下操作：获得视频编码层(video coding layer，VCL)网络抽象层(network abstraction layer，NAL)单元；确定VCLNAL单元是否是包含VCL NAL单元的图片单元(picture unit，PU)的第一个VCL NAL单元；基于确定VCL NAL单元是PU的第一个VCL NAL单元来确定VCL NAL单元是否是包含PU的访问单元(access unit，AU)的第一个VCL NAL单元；以及基于确定VCL NAL单元是AU的第一个VCLNAL单元来根据VCL NAL单元对AU进行解码。
附图说明
根据以下详细描述和附图，所公开主题的其他特征、性质和各种优点将更加明显，在附图中：
图1是根据实施方式的通信系统的简化框图的示意图。
图2是根据实施方式的通信系统的简化框图的示意图。
图3是根据实施方式的解码器的简化框图的示意图。
图4是根据实施方式的编码器的简化框图的示意图。
图5是根据实施方式的语法表的示例的示意图。
图6A至图6C是根据实施方式的用于对已编码视频比特流进行解码的示例处理的流程图。
图7是根据实施方式的计算机系统的示意图。
具体实施方式
图1示出了根据本公开内容的实施方式的通信系统(100)的简化框图。系统(100)可以包括经由网络(150)互连的至少两个终端(110至120)。为了数据的单向传输，第一终端(110)可以对本地位置处的视频数据进行编码以经由网络(150)传输至另一终端(120)。第二终端(120)可以从网络(150)接收另一终端的已编码视频数据、对已编码数据进行解码并显示所恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
图1示出了第二对终端(130，140)，第二对终端(130，140)被提供以支持可能在例如视频会议期间发生的已编码视频的双向传输。对于数据的双向传输，每个终端(130，140)可以对在本地位置处捕获的视频数据进行编码以经由网络(150)传输至另一终端。每个终端(130，140)还可以接收由另一终端传送的已编码视频数据、可以对已编码数据进行解码并且可以在本地显示装置上显示所恢复的视频数据。
在图1中，终端(110至140)可以被示为服务器、个人计算机和智能电话，但本公开内容的原理可以不限于此。本公开内容的实施方式适用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议装备。网络(150)表示在终端(110至140)之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络(150)可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本论述的目的，除非在下文中说明，否则网络(150)的架构和拓扑对于本公开内容的操作来说可以是无关紧要的。
作为所公开主题的应用的示例，图2示出了视频编码器和解码器在流式传输环境中的布置。所公开的主题可以同等地适用于其他支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等。
流式传输系统可以包括捕获子系统(213)，捕获子系统(213)可以包括创建例如未压缩的视频样本流(202)的视频源(201)，例如数码摄像机。被描绘为粗线以强调与已编码视频比特流相比的高数据量的该样本流(202)可以由耦接至摄像机(201)的编码器(203)处理。编码器(203)可以包括硬件、软件或其组合以实现或实施如下文更详细地描述的所公开主题的各方面。被描绘为细线以强调与样本流相比的较低数据量的已编码视频比特流(204)可以被存储在流式传输服务器(205)上以供将来使用。一个或更多个流式传输客户端(206，208)可以访问流式传输服务器(205)以检索已编码视频比特流(204)的副本(207，209)。客户端(206)可以包括视频解码器(210)，视频解码器(210)对已编码视频比特流的传入副本(207)进行解码并且创建可以在显示器(212)或其他呈现装置(未描绘)上呈现的传出视频样本流(211)。在一些流式传输系统中，可以根据某些视频编码/压缩标准来对视频比特流(204，207，209)进行编码。这些标准的示例包括ITU-T建议书H.265。正在开发的是被非正式地称为通用视频编码或VVC(Versatile Video Coding)的视频编码标准。所公开的主题可以在VVC的上下文中使用。
图3可以是根据本公开内容的实施方式的视频解码器(210)的功能框图。
接收器(310)可以接收要通过解码器(210)解码的一个或更多个编解码器视频序列；在同一实施方式或另一实施方式中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其他已编码视频序列。可以从信道(312)接收已编码视频序列，信道(312)可以是至存储已编码视频数据的存储装置的硬件/软件链路。接收器(310)可以接收已编码视频数据以及可以被转发至其相应使用实体(未描绘)的其他数据，例如已编码音频数据和/或辅助数据流。接收器(310)可以将已编码视频序列与其他数据分开。为了对抗网络抖动，可以在接收器(310)与熵解码器/解析器(320)(此后称为“解析器”)之间耦接缓冲存储器(315)。在接收器(310)从具有足够带宽和可控性的存储/转发装置或从等时同步网络接收数据时，可以不需要缓冲器(315)，或者缓冲器(315)可以很小。为了尽可能地使用诸如因特网的分组网络，可能需要缓冲器(315)，缓冲器(315)可以相对大并且可以有利地具有自适应大小。
视频解码器(210)可以包括解析器(320)，解析器(320)根据经熵编码的视频序列来重构符号(321)。这些符号的类别包括用于管理解码器(210)的操作的信息以及用于控制不是解码器的组成部分但是可以耦接至解码器的呈现装置例如显示器(212)的潜在信息，如图3所示。呈现装置的控制信息可以是辅助增强信息(Supplemental EnhancementInformation，SEI消息)或视频可用性信息(Video Usability Information，VUI)参数集片段(未描绘)的形式。解析器(320)可以对所接收的已编码视频序列进行解析/熵解码。已编码视频序列的编码可以根据视频编码技术或标准进行，并且可以遵循本领域技术人员公知的原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等。解析器(320)可以基于与群组对应的至少一个参数，从已编码视频序列中提取用于视频解码器中的像素的子群组中的至少一个子组群的子群组参数集。子群组可以包括：图片群组(Group of Pictures，GOP)、图片、子图片、图块、切片、区块(brick)、宏块、编码树单元(Coding Tree Unit，CTU)、编码单元(Coding Unit，CU)、块、变换单元(TransformUnit，TU)、预测单元(Prediction Unit，PU)等。图块可以指示图片中的特定图块列和行内的CU/CTU的矩形区域。区块可以指示特定图块内的CU/CTU行的矩形区域。切片可以指示图片的被包含在NAL单元中的一个或更多个区块。子图片可以指示图片中的一个或更多个切片的矩形区域。熵解码器/解析器还可以从已编码视频序列中提取信息，例如变换系数、量化器参数值、运动矢量等。
解析器(320)可以针对从缓冲器(315)接收的视频序列执行熵解码/解析操作以创建符号(321)。
符号(321)的重构可以取决于已编码视频图片或其部分的类型(例如：帧间和帧内图片、帧间和帧内块)以及其他因素而涉及多个不同的单元。可以通过由解析器(320)从已编码视频序列解析的子组控制信息来控制涉及哪些单元以及如何进行。为了清晰起见，未描绘在解析器(320)与下面的多个单元之间的这样的子组控制信息流。
除了已经提及的功能块之外，解码器210可以在概念上被细分为如下所述的多个功能单元。在商业限制下的实际实现操作中，这些单元中的许多单元彼此紧密地相互作用并且可以至少部分地彼此集成。然而，出于描述所公开的主题的目的，在概念上细分为以下功能单元是适当的。
第一单元是缩放器/逆变换单元(351)。缩放器/逆变换单元(351)从解析器(320)接收作为符号(321)的量化变换系数以及控制信息，包括要使用哪种变换、块大小、量化因子、量化缩放矩阵等。它可以输出包括样本值的块，所述样本值可以被输入到聚合器(355)中。
在一些情况下，缩放器/逆变换(351)的输出样本可以属于帧内编码的块；即：不使用来自先前重构的图片的预测性信息但是可以使用来自当前图片的先前重构的部分的预测性信息的块。这样的预测性信息可以由帧内图片预测单元(352)提供。在一些情况下，帧内图片预测单元(352)使用从当前(部分重构的)图片(358)获取的周围已经重构的信息来生成与正在重构的块的大小和形状相同的块。在一些情况下，聚合器(355)基于每个样本将帧内预测单元(352)已经生成的预测信息添加至由缩放器/逆变换单元(351)提供的输出样本信息。
在其他情况下，缩放器/逆变换单元(351)的输出样本可以属于经帧间编码的且可能经运动补偿的块。在这种情况下，运动补偿预测单元(353)可以访问参考图片存储器(357)以获取用于预测的样本。在根据属于块的符号(321)对所获取的样本进行运动补偿之后，可以通过聚合器(355)将这些样本添加至缩放器/逆变换单元的输出(在这种情况下，称为残差样本或残差信号)以生成输出样本信息。运动补偿单元从其提取预测样本的参考图片存储器内的地址可以由运动矢量控制，运动矢量能够以符号(321)的形式用于运动补偿单元，符号(321)可以具有例如X分量、Y分量和参考图片分量。运动补偿还可以包括在使用子样本精确运动矢量时从参考图片存储器提取的样本值的插值、运动矢量预测机制等。
聚合器(355)的输出样本可以在环路滤波器单元(356)中经受各种环路滤波技术。视频压缩技术可以包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频比特流中的并且作为来自解析器(320)的符号(321)可用于环路滤波器单元(356)的参数，但是视频压缩技术还可以响应于在对已编码图片或已编码视频序列的先前(按解码次序)部分进行解码期间获得的元信息，以及响应于先前重构且经环路滤波的样本值。
环路滤波器单元(356)的输出可以是样本流，该样本流可以被输出至呈现装置(212)以及被存储在参考图片存储器中以用于将来的帧间图片预测。
一旦被完全重构，某些已编码图片就可以用作参考图片用于将来预测。一旦已编码图片被完全重构并且该已编码图片(通过例如解析器(320))被识别为参考图片，则当前参考图片(358)可以变成参考图片缓冲器(357)的一部分，并且可以在开始对随后的已编码图片进行重构之前重新分配新的当前图片存储器。
视频解码器210可以根据可以记录在诸如ITU-T H.265建议书的标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循如在视频压缩技术文档或标准中并且具体地在其中的简档文档中指定的视频压缩技术或标准的语法的意义上，已编码视频序列可以符合由所使用的视频压缩技术或标准指定的语法。对于合规性，还要求已编码视频序列的复杂度在由视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧速率、最大重构样本速率(以例如每秒兆个样本为单位进行测量)、最大参考图片大小等。在一些情况下，可以通过假设参考解码器(Hypothetical ReferenceDecoder，HRD)规范以及在已编码视频序列中用信号通知的HRD缓冲器管理的元数据对通过层级设置的限制进行进一步限定。
在实施方式中，接收器(310)可以连同已编码视频一起接收附加(冗余)数据。附加数据可以被包括为已编码视频序列的一部分。视频解码器(210)可以使用附加数据对数据进行适当解码以及/或者更准确地重构原始视频数据。附加数据可以呈例如时间、空间或SNR增强层、冗余切片、冗余图片、前向纠错码等形式。
图4可以是根据本公开内容的实施方式的视频编码器(203)的功能框图。
编码器(203)可以从视频源(201)(其不是编码器的一部分)接收视频样本，视频源(201)可以捕获要通过编码器(203)编码的视频图像。
视频源(201)可以以数字视频样本流的形式提供要由视频编码器(203)编码的源视频序列，所述数字视频样本流可以具有任何合适的位深度(例如：8位、10位、12位……)、任何颜色空间(例如，BT.601Y CrCB、RGB……)以及任何合适的采样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务系统中，视频源(201)可以是存储先前准备的视频的存储装置。在视频会议系统中，视频源(203)可以是捕获本地图像信息作为视频序列的摄像机。可以将视频数据提供为当按顺序观看时赋予运动的多个单独的图片。图片自身可以被组织为空间像素阵列，其中，每个像素可以取决于所使用的采样结构、颜色空间等包括一个或更多个样本。本领域技术人员可以容易地理解像素与样本之间的关系。下文侧重于描述样本。
根据实施方式，编码器(203)可以实时地或在应用所要求的任何其他时间约束下对源视频序列的图片进行编码并将其压缩为已编码视频序列(443)。施行适当的编码速度是控制器(450)的一个功能。控制器控制如下所述的其他功能单元，并且在功能上耦接至这些单元。为简洁起见未描绘耦接。通过控制器设置的参数可以包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值……)、图片大小、图片组(group of pictures，GOP)布局、最大运动矢量搜索范围等。本领域技术人员可以容易地识别控制器(450)的其他功能，因为这些功能可能属于针对特定系统设计而优化的视频编码器(203)。
一些视频编码器以本领域技术人员容易识别为“编码环路”的方式操作。作为过于简化的描述，编码环路可以包括：编码器(430)(此后称为“源编码器”)的编码部分(负责基于要编码的输入图片和参考图片来创建符号)以及嵌入编码器(203)中的(本地)解码器(433)，(本地)解码器(433)对符号进行重构以创建(远程)解码器也将创建的样本数据(因为在所公开的主题中考虑的视频压缩技术中，符号与已编码视频比特流之间的任何压缩是无损的)。该重构的样本流被输入至参考图片存储器(434)。由于对符号流的解码产生独立于解码器位置(本地或远程)的位精确结果，因此参考图片缓冲器内容在本地编码器与远程编码器之间也是位精确的。换言之，编码器的预测部分“看到”的参考图片样本与解码器在解码期间使用预测时将“看到”的样本值完全相同。这种参考图片同步性的基本原理(以及在例如由于信道错误而不能保持同步性情况下产生的漂移)是本领域技术人员公知的。
“本地”解码器(433)的操作可以与“远程”解码器(210)的操作相同，上面已经结合图3对“远程”解码器(210)进行了详细描述。然而，还简要地参照图4，当符号可用并且由熵编码器(445)和解析器(320)将符号编码/解码为已编码视频序列可以是无损的时，可以不在本地解码器(433)中完全实现解码器(210)的包括信道(312)、接收器(310)、缓冲器(315)和解析器(320)的熵解码部分。
此时可以观察到，除了解码器中存在的解析/熵解码之外的任何解码器技术也必然需要以基本上相同的功能形式存在于对应的编码器中。出于这个原因，所公开的主题侧重于解码器操作。由于编码器技术与已经全面描述的解码器技术互逆，因此可以简化对编码器技术的描述。在下文中仅在某些地方需要并提供更详细的描述。
作为其操作的一部分，源编码器(430)可以执行运动补偿的预测性编码，其参考来自视频序列的被指定为“参考帧”的一个或更多个先前编码的帧对输入帧进行预测性地编码。以这种方式，编码引擎(432)对输入帧的像素块与可以被选择为输入帧的预测参考的参考帧的像素块之间的差进行编码。
本地视频解码器(433)可以基于由源编码器(430)创建的符号对可以被指定为参考帧的帧的已编码视频数据进行解码。编码引擎(432)的操作可以有利地为有损处理。在已编码视频数据可以在视频解码器(图4中未示出)处被解码的情况下，重构的视频序列通常可以是源视频序列的具有一些误差的副本。本地视频解码器(433)复制解码处理，所述解码处理可以由视频解码器对参考帧执行，并且可以使重构的参考帧被存储在参考图片高速缓冲存储器(434)中。以这种方式，编码器(203)可以在本地存储经重构的参考帧的如下副本：所述副本与将通过远端视频解码器获得的经重构的参考帧具有共同内容(不存在传输误差)。
预测器(435)可以对编码引擎(432)执行预测搜索。也就是说，对于要被编码的新帧，预测器(435)可以在参考图片存储器(434)中搜索可以用作新图片的合适的预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(435)可以基于样本块逐像素块进行操作以找到合适的预测参考。在一些情况下，如由预测器(435)获得的搜索结果所确定的，输入图片可以具有从存储在参考图片存储器(434)中的多个参考图片提取的预测参考。
控制器(450)可以管理视频编码器(430)的编码操作，包括例如对用于对视频数据进行编码的参数和子群组参数进行设置。
所有以上提及的功能单元的输出可以在熵编码器(445)中经受熵编码。熵编码器通过根据本领域技术人员公知的技术(例如霍夫曼编码、可变长度编码、算术编码等)对符号进行无损压缩来将由各个功能单元生成的符号转换成已编码视频序列。
传输器(440)可以缓冲由熵编码器(445)创建的已编码视频序列，从而为经由通信信道(460)进行传输做准备，通信信道(460)可以是至将存储已编码视频数据的存储装置的硬件/软件链路。传输器(440)可以将来自视频编码器(430)的已编码视频数据与要传输的其他数据例如已编码音频数据和/或辅助数据流(源未示出)合并。
控制器(450)可以管理编码器(203)的操作。在编码期间，控制器(450)可以向每个已编码图片分配某种已编码图片类型，这可能影响可以应用于相应图片的编码技术。例如，通常可以将图片分配为以下帧类型之一：
帧内图片(I图片)，其可以是可以在无需将序列中的任何其他帧用作预测源的情况下进行编码和解码的图片。一些视频编解码器允许不同类型的帧内图片，包括例如独立解码器刷新图片。本领域的技术人员了解I图片的这些变型及其相应的应用和特征。
预测性图片(P图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图片(B图片)，其可以是可以使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多预测性图片可以使用多于两个参考图片和相关联的元数据来进行单个块的重构。
源图片通常可以在空间上被细分为多个样本块(例如，分别具有4×4、8×8、4×8或16×16个样本的块)并且被逐块地编码。可以参考如根据应用于块的相应图片的编码分配所确定的其他(已经编码的)块对块进行预测性编码。例如，可以对I图片的块进行非预测性编码，或者可以参考同一图片的已编码块对I图片的块进行预测性编码(空间预测或帧内预测)。可以参考一个先前编码的参考图片经由空间预测或经由时间预测对P图片的像素块进行非预测性编码。可以参考一个或两个先前编码的参考图片经由空间预测或经由时间预测对B图片的块进行非预测性编码。
视频编码器(203)可以根据预定视频编码技术或标准例如ITU-TH.265建议书执行编码操作。在其操作中，视频编码器(203)可以执行各种压缩操作，包括利用输入视频序列中的时间冗余和空间冗余的预测性编码操作。因此，已编码视频数据可以符合由所使用的视频编码技术或标准指定的语法。
在实施方式中，传输器(440)可以连同已编码视频一起传输附加数据。视频编码器(430)可以包括这样的数据作为已编码的视频序列的一部分。附加数据可以包括时间/空间/SNR增强层、其他形式的冗余数据例如冗余图片和切片、辅助增强信息(SupplementaryEnhancement Information，SEI)消息、视觉可用性信息(Visual Usability Information，VUI)参数集片段等。
实施方式可以涉及与图片报头相关的语法和语义的修改。至少一个实施方式可以涉及用信号通知PPS中的all_pic_coding_info_present_in_ph_flag作为门控标志以节省一些位，从而指定图片级编码工具信息是否存在于PH或SH中。至少一个实施方式可以涉及校正PU或AU的第一个VCL NAL单元的标识。至少一个实施方式可以涉及修改gdr_or_irap_pic_flag的语义以应对mixed_nalu_types_flag等于1的情况。
在实施方式中，图片参数集(picture parameter set，PPS)可以指包含应用于如由在每个切片报头中找到的语法元素所确定的零个或多个完整的已编码图片的语法元素的语法结构。
在实施方式中，图片报头(picture header，PH)可以指包含应用于已编码图片的所有切片的语法元素的语法结构。
在实施方式中，切片报头(slice header，SH)可以指已编码切片的包含属于所有图块或切片中表示的图块内的编码树单元(coding tree unit，CTU)行的数据元素的部分。
实施方式可以涉及视频编码层(Video Coding Layer，VCL)。
在实施方式中，网络抽象层(network abstraction layer，NAL)单元可以指包含对要跟随的数据的类型的指示和以下字节的语法结构：所述字节包含呈原始字节序列有效载荷(raw byte sequence payload，RBSP)形式的数据，其在必要时点缀有防竞争字节(emulation prevention byte)。
在实施方式中，VCL NAL单元可以指已编码切片NAL单元和具有nal_unit_type的保留值的NAL单元的子集的统称，上述两者在本说明书中被分类为VCL NAL单元。
在实施方式中，图片单元(Picture Unit，PU)可以指根据所指定的分类规则彼此关联、在解码次序上连续并且恰好包含一个已编码图片的NAL单元集合。
在实施方式中，访问单元(access unit，AU)可以指属于不同层并且包含用于从解码图片缓冲器(decoded picture buffer，DPB)输出的与同一时间相关联的已编码图片的PU集合。
实施方式可以涉及样本自适应偏移(sample adaptive offset，SAO)。
在实施方式中，自适应环路滤波器(adaptive loop filter，ALF)可以指作为解码处理的一部分应用并且受在自适应参数集(adaptation parameter set，APS)中传送的参数控制的滤波处理。
实施方式可以涉及量化参数(quantization parameter，QP)。
实施方式可以涉及帧内随机访问点(intra random access point，IRAP)。
实施方式可以涉及逐渐解码刷新(gradual decoding refresh，GDR)。
在实施方式中，GDR图片可以指每个VCL NAL单元具有等于GDR_NUT的nal_unit_type的图片。
在VVC草案的最新版本(JVET-Q2001-vE)中，在PPS语法结构中可以使用六个标志来指示图片级编码信息是否存在于图片报头或切片报头中。例如rpl_info_in_ph_flag、dbf_info_in_ph_flag、sao_info_in_ph_flag等。在大多数情况下，这些值可以具有相同的值，即0或1。每个xxx_info_in_ph标志似乎不太可能具有不同的值。
因此，在实施方式中，门控标志all_pic_coding_info_present_in_ph_flag可以指示PPS中存在那些标志以节省PPS中的位。如果all_pic_coding_info_present_in_ph_flag的值等于1，则不用信号通知那些xxx_info_in_ph标志并且可以推断那些标志的值等于1，这是因为用信号通知图片报头中的图片级编码信息可能比用信号通知切片报头中用于切片级控制的信息更频繁地发生。图5中示出与实施方式一致的语法表的示例。
在实施方式中，all_pic_coding_info_present_in_ph_flag等于1可以指定rpl_info_in_ph_flag、dbf_info_in_ph_flag、sao_info_in_ph_flag、alf_info_in_ph_flag、wp_info_in_ph_flag和qp_delta_info_in_ph_flag不存在于PPS中。all_pic_coding_info_present_in_ph_flag等于0可以指定rpl_info_in_ph_flag、dbf_info_in_ph_flag、sao_info_in_ph_flag、alf_info_in_ph_flag、wp_info_in_ph_flag和qp_delta_info_in_ph_flag存在于PPS中。
在实施方式中，rpl_info_in_ph_flag等于1可以指定参考图片列表信息存在于PH语法结构中并且不存在于不包含PH语法结构的参考PPS的切片报头中。rpl_info_in_ph_flag等于0可以指定参考图片列表信息不存在于PH语法结构中并且可以存在于不包含PH语法结构的参考PPS的切片报头中。在不存在的情况下，可以推断rpl_info_in_ph_flag的值等于1。
在实施方式中，dbf_info_in_ph_flag等于1可以指定去块滤波器信息存在于PH语法结构中并且不存在于不包含PH语法结构的参考PPS的切片报头中。dbf_info_in_ph_flag等于0可以指定去块滤波器信息不存在于PH语法结构中并且可以存在于不包含PH语法结构的参考PPS的切片报头中。在不存在的情况下，可以推断dbf_info_in_ph_flag的值等于0。在不存在的情况下，可以推断dbf_info_in_ph_flag的值等于1。
sao_info_in_ph_flag等于1可以指定SAO滤波器信息存在于PH语法结构中并且不存在于不包含PH语法结构的参考PPS的切片报头中。sao_info_in_ph_flag等于0可以指定SAO滤波器信息不存在于PH语法结构中并且可以存在于不包含PH语法结构的参考PPS的切片报头中。在不存在的情况下，可以推断sao_info_in_ph_flag的值等于1。
alf_info_in_ph_flag等于1可以指定ALF信息存在于PH语法结构中并且不存在于不包含PH语法结构的参考PPS的切片报头中。alf_info_in_ph_flag等于0可以指定ALF信息不存在于PH语法结构中并且可以存在于不包含PH语法结构的参考PPS的切片报头中。在不存在的情况下，可以推断alf_info_in_ph_flag的值等于1。
wp_info_in_ph_flag等于1可以指定经加权的预测信息可以存在于PH语法结构中并且不存在于不包含PH语法结构的参考PPS的切片报头中。wp_info_in_ph_flag等于0可以指定经加权的预测信息不存在于PH语法结构中并且可以存在于不包含PH语法结构的参考PPS的切片报头中。在不存在的情况下，可以推断wp_info_in_ph_flag的值等于0。在不存在的情况下，可以推断wp_info_in_ph_flag的值等于1。
qp_delta_info_in_ph_flag等于1可以指定QP增量信息存在于PH语法结构中并且不存在于不包含PH语法结构的参考PPS的切片报头中。qp_delta_info_in_ph_flag等于0可以指定QP增量信息不存在于PH语法结构中并且可以存在于不包含PH语法结构的参考PPS的切片报头中。在不存在的情况下，可以推断qp_delta_info_in_ph_flag的值等于1。
在最新的VVC规范草案中，不清楚如何识别PU或AU的第一个VCL NAL单元。实施方式可以涉及对NAL单元的次序的描述的以下修改。
在实施方式中，在VCL NAL单元是跟随PH NAL单元的第一个VCL NAL单元或者具有等于1的picture_header_in_slice_header_flag并且以下条件中的一个或更多个条件为真的情况下，VCL NAL单元是AU的第一个VCL NAL单元(并且因此包含该VCL NAL单元的PU是AU的第一个PU)：
–VCL NAL单元的nuh_layer_id的值小于按解码次序的先前图片的nuh_layer_id。
–VCL NAL单元的ph_pic_order_cnt_lsb的值不同于按解码次序的先前图片的ph_pic_order_cnt_lsb。
–针对VCL NAL单元得出的PicOrderCntVal不同于按解码次序的先前图片的PicOrderCntVal。
在实施方式中，图片报头中的标志gdr_or_irap_pic_flag指示当前图片是IRAP图片还是GDR图片。当gdr_or_irap_pic_flag的值等于1时，标志no_output_of_prior_pics_flag也可以存在于图片报头中。在对子图片的比特流进行合并时，需要保持IRAP子图片的no_output_of_prior_pics_flag的值以用于子图片提取。为了解决该问题，实施方式可以涉及对gdr_or_irap_pic_flag的语义的以下修改：
在实施方式中，gdr_or_irap_pic_flag等于1可以指定当前图片是GDR或IRAP图片或者如下图片：所述图片具有等于IDR_W_RADL、IDR_N_LP或CRA_NUT的VCL NAL单元并且mixed_nalu_types_in_pic_flag等于1。gdr_or_irap_pic_flag等于0可以指定当前图片可能是或者可能不是GDR或IRAP图片
在实施方式中，gdr_or_irap_pic_flag等于1可以指定当前图片是GDR或IRAP图片或者包含mixed_nalu_types_in_pic_flag等于1的IRAP子图片的图片。gdr_or_irap_pic_flag等于0可以指定当前图片可能是或者可能不是GDR或IRAP图片。
在实施方式中，gdr_or_irap_pic_flag等于1可以指定当前图片是GDR或IRAP图片。gdr_or_irap_pic_flag等于0可以指定当前图片可能是或者可能不是GDR或IRAP图片。
当mixed_nalu_types_in_pic_flag等于1时，gdr_or_irap_pic_flag的值应该等于0可以是比特流一致性的要求。
图6A至图6C是用于对已编码视频比特流进行解码的示例处理600A、600B和600C的流程图。在一些实现方式中，图6A至图6C的一个或更多个处理块可以由解码器210执行。在一些实现方式中，图6A至图6C的一个或更多个处理块可以由与解码器210分离或包括解码器210的另一装置或一组装置例如编码器203执行。
在实施方式中，图6A中示出的一个或更多个块可以对应于图6B和图6C的一个或更多个块或者可以与图6B和图6C的一个或更多个块一起执行。
如图6A所示，处理600A可以包括获得视频编码层(video coding layer，VCL)网络抽象层(network abstraction layer，NAL)单元(块611)。
如图6A中另外示出的，处理600A可以包括确定VCL NAL单元是包含VCL NAL单元的图片单元(picture unit，PU)的第一个VCL NAL单元(块612)。
如图6A中另外示出的，处理600A可以包括基于确定VCL NAL单元是PU的第一个VCLNAL单元来确定VCL NAL单元是包含PU的访问单元(access unit，AU)的第一个VCL NAL单元(块613)。
如图6A中另外示出的，处理600A可以包括基于确定VCL NAL单元是AU的第一个VCLNAL单元来根据VCL NAL单元对AU进行解码(块614)。
在实施方式中，图6B中示出的一个或更多个块可以对应于图6A和图6B的一个或更多个块或者可以与图6A和图6B的一个或更多个块一起执行。
如图6B所示，处理600B可以包括获得VCL NAL单元(块621)。
如图6B中另外示出的，处理600B可以包括确定VCL NAL单元是否是跟随图片报头NAL单元的第一个VCL NAL单元(块622)。
如图6B中另外示出的，处理600B可以包括基于确定VCL NAL单元是跟随图片报头NAL单元的第一个VCL NAL单元(块622处为是)而进行至块623。
如图6B中另外示出的，处理600B可以包括基于确定VCL NAL单元不是跟随图片报头NAL单元的第一个VCL NAL单元(块623处为否)而进行至块624。在实施方式中，处理600B可以替代地进行至块625。
如图6B中另外示出的，处理600B可以包括确定VCL NAL单元中的标志是否被设置为指示图片报头被包括在VCL NAL单元所包括的切片报头中(块624)。在实施方式中，所述标志可以对应于picture_header_in_slice_header_flag。
如图6B中另外示出的，处理600B可以包括基于确定VCL NAL单元中的标志被设置为指示图片报头被包括在VCL NAL单元所包括的切片报头中(块624处为是)而进行至块623。
如图6B中另外示出的，处理600B可以包括基于确定VCL NAL单元中的标志没有被设置为指示图片报头被包括在VCL NAL单元所包括的切片报头中(块624处为否)而进行至块625。
如图6B中另外示出的，处理600B可以包括确定VCL NAL单元是包含VCL NAL单元的PU的第一个VCL NAL单元(块623)。
如图6B中另外示出的，处理600B可以包括确定VCL NAL单元不是包含VCL NAL单元的PU的第一个VCL NAL单元(块625)。
在实施方式中，图6C中示出的一个或更多个块可以对应于图6A和图6C的一个或更多个块或者可以与图6A和图6C的一个或更多个块一起执行。
如图6C中示出的，处理600C可以包括确定VCL NAL单元是PU的第一个VCL NAL单元(块631)。
如图6C中另外示出的，处理600C可以包括确定VCL NAL单元的层标识符是否小于先前图片的层标识符(块632)。
如图6C中另外示出的，处理600C可以包括基于确定VCL NAL单元的层标识符小于先前图片的层标识符(块632处为是)而进行至块633。
如图6C中另外示出的，处理600C可以包括基于确定VCL NAL单元的层标识符不小于先前图片的层标识符(块632处为否)而进行至块634。在实施方式中，处理600C可以替代地进行至块635。
如图6C中另外示出的，处理600C可以包括确定VCL NAL单元的图片次序计数是否不同于先前图片的图片次序计数(块634)。在实施方式中，这可以基于图片次序计数的最低有效位(least significant bit，LSB)来确定。
如图6C中另外示出的，处理600C可以包括基于确定VCL NAL单元的图片次序计数不同于先前图片的图片次序计数(块634处为是)而进行至块633。
如图6C中另外示出的，处理600C可以包括基于确定VCL NAL单元的图片次序计数没有不同于先前图片的图片次序计数(块634处为否)而进行至块635。
如图6C中另外示出的，处理600C可以包括确定VCL NAL单元是包含VCL NAL单元的AU的第一个VCL NAL单元(块633)。
如图6C中另外示出的，处理600C可以包括确定VCL NAL单元不是包含VCL NAL单元的AU的第一个VCL NAL单元(块635)。
在实施方式中，基于指示所有图片编码信息都存在于图片报头中的标志，可以不用信号通知与图片编码信息对应的多个标志。在实施方式中，所述标志可以对应于all_pic_coding_info_present_in_ph_flag。
尽管图6A至图6C示出了处理600A至600C的示例块，但是在一些实现方式中，与图6A至图6C中所描绘的那些块相比，处理600A至600C可以包括附加的块、更少的块、不同的块或不同地布置的块。另外地或可替选地，可以并行执行处理600A至600C的块中的两个或更多个块。
此外，所提出的方法可以由处理电路系统(例如，一个或更多个处理器或者一个或更多个集成电路)来实现。在一个示例中，一个或更多个处理器执行存储在非暂态计算机可读介质中的程序以执行所提出的方法中的一个或更多个方法。
可以使用计算机可读指令将上述技术实现为计算机软件并且将其物理地存储在一个或更多个计算机可读介质中。例如，图7示出了适于实现所公开的主题的某些实施方式的计算机系统700。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，所述机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，所述指令可以由计算机中央处理单元(central processing unit，CPU)、图形处理单元(GraphicsProcessing Unit，GPU)等直接执行或由计算机中央处理单元(central processing unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)通过解译、微代码执行等执行。
所述指令可以在各种类型的计算机或其部件上执行，包括例如个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等。
图7中示出的用于计算机系统700的部件本质上是示例性的，并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应被解释为具有与计算系统700的示例性实施方式中所示的部件中的任一者或组合相关的任何依赖性或要求。
计算机系统700可以包括某些人机接口输入装置。这样的人机接口输入装置可以响应于由一个或更多个人类用户通过例如触觉输入(例如：击键、滑动、数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘)进行的输入。人机接口装置还可以用于捕获不一定与人类的有意识输入直接相关的某些媒体，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像摄像机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
输入人机接口装置可以包括以下中的一个或更多个(描绘了每种中的仅一个)：键盘701、鼠标702、触控板703、触摸屏710及相关联的图形适配器750、数据手套、操纵杆705、麦克风706、扫描仪707、摄像机708。
计算机系统700还可以包括某些人机接口输出装置。这样的人机接口输出装置可以通过例如触觉输出、声音、光和气味/味道刺激一个或更多个人类用户的感官。这样的人机接口输出装置可以包括：触觉输出装置(例如，通过触摸屏710、数据手套或操纵杆705进行的触觉反馈，但是还可以存在不用作输入装置的触觉反馈装置)、音频输出装置(例如：扬声器709、头戴式耳机(未描绘))、视觉输出装置(例如，屏幕710，屏幕710包括阴极射线管(cathode ray tube，CRT)屏幕、液晶显示器(liquid-crystal display，LCD)屏幕、等离子屏幕、有机发光二极管(organic light-emitting diode，OLED)屏幕，每个屏幕具有或不具有触摸屏输入能力，每个屏幕具有或不具有触觉反馈能力——其中的一些屏幕能够通过诸如立体图形输出的方式输出二维视觉输出或多于三维输出；虚拟现实眼镜(未描绘)；全息显示器以及烟罐(未描绘))以及打印机(未描绘)。
计算机系统700还可以包括人类可访问存储装置及其相关联的介质，例如包括具有CD/DVD或类似介质721的CD/DVD ROM/RW 720的光学介质、拇指驱动器722、可移除硬盘驱动器或固态驱动器723、传统磁性介质例如磁带和软盘(未描绘)、基于专用ROM/ASIC/PLD的装置例如安全加密狗(未描绘)等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其他瞬态信号。
计算机系统700还可以包括至一个或更多个通信网络(1155)的接口。网络可以例如是无线的、有线的、光学的。网络还可以是局域的、广域的、城域的、车载的和工业的、实时的、延迟容忍的等。网络的示例包括：局域网，例如以太网、无线局域网；蜂窝网络，包括全球移动通信系统(global systems for mobile communication，GSM)、第三代(thirdgeneration，3G)、第四代(fourth generation，4G)、第五代(fifth generation，5G)、长期演进(Long-Term Evolution，LTE)等；电视有线或无线广域数字网络，包括有线电视、卫星电视和地面广播电视；车载和工业网络，包括CAN总线(CANBus)等。某些网络通常需要附接至某些通用数据端口或外围总线(1149)(诸如，例如计算机系统700的通用串行总线(universal serial bus，USB)端口)的外部网络接口适配器(1154)；其他网络通常通过附接至如下所述的系统总线(例如，进入PC计算机系统的以太网接口或进入智能电话计算机系统的蜂窝网络接口)而集成到计算机系统700的核中。作为示例，网络755可以使用网络接口754连接至外围总线749。计算机系统700可以使用这些网络中的任何网络与其他实体进行通信。这样的通信可以是单向仅接收(例如广播电视)、单向仅发送(例如CANbus至某些CANbus装置)或者是双向的，例如至使用局域或广域数字网络的其他计算机系统。可以在如上所述的那些网络和网络接口(1154)中的每一个上使用某些协议和协议栈。
上述人机接口装置、人类可访问存储装置和网络接口可以被附接至计算机系统700的核740。
核740可以包括一个或更多个中央处理单元(Central Processing Unit，CPU)741、图形处理单元(Graphics Processing Unit，GPU)742、呈现场可编程门阵列(FieldProgrammable Gate Area，FPGA)743形式的专用可编程处理单元、用于某些任务的硬件加速器744等。这些装置，连同只读存储器(Read-only memory，ROM)745、随机存取存储器(Random-access memory，RAM)746、内部大容量存储装置747例如内部非用户可访问硬盘驱动器、固态驱动器(solid-state drive，SSD)等可以通过系统总线748连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线748，以使得能够通过附加CPU、GPU等进行扩展。外围装置可以直接地或通过外围总线749附接至核的系统总线748。外围总线的架构包括外围部件互连(peripheral component interconnect，PCI)、USB等。
CPU 741、GPU 742、FPGA 743和加速器744可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 745或RAM 746中。瞬态数据也可以存储在RAM 746中，而永久数据可以存储在例如内部大容量存储装置747中。可以通过使用高速缓冲存储器来实现对存储装置中的任何存储装置的快速存储及检索，该高速缓冲存储器可以与一个或更多个CPU 741、GPU 742、大容量存储装置747、ROM 745、RAM 746等紧密关联。
计算机可读介质上可以具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开内容的目的而专门设计和构建的介质和计算机代码，或者介质和计算机代码可以是计算机软件领域技术人员公知且可用的类型。
作为示例而非限制，具有架构的计算机系统700并且特别是核740，可以由于处理器(包括CPU、GPU、FPGA、加速器等)执行一个或更多个有形计算机可读介质中包含的软件而提供功能。这样的计算机可读介质可以是与如上面所介绍的用户可访问的大容量存储装置以及核740的具有非暂态性质的某些存储装置例如核内部大容量存储装置747或ROM 745相关联的介质。实现本公开内容的各种实施方式的软件可以存储在这样的装置中并且由核740执行。根据特定需求，计算机可读介质可以包括一个或更多个存储器装置或芯片。软件可以使核740并且特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文中描述的特定处理或特定处理的特定部分，包括限定存储在RAM 746中的数据结构以及根据通过软件限定的处理来修改这样的数据结构。另外地或者作为替选方案，计算机系统可以由于以硬连线或者其他方式包含在电路(例如：加速器744)中的逻辑而提供功能，所述逻辑可以代替软件或与软件一起运行以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，提及软件可以涵盖逻辑，并且反之提及逻辑也可以涵盖软件。在适当的情况下，提及计算机可读介质可以涵盖存储用于执行的软件的电路(例如集成电路(integrated circuit，IC))、包含用于执行的逻辑的电路或上述两者。本公开内容涵盖硬件与软件的任何合适的组合。
虽然本公开内容已经描述了几个示例性实施方式，但是存在落入本公开内容的范围内的变更、置换和各种替代等同物。因此将认识到，本领域技术人员将能够设想许多系统和方法，所述许多系统和方法虽然本文中没有明确示出或描述，但是实施了本公开内容的原理并因此在本公开内容的精神和范围内。

Claims (20)

1.一种使用至少一个处理器对已编码视频比特流进行解码的方法，所述方法包括：
获得视频编码层(VCL)网络抽象层(NAL)单元；
确定所述VCL NAL单元是否是包含所述VCL NAL单元的图片单元(PU)的第一个VCL NAL单元；
基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元，确定所述VCL NAL单元是否是包含所述PU的访问单元(AU)的第一个VCL NAL单元；以及
基于确定所述VCL NAL单元是所述AU的第一个VCL NAL单元，根据所述VCL NAL单元对所述AU进行解码。
2.根据权利要求1所述的方法，其中，基于确定所述VCL NAL单元是跟随图片报头NAL单元的第一个VCL NAL单元，将所述VCL NAL单元确定为所述PU的第一个VCL NAL单元。
3.根据权利要求1所述的方法，其中，基于确定所述VCL NAL单元中的标志被设置成指示图片报头被包括在所述VCL NAL单元所包括的切片报头中，将所述VCL NAL单元确定为所述PU的第一个VCL NAL单元。
4.根据权利要求1所述的方法，其中，基于确定所述VCL NAL单元是所述PU的第一个VCLNAL单元并且确定所述VCL NAL单元的层标识符小于先前图片的层标识符，将所述VCL NAL单元确定为所述AU的第一个VCL NAL单元。
5.根据权利要求1所述的方法，其中，基于确定所述VCL NAL单元是所述PU的第一个VCLNAL单元并且确定所述VCL NAL单元的图片次序计数不同于先前图片的图片次序计数，将所述VCL NAL单元确定为所述AU的第一个VCL NAL单元。
6.根据权利要求1所述的方法，其中，基于确定所述VCL NAL单元是所述PU的第一个VCLNAL单元并且确定所述VCL NAL单元的图片次序计数的最低有效位不同于先前图片的图片次序计数的最低有效位，将所述VCL NAL单元确定为所述AU的第一个VCL NAL单元。
7.根据权利要求1所述的方法，其中，基于指示所有图片编码信息都存在于图片报头中的标志，不用信号通知与所述图片编码信息对应的多个标志。
8.一种用于对已编码视频比特流进行解码的装置，所述装置包括：
至少一个存储器，其被配置成存储程序代码；以及
至少一个处理器，其被配置成读取所述程序代码并且如由所述程序代码所指示的进行操作，所述程序代码包括：
第一获得代码，其被配置成使所述至少一个处理器获得视频编码层(VCL)网络抽象层(NAL)单元；
第一确定代码，其被配置成使所述至少一个处理器确定所述VCL NAL单元是否是包含所述VCL NAL单元的图片单元(PU)的第一个VCL NAL单元；
第二确定代码，其被配置成使所述至少一个处理器基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元来确定所述VCL NAL单元是否是包含所述PU的访问单元(AU)的第一个VCL NAL单元；以及
解码代码，其被配置成使所述至少一个处理器基于确定所述VCL NAL单元是所述AU的第一个VCL NAL单元来根据所述VCL NAL单元对所述AU进行解码。
9.根据权利要求8所述的装置，其中，基于确定所述VCL NAL单元是跟随图片报头NAL单元的第一个VCL NAL单元，将所述VCL NAL单元确定为所述PU的第一个VCL NAL单元。
10.根据权利要求8所述的装置，其中，基于确定所述VCL NAL单元中的标志被设置成指示图片报头被包括在所述VCL NAL单元所包括的切片报头中，将所述VCL NAL单元确定为所述PU的第一个VCL NAL单元。
11.根据权利要求8所述的装置，其中，基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元并且确定所述VCL NAL单元的层标识符小于先前图片的层标识符，将所述VCLNAL单元确定为所述AU的第一个VCL NAL单元。
12.根据权利要求8所述的装置，其中，基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元并且确定所述VCL NAL单元的图片次序计数不同于先前图片的图片次序计数，将所述VCL NAL单元确定为所述AU的第一个VCL NAL单元。
13.根据权利要求8所述的装置，其中，基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元并且确定所述VCL NAL单元的图片次序计数的最低有效位不同于先前图片的图片次序计数的最低有效位，将所述VCL NAL单元确定为所述AU的第一个VCL NAL单元。
14.根据权利要求8所述的装置，其中，基于指示所有图片编码信息都存在于图片报头中的标志，不用信号通知与所述图片编码信息对应的多个标志。
15.一种存储指令的非暂态计算机可读介质，所述指令包括一个或更多个指令，所述一个或更多个指令在由用于对已编码视频比特流进行解码的装置的一个或更多个处理器执行时使所述一个或更多个处理器进行以下操作：
获得视频编码层(VCL)网络抽象层(NAL)单元；
确定所述VCL NAL单元是否是包含所述VCL NAL单元的图片单元(PU)的第一个VCL NAL单元；
基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元，确定所述VCL NAL单元是否是包含所述PU的访问单元(AU)的第一个VCL NAL单元；以及
基于确定所述VCL NAL单元是所述AU的第一个VCL NAL单元，根据所述VCL NAL单元对所述AU进行解码。
16.根据权利要求15所述的非暂态计算机可读介质，其中，基于确定所述VCL NAL单元是跟随图片报头NAL单元的第一个VCL NAL单元，将所述VCL NAL单元确定为所述PU的第一个VCL NAL单元。
17.根据权利要求15所述的非暂态计算机可读介质，其中，基于确定所述VCL NAL单元中的标志被设置成指示图片报头被包括在所述VCL NAL单元所包括的切片报头中，将所述VCL NAL单元确定为所述PU的第一个VCL NAL单元。
18.根据权利要求15所述的非暂态计算机可读介质，其中，基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元并且确定所述VCL NAL单元的层标识符小于先前图片的层标识符，将所述VCL NAL单元确定为所述AU的第一个VCL NAL单元。
19.根据权利要求15所述的非暂态计算机可读介质，其中，基于确定所述VCL NAL单元是所述PU的第一个VCL NAL单元并且确定所述VCL NAL单元的图片次序计数不同于先前图片的图片次序计数，将所述VCL NAL单元确定为所述AU的第一个VCL NAL单元。
20.根据权利要求15所述的非暂态计算机可读介质，其中，基于指示所有图片编码信息都存在于图片报头中的标志，不用信号通知与所述图片编码信息对应的多个标志。
CN202180003260.2A 2020-04-06 2021-04-01 视频编解码的方法和解码装置 Active CN114258681B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063005640P 2020-04-06 2020-04-06
US63/005,640 2020-04-06
US17/096,168 US11706428B2 (en) 2020-04-06 2020-11-12 Method for signaling picture header in coded video stream
US17/096,168 2020-11-12
PCT/US2021/025309 WO2021206985A1 (en) 2020-04-06 2021-04-01 Method for signaling picture header in coded video stream

Publications (2)

Publication Number Publication Date
CN114258681A true CN114258681A (zh) 2022-03-29
CN114258681B CN114258681B (zh) 2024-10-01

Family

ID=77921039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180003260.2A Active CN114258681B (zh) 2020-04-06 2021-04-01 视频编解码的方法和解码装置

Country Status (9)

Country Link
US (2) US11706428B2 (zh)
EP (1) EP3942795A4 (zh)
JP (2) JP7288081B2 (zh)
KR (1) KR20210145814A (zh)
CN (1) CN114258681B (zh)
AU (2) AU2021251058B2 (zh)
CA (1) CA3138225A1 (zh)
SG (1) SG11202111753SA (zh)
WO (1) WO2021206985A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11356705B2 (en) * 2019-12-23 2022-06-07 Qualcomm Incorporated Picture header intra random access picture and gradual decoder refresh signaling in video coding
JP7473656B2 (ja) * 2020-01-09 2024-04-23 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ピクチャヘッダ存在
AR121126A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de elementos de sintaxis para indicación de imagen de referencia

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222538A1 (en) * 2012-02-28 2013-08-29 Qualcomm Incorporated Network abstraction layer (nal) unit header design for three-dimensional video coding
CN115299053A (zh) * 2020-03-16 2022-11-04 字节跳动有限公司 可缩放视频编解码中的随机访问点访问单元

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560367B2 (en) 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
US9473752B2 (en) * 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9648322B2 (en) 2012-07-10 2017-05-09 Qualcomm Incorporated Coding random access pictures for video coding
US9491456B2 (en) * 2012-09-24 2016-11-08 Qualcomm Incorporated Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages
US9161039B2 (en) 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US9479782B2 (en) * 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9602841B2 (en) 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
CN117956141A (zh) * 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
US10645404B2 (en) * 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
WO2016098056A1 (en) * 2014-12-18 2016-06-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20160373771A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Design of tracks and operation point signaling in layered hevc file format
WO2017195582A1 (en) * 2016-05-13 2017-11-16 Sharp Kabushiki Kaisha Temporal sub-layer descriptor
US10595048B1 (en) 2018-09-13 2020-03-17 Tencent America LLC Method and device using high layer syntax architecture for coding and decoding
BR112021021348A2 (pt) * 2019-04-25 2022-01-18 Op Solutions Llc Candidatos de previsão de vetor de movimento seletiva em quadros com movimento global
US11166033B2 (en) * 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
WO2021195588A1 (en) 2020-03-26 2021-09-30 Alibaba Group Holding Limited Methods and apparatuses for signaling picture header
US11470357B2 (en) * 2020-04-03 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for signaling decoding capability information in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222538A1 (en) * 2012-02-28 2013-08-29 Qualcomm Incorporated Network abstraction layer (nal) unit header design for three-dimensional video coding
CN115299053A (zh) * 2020-03-16 2022-11-04 字节跳动有限公司 可缩放视频编解码中的随机访问点访问单元

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BYEONGDOO CHOI等: "AHG9: Clean-ups on picture header", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 1 - 4 *
JIE CHEN等: "AHG9: On Picture Header", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 1 - 5 *
RICKARD SJÖBERG等: "AHG9: Picture header enabled flag", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 1 - 15 *

Also Published As

Publication number Publication date
AU2023282302A1 (en) 2024-01-18
US11706428B2 (en) 2023-07-18
AU2021251058A1 (en) 2021-12-02
US20230283793A1 (en) 2023-09-07
KR20210145814A (ko) 2021-12-02
EP3942795A4 (en) 2022-06-29
CA3138225A1 (en) 2021-10-14
JP2023099762A (ja) 2023-07-13
SG11202111753SA (en) 2021-11-29
AU2021251058B2 (en) 2023-09-28
EP3942795A1 (en) 2022-01-26
US20210314582A1 (en) 2021-10-07
WO2021206985A1 (en) 2021-10-14
CN114258681B (zh) 2024-10-01
JP2022532035A (ja) 2022-07-13
JP7288081B2 (ja) 2023-06-06

Similar Documents

Publication Publication Date Title
CN113875242B (zh) 对已编码视频码流进行解码的方法、设备及存储介质
CN113892260B (zh) 一种视频编解码方法和相关装置
CN112385216B (zh) 用于多行帧内预测的帧内插值滤波器的方法、装置和介质
CN113382259B (zh) 视频解码方法、装置和计算机设备
CN114258681B (zh) 视频编解码的方法和解码装置
CN113826387B (zh) 生成编码视频比特流的方法、装置和介质
CN113711586A (zh) 简化的最可能模式列表生成方案
JP2024050837A (ja) ネットワーク抽象化ユニットヘッダからのタイルの識別化
CN113812158A (zh) 可缩放视频流的输出层集的信令方法
CN113632456B (zh) 视频编码方法、装置和存储介质
CN114073084B (zh) 视频编解码方法、装置和存储介质
CN113994686B (zh) 已编码点云序列的解码方法、装置和存储介质
CN113508582B (zh) 视频编码、解码的方法、装置及可读介质
US20230075516A1 (en) System and method for decoding including network abstraction layer unit structure with picture header
CN113678447B (zh) 重建网络抽象层单元的方法、设备和电子设备
CN113491128B (zh) 已解码图片存储器管理的方法和相关装置
RU2789520C1 (ru) Способ сигнализации заголовка изображения в потоке кодированных видеоданных

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065503

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant