CN113366843B - 恢复点的规范指示 - Google Patents
恢复点的规范指示 Download PDFInfo
- Publication number
- CN113366843B CN113366843B CN201980088763.7A CN201980088763A CN113366843B CN 113366843 B CN113366843 B CN 113366843B CN 201980088763 A CN201980088763 A CN 201980088763A CN 113366843 B CN113366843 B CN 113366843B
- Authority
- CN
- China
- Prior art keywords
- picture
- recovery point
- indication
- gdr
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 631
- 238000000034 method Methods 0.000 claims abstract description 167
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000750 progressive effect Effects 0.000 claims description 14
- 239000010410 layer Substances 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 230000002123 temporal effect Effects 0.000 description 20
- 230000011664 signaling Effects 0.000 description 14
- 230000008901 benefit Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013469 resistive pulse sensing Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种用于对视频比特流进行解码的方法,视频比特流包括图片序列,所述图片序列包括图片A和图片B,其中,图片A开始恢复点周期并且图片B结束恢复点周期。该方法包括获得视频比特流并从视频比特流中解码恢复点周期的规范指示。恢复点周期的规范指示指示图片A开始恢复点周期和/或图片B结束恢复点周期。
Description
技术领域
本公开涉及视频编码和解码。
背景技术
1.HEVC和VVC
高效率视频编码(HEVC),又名H.265,是由ITU-T和MPEG标准化的基于块的视频编解码器,利用了时间预测和空间预测二者。使用来自当前图片内的帧内(I)预测来实现空间预测。在块级别上使用帧间(P)或双向帧间(B)预测根据先前解码的参考图片来实现时间预测。原始像素数据与预测像素数据之间的差(称为残差)在与必要的预测参数(例如预测模式和运动矢量,它们也被熵编码)一起发送之前被变换到频域并被量化,然后被熵编码。通过对经变换的残差进行量化,可以控制视频的比特率和质量之间的折衷。量化级别由量化参数(QP)确定。解码器执行熵解码、逆量化和逆变换以获得残差,然后将残差与帧内预测或帧间预测相加以重构图片。
MPEG和ITU-T正在联合视频专家组(JVET)内研究HEVC的后继者。正在开发的该视频编解码器的名称为多功能视频编码(VCC)。在本说明书中引用VVC的最新草案时,考虑的是JVET-L1001的VVC草案的第5版本。
1.1片
HEVC中的片的概念将图片分为独立编码的片,其中按照光栅扫描顺序以CTU为单位读取每个片。可以将不同的编码类型用于同一图片的片,即片可以是I片、P片或B片。片的主要目的是在数据丢失的情况下实现重新同步。
1.2图块
HEVC视频编码标准包括被称为图块的工具,其将图片分为空间上独立的矩形区域。使用图块,在HEVC中可以将图片划分为多行样本和多列样本,其中图块是行和列的交集。HEVC中的图块始终与CTU边界对齐。
预计VVC不会像HEVC中那样使用传统的片。相反,由于视频服务(包括VR流传输)对空间随机访问的需求增加,因此预计图块将在VVC中发挥更大的作用。
在上次JVET会议上,认同将图块组的概念包括在当前的VVC草案中。图块组用于对多个图块进行分组以减少每个图块的开销。
1.3参数集
HEVC指定了三种类型的参数集,图片参数集(PPS)、序列参数集(SPS)和视频参数集(VPS)。PPS包含整个图片通用的数据,SPS包含编码视频序列(CVS)通用的数据,VPS包含多个CVS通用的数据。
1.4帧内随机访问点(IRAP)图片
HEVC中的IRAP图片在其解码过程中不参考除其自身以外的任何图片进行预测,并且可以是比特流中按照解码顺序的第一个图片或者可以在比特流中稍后出现。比特流中按照解码顺序的第一个图片必须是IRAP图片。如果必要的参数集在需要它们被激活时可用,则可以对IRAP图片和所有后续的非随机访问跳过前导(non-RASL)图片正确地进行解码,而无需执行对按照解码顺序在IRAP图片之前的任何图片的解码过程。比特流中可能存在在其解码过程中不参考除自身以外的任何图片进行预测的图片,这些图片不是IRAP图片。
HEVC指定了三种类型的IRAP图片,断链访问(BLA)图片、瞬时解码器刷新(IDR)图片和纯净随机访问(CRA)图片。
每个IDR图片是CVS中按照解码顺序的第一个图片。IDR图片可以具有相关联的随机访问可解码前导(RADL)图片。IDR图片不具有相关联的RASL图片。
每个BLA图片开始新的CVS并且对解码过程具有与IDR图片相同的效果。然而,BLA图片包含指定非空参考图片集(RPS)的语法元素。BLA图片可以具有相关联的RASL图片,RASL图片不被解码器输出并且可能无法解码,因为它们可以包含对比特流中不存在的图片的参考。BLA图片也可以具有相关联的RADL图片,RADL图片被指定为要解码。
CRA图片可以具有相关联的RADL或RASL图片。与BLA图片一样,CRA图片可以包含指定非空RPS的语法元素。对于CRA图片,可以设置标志以指定相关联的RASL图片不被解码器输出,因为这些RASL图片可能无法解码,原因在于这些RASL图片可以包含对比特流中不存在的图片的参考。
1.5图片顺序计数
在HEVC中,图片顺序计数(POC)被定义为与每个图片相关联的变量,唯一地标识CVS中所有图片中的相关联的图片,并且当要从解码图片缓冲器输出相关联的图片时,指示该相关联的图片相对于同一CVS中要从解码图片缓冲器输出的其他图片的输出顺序位置的按照输出顺序的位置。
1.6NAL单元和图片类型
在高级视频编码(AVC)标准中引入网络抽象层(NAL)的概念,并且也将其用于HEVC。NAL的主要目标是为各种视频应用提供网络友好的视频表示,包括使用不同传输协议的广播、物理存储、视频点播和视频流传输。
所有视频数据都被封装到NAL单元中,其中每个NAL单元包含整数个字节。HEVC中的NAL单元具有首部,指定了NAL单元的NAL单元类型、NAL单元所属的层ID和时间ID。在NAL单元首部中的nal_unit_type码字中发送NAL单元类型,该类型指示和定义应当如何解析和解码NAL单元。NAL单元的其余字节是由NAL单元类型指示的类型的有效载荷。比特流由一系列级联的NAL单元组成。暂时同意也将NAL单元用于VVC。
NAL单元可以包含视频编码层(VCL)或非VCL数据。VCL NAL单元包含表示视频图片中样本的值的数据。非VCL NAL单元包含任何附加的关联数据,包括参数集和补充增强信息(SEI)消息,见下文。编码器产生的一系列NAL单元被称为NAL单元流。下表(表1)取自HEVC规范,定义了HEVC NAL单元类型码及其对应的NAL单元类型类别。这里还可以看到HEVC中的不同图片类型。NAL单元类型介于0和9之间的图片类型是帧间编码的,即拖尾图片(TRAIL)、时间子层访问(TSA)、渐进时间子层访问(STSA)、随机访问可解码前导(RADL)和随机访问跳过前导(RASL)。NAL单元类型介于16和21之间的图片类型是帧内编码的帧内随机访问点(IRAP)图片,即断链访问(BLA)、瞬时解码器刷新(IDR)和纯净随机访问(CRA)图片。
对于HEVC中的单层编码,访问单元(AU)是图片的编码表示,其可以由若干视频编码层(VCL)NAL单元以及非VCL NAL单元组成。HEVC和VVC草案中的编码视频序列(CVS)是一系列访问单元,从帧内随机访问点(IRAP)访问单元开始,直到(但不包括)按照解码顺序的下一IRAP访问单元。解码顺序是应对NAL单元进行解码的顺序,与NAL单元在比特流内的顺序相同。解码顺序可以与输出顺序不同,输出顺序是解码器要输出解码图片(例如用于显示)的顺序。
表1
在最新的VVC草案中,表(见表2)相当短并且尚未包含非常具体的VCL NAL单元类型。预计VVC的最终草案将指定更多的NAL单元类型。
表2
2.恢复点
恢复点用于仅使用时间预测图片在比特流中执行随机访问操作。恢复点也可用于在视频数据丢失的情况下刷新视频。
执行比特流中的随机访问操作的解码器对恢复点周期中的所有图片进行解码而不输出它们。当到达恢复点周期的最后图片(恢复点图片)时,视频已被完全刷新,并且可以输出恢复点图片和后续图片。恢复点机制有时被称为逐步解码刷新(GDR),因为该机制逐个图片地逐步刷新视频。
实际上,通过使用帧内编码块(例如,CTU)逐步刷新视频来创建GDR。对于恢复点周期中的每个图片,都会刷新视频的较大部分,直到视频已被完全刷新为止。
图1A和图1B示出了用于在五个图片上逐步解码刷新视频的两种不同示例图案。白色块是非刷新块(或“脏”块),深灰色块是帧内编码块,深灰色和中灰色块是刷新块(或“干净”块)。图1A示出了使用垂直线的帧内编码块的逐步刷新。图1B示出了使用伪随机图案的逐步刷新。还存在其他常见图案,包括水平线和按照光栅扫描顺序的逐个块。示例中的块可以是CTU。
刷新块可以被配置为仅从当前图片(空间帧内预测)和先前图片(时间预测)中的其他刷新块进行预测。这可以防止伪像扩散到图片之间的刷新区域。
片或图块可用于以有效的方式限制非刷新块和刷新块之间的预测,这是因为片和图块边界可以关闭跨边界的预测但是允许其他地方的预测。在第一示例中,可以将图片分为两个图块,其中一个图块包括刷新块而另一图块包括非刷新块。这在图1C中示出,图1C示出了针对GDR使用图块中的限制的示例。图块边框用粗线示出。一个图块用于干净区域,一个图块用于脏区域。注意,随着时间的推移,图块分布和图块大小不是恒定的。备选地,通过不限制或仅部分限制对刷新区域的时间预测和空间预测,也可以允许一定程度的伪像。
2.1HEVC中的恢复点SEI消息
在AVC和HEVC中使用的用于在比特流中发送并非解码过程严格需要但可以以各种方式帮助解码器的消息的机制是补充增强信息(SEI)消息。在SEI NAL单元中以信号通知SEI消息,但不是规范的--即,不强制要求符合HEVC的解码器支持SEI消息。如HEVC规范中所指出的:“SEI消息有助于与解码、显示或其他目的有关的过程。然而,解码过程不需要SEI消息来构建亮度或色度样本。符合本规范的解码器不需要以符合本规范的输出顺序处理该信息(对于规范的一致性,参见附录C和条款F.13)。需要一些SEI消息信息来检查比特流一致性和输出定时解码器一致性。”
HEVC和AVC定义的一种SEI消息是恢复点SEI消息。在比特流中恢复周期开始的位置(在图片处)发送恢复点SEI消息。当解码器调谐到比特流时,它可以从这个位置开始按照解码顺序对所有图片进行解码而不输出它们,直到它到达恢复点图片为止,从恢复点图片所有图片应当被完全刷新并且可以输出。
HEVC中恢复点SEI的语法如下表3所示。
表3
2.2JVET中恢复点的工作
在卢布尔雅那举行的第11次JVET会议上,成立了一个特设小组(AHG14)来研究VVC的恢复点。在接下来的中国澳门会议上,讨论了以下两项提议:
在JVET-L0079中,首先讨论了需要对编码器侧的编码工具进行哪些非规范改变以使用HEVC中的恢复点SEI消息实现精确匹配。所讨论的编码工具是高级时间MV预测(ATMVP)、帧内预测、帧内块复制、帧间预测和环路滤波器(包括样本自适应偏移(SAO)滤波器、去块滤波器和自适应环路滤波器(ALF))。该文档还讨论了可以应用于编码工具以提高压缩效率的一些规范改变。
JVET-L0161提出以信号通知关于SPS、PPS和片级别中的帧内刷新的信息。SPS/PPS中以信号通知的帧内刷新信息包括用于启用帧内刷新工具的标志、帧内刷新模式(列、行、伪)、帧内刷新图案的大小(例如列的宽度或行的长度)和帧内刷新增量QP。在片级别以信号通知的帧内刷新信息包括要用于确定运动矢量约束的帧内刷新方向(从右到左/从左到右/从上到下/从下到上),以及指定由帧内刷新图案的大小给出的帧内刷新块的位置的帧内刷新位置。如果CU属于帧内刷新区域,则根据帧内刷新位置值,在图片级别导出帧内刷新图案。
发明内容
存在某些挑战。例如,HEVC中的当前解决方案在SEI消息中发送恢复点的一个问题在于编码器可能不知道未知的解码器是否支持恢复点SEI消息,因此编码器需要发送周期性的IRAP图片以确保解码器能够调谐到比特流。这在带宽方面是次优的,并且可以构成低延迟应用的瓶颈。
在外部规范中,可能不以一致的方式支持恢复点SEI消息,例如在数字视频广播(DVB)规范和ISO/IEC 1449-15规范中,这可以引起互操作性问题。
允许CVS从恢复点开始似乎是有用的,例如在拆分使用恢复点编码的低延迟比特流(例如用于记录或存档目的)之后。然而,从非IRAP图片和恢复点SEI消息开始的比特流在AVC、HEVC和VVC草案中都不是合规的比特流,因为SEI消息没有被规范地指定。
JVET-L0079和JVET-L0161关注对编码工具支持GDR的限制,这无论如何可以通过使用图块的边框限制来修复。除了HEVC中的恢复点SEI消息之外,JVET-L0079没有提到用于指示恢复点开始和结束的任何其他解决方案。如果在VVC中规范地指定了编码工具中对恢复点的支持,则在SEI消息中以非规范方式指示恢复点的存在可能引起问题。
本公开的某些方面及其实施例可以提供对这些或其他挑战的解决方案。一方面,上述问题是通过以规范方式信号通知恢复点的指示(也被称为“恢复点指示”)来解决的。本文描述了以信号通知规范恢复点指示的各种方式。
在第一实施例中,描述了用于以规范方式信号通知恢复点指示的通用解决方案。
在第二优选实施例中,在非VCL NAL单元中以信号通知恢复点指示。
在第三实施例中,由VCL NAL单元使用新的恢复点指示VCL NAL单元类型以信号通知恢复周期的开始和结束。
在第四实施例中,定义了VCL NAL单元和非VCL图片类型NAL单元,其中在非VCL图片类型NAL单元中以信号通知随机访问点指示。
在第五实施例中,在PPS中以信号通知恢复点指示。
在第六实施例中,在图片首部中以信号通知恢复点指示。
在第七实施例中,恢复点的范围不是整个图片而是图片的分段。
在第八实施例中,在SPS中以信号通知比特流是否支持恢复点。
某些实施例可以提供以下技术优点中的一个或多个。例如,规范地指定恢复点的指示具有以下优点:
(1)编码器将知道所有解码器都支持规范的恢复点指示。因此,当解码器实现未知时,不需要对附加的IRAP图片进行编码来确保随机访问。
(2)确保外部规范之间的一致。通过VVC规范中恢复点指示的规范信令,不需要外部规范强制要求SEI消息。因此,恢复点的使用将在外部规范之间一致。
(3)启用比特流在恢复点上的拆分。使用规范的恢复点编码的比特流可以在恢复点处划分为合规的CVS。因此,CVS可以从恢复点访问单元开始。
(4)特定的编码级工具可用于恢复点。可以为VVC定义用于渐进式帧内刷新的规范编码级工具。规范地指示恢复点的存在使得规范的渐进式帧内编码工具能够以直接的方式用于随机访问。由于SEI消息不是规范的,因此不强制要求解码器对其进行解码。引入基于SEI消息的强制性语法、语义或过程是不可能的,但是基于规范恢复点信息的SEI消息不会有任何此类问题。
此外,根据第二实施例的将恢复点的指示指定为非VCL NAL单元类型具有以下优点:
(1)容易从系统层访问恢复点指示;
(2)解码器仅需要解析NAL单元首部就可以知道比特流中可能的恢复点调谐到的点的位置;以及
(3)仅当存在恢复点指示时,使用非VCL NAL单元类型才会在比特流中增加信令开销,即不需要以信号通知指示没有恢复点的任何数据。
在一个方面,提供了一种用于对视频比特流进行解码的方法。视频比特流包括图片序列,图片序列包括图片A和图片B,其中,图片A开始恢复点周期并且图片B结束恢复点周期。该方法包括:获得视频比特流并从视频比特流中解码恢复点周期的规范指示,其中。恢复点周期的规范指示指示图片A开始恢复点周期和/或指示图片B结束恢复点周期。
在另一实施例中,用于对比特流进行解码的方法包括以下步骤:从比特流中获得规范的恢复点周期指示(RPI),以及根据规范的RPI的一个或多个语法元素确定值,其中,该值指定恢复点图片。
在另一实施例中,用于对比特流进行解码的方法包括以下步骤:接收包含在比特流中的网络抽象层NAL单元,NAL单元包含类型值;确定类型值是否指定NAL单元包括标识恢复点图片的恢复点图片信息;以及基于恢复点图片信息来确定恢复点图片。
在一个方面,提供了一种用于对比特流进行编码的方法。该方法包括以下步骤:确定特定图片是否是恢复点周期的开始,其中,恢复点图片是恢复点周期中按照解码顺序的最后编码图片,以及作为确定特定图片是恢复点周期的开始的结果,执行以下步骤:a)将特定图片定义为逐步解码刷新GDR图片;b)确定恢复点图片;以及c)将规范的恢复点周期指示编码在比特流中,其中,规范的恢复点周期指示包括指示恢复点图片在比特流中的位置的信息和/或指示特定图片在比特流中的位置的信息。
在另一实施例中,用于对比特流进行编码的方法包括以下步骤:确定特定图片是否是恢复点周期的开始,并且作为确定特定图片是恢复点周期的开始的结果,然后执行步骤:确定恢复点周期的恢复点图片的位置;以及将恢复点周期指示网络抽象层,即RPI NAL单元编码到比特流。
在另一方面,提供了一种计算机程序。该计算机程序包括指令,该指令在由处理电路执行时使该处理电路执行本文描述的任何方法。在另一方面,提供了一种载体,其中该载体包含计算机程序并且该载体是电信号、光信号、无线电信号和计算机可读存储介质中的一种。
在另一方面,提供了一种用于对视频比特流进行解码的解码装置。视频比特流包括图片A和图片B,其中,图片A开始恢复点周期并且图片B结束恢复点周期。该解码装置适于:获得视频比特流;以及从视频比特流中解码恢复点周期的规范指示,其中,恢复点周期的规范指示指示图片A开始恢复点周期和/或指示图片B结束恢复点周期。在一个实施例中,解码装置包括计算机可读存储介质;以及耦接到计算机可读存储介质的处理电路,其中处理电路被配置为使解码装置执行本文公开的方法中的任何一个。
在另一方面,提供了一种用于对视频比特流进行编码的编码装置。该编码装置适于:确定特定图片是否是恢复点周期的开始,其中,恢复点图片是恢复点周期中按照解码顺序的最后编码图片;以及作为确定特定图片是恢复点周期的开始的结果,然后执行以下步骤:a)将特定图片定义为逐步解码刷新GDR图片;b)确定恢复点图片;以及c)将规范的恢复点周期指示编码在比特流中,其中,规范的恢复点周期指示包括指示恢复点图片在比特流中的位置的信息和/或指示特定图片在比特流中的位置的信息。
附图说明
并入本文并形成说明书的一部分的附图示出了各种实施例。
图1A示出了用于在五个图片上逐步解码刷新(GDR)视频的示例图案。
图1B示出了用于在五个图片上对视频进行GDR的另一示例图案。
图1C示出了针对GDR使用图块中的限制的示例。
图2示意了针对低延迟视频的参考结构的示例。
图3示意了使用恢复点指示(RPI)NAL单元来指示比特流中的恢复点的示例。
图4A是示意了根据实施例的过程的流程图。
图4B是示意了根据实施例的过程的流程图。
图5A是示意了根据实施例的过程的流程图。
图5B是示意了根据实施例的过程的流程图。
图6是示意了根据实施例的过程的流程图。
图7是根据一个实施例的装置的框图。
具体实施方式
现在将参考附图更全面地描述本文考虑的一些实施例。然而,其他实施例包含在本文所公开的主题的范围内,所公开的主题不应被解释为仅限于本文所阐述的实施例;相反,这些实施例是通过示例的方式提供的,以向本领域技术人员传达主题的范围。附加信息也可以在附录中提供的文档中找到。
术语:
帧内随机访问点(IRAP)图片:不参考除自身之外的其他图片进行预测的编码图片。IRAP图片可以用于随机访问。
恢复点:比特流中可以在不使用任何IRAP图片的情况下执行随机访问操作的位置。
恢复点周期:恢复点的周期,即执行恢复点随机访问操作时,从开始刷新的第一图片直到视频被完全解码的最后图片的周期。在本说明中,术语恢复周期与恢复点周期可互换使用。
逐步解码刷新(GDR)图片:恢复点周期中的第一个图片。刷新从该图片开始。在本说明中,术语恢复点开始(RPB)图片与GDR图片可互换使用。
恢复点图片:恢复点周期中的最后图片。当该图片以及恢复点周期中的先前图片都已经被解码时,视频被完全刷新。
1.恢复点的规范指示
在该实施例中,与在非规范的SEI消息中以信号通知恢复点的HEVC相反,以规范方式指示恢复点的存在。
恢复点指示指定:1)恢复点周期开始的位置,即发起刷新的GDR图片的位置,以及2)恢复点结束的位置,即视频已被完全刷新的恢复点图片的标识或位置。例如可以通过图片的语法元素或包括在图片的访问单元中的语法元素显式地以信号通知GDR图片的位置。在实施例中,在比特流中的GDR图片的位置处以信号通知恢复点指示。在实施例中,将恢复点图片的位置与恢复点指示一起显式地以信号通知。可以通过与GDR图片一起发送的信息或在GDR图片的访问单元中发送的信息(例如通过以信号通知的信息)以信号通知恢复点图片的位置,使得解码器可以在对GDR图片或GDR访问单元进行解码时导出恢复点图片的ID。解码器然后可以在对按照解码顺序在GDR图片之后的图片进行解码的同时检查与该ID的匹配,并且将匹配的图片识别为恢复点图片。所导出的ID可以是帧编号、图片顺序计数编号、解码顺序编号或解码器针对解码图片导出并且可以充当图片标识符的任何其他编号。
1.1使用规范的恢复点的随机访问
当在恢复点处调谐到比特流时,即执行对比特流的随机访问,或者如果比特流从恢复点开始,解码器首先在比特流中定位规范的恢复点指示。由于编码器知道解码器应支持恢复点,因此可以利用恢复点作为唯一类型的随机访问点对比特流进行编码,这将实现随机访问操作,同时满足低延迟要求。在定位了恢复点指示之后,在从GDR图片开始对恢复点周期中的图片进行解码之前,识别恢复点的开始和结束。除恢复点图片之外,不应输出恢复点周期中的图片。
解码器可以抑制那些图片的输出,尽管比特流以其他方式指定它们应当被输出。在一个版本中,如果在恢复点处进行随机访问操作,则常规地抑制对应恢复点周期中除恢复点图片之外的图片的输出。从恢复点图片开始,图片被解码并被正常输出。
在该实施例的备选版本中,恢复点图片是按照解码顺序未输出的最后图片。在这种情况下,解码器在恢复点周期内不输出任何图片(包括恢复点图片),但是开始输出按照解码顺序在恢复点图片之后的图片。
1.2生成不可用参考图片
当解码器在恢复点处调谐到比特流时,如果恢复点周期中的图片所参考的图片按照解码顺序位于恢复点指示之前(参见图2),则它们可能不可用。在实施例中,在对恢复点周期中的图片进行解码之前生成这样的不可用图片。生成不可用图片可以包括为图片分配存储器、将该图片中的块大小设置为特定值、将该图片的POC值设置为特定值等。具体地,在生成不可用参考图片时,可以将图片的样本阵列中的每个值设置为特定值,例如中灰色,并且可以将参考图片的每个预测模式设置为帧内模式。这将在下面进一步描述。
现在参照图2,图2示意了用于低延迟视频的参考结构的示例。在图2中,图片2-4被包括在与恢复点相关联的恢复点周期中,其中图片2是GDR图片且图片4是恢复点图片。如果解码在恢复点处初始化,则恢复点周期中的图片所参考的图片0和1不可用,并且应当被生成以防止解码器崩溃(例如,如上所述生成)。
如果(相同时间层或以下的)恢复点周期中的图片丢失,则恢复过程不能保证完全恢复。解码器然后可以等待下一恢复点或尝试执行错误隐藏。
1.3从恢复点开始CVS
以规范方式定义恢复点指示使得CVS能够从恢复点开始。在对利用恢复点编码的低延迟编码的比特流进行拆分以支持随机访问之后,这可能是有用的。
在VVC的当前草案中,CVS被定义为:
访问单元被定义为:
下面是用于允许规范指定的恢复点开始CVS的实施例的第一版本的CVS定义的示例文本,其中恢复点指示访问单元是与恢复点的GDR图片相关联的访问单元:
在该实施例的一个版本中,恢复点指示访问单元还定义了CVS的结束。CVS定义的示例文本如下所示:
恢复点指示访问单元可以备选地被称为其他事物,例如GDR访问单元或恢复点开始(RPB)访问单元。
在该实施例的另一版本中,定义了随机访问点(RAP)访问单元,可以包括恢复点的IRAP图片或GDR图片:
1.4精确匹配
可以通过将预测从非刷新区域限制到刷新区域来进行精确匹配。在实施例中,仅允许精确匹配,这意味着在恢复点周期期间不允许来自非刷新区域的预测。这确保了以下图片始终相同,而无论解码是否在恢复点处开始。
在另一版本中,与恢复点SEI消息中的exact_match_flag类似的功能被用于恢复点的规范指示中,这意味着恢复点图片之后的图片可以不相同,这取决于解码是否在恢复点处开始。
1.5编码器和解码器步骤
示例编码步骤如下所示,其中处理所有或一些步骤以使用恢复点的规范指示对具有恢复点的比特流进行编码:
示例解码步骤如下所示,其中执行所有或一些步骤以使用恢复点的规范指示调谐到具有恢复点的比特流:
在从恢复点开始CVS时,针对规范的恢复点指示扫描比特流的第一步不是必需的。
在实施例的一个版本中,如果相关联的SPS和PPS可以通过其他方式获取,例如从比特流中的较早实例获取或在带外以信号通知,则不必将SPS或PPS编码在相同的访问单元中或从相同的访问单元中解码,来作为恢复点指示。
2.在其自身的恢复点指示NAL单元中的恢复点指示
在实施例中,恢复点的存在由恢复点指示NAL单元指示。该指示基于恢复点指示NAL单元的存在,使得如果恢复点指示NAL单元存在,则指示恢复点。如果恢复点指示NAL单元不存在,则不指示恢复点。优选地使用非VCL NAL单元类型指示恢复点,这意味着NAL单元不包含任何视频编码层数据。与HEVC相比,HEVC在非规范的(即,非强制支持)SEI消息中以信号通知恢复点SEI(继而在SEI NAL单元中以信号通知),该构思针对恢复点使用专用NAL单元类型。这样,恢复点变得规范--即,规范的一部分。
图3示意了使用恢复点指示(RPI)NAL单元指示比特流中的恢复点的示例。也就是说,图3示意了包含RPI NAL单元(NAL单元首部以灰色标记)的比特流。在所示意的示例中,比特流包含每图片的一个VCL NAL单元,即每图片一个片或一个图块组。RPI NAL单元位于包含开始刷新的GDR图片的VCL NAL单元之前。
在该实施例的一个版本中,恢复点周期中的GDR图片和所有其他图片的VCL NAL单元类型可以是任意图片类型。在另一版本中,恢复点周期中的图片的图片类型被限制为某些图片类型。
在一个版本中,在访问单元中存在任意SPS或PPS的情况下,恢复点指示NAL单元被放置在访问单元中的任意SPS和PPS之前。在其他版本中,SPS和/或PPS被放置在访问单元中的恢复点指示之前或在带外以信号通知。
在一个版本中,恢复点指示NAL单元位于与GDR图片相关联的访问单元中的任意VCL NAL单元之前。该访问单元可以被称为恢复点访问单元或恢复点开始(RPB)访问单元,如下面的示例所定义。访问单元可以备选地(如在图3中的示例中)被称为随机访问点(RAP)访问单元。在实施例的一个版本中,VVC中的IRAP访问单元被替换为RAP访问单元,RAP访问单元是其中编码图片是IRAP图片的访问单元或包含恢复点指示NAL单元的访问单元。
以下是最新的VVC草案之上如何将恢复点指示指定为NAL单元类型的一组示例定义、语法和语义:
下表示意了恢复点指示原始字节序列有效载荷(RBSP)语法:
下表定义了NAL单元首部语义:
恢复点指示RBSP语义可以定义如下:
在该实施例的其他版本中,在恢复点指示NAL单元中以信号通知指向恢复点图片的指针(例如,recovery_poc_count值)、精确匹配标志和断链标志中的一个或多个。语法和语义如下所示。注意,在规范指定的恢复点指示NAL单元中存在断链标志可以代替在HEVC中指定BLA图片类型的需要。
在该实施例的另一版本中,recovery_poc_cnt被固定长度编码和/或字节对准。这样,访问恢复点指示NAL单元中的信息稍微容易,这是因为事先知道要解析哪些比特,这在系统级别提取所选择的信息时是有用的。下表示出了该内容的示例。
在该实施例的一个版本中,在对恢复点中的图片进行解码之前生成这些图片的不可用参考图片。在一个版本中,GDR图片的参考图片集(RPS)中的所有图片都是在从恢复点开始解码时生成的,例如,如果恢复点是比特流中的第一个,或者如果在恢复点处执行随机访问操作。下表包含用于生成不可用参考图片的示例规范文本。
示例编码步骤,其中处理所有或一些步骤以利用恢复点和非VCL NAL单元中的恢复点指示对比特流进行编码:
用于利用非VCL NAL单元中的恢复点指示调谐到具有恢复点的比特流中的示例解码步骤:
当从恢复点开始CVS时,可以不需要第一步骤的扫描过程,因此可以在不检查while语句中的条件的情况下进行第一步骤,即,在CVS的解码已经开始之前,恢复点指示尚未找到始终为真。
在实施例的一个版本中,如果可以通过其他方式获取相关联的SPS和PPS,例如从比特流中的较早实例获取或在带外以信号通知,则不必将SPS或PPS编码在相同的访问单元中或者从相同的访问单元解码,来作为恢复点指示。
换言之,解码器可以通过以下全部步骤的或其子集来执行本实施例中描述的方法以调谐到比特流:
通过按照解码顺序解析NAL单元的NAL单元首部,导出比特流中NAL单元的NAL单元类型值,将每个导出的NAL单元类型值与表示恢复点指示NAL单元类型的预定义值进行比较,找到按照解码顺序的第一NAL单元,该第一NAL单元具有等于预定义值的NAL单元类型值;
对找到的NAL单元进行解码,并从找到的NAL单元的经解码的语法元素中解码图片标识增量值D;
找到按照解码顺序在找到的NAL单元之后携带图片(称为GDR图片)的编码样本值的第一NAL单元;
对第一NAL单元进行解码并导出1)GDR图片的图片顺序计数值和2)表示在对图片进行编码时由编码器缓冲的参考图片的图片顺序计数值的图片顺序计数值列表。该列表可以是GDR图片的参考图片集中的图片的图片顺序计数值的列表;
对于图片顺序计数值列表中的每个图片顺序计数值,为所生成的图片分配或赋予存储器并通过以下至少一项生成图片:将所生成的图片的每个亮度样本值设置为常数值,将每个块模式设置为常数值,将所生成的图片的图片顺序计数设置为列表中相关联的图片顺序计数值。
对整个GDR图片进行解码;
通过将增量值D与GDR图片的图片顺序计数值相加,导出图片标识值V;以及
对按照解码顺序在GDR图片之后的图片进行解码。对于每个解码图片i,导出图片顺序计数值Pi并将标识值V与Pi进行比较。如果Pi值小于V,则抑制图片i的输出。如果值Pi等于或大于V,则不抑制图片i的输出。
3.在VCL NAL单元中作为图片类型
在另一实施例中,作为VCL NAL单元中的图片类型以信号通知恢复点的指示。在该实施例的一个版本中,定义了两种新的图片类型:1)图片类型NON_IRAP_RPI_BEGIN,指示恢复点开始,和2)图片类型NON_IRAP_RPI_END,指示恢复点结束。
在当前VVC草案之上的示例规范文本如下表所示:
在该实施例中,不需要显式地以信号通知恢复点图片的POC。
为了完全支持时间层,应当将NON_IRAP_RPI_BEGIN_NUT和NON_IRAP_RPI_END_NUT限制为不对不同时间层的图片进行设置。
该实施例与实施例2类似,具有从系统层容易地访问恢复点信息的优点。这种方法的一个潜在问题在于恢复点指示变得与图片类型相绑定。为了允许具有不同图片类型的图片中的恢复点(例如参见HEVC中的许多不同图片类型),需要用于所有组合或组合的子集的NAL单元类型。这包括是否希望支持从与先前恢复点结束相同的图片开始的恢复点。另一个问题在于具有指定恢复点结束的NAL单元类型的NAL单元是否丢失。解码器然后可能不知道恢复点周期何时结束。
此外,为了能够支持重叠的恢复点,需要一种用于将恢复点的结束映射到新恢复点的正确开始的机制。
在该实施例的备选版本中,将关于恢复点结束的信息(即,恢复点图片的POC)和与恢复点有关的其他信息一起通过其他方式(例如在SPS或PPS中)以信号通知。因此,在这个版本中,仅以信号通知NON_IRAP_RPI_BEGIN_NUT作为图片类型。
在该实施例的类似备选版本中,恢复点的结束在图块组首部中较早地用码字以信号通知,其存在以VCL NUT为条件。这将解决恢复点结束丢失的问题。该备选版本的示例语法和语义如下表所示:
4.在图片类型NAL单元中(假设存在图片类型NAL单元和图片数据NAL单元)
在另一实施例中,HEVC和VVC中定义的VCL NAL单元被分为两类:包含编码视频数据的图片数据VCL NAL单元和包含图片类型以及用于随后图片数据VCL NAL单元的有关图片类型信息的图片类型非VCL NAL单元。在一个NAL单元中对图片类型进行分组的优点是需要指定更少的NAL单元类型,因此NAL单元首部可以包括更少的比特,这会节省总体比特。
在该实施例中,在第二类的NAL单元(非VCL图片类型NAL单元)中以信号通知恢复点指示。
在本实施例的第一版本中,通过在非VCL图片类型NAL单元中设置标志来指示恢复点。本实施例的示例语法和语义如下所示:
在上面的示例语法中,用单独的标志:recovery_point_flag以信号通知恢复点指示。在该实施例的另一版本中,恢复点指示被赋予其自己的图片类型,例如2,在picture_type语法元素中以信号通知。下面的示例语法和语义示意了这一点:
5.在PPS中以信号通知恢复点指示
在另一实施例中,在PPS中以信号通知恢复点的指示。下表示出了针对该内容的示例语法和语义:
在PPS中指定恢复点具有以下优点:以信号通知恢复点存在的成本相对较低。另一方面,需要标志来指示恢复点是否可用。恢复点的持久性也可以比指定它的PPS的持久性更长,这可能引起问题。此外,寻求调谐到比特流的解码器优选地不需要解析每个PPS来找出它是否可能执行随机访问。
6.在图片首部中以信号通知恢复点指示
已经讨论了VVC可以包括图片首部以有效率地对片(将可能被称为图块组)之间相同的首部数据进行编码。因此,在另一实施例中,在该新的图片首部中以信号通知恢复点的指示。下表示出了图片首部的示例语法和语义:
在图片首部中指定恢复点指示的潜在缺点在于,不能够很好地将恢复点指示暴露给系统层。使其更易于系统层访问的一种方式是对恢复点语法和恢复点语法之前的语法元素使用固定长度编码和/或将恢复点语法元素放在图片首部的开头。
7.每时间分段的恢复点指示
在另一实施例中,与先前实施例相反,恢复点指示的范围不是整个图片,而是图片的一组时间对准的分段,其中分段可以是图块、图块组、片等。因此,该实施例中的恢复点指示指定何时完全刷新图片的一个或多个分段。
在该实施例的一个版本中,刚好在每个分段之前以信号通知恢复点指示,例如在NAL单元或分段首部中。
在该实施例的另一版本中,对于整个图片,在相同的容器(例如NAL单元、PPS、SPS或图片首部)中以信号通知恢复点指示,但是对于每个分段的恢复周期,恢复点指示可以具有不同的开始和/或结束图片。
在该实施例的另一版本中,以信号通知的恢复点指示可以包括针对整个图片的恢复点周期的开始图片和结束图片二者以及针对每个分段的恢复点周期的单独的开始图片和/或结束图片。
在该实施例的另一版本中,恢复点指示包括用于确定空间范围是整个图片还是仅比特流中的分段的标志。
8.如果比特流中允许恢复点,则在SPS中以信号通知
在另一实施例中,在SPS中以信号通知标志,以指定恢复点在比特流中是否可用。当解码器发现该标志被关闭时,会知道不能够在恢复点调谐到比特流。
该标志备选地可以用作是否在图片级别以信号通知恢复点是否开始的条件,例如先前实施例中的recovery_point_start_flag。
备选地,可以在具有整个序列范围的另一参数集(例如视频参数集(VPS)或解码器参数集(DPS))中以信号通知该标志。
图4A是示意了根据一些实施例的过程400的流程图。
步骤s402包括获得视频比特流。视频比特流可以包括图片的编码视频序列(CVS),该序列包含具有恢复点的恢复点周期。
在一些实施例中,恢复点是比特流中可以在非IRAP图片处开始解码的位置。恢复周期在特定图片(表示为“图片A”)处开始,并在按照解码顺序在图片A之后的图片B处结束。如果在图片A处开始解码并且恢复周期中按照解码顺序在图片A之后且在图片B之前的所有其他图片都被解码,则视频可以在图片B处被完全刷新。
步骤s404包括从视频比特流中解码恢复点周期的规范指示。
在一些实施例中,恢复点的规范指示包括图片A和或图片B的时间位置。
在一些实施例中,解码在恢复点处初始化,并且过程400还包括:确定图片A的位置、确定图片B的位置、对图片A和恢复周期中按照解码顺序在图片B之前的所有其他图片进行解码,但不输出这些图片,以及对图片B进行解码和输出。过程400还可以包括在恢复点处执行随机访问操作。
在一些实施例中,恢复周期中的图片参考不可用参考图片,并且该方法还包括:在对恢复周期中的至少一个图片进行解码之前生成不可用参考图片。
在一些实施例中,CVS从恢复点开始。在一些实施例中,CVS是符合标准规范的比特流的一致性部分,使得需要符合标准规范的解码器对CVS进行解码。
在一些实施例中,从非VCL NAL单元中解码恢复点指示。在一些实施例中,从中解码出恢复点指示的非VCL NAL单元具有指示非VCL NAL单元是恢复点指示非VCL NAL单元的非VCL NAL单元类型。
在一些实施例中,在随机访问点访问单元中定义恢复点。
在一些实施例中,从VCL NAL单元中的NAL单元类型语法元素中解码恢复点开始的指示和恢复点结束的指示中的至少一个。可以从PPS、SPS或图块组首部之一中解码恢复点开始的指示和恢复点结束的指示中的至少一个。
在一些实施例中,过程400还包括:从图片类型NAL单元中解码每个图片的图片类型,并且从图片数据NAL单元中解码每个图片的图片数据。可以从图片类型NAL单元中解码恢复点在图片A处开始的指示和/或恢复点在图片B处结束的指示。可以从PPS和/或从图片首部中解码恢复点的指示。
在一些实施例中,恢复点指示仅对图片的空间子集有效。比特流可以包含SPS中的语法元素,用于确定比特流是否可以包括恢复点。在一些实施例中,图片A和图片B被约束为属于相同的时间层。恢复点指示可以包括断链标志。恢复点指示和图片A可以属于相同的访问单元。
在一些实施例中,如果恢复点没有开始CVS或者如果在恢复点处没有执行随机访问操作,则忽略恢复点的规范指示。规范的恢复点指示可以不包含在SEI消息中。
图4B是示意了根据一些实施例的过程450的流程图。
步骤s452包括:确定图片是否是恢复点的开始。恢复点可以具有恢复点周期并且恢复点周期可以具有恢复点图片。在一些实施例中,恢复点图片是恢复点周期中按照解码顺序的最后编码图片。
步骤s454包括:如果图片是恢复点的开始(即,恢复点周期的开始),则至少执行以下步骤:i)确定恢复点周期和恢复点图片,以及ii)将规范的恢复点指示编码在比特流中。规范的恢复点指示可以包括指示恢复点图片在比特流中的位置的信息。在一些实施例中,步骤s454还包括:如果图片是恢复点的开始,则执行将图片定义为GDR图片的步骤。
在一些实施例中,规范的恢复点指示指定:1)恢复点周期开始的位置和/或2)恢复点结束的位置。规范的恢复点指示可以不包含在SEI消息中。
图5A是示出了根据一些实施例的过程500的流程图。
步骤s502包括确定图片是否是恢复点的开始。恢复点可以具有恢复点周期并且恢复周期可以具有恢复点图片。
步骤s504包括如果图片是恢复点的开始,则:i)确定恢复点图片的位置,以及ii)将恢复点指示(RPI)NAL单元编码到比特流。
在一些实施例中,RPI NAL单元包括指示恢复点周期的信息和/或指示恢复点图片的位置的信息。
在一些实施例中,过程500还包括:如果图片是恢复点的开始,则将图片添加到随机访问点图片列表。过程500还可以包括:如果图片在恢复点的开始处,则执行将编码的SPS添加到比特流并且将编码的PPS添加到比特流。
在一些实施例中,过程500还包括:如果图片在恢复点周期内部,则使用部分帧内刷新对图片进行编码。
图5B是示意了根据一些实施例的过程550的流程图。
步骤s552包括:从比特流获得规范的恢复点指示(RPI)。
步骤s554包括:根据规范的RPI的一个或多个语法元素确定值,其中该值指定恢复点图片。
在一些实施例中,规范的RPI不包含在SEI消息中。
图6是示意了根据一些实施例的过程600的流程图。
步骤s602包括:接收包含在比特流中的NAL单元。NAL单元可以包含类型值。
步骤s604包括:确定类型值是否指定NAL单元是恢复点指示NAL单元。
步骤s606包括:作为确定NAL单元是恢复点指示NAL单元的结果,基于恢复点指示NAL单元中包含的信息来确定恢复点图片。
在一些实施例中,信息是在-M/2到M/2-1范围内的值(含端值),其中M是预定义值。
图7是根据一些实施例的用于实现本文描述的方法(即,实现编码器和/或解码器)的装置700的框图。当装置700实现解码器时,装置700可以被称为“解码装置700”,当装置700实现编码器时,装置700可以被称为“编码装置700”。如图7所示,装置700可以包括:处理电路(PC)702,其可以包括一个或多个处理器(P)755(例如,一个或多个通用微处理器和/或一个或多个其他处理器,例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等),这些处理器可以共同位于单个外壳或单个数据中心中,也可以在地理上分布;网络接口748,用于连接到网络110,网络接口748包括发射机(Tx)745和接收机(Rx)747,用于使装置700能够发送数据和接收数据;以及本地存储单元(也称为“数据存储系统”)708,其可以包括一个或多个非易失性存储设备和/或一个或多个易失性存储设备。在PC 702包括可编程处理器的实施例中,可以提供计算机程序产品(CPP)741。CPP 741包括存储计算机程序(CP)743的计算机可读介质(CRM)742,该计算机程序(CP)743包括计算机可读指令(CRI)744。CRM 742可以是非暂时性计算机可读介质,例如磁介质(例如,硬磁盘)、光学介质、存储器设备(例如,随机存取存储器、闪存)等。在一些实施例中,计算机程序743的CRI 744被配置为使得在由PC702执行时,CRI使装置700执行本文所述的步骤(例如,本文中参照流程图描述的步骤)。在其他实施例中,装置700可以被配置为在不需要代码的情况下执行本文描述的步骤。即,例如,PC 702可以仅由一个或多个ASIC组成。因此,本文描述的实施例的特征可以在硬件和/或软件中实现。
所公开的实施例中的各个实施例的概述
A1.一种对视频比特流进行解码的方法(400),视频比特流包括图片序列,图片序列包括图片A和图片B,其中,图片A开始恢复点周期并且图片B结束恢复点周期,该方法包括:获得(s402)视频比特流;以及从视频比特流中解码(s404)恢复点周期的规范指示,其中,恢复点周期的规范指示指示图片A开始恢复点周期和/或指示图片B结束恢复点周期。
A2.根据实施例A1的方法,其中,如果图片A和恢复点周期中按照解码顺序在图片A之后且在图片B之前如果存在图片则所有这些图片被解码,则视频在图片B处被完全刷新。
A3.根据实施例A1的方法,其中,图片A和B是不同的图片并且按照解码顺序图片B在图片A之后,或者图片A和图片B是相同的图片。
A4.根据实施例A1至A3中任一项的方法,其中,恢复点周期的规范指示包括图片A和/或图片B的时间位置。
A5.根据实施例A1至A4中任一项的方法,还包括:确定图片A的位置;确定图片B的位置;对图片A和恢复点周期中按照解码顺序在图片B之前的所有其他图片进行解码,但不输出这些图片;以及对图片B进行解码和输出。
A6.根据实施例A1至A5中任一项的方法,还包括:在恢复点周期的开始处执行随机访问操作。
A7.根据实施例A1至A6中任一项的方法,其中,恢复点周期中的图片参考了不可用参考图片,以及该方法还包括:在对恢复点周期中的至少一个图片进行解码之前生成不可用参考图片。
A8.根据实施例A1至A7中任一项的方法,其中,图片序列是编码视频序列CVS,并且CVS从图片A开始。
A9.根据实施例A8的方法,其中,CVS是符合标准规范的比特流的一致性部分,使得需要符合标准规范的解码器对CVS进行解码。
A10.根据实施例A1至A9中任一项的方法,其中,从非视频编码层网络抽象层,即VCL NAL单元中解码恢复点周期的规范指示。
A11.根据实施例A10的方法,其中,非VCL NAL单元具有非VCL NAL单元类型,该非VCL NAL单元类型指示非VCL NAL单元是包括恢复点周期的规范指示的非VCL NAL单元。
A12.根据实施例A1至A11中任一项的方法,其中,在随机访问点访问单元中定义恢复点周期。
A13.根据实施例A1至A9中任一项的方法,其中,从VCL NAL单元中的NAL单元类型语法元素中解码恢复点周期开始的指示和/或恢复点周期结束的指示。
A14.根据实施例A1至A13中任一项的方法,其中,从图片参数集PPS、序列参数集SPS、或图块组首部之一中解码恢复点周期开始的指示和/或恢复点周期结束的指示。
A15.根据实施例A1至A9中任一项的方法,还包括:从图片类型NAL单元中解码图片序列中的每个图片的图片类型;从图片数据NAL单元中解码每个图片的图片数据,其中,从图片类型NAL单元中解码恢复点周期在图片A处开始的指示和/或恢复点周期在图片B处结束的指示。
A16.根据实施例A1至A9中任一项的方法,其中,从图片参数集PPS中解码恢复点周期的规范指示。
A17.根据实施例A1至A16中任一项的方法,其中,从图片首部中解码图片B结束恢复点周期的规范指示。
A18.根据实施例A1至A17中任一项所述的方法,其中,从视频比特流中解码恢复点周期的规范指示包括:基于包括在视频比特流中的第一NAL单元来确定图片A开始恢复点周期;以及基于包括在视频比特流中的第二NAL单元来确定图片B结束恢复点周期。
A19.根据实施例A18的方法,其中,基于第一NAL单元来确定图片A开始恢复点周期包括:检测第一NAL单元具有特定NAL单元类型,第二NAL单元是图片A的图片首部NAL单元,以及图片A的图片首部NAL单元包括标识图片B的语法元素,例如recovery_poc_cnt。
A20.根据实施例A1至A9中任一项的方法,其中,从图片首部中解码恢复点周期开始的指示和/或从图片首部中解码恢复点周期结束的指示。
A21.根据实施例A20的方法,其中,确定图片A开始恢复点周期包括:对图片首部中的语法元素进行解码,和/或确定图片B结束恢复点周期包括:对图片首部中的语法元素,例如recovery_poc_cnt进行解码。
A22.根据前述实施例中任一项的方法,其中,恢复点周期的规范指示仅对图片的空间子集有效。
A23.根据前述实施例中任一项的方法,其中,比特流包含序列参数集SPS中的语法元素,该语法元素指示恢复点周期在比特流中是否可用。
A24.根据前述实施例中任一项的方法,其中,图片A和图片B被约束为属于相同的时间层。
A25.根据前述实施例中任一项的方法,其中,恢复点周期的规范指示包括断链标志。
A26.根据前述实施例中任一项的方法,其中,恢复点周期的规范指示和图片A属于相同的访问单元。
A27.根据前述实施例中任一项的方法,其中,图片A是逐步解码刷新(GDR)图片。
A28.根据前述实施例中任一项的方法,其中,图片B是恢复点图片。
A29.根据前述实施例中任一项的方法,其中,如果图片A没有开始CVS并且如果在图片A处没有执行随机访问操作,则忽略恢复点周期的规范指示。
A30.根据前述实施例中任一项的方法,其中,恢复点周期的规范指示不包含在SEI消息中。
A31.一种对比特流进行解码的方法,该方法包括:从比特流中获得规范的恢复点周期指示RPI;根据规范的RPI的一个或多个语法元素确定值,其中该值指定恢复点图片。
A32.根据实施例A31的方法,其中,规范的RPI不包含在补充增强信息SEI消息中。
A33.一种对比特流进行解码的方法,该方法包括:接收包含在比特流中的网络抽象层NAL单元,NAL单元包含类型值;确定类型值是否指定NAL单元包括标识恢复点图片的恢复点图片信息;以及基于恢复点图片信息来确定恢复点图片。
A34.根据实施例A33的方法,其中,信息是-M/2到M/2-1范围内的值(包括端值),其中M是预定义的值。
A35.一种对比特流进行编码的方法,该方法包括:确定特定图片是否是恢复点周期的开始,其中,恢复点图片是恢复点周期中按照解码顺序的最后编码图片;以及作为确定特定图片是恢复点周期的开始的结果,执行以下步骤:确定恢复点图片;以及将规范的恢复点周期指示编码在比特流中,其中,规范的恢复点周期指示包括指示恢复点图片在比特流中的位置的信息和/或指示特定图片在比特流中的位置的信息。
A36.根据实施例A35的方法,其中,恢复点周期的规范指示指定:1)恢复点周期开始的位置和/或2)恢复点周期结束的位置。
A37根据实施例A35或A36的方法,其中,不将恢复点周期的规范指示不包含在补充增强信息SEI消息中。
A38.根据实施例A35至A37中任一项的方法,其中,如果特定图片和恢复点周期中按照解码顺序在特定图片之后且在恢复点图片之前如果存在图片则所有这些图片被解码,则视频在恢复点图片处被完全刷新。
A39.根据实施例A35至A38中任一项的方法,其中,特定图片和恢复点图片是不同的图片,并且按照解码顺序恢复点图片在特定图片之后,或者特定图片和恢复点图片是相同的图片。
A40.根据实施例A35至A39中任一项的方法,其中,恢复点周期的规范指示包括特定图片的时间位置和/或恢复点图片的时间位置。
A41.根据实施例A35至A40中任一项的方法,其中,将恢复点周期的规范指示包括在非视频编码层网络抽象层,即VCL NAL单元中。
A42.根据实施例A41的方法,其中,非VCL NAL单元具有非VCL NAL单元类型,该非VCL NAL单元类型指示非VCL NAL单元是包括恢复点周期的规范指示的非VCL NAL单元。
A43a.根据实施例A35至A42中任一项的方法,其中,将指示恢复点图片在比特流中的位置的信息和/或指示特定图片在比特流中的位置的信息编码在图片首部的一个或多个语法元素中。
A43b.根据实施例A35至A43中任一项的方法,还包括:作为确定特定图片是恢复点周期的开始的结果,将特定图片定义为逐步解码刷新GDR图片。
A44.一种用于对比特流进行编码的方法,该方法包括:确定特定图片是否是恢复点周期的开始;以及作为确定特定图片是恢复点周期的开始的结果,执行以下步骤:确定恢复点周期的恢复点图片的位置;以及将恢复点周期指示网络抽象层,即RPI NAL单元,编码到比特流。
A45.根据实施例A44的方法,其中,RPI NAL单元包括指示特定图片是恢复点周期的开始的信息和/或指示恢复点图片的位置的信息。
A46.根据实施例A44或A45的方法,还包括:如果特定图片是恢复点周期的开始,则将特定图片添加到随机访问点图片列表。
A47.根据实施例A35至A46中任一项的方法,还包括:如果特定图片位于恢复点周期的开始处,则执行以下步骤:将经编码的序列参数集SPS添加到比特流;以及将经编码的图片参数集PPS添加到比特流。
A48.实施例A35至A47中任一项的方法,还包括:如果图片在恢复点周期内部,则使用部分帧内刷新对图片进行编码。
A49.一种计算机程序743,包括指令744,指令744在由处理电路702执行时,使处理电路702执行根据实施例1至48中任一项的方法。
A50.一种包含实施例A49的计算机程序的载体,其中,载体是电信号、光信号、无线电信号和计算机可读存储介质742中的一种。
A51.一种用于对视频比特流进行解码的解码装置700,视频比特流包括图片A和图片B,其中,图片A开始恢复点周期并且图片B结束恢复点周期,该解码装置适于:获得视频比特流;从视频比特流中解码恢复点周期的规范指示,其中,恢复点周期的规范指示指示图片A开始恢复点周期和/或指示图片B结束恢复点周期。
A52.根据实施例A51的解码装置700,该解码装置还适于执行根据实施例2至34中任一项的方法。
A53.一种用于对视频比特流进行解码的解码装置700,该解码装置包括:计算机可读存储介质742;以及耦接到计算机可读存储介质的处理电路702,其中,处理电路被配置为使解码装置执行实施例1至34中任一项的方法。
A54.一种用于对比特流进行编码的编码装置700,该编码装置适于:确定特定图片是否是恢复点周期的开始,其中,恢复点图片是恢复点周期中按照解码顺序的最后编码图片;以及作为确定特定图片是恢复点周期的开始的结果,执行以下步骤:a)将特定图片定义为逐步解码刷新GDR图片;b)确定恢复点图片;以及c)将规范的恢复点周期指示编码在比特流中,其中,规范的恢复点周期指示包括指示恢复点图片在比特流中的位置的信息和/或指示特定图片在比特流中的位置的信息。
PA1.一种用于对视频比特流进行解码的方法,视频比特流包括图片的编码视频序列(CVS),CVS包含恢复点(即,至少一个恢复点),其中:a)恢复点是比特流中可以在非IRAP图片处开始解码的位置,b)恢复点具有从图片A开始到图片B结束的恢复周期,c)如果在图片A处开始解码并且在恢复周期中按照解码顺序在图片A之后且在图片B之前的所有其他图片(如果有的话)被解码,则视频在图片B处被完全刷新,以及d)该方法包括:获得(例如,接收)视频比特流;从视频比特流中解码恢复点的规范指示。
PA1b.根据实施例PA1的方法,其中,图片A和B是不同的图片,图片B按照解码顺序在图片A之后,或者图片A和图片B是相同的图片(即,恢复周期可以在图片A开始,也可以在图片A结束)。
PA2.根据实施例PA1的方法,其中,恢复点的规范指示包括图片A和/或图片B的时间位置。
PA3.根据实施例PA1或PA2的方法,其中,在恢复点处初始化解码并且该方法还包括:确定图片A的位置;确定图片B的位置;对图片A和恢复周期中按照解码顺序在图片B之前的所有其他图片进行解码,但不输出这些图片;对图片B进行解码和输出。
在恢复点处执行随机访问:
PA4.根据前述实施例中任一项的方法,还包括:在恢复点处执行随机访问操作。
生成不可用参考图片:
PA5.根据实施例PA3的方法,其中,恢复周期中的图片参考不可用参考图片,并且该方法还包括:在对恢复周期中的至少一个图片进行解码之前,生成不可用参考图片。
从恢复点开始CVS:
PA6.根据前述实施例中任一项的方法,其中,CVS从恢复点开始。
PA6b.根据实施例PA6的方法,其中,CVS是符合标准规范的比特流的一致性部分,使得需要符合标准规范的解码器对CVS进行解码。
在非VCL NAL单元中:
PA7.根据实施例PA1至PA6中任一项的方法,其中,从非VCL NAL单元中解码恢复点指示。
PA7a.根据实施例PA7的方法,其中,非VCL NAL单元具有非VCL NAL单元类型,该非VCL NAL单元类型指示非VCL NAL单元是恢复点指示非VCL NAL单元。
PA8.根据前述实施例中任一项的方法,其中,在随机访问点访问单元中定义恢复点。
在VCL NAL单元中作为图片类型:
PA9.根据实施例PA1-PA6中任一项的方法,其中,从VCL NAL单元中的NAL单元类型语法元素中解码恢复点开始的指示和恢复点结束的指示中的至少一个。
PA10.根据前述实施例中任一项的方法,其中,从PPS、SPS或图块组首部之一中解码恢复点开始的指示和恢复点结束的指示中的至少一个。
在图片类型NAL单元中(假设存在图片类型NAL单元和图片数据NAL单元):
PA11.根据前述实施例中任一项的方法,还包括:从图片类型NAL单元中解码每个图片的图片类型;以及从图片数据NAL单元中解码每个图片的图片数据,其中,从图片类型NAL单元中解码恢复点在图片A处开始的指示和/或恢复点在图片B处结束的指示。
在PPS中:
PA12.根据前述实施例中任一项的方法,其中从PPS中解码恢复点的指示。
在图片首部中:
PA13.根据前述实施例中任一项的方法,其中从图片首部中解码恢复点的指示。
实施例7–每时间分段的恢复点指示:
PA14.根据前述实施例中任一项的方法,其中恢复点指示仅对图片的空间子集有效。
在SPS中以信号通知恢复点支持:
PA15.根据前述实施例中任一项的方法,其中比特流包含SPS中的语法元素,该语法元素确定比特流是否可以包括恢复点。
PA16.根据前述实施例中任一项的方法,其中图片A和图片B被约束为属于相同的时间层。
PA17.根据前述实施例中任一项的方法,其中恢复点指示包括断链标志。
PA18.根据前述实施例中任一项的方法,其中恢复点指示和图片A属于相同的访问单元。
PA19.根据前述实施例中任一项的方法,其中如果恢复点没有开始CVS并且如果在恢复点处没有执行随机访问操作,则忽略恢复点的规范指示。
PA20.根据前述实施例中任一项的方法,其中,规范恢复点指示不包含在SEI消息中。
PB1.一种用于对比特流进行编码的方法,该方法包括:确定图片是否是恢复点的开始,恢复点具有恢复点周期,恢复点周期具有恢复点图片,其中,恢复点图片是恢复点周期中按照解码顺序的最后编码图片;以及如果图片是恢复点的开始,则:a)将图片定义为GDR图片;b)确定恢复点周期和恢复点图片;以及c)将规范的恢复点指示编码在比特流中,其中,规范的恢复点指示包括指示恢复点图片在比特流中的位置的信息。
PB2.根据实施例PB1的方法,其中,规范的恢复点指示指定:1)恢复点周期开始的位置和/或2)恢复点结束的位置。
PB3.根据实施例PB1或PB3的方法,其中,不将规范的恢复点指示包含在SEI消息中。
PB4.一种用于对比特流进行编码的方法,该方法包括:确定图片是否是恢复点的开始,恢复点具有恢复点周期,恢复点周期具有恢复点图片;以及如果图片是恢复点的开始,则:a)确定恢复点周期;b)确定恢复点图片的位置;以及c)将恢复点指示(RPI)NAL单元编码到比特流。
PB5.根据实施例PB4的方法,其中,RPI NAL单元包括:i)指示恢复点周期的信息和/或指示恢复点图片的位置的信息。
PB6.根据实施例PB4或PB5的方法,还包括:如果图片是恢复点的开始,则将图片添加到随机访问点图片列表。
PB7.根据实施例PB1至PB6中任一项的方法,还包括:如果图片位于恢复点的开始处,则执行以下步骤:将经编码的SPS编码到比特流;以及将经编码的PPS编码到比特流。
PB8.根据实施例PB1-PB7中任一项的方法,还包括:如果图片在恢复点周期内部,则使用部分帧内刷新对图片进行编码。
PCl.一种用于对比特流进行解码的方法,该方法包括:从比特流中获得规范的恢复点指示(RPI);根据规范的RPI的一个或多个语法元素确定值,其中该值指定恢复点图片。
PC2.根据实施例PC1的方法,其中,规范的RPI不包含在SEI消息中。
PC3.一种用于对比特流进行解码的方法,该方法包括:接收包含在比特流中的NAL单元,NAL单元包含类型值;确定该类型值是否指定NAL单元是恢复点指示NAL单元(即包含恢复点指示的NAL单元);作为确定NAL单元是恢复点指示NAL单元的结果,基于恢复点指示NAL单元中包含的信息来确定恢复点图片。
PC4.根据实施例PC3的方法,其中,信息是在-M/2到M/2-1范围内的值(包括端值),其中M是预定义的值。
虽然本文描述了各种实施例(包括附录,如果有的话),但是应当理解,它们仅作为示例而非限制被呈现。因此,本公开的广度和范围不应受到任何上述示例性实施例的限制。此外,除非本文另有说明或以其他方式与上下文明显矛盾,否则本公开涵盖以其所有可能变化的上述元素的任何组合。
此外,虽然以上描述的和在附图中示意的过程被示为一系列步骤,但这仅仅是为了示意。因此,可以设想,可以增加一些步骤,可以省略一些步骤,可以重新安排步骤的顺序,并且可以并行执行一些步骤。
随附提供的附录包含为VVC规范提供提议的贡献的相关部分。
附录
该贡献提议使用新的非VLC NAL单元类型将恢复点指示NAL单元添加到VVC规范。恢复点指示NAL单元在比特流中的位置指定了恢复周期的开始。恢复周期的结束,即恢复点图片,由recovery_poc_cnt UVLC码字指定,该码字是所提议的恢复点指示NAL单元原始字节序列有效载荷(RBSP)中的唯一有效载荷元素。进一步提议了通过以下过程支持在恢复点处开始解码:1)对定义恢复点开始(RPB)访问单元以及恢复点的开始图片和结束图片的恢复点指示NAL单元进行解码;2)在开始图片处开始解码;3)根据开始图片的RPS生成不可用图片;4)抑制开始图片和按照解码顺序的后续图片的输出,直到结束图片被解码为止。
与HEVC中的恢复点SEI消息相比,所提议的解决方案被规范地指定并且不包含精确匹配标志或断链标志。在VVC中规范指定恢复点的指示具有以下优点:1)编码器将知道解码器应当支持恢复点指示NAL单元。因此,当解码器实现未知时,不需要对附加的IRAP图片进行编码来确保随机访问;2)通过在VVC规范中以信号通知规范恢复点,不需要外部规范强制要求SEI消息;3)如果在VVC中规范地指定对恢复点编码工具的支持(例如,如果对恢复周期中任意图片的语法或过程与其他图片不同),则在SEI消息中以非规范方式指示恢复点的存在可能引起问题。
为了使恢复点在VVC中规范,贡献提议CVS可以从由新的NAL单元类型信号通知的恢复点开始。贡献中讨论了规范地指定恢复点的备选方法。
介绍
AVC和HEVC二者都指定了恢复点SEI消息,该消息辅助解码器确定在解码器在恢复点处发起随机访问之后解码过程何时将产生用于显示的可接受图片。尽管SEI消息在一些外部规范(例如DVB规范)中是强制性的,但是解码器对于SEI消息的支持是可选的。
表:HEVC中的恢复点SEI消息语法
该贡献解决了AHG14关于渐进式帧内刷新的以下强制要求:“研究规范解决方案以提高针对仅编码器帧内刷新的帧内刷新性能”。
不管在VVC中是否规范地指定编码工具以支持恢复点,据评估指示恢复点的开始和结束的规范解决方案会是有益的。
问题陈述
通过使用SEI消息非规范地指示恢复点标识了以下问题:
(1)编码器可以不知道未知解码器是否支持恢复点SEI消息并且因此可能需要发送周期性的IRAP图片来确保解码器将能够调谐到比特流。这在带宽方面是次优的,并且在低延迟应用中造成瓶颈。
(2)对于外部规范,可能不以一致的方式支持恢复点SEI消息,这可能引起互操作性问题。例如,在DVB中,解码器强制要求“HEVC IRD(集成接收器-解码器)应当支持使用以下消息类型的SEI:...-恢复点SEI消息”,并且强制要求编码器:“当存在时,recovery_poc_cnt应当设置为0,exact_match_flag应当设置为1,并且broken_link_flag应当设置为0”。在ISO/IEC 14496-15[2]中陈述了“视频编码系统可以包括‘逐步解码刷新’或随机访问恢复点恢复的概念。这可以使用诸如恢复点SEI消息之类的机制在比特流以发信号通知”。ISO/IEC14996-15中没有针对exact_match_flag或断链标志设置任何限制。因此,对于DVB中的解码器,规范地强制要求使用HEVC的恢复点SEI消息,但对编码器的标志有限制。对于ISO/IEC 14496-15,对恢复点SEI消息的支持是可选的,对标志没有限制。
(3)经评估,允许CVS从恢复点开始是有用的,例如在对利用恢复点编码的低延迟比特流进行拆分之后。然而,从非IRAP图片和恢复点SEI消息开始的比特流在AVC、HEVC和VVC草案中都不是符合的比特流,因为CVS仅可以从IRAP图片开始。
(4)如果在VVC中规范地指定对恢复点编码工具的支持,例如如果对恢复点周期中的任意图片的语法或过程与其他图片不同,则在SEI消息中非规范地指示恢复点的存在可能引起问题。
讨论
规范的恢复点指示的益处
在VVC中规范地指定恢复点至少具有以下四个优点:
(1)解码器支持恢复点。编码器将知道解码器应当支持恢复点指示NAL单元。因此,当解码器实现方式未知时,不需要对附加的IRAP图片进行编码来确保随机访问。
(2)外部规范之间的一致性。通过在VVC规范中规范地以信号通知恢复点指示,不需要外部规范强制要求SEI消息。因此,恢复点的使用将在外部规范之间一致。
(3)比特流的拆分。利用规范恢复点编码的比特流可以在恢复点处划分为合规的CVS。因此,CVS可以从恢复点访问单元开始。
(4)特定的编码级工具可用于恢复点。AHG14正在研究为VVC中的渐进式帧内刷新指定规范编码级别工具的潜在好处。规范地指示恢复点的存在使得规范的渐进式帧内编码工具能够以直接的方式用于随机访问。
因此,用于指定包括指示恢复点的开始和结束的恢复点的规范解决方案将是有益的。
用于以信号通知规范恢复点指示的三个选项:
(1)在图片首部中。已经讨论了,VVC可以包括图片首部以有效率地对在片(或图块组)之间相同的首部数据进行编码。可以在这里指定恢复点的指示。然而,恢复点指示不会很好地暴露给系统层。
(2)作为具有非VCL NAL单元类型并且具有在恢复点指示NAL单元中指定的恢复点的新NAL单元。将恢复点指示指定为NAL单元类型使其容易地在系统层被访问。寻求在比特流中执行随机访问的解码器仅需要解析比特流中的NAL单元首部即可找到调谐的位置。此外,与PPS方法相比,仅在以信号通知恢复点指示时才产生信令开销(相比之下,PPS需要用于关闭它的标志)。
(3)在具有新NAL单元类型的VCL NAL单元中。备选方式是将恢复点的开始指定为新的VCL NAL单元类型。可以在另一新的VCL NAL单元类型中指定恢复点的结束。这种方法还具有的好处是从系统层容易地访问恢复点信息。这种方法的一个潜在问题在于恢复点指示变得与图片类型相绑定。为了允许不同图片类型的图片中的恢复点,需要所有组合的NAL单元类型。另一个问题是具有指定恢复点结束的NAL单元类型的NAL单元是否丢失。此外,重叠的恢复点可能是有问题的。
规范恢复点的设计考虑
恢复点开始(RPB)访问单元
为了尽可能早地指示访问单元是恢复点,期望在任意VCL NAL单元之前将恢复点指示较早地放在访问单元中。包含恢复点指示的访问单元被称为恢复点开始(RPB)访问单元,并且访问单元中的图片被称为RPB图片。
应当在对与恢复点相关联的图片进行解码之前,激活相关联的SPS和PPS。
恢复点和IRAP图片的对准访问
为了规范地指定包含恢复点指示的访问单元可以用于随机访问或开始CVS,期望将恢复点的访问与IRAP图片的访问对准。
因此,该贡献提议定义CVS可以从IRAP图片或RPB图片开始。
生成不可用参考图片
与HEVC中的恢复点SEI消息相比,规范的恢复点解决方案应当优选地具有对不可用参考图片的更精确处理。解决此问题的一种方式是强制要求生成RPB图片的RPS(或类似图片管理系统)中的所有参考图片。
图片输出的抑制
当在RPB图片处开始解码时,在随机访问操作已经在RBP访问单元处初始化之后或者如果RBP访问单元是CVS中的第一访问单元,则RPB和按照解码顺序在RPB图片之后直到恢复点图片(但不包括恢复点图片)的图片可能不具有正确的输出。
因此,本公开提议如果在RPB图片处开始解码,则不应当输出RPB图片和按照解码顺序在RPB图片之后直到恢复点图片(但不包括恢复点图片)的所有图片。
提议
提议使用新的非VLC NAL单元类型将恢复点指示NAL单元添加到VVC规范。恢复点指示NAL单元在比特流中的位置指定了恢复周期的开始。恢复周期的结束,即恢复点图片,由recovery_poc_cnt UVLC码字指定,该码字是所提议的恢复点指示NAL单元RBSP中仅有的有效载荷元素。进一步提议通过以下过程支持在恢复点处开始解码:1)对定义恢复点开始(RPB)访问单元的恢复点指示NAL单元和恢复点的开始图片和结束图片进行解码;2)在开始图片处开始解码;3)根据开始图片的RPS生成不可用图片;以及4)抑制开始图片和按照解码顺序在后的所有图片的输出,直到结束图片被解码为止。
经评估,在HEVC中的恢复点SEI消息中指定的exact_match_flag在以规范方式指定恢复点时是没有用的,因为需要精确匹配。还评估了broken_link标志可以是有用的,但是由于未针对VVC定义BLA图片,因此在本提议中不考虑该标志。
对VVC草案文本提议的改变
提议以下语法和语义包括在下一VVC草案中。
Claims (22)
1.一种用于对视频比特流进行解码的方法(400),所述方法包括:
获得(s402)所述视频比特流,其中,所述视频比特流包括包含一系列访问单元AU的编码视频序列CVS,所述CVS包含一系列编码图片;
从所述CVS中解码当前图片是开始所述CVS的逐步解码刷新访问单元GDR AU中包含的逐步解码刷新GDR图片的指示;以及
从所述GDR图片的图片首部中解码(s404)所述CVS中的恢复点的指示,其中,所述恢复点与所述GDR图片相关联,并且所述恢复点的指示包括恢复点图片在所述一系列编码图片中的位置的指示。
2.根据权利要求1所述的方法,包括:
确定所述GDR图片的位置;
对所述GDR图片和所述一系列编码图片中按照解码顺序在所述GDR图片之后如果存在的所有图片进行解码但不输出,直到所述恢复点图片被识别和解码;以及
输出经解码的恢复点图片,由此刷新所述视频比特流的解码。
3.根据权利要求1或权利要求2所述的方法,其中,从所述CVS中解码所述当前图片是开始所述CVS的GDR AU中包含的GDR图片的指示包括:从与所述GDR图片相关联的类型的NAL单元中获得所述指示。
4.根据权利要求1或权利要求2所述的方法,其中,从所述CVS中解码所述当前图片是开始所述CVS的GDR AU中包含的GDR图片的指示包括:从图片首部PH类型的NAL单元中解码语法元素。
5.根据权利要求1或权利要求2所述的方法,其中,所述GDR图片和所述恢复点图片是相同的图片。
6.根据权利要求1或权利要求2所述的方法,其中,所述GDR图片和/或按照解码顺序在所述GDR图片之后且在所述恢复点图片之前的一个或多个图片参考了不可用参考图片,并且所述方法还包括:
在对参考所述不可用参考图片的所述GDR图片和/或按照解码顺序在所述GDR图片之后且在所述恢复点图片之前的一个或多个图片进行解码之前,生成所述不可用参考图片。
7.根据权利要求1或权利要求2所述的方法,其中,从所述GDR图片的图片首部中解码所述恢复点的指示包括:从图片首部PH类型的NAL单元中获得所述指示。
8.根据权利要求7所述的方法,其中,从所述PH类型的NAL单元中获得所述指示包括:从所述PH类型的NAL单元中解码语法元素。
9.根据权利要求1或权利要求2所述的方法,其中,所述比特流包含在序列参数集SPS、视频参数集VPS和解码参数集DPS中的至少一个中的语法元素,所述语法元素指示恢复点在所述比特流中是否可用。
10.根据权利要求1或权利要求2所述的方法,其中,所述GDR图片的指示和关联的恢复点的指示是从所述GDR AU获得的。
11.根据权利要求1或权利要求2所述的方法,还包括:从所述GDR图片处开始执行随机访问操作。
12.一种用于将图片编码到比特流中的方法(450),所述方法包括:
确定(s452)所述比特流中的访问单元AU的编码视频序列CVS是从包含逐步解码刷新GDR图片的GDR访问单元GDR AU开始,并且所述AU的CVS包含从所述GDR图片开始且包括关联的恢复点的一系列编码图片;
在所述CVS中编码所述GDR图片的指示;以及
在所述GDR图片的图片首部中编码与所述GDR图片相关联的恢复点的指示,其中,所述恢复点的指示包括恢复点图片在所述一系列编码图片中的位置的指示。
13.根据权利要求12所述的方法,包括:
将所述GDR图片和所述恢复点图片编码为相同的图片。
14.根据权利要求12所述的方法,其中,在所述CVS中编码所述GDR图片的指示包括:在与所述GDR图片相关联的类型的NAL单元中编码所述指示。
15.根据权利要求12或权利要求14所述的方法,其中,在所述GDR图片的图片首部中编码与所述GDR图片相关联的恢复点的指示包括:将所述指示编码在图片首部PH类型的NAL单元中。
16.根据权利要求12或权利要求14所述的方法,还包括:在所述比特流中将指示恢复点在所述比特流中是否可用的语法元素编码在以下至少一个中:序列参数集SPS、视频参数集VPS和解码参数集DPS。
17.根据权利要求12或权利要求14所述的方法,还包括:
如果图片按照解码顺序在所述GDR图片之后且在所述恢复点图片之前,则使用部分帧内刷新对所述图片进行编码。
18.根据权利要求12或权利要求14所述的方法,包括:将所述GDR图片的指示和所述关联的恢复点的指示编码在所述GDR AU中。
19.一种计算机程序产品(741),包括其上存储有指令(744)的计算机可读介质(742),所述指令(744)在由处理电路(702)执行时,使所述处理电路(702)执行根据权利要求1或权利要求12所述的方法。
20.一种包含计算机程序的载体,所述计算机程序包括指令(744),所述指令(744)在由处理电路(702)执行时,使所述处理电路(702)执行根据权利要求1或权利要求12所述的方法,其中,所述载体是计算机可读存储介质(742)。
21.一种用于对视频比特流进行解码的解码装置(700),所述视频比特流包括访问单元AU的编码视频序列CVS,所述CVS包含一系列编码图片,所述解码装置包括处理电路和存储器,所述存储器存储指令,所述指令在由所述处理电路执行时,使所述解码装置:
获得所述视频比特流;
从所述CVS中解码当前图片是开始所述CVS的逐步解码刷新访问单元GDR AU中包含的逐步解码刷新GDR图片的指示;以及
从所述GDR图片的图片首部中解码所述CVS中的恢复点的指示,其中,所述恢复点与所述GDR图片相关联,并且所述恢复点的指示包括恢复点图片在所述一系列编码图片中的位置的指示。
22.一种用于将图片编码到比特流中的编码装置(700),所述编码装置包括处理电路和存储器,所述存储器存储指令,所述指令在由所述处理电路执行时,使所述编码装置:
确定所述比特流中的访问单元AU的编码视频序列CVS是从包含逐步解码刷新GDR图片的GDR访问单元GDR AU开始,所述AU的CVS包含从所述GDR图片开始且包括关联的恢复点的一系列编码图片;
在所述CVS中编码所述GDR图片的指示;以及
在所述GDR图片的图片首部中编码与所述GDR图片相关联的恢复点的指示,其中,所述恢复点的指示包括恢复点图片在所述一系列编码图片中的位置的指示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862782543P | 2018-12-20 | 2018-12-20 | |
US62/782,543 | 2018-12-20 | ||
PCT/SE2019/051317 WO2020130922A1 (en) | 2018-12-20 | 2019-12-19 | Normative indication of recovery point |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411077837.6A Division CN118827977A (zh) | 2018-12-20 | 2019-12-19 | 恢复点的规范指示 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113366843A CN113366843A (zh) | 2021-09-07 |
CN113366843B true CN113366843B (zh) | 2024-08-23 |
Family
ID=71101465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980088763.7A Active CN113366843B (zh) | 2018-12-20 | 2019-12-19 | 恢复点的规范指示 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11956471B2 (zh) |
EP (1) | EP3900345A4 (zh) |
CN (1) | CN113366843B (zh) |
BR (1) | BR112021012096A2 (zh) |
CO (1) | CO2021009380A2 (zh) |
SG (1) | SG11202106524PA (zh) |
WO (1) | WO2020130922A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9621922B2 (en) | 2014-01-26 | 2017-04-11 | Cable Television Laboratories, Inc. | Data transformation |
WO2020185959A1 (en) * | 2019-03-11 | 2020-09-17 | Futurewei Technologies, Inc. | Gradual decoding refresh in video coding |
JP2022549011A (ja) * | 2019-09-24 | 2022-11-22 | 華為技術有限公司 | ビデオコーディングにおけるピクチャーヘッダーのシグナリング |
AU2020354368A1 (en) | 2019-09-24 | 2022-04-14 | Huawei Technologies Co., Ltd. | Temporal identifier constraints for SEI messages |
CR20230153A (es) * | 2020-05-22 | 2023-05-16 | Ge Video Compression Llc | Codificador de video, decodificador de video, métodos para codificar y decodificar y flujo de datos de video para realizar conceptos avanzados de codificación de video (divisional exp. n°2022-0589) |
CN115699731A (zh) * | 2020-06-04 | 2023-02-03 | 抖音视界有限公司 | 参考图片重采样 |
KR20230025787A (ko) | 2020-06-22 | 2023-02-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 코딩된 비디오에서 양자화 정보의 시그널링 |
US20220070495A1 (en) * | 2020-09-02 | 2022-03-03 | Lemon Inc. | Pictures and layers included in a vvc image item |
EP3965422A1 (en) | 2020-09-02 | 2022-03-09 | Lemon Inc. | Brand for a media file |
US20240187572A1 (en) * | 2022-12-06 | 2024-06-06 | Realtek Semiconductor Corp. | Coding algorithm for realizing distributed Gradual Decoding Refresh |
WO2024177552A1 (en) * | 2023-02-24 | 2024-08-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Refresh indicator for coded video |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2492751C (en) * | 2002-07-16 | 2012-06-12 | Nokia Corporation | A method for random access and gradual picture refresh in video coding |
US20040260827A1 (en) | 2003-06-19 | 2004-12-23 | Nokia Corporation | Stream switching based on gradual decoder refresh |
WO2008084443A1 (en) * | 2007-01-09 | 2008-07-17 | Nokia Corporation | System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding |
KR101649207B1 (ko) * | 2011-08-31 | 2016-08-19 | 노키아 테크놀로지스 오와이 | 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램 |
US9124895B2 (en) * | 2011-11-04 | 2015-09-01 | Qualcomm Incorporated | Video coding with network abstraction layer units that include multiple encoded picture partitions |
US9736476B2 (en) * | 2012-04-27 | 2017-08-15 | Qualcomm Incorporated | Full random access from clean random access pictures in video coding |
US9967583B2 (en) * | 2012-07-10 | 2018-05-08 | Qualcomm Incorporated | Coding timing information for video coding |
US9491457B2 (en) | 2012-09-28 | 2016-11-08 | Qualcomm Incorporated | Signaling of regions of interest and gradual decoding refresh in video coding |
US9565452B2 (en) * | 2012-09-28 | 2017-02-07 | Qualcomm Incorporated | Error resilient decoding unit association |
US20140218473A1 (en) | 2013-01-07 | 2014-08-07 | Nokia Corporation | Method and apparatus for video coding and decoding |
US9571847B2 (en) * | 2013-01-07 | 2017-02-14 | Qualcomm Incorporated | Gradual decoding refresh with temporal scalability support in video coding |
WO2014106692A1 (en) | 2013-01-07 | 2014-07-10 | Nokia Corporation | Method and apparatus for video coding and decoding |
US9277200B2 (en) | 2013-01-17 | 2016-03-01 | Qualcomm Incorporated | Disabling inter-view prediction for reference picture list in video coding |
CN105325000B (zh) * | 2013-06-12 | 2019-01-08 | 三菱电机株式会社 | 图像编码装置、图像编码方法、图像解码装置和图像解码方法 |
WO2015013240A1 (en) | 2013-07-25 | 2015-01-29 | Elwha Llc | Systems for preventing collisions of vehicles with pedestrians |
US10560710B2 (en) | 2014-01-03 | 2020-02-11 | Qualcomm Incorporated | Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding |
US10178397B2 (en) * | 2014-03-24 | 2019-01-08 | Qualcomm Incorporated | Generic use of HEVC SEI messages for multi-layer codecs |
US10136152B2 (en) * | 2014-03-24 | 2018-11-20 | Qualcomm Incorporated | Use of specific HEVC SEI messages for multi-layer video codecs |
US9807419B2 (en) * | 2014-06-25 | 2017-10-31 | Qualcomm Incorporated | Recovery point SEI message in multi-layer video codecs |
EP3777137B1 (en) * | 2018-04-06 | 2024-10-09 | Nokia Technologies Oy | Method and apparatus for signaling of viewing extents and viewing space for omnidirectional content |
US10972755B2 (en) * | 2018-12-03 | 2021-04-06 | Mediatek Singapore Pte. Ltd. | Method and system of NAL unit header structure for signaling new elements |
-
2019
- 2019-12-19 SG SG11202106524PA patent/SG11202106524PA/en unknown
- 2019-12-19 BR BR112021012096-3A patent/BR112021012096A2/pt unknown
- 2019-12-19 CN CN201980088763.7A patent/CN113366843B/zh active Active
- 2019-12-19 EP EP19899812.2A patent/EP3900345A4/en active Pending
- 2019-12-19 US US17/416,591 patent/US11956471B2/en active Active
- 2019-12-19 WO PCT/SE2019/051317 patent/WO2020130922A1/en unknown
-
2021
- 2021-07-19 CO CONC2021/0009380A patent/CO2021009380A2/es unknown
-
2024
- 2024-01-08 US US18/407,126 patent/US20240267564A1/en active Pending
Non-Patent Citations (1)
Title |
---|
High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent);Benjamin Bross 等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;第7.3.1.2、7.4.1.2、D.1.8、D.2.8、D.2.24节 * |
Also Published As
Publication number | Publication date |
---|---|
BR112021012096A2 (pt) | 2021-09-08 |
EP3900345A1 (en) | 2021-10-27 |
US20220060752A1 (en) | 2022-02-24 |
WO2020130922A1 (en) | 2020-06-25 |
EP3900345A4 (en) | 2022-03-02 |
SG11202106524PA (en) | 2021-07-29 |
US20240267564A1 (en) | 2024-08-08 |
US11956471B2 (en) | 2024-04-09 |
CN113366843A (zh) | 2021-09-07 |
CO2021009380A2 (es) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113366843B (zh) | 恢复点的规范指示 | |
US20230046629A1 (en) | Constrains For Syntax Elements Of Adaptation Parameter Set | |
US9674524B2 (en) | Video decoder with signaling | |
JP2023513707A (ja) | 映像ビットストリームにおける一般的な制約フラグの使用 | |
EP3518539A1 (en) | Context initialization based on decoder picture buffer | |
PH12015500645B1 (en) | Error resilient decoding unit association. | |
US20220150546A1 (en) | Methods for recovery point process for video coding and related apparatus | |
US12047608B2 (en) | Signaling parameter value information in a parameter set to reduce the amount of data contained in an encoded video bitstream | |
US11956474B2 (en) | Signalling of general constrains flag | |
US20230308668A1 (en) | Determining capability to decode a first picture in a video bitstream | |
WO2021233450A1 (en) | Signalling for color component | |
CN118827977A (zh) | 恢复点的规范指示 | |
CN114586361A (zh) | 具有子图片片位置导出的片段位置信令 | |
US12022084B2 (en) | Video coding layer up-switching indication | |
CA3101453C (en) | Signaling parameter value information in a parameter set to reduce the amount of data contained in an encoded video bitstream | |
WO2024177552A1 (en) | Refresh indicator for coded video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |