CN115362479A - 图片中的条带类型 - Google Patents

图片中的条带类型 Download PDF

Info

Publication number
CN115362479A
CN115362479A CN202180026190.2A CN202180026190A CN115362479A CN 115362479 A CN115362479 A CN 115362479A CN 202180026190 A CN202180026190 A CN 202180026190A CN 115362479 A CN115362479 A CN 115362479A
Authority
CN
China
Prior art keywords
video
syntax
syntax element
flag
equal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180026190.2A
Other languages
English (en)
Inventor
张莉
王业奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of CN115362479A publication Critical patent/CN115362479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用于视频处理的系统、方法和装置。视频处理可以包括视频编码、视频解码或视频转码。一种视频处理的示例方法包括根据规则来执行视频和视频的比特流之间的转换。该规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许指定编解码类型的条带。

Description

图片中的条带类型
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则,本申请适时要求于2020年3月30日提交的美国临时申请No.63/002,148的优先权和权益。出于法律规定的所有目的,前述申请的全部公开通过引用而并入作为本申请的公开的一部分。
技术领域
本专利文档涉及图像和视频编解码和解码。
背景技术
数字视频占了互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计对数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了可以由视频编码器和解码器使用以使用对编解码表示的解码有用的控制信息来处理视频的编解码表示的技术。
在一个示例方面,公开了一种视频处理方法。该方法包括,根据规则来执行视频和视频的比特流之间的转换。该规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许指定编解码类型的条带。
在另一个示例方面,公开了一种视频处理方法。该方法包括,根据规则来执行视频的视频图片和视频的比特流之间的转换。该规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许在视频图片内混合不同的条带类型。
在另一个示例方面,公开了一种视频处理方法。该方法包括,执行包括一个或多个编解码层视频序列的视频和视频的编解码表示之间的转换,该一个或多个编解码层视频序列包括包含一个或多个视频条带的一个或多个视频图片;其中,编解码表示符合格式规则,该格式规则指定在序列参数集级别包括语法结构,其中,语法结构指示编解码类型的一个或多个条带是否被包括在参考编解码层视频序列中。
在另一个示例方面,公开了另一种视频处理方法。该方法包括,执行包括一个或多个编解码层视频序列的视频和视频的编解码表示之间的转换,该一个或多个编解码层视频序列包括包含一个或多个视频条带的一个或多个视频图片;其中,编解码表示符合格式规则,该格式规则指定在图片参数集级别包括语法结构,其中,语法结构指示编解码类型的一个或多个条带是否被包括在参考图片中。
在另一个示例方面,公开了另一种视频处理方法。该方法包括,执行包括一个或多个编解码层视频序列的视频和视频的编解码表示之间的转换,该一个或多个编解码层视频序列包括包含一个或多个视频条带的一个或多个视频图片;其中,编解码表示符合格式规则,该格式规则指定在图片标头级别包括语法结构,其中,语法结构指示编解码类型的一个或多个条带是否被包括在图片中。
在另一个示例方面,公开了另一种视频处理方法。该方法包括,执行包括包含一个或多个条带的一个或多个视频图片的视频和视频的编解码表示之间转换,其中,该转换符合规则,该规则指定,条带的条带类型是否被包括在编解码表示中依赖于参数集或包含条带的图片的图片标头中的语法元素的值。
在另一个示例方面,公开了另一种视频处理方法。该方法包括,执行包括包含一个或多个视频条带的一个或多个视频图片的视频和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,该格式规则指定,是否为图片的编解码允许预测编解码条带(P条带)和双向编解码条带(B条带)。
在又一个示例方面,公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
在又一个示例方面,公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。
在又一示例方面,公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现本文描述的方法之一。
这些以及其他特征将在本文档中描述。
附图说明
图1是示例视频处理系统的框图。
图2是视频处理装置的框图。
图3是视频处理的示例方法的流程图。
图4是示出根据本公开的一些实施例的视频编解码系统的框图。
图5是示出根据本公开的一些实施例的编码器的框图。
图6是示出根据本公开的一些实施例的解码器的框图。
图7是根据本技术的视频处理的方法的流程图表示。
图8是根据本技术的另一种视频处理的方法的流程图表示。
具体实施方式
在本文档中使用章节标题以易于理解,并且不将每个章节中公开的技术和实施例的应用性仅限制于该章节。此外,在一些描述中使用H.266技术术语仅仅是为了易于理解,而不是为了限制所公开的技术的范围。因此,本文描述的技术也适用于其他视频编解码器协议和设计。
1.概述
本文档涉及视频编解码技术。具体地,它关于对允许的条带类型的信令和仅适用于双向预测条带的相关编解码工具的改进。这些思想可以单独或以各种组合被应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器,例如正在开发的多功能视频编解码(VVC)。
2.缩写
ALF(Adaptive Loop Filter) 自适应环路滤波器
APS(Adaptation Parameter Set) 自适应参数集
AU(Access Unit) 接入单元
AUD(Access Unit Delimiter) 接入单元分隔符
AVC(Advanced Video Coding) 高级视频编解码
CLVS(Coded Layer Video Sequence) 编解码层视频序列
CPB(Coded Picture Buffer) 编解码图片缓冲器
CRA(Clean Random Access) 纯随机接入
CTU(Coding Tree Unit) 编解码树单元
CVS(Coded Video Sequence) 编解码视频序列
DCI(Decoding Capability Information) 解码能力信息
DPB(Decoded Picture Buffer) 解码图片缓冲器
DU(Decoding Unit) 解码单元
EOB(End Of Bitstream) 比特流结尾
EOS(End Of Sequence) 序列结尾
GDR(Gradual Decoding Refresh) 逐渐解码刷新
HEVC(High Efficiency Video Coding) 高效视频编解码
HRD(Hypothetical Reference Decoder) 假设参考解码器
IDR(Instantaneous Decoding Refresh) 即时解码刷新
JEM(Joint Exploration Model) 联合探索模型
LMCS(Luma Mapping with Chroma Scaling) 亮度映射与色度缩放
MCTS(Motion-Constrained Tile Sets) 运动约束片集
NAL(Network Abstraction Layer) 网络抽象层
OLS(Output Layer Set) 输出层集
PH(Picture Header) 图片标头
PPS(Picture Parameter Set) 图片参数集
PTL(Profile,Tier and Level) 档次、层和级别
PU(Picture Unit) 图片单元
RADL(Random Access Decodable Leading(Picture)) 随机接入可解码前置(图片)
RAP(Random Access Point) 随机接入点
RASL(Random Access Skipped Leading(Picture)) 随机接入跳过前置(图片)
RBSP(Raw Byte Sequence Payload) 原始字节序列载荷
RPL(Reference Picture List) 参考图片列表
SAO(Sample Adaptive Offset) 样点自适应偏移
SEI(Supplemental Enhancement Information) 补充增强信息
SPS(Sequence Parameter Set) 序列参数集
STSA(Step-wise Temporal Sublayer Access) 逐步时域子层接入
SVC(Scalable Video Coding) 可缩放视频编解码
VCL(Video Coding Layer) 视频编解码层
VPS(Video Parameter Set) 视频参数集
VTM(VVC Test Model) VVC测试模型
VUI(Video Usability Information) 视频可用性信息
VVC(Versatile Video Coding) 多功能视频编解码
3.初步讨论
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263,ISO/IEC开发了MPEG-1和MPEG-4Visual,并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索团队(Joint Video Exploration Team,JVET)。从那时起,JVET已经采用了许多新的方法,并将其放入了名为联合探索模型(JEM)的参考软件中。JVET会议每季度同时举行一次,新编解码标准的目标是与HEVC相比降低50%的比特率。新视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(VVC),第一版VVC测试模型(VTM)也在当时发布。由于对VVC标准化的持续努力,新的编解码技术在每次JVET会议上都被采用到VVC标准中。
3.1.参数集
AVC、HEVC和VVC指定了参数集。参数集的类型包括SPS、PPS、APS和VPS。在AVC、HEVC和VVC全部中都支持SPS和PPS。VPS从HEVC开始引入,并且被包括在HEVC和VVC中。APS没有被包括在AVC或HEVC中,但是被包括在最新的VVC草案文本中。
SPS被设计为携带序列级别标头信息,并且PPS被设计为携带不频繁改变的图片级别标头信息。使用SPS和PPS,不频繁改变的信息不需要针对每个序列或图片重复,因此可以避免该信息的冗余信令。此外,SPS和PPS的使用实现了重要标头信息的带外传输,因此不仅避免了对冗余传输的需要,还提高了容错性。
引入VPS以携带对多层比特流中的所有层共同的序列级别标头信息。
引入APS以携带这样的图片级别或条带级别信息,该信息需要相当多的比特来编解码,可以由多个图片共享,并且在序列中可以有相当多的不同变化。
3.1.1.视频参数集(VPS)
多个语法元素的示例语法表和语义被定义如下:
7.3.2.2视频参数集RBSP语法
Figure BDA0003872166770000061
3.1.2.序列参数集(SPS)
多个语法元素的示例语法表和语义被定义如下:
7.3.2.3序列参数集RBSP语法
Figure BDA0003872166770000062
Figure BDA0003872166770000071
Figure BDA0003872166770000081
3.1.3.通用约束标志
7.3.3.2通用约束信息语法
Figure BDA0003872166770000082
Figure BDA0003872166770000091
no_bdof_constraint_flag等于1指定sps_bdof_enabled_flag应当等于0。no_bdof_constraint_flag等于0不施加这样的约束。
no_dmvr_constraint_flag等于1指定sps_dmvr_enabled_flag应当等于0。no_dmvr_constraint_flag等于0不施加这样的约束。
no_bcw_constraint_flag等于1指定sps_bcw_enabled_flag应当等于0。no_bcw_constraint_flag等于0不施加这样的约束。
no_ciip_constraint_flag等于1指定sps_ciip_enabled_flag应当等于0。no_cipp_constraint_flag等于0不施加这样的约束。
no_gpm_constraint_flag等于1指定sps_gpm_enabled_flag应当等于0。no_gpm_constraint_flag等于0不施加这样的约束。
3.1.4.图片参数集(PPS)
多个语法元素的示例语法表和语义被定义如下:
7.3.2.4图片参数集RBSP语法
Figure BDA0003872166770000092
num_ref_idx_default_active_minus1[i]加1在i等于0时指定num_ref_idx_active_override_flag等于0的P条带或B条带的变量NumRefIdxActive[0]的推断值,并且在i等于1时指定num_ref_idx_active_override_flag等于0的B条带的NumRefIdxActive[1]的推断值。num_ref_idx_default_active_minus1[i]的值应当在0到14的范围(包括0和14)内。
pps_weighted_bipred_flag等于0指定显式加权预测不应用于参考PPS的B条带。pps_weighted_bipred_flag等于1指定显式加权预测被应用于参考PPS的B条带。当sps_weighted_bipred_flag等于0时,pps_weighted_bipred_flag的值应当等于0。
3.1.5.DPB参数语法
多个语法元素的语法表和语义被定义如下:
7.3.4DPB参数语法
Figure BDA0003872166770000101
7.4.5DPB参数语义
dpb_parameters()语法结构提供一个或多个OLS的DPB尺寸、最大图片重新排序数量和最大延迟的信息。
当dpb_parameters()语法结构被包括在VPS中时,dpb_parameters()语法结构适用的OLS由VPS指定。当dpb_parameters()语法结构被包括在SPS中时,其适用于仅包括作为参考SPS的层当中的最低层的层的OLS,并且该最低层是独立层。
max_dec_pic_buffering_minus1[i]加1指定,当Htid等于i时,以图片存储缓冲器为单位的DPB的最大要求尺寸。max_dec_pic_buffering_minus1[i]的值应当在0到MaxDpbSize-1的范围(包括0和MaxDpbSize-1)内,其中,MaxDpbSize如条款A.4.2所指定的。当i大于0时,max_dec_pic_buffering_minus1[i]应当大于或等于max_dec_pic_buffering_minus1[i-1]。当对于在0到maxSubLayersMinus1-1的范围(包括0和maxSubLayersMinus1-1)内的i,不存在max_dec_pic_buffering_minus1[i]时,由于subLayerInfoFlag等于0,其被推断为等于max_dec_pic_buffering_minus1[maxSubLayersMinus1]。
max_num_reorder_pics[i]指定,当Htid等于i时,OLS中按照解码顺序可以在OLS中的任何图片之前并且按照输出顺序可以在该图片之后的图片的最大允许数量。max_num_reorder_pics[i]的值应当在0到max_dec_pic_buffering_minus1[i]的范围(包括0和max_dec_pic_buffering_minus1[i])内。当i大于0时,max_num_reorder_pics[i]应当大于或等于max_num_reorder_pics[i-1]。当对于在0到maxSubLayersMinus1-1的范围(包括0和maxSubLayersMinus1-1)内的i,不存在max_num_reorder_pics[i]时,由于subLayerInfoFlag等于0,其被推断为等于max_num_reorder_pics[maxSubLayersMinus1]。
max_latency_increase_plus1[i]不等于0用于计算MaxLatencyPictures[i]的值,其指定,当Htid等于i时,OLS中按照输出顺序可以在OLS中的任何图片之前并且按照解码顺序在该图片之后的图片的最大数量。
当max_latency_increase_plus1[i]不等于0时,MaxLatencyPictures[i]的值被指定如下:
MaxLatencyPictures[i]=max_num_reorder_pics[i]+max_latency_increase_plus1[i]-1(7-110)
当max_latency_increase_plus1[i]等于0时,不表达对应的限制。
max_latency_increase_plus1[i]的值应当在0到232-2的范围(包括0和232-2)内。当对于在0到maxSubLayersMinus1-1的范围(包括0和maxSubLayersMinus1-1)内的i,不存在max_latency_increase_plus1[i]时,由于subLayerInfoFlag等于0,其被推断为等于max_latency_increase_plus1[maxSubLayersMinus1]。
3.2.VVC中的图片标头(PH)和条带标头(SH)
与HEVC中类似,VVC中的条带标头传递特定条带的信息。这包括条带地址、条带类型、条带QP、图片顺序计数(picture order count,POC)最低有效位(least significantbit,LSB)、RPS和RPL信息、加权预测参数、环路滤波参数、片和WPP的条目偏移等。
VVC引入了图片标头(PH),其包含特定图片的标头参数。每个图片必须具有一个或仅一个PH。PH基本上携带如果没有引入PH就在条带标头中的那些参数,但是每个参数对于图片的所有条带具有相同的值。这些包括IRAP/GDR图片指示、帧间/帧内条带允许标志、POCLSB并且可选地POC MSB、关于RPL、去方块、SAO、ALF、QP增量和加权预测的信息、编解码块分割信息、虚拟边界、并置图片信息等。经常出现的情况是,整个图片序列中的每个图片仅包含一个条带。为了在这种情况下允许对于每个图片不具有至少两个NAL单元,允许PH语法结构被包括在PH NAL单元或条带标头中。
在VVC中,在图片标头或条带标头中信令通知用于时域运动矢量预测的关于并置图片的信息。
3.2.1.图片标头(PH)
多个语法元素的语法表和语义被定义如下:
7.3.2.7图片标头结构语法
Figure BDA0003872166770000121
Figure BDA0003872166770000131
3.2.2.条带标头(SH)
多个语法元素的语法表和语义被定义如下:
7.3.7.1通用条带标头语法
Figure BDA0003872166770000132
Figure BDA0003872166770000141
Figure BDA0003872166770000151
slice_type根据表9指定条带的编解码类型。
表9–与slice_type的名称关联
slice_type slice_type的名称
0 B(B条带)
1 P(P条带)
2 I(I条带)
当不存在时,slice_type的值被推断为等于2。
当ph_intra_slice_allowed_flag等于0时,slice_type的值应当等于0或1。当nal_unit_type在IDR_W_RADL到CRA_NUT的范围(包括IDR_W_RADL和CRA_NUT)内,并且vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时,slice_type应当等于2。
4.通过所公开的技术解决方案解决的技术问题
在一些实施例中,包括与允许的条带类型有关的两个PH语法元素,例如,ph_inter_slice_allowed_flag和ph_intra_slice_allowed_flag,如图片标头结构语法所列的。利用这两个标志,仅当ph_intra_slice_allowed_flag为真时,才信令通知与I条带编解码有关的语法元素,并且仅当ph_inter_slice_allowed_flag为真时,才信令通知与帧间条带编解码有关的语法元素。然而,当ph_inter_slice_allowed_flag等于1时,解码器不知道图片是否包含B条带。一些应用(例如,在线游戏、视频会议、视频监控)通常仅使用P条带和I条带。因此,如果有是否允许B条带的指示,这样的应用的解码器将能够选择仅请求/使用不包括B条带的比特流,此外,该指示可以用于避免传送多个不必要的参数。
5.技术解决方案的列表
为了解决以上问题以及其他问题,公开了如下总结的方法。这些项应该被认为是解释一般概念的示例,而不应该以狭隘的方式解释。此外,这些项可以被单独应用或以任何方式被组合。
可以在参数集(例如,SPS、VPS、PPS)和/或通用约束信息语法和/或PH中添加一个或多个语法元素,以指示是否允许X(例如,B或P)条带。
在SPS和通用约束信息语法中
1.在SPS中,添加语法元素(例如,sps_X_slice_allowed_flag),以指定CLVS是否可以包含一个或多个X条带;或者指定CLVS是否不包含任何X条带。
1)在一个示例中,添加第一语法元素(例如,
sps_b_slice_allowed_flag),sps_b_slice_allowed_flag等于1指定CLVS可以包含一个或多个B条带,并且sps_b_slice_allowed_flag等于0指定CLVS不包含B条带。
i.此外,可替代地,可以修改在SPS中信令通知的一个或多个语法元素的信令通知和/或语义和/或推断,使得它们仅在第一语法元素满足某些条件时被信令通知。
a.在一个示例中,一个或多个语法元素是为了启用需要多于一个预测信令的编解码工具的语法元素,诸如双向预测或混合帧内和帧间编解码、或者从多个预测块使用线性/非线性加权的预测。
b.在一个示例中,一个或多个语法元素可以包括但不限于:
a)sps_weighted_bipred_flag
b)sps_bdof_enabled_flag
c)sps_smvd_enabled_flag
d)sps_dmvr_enabled_flag
e)sps_bcw_enabled_flag
f)sps_ciip_enabled_flag
g)sps_gpm_enabled_flag
c.在一个示例中,仅当第一语法元素指定CLVS可以包含一个或多个B条带时,才可以信令通知一个或多个语法元素。否则,跳过该信令通知,并且推断语法元素的值。
d.在一个示例中,当sps_b_slice_allowed_flag等于0时,不信令通知语法元素sps_weighted_bipred_flag、sps_bdof_enabled_flag、sps_smvd_enabled_flag、sps_dmvr_enabled_flag、sps_bcw_enabled_flag、sps_ciip_enabled_flag和sps_gpm_enabled_flag,并且推断它们的值。
a)在一个示例中,当不存在时,它们都被推断为0。
ii.此外,可替代地,可以在通用约束信息语法中信令通知第二语法元素,诸如no_b_slice_contraint_flag,以指示第一语法元素是否应当等于0。
a.在一个示例中,no_b_slice_contraint_flag的语义被定义如下:
Figure BDA0003872166770000171
等于1指定sps_b_slice_allowed_flag应当等于0。no_b_slice_constraint_flag等于0不施加这样的约束。
iii.此外,可替代地,如果第一语法元素指定CLVS不包含B条带,则要求在通用约束信息语法中信令通知的一个或多个语法元素应当等于1。
a.在一个示例中,一个或多个语法元素可以包括但不限于:
a)no_bcw_constraint_flag
b)no_ciip_constraint_flag
c)no_gpm_constraint_flag
d)no_bdof_constraint_flag
e)no_dmvr_constraint_flag
iv.此外,可替代地,可以修改在dpb_parameters()中信令通知的一个或多个语法元素的信令通知和语义,使得它们仅在第一语法元素满足某些条件时被信令通知。
a.在一个示例中,一个或多个语法元素可以包括但不限于:
a)max_num_reorder_pics
b.在一个示例中,当第一语法元素告知不允许B条带时,max_num_reorder_pics不被信令通知并且被推断为0。
2)在一个示例中,添加第二语法元素(例如,
sps_p_slice_allowed_flag),sps_p_slice_allowed_flag等于1指定CLVS可以包含一个或多个P条带,并且sps_p_slice_allowed_flag等于0指定CLVS不包含P条带。
i.可替代地,可以通过将sps_b_slice_allowed_flag替换为(!sps_p_slice_allowed_flag)或(!sps_p_slice_allowed_flag&&ph_inter_slice_allowed_flag)来应用第1.1)项中提到的子项目符号。
在PPS中
2.在PPS中,添加语法元素(例如,sps_X_slice_allowed_flag),以指定参考当前PPS的图片是否可以包含一个或多个X条带;或者指定参考当前PPS的图片是否不包含任何X条带。
1)在一个示例中,添加第一语法元素(例如,
pps_b_slice_allowed_flag),pps_b_slice_allowed_flag等于1指定参考当前PPS的图片可以包含一个或多个B条带,并且pps_b_slice_allowed_flag等于0指定参考当前PPS的图片不包含B条带。
2)在一个示例中,添加项目符号1中的第一语法元素(例如,sps_b_slice_allowed_flag)和项目符号2.1)中的第一语法元素(例如,pps_b_slice_allowed_flag)应当相同的约束。
3)此外,可替代地,可以根据第一语法元素来修改在PPS中信令通知的一个或多个语法元素的信令通知和/或语义和/或推断。
i.在一个示例中,一个或多个语法元素是为了启用需要多于一个预测信令的编解码工具的语法元素,诸如双向预测或混合帧内和帧间编解码、或者从多个预测块使用线性/非线性加权的预测。
ii.在一个示例中,是否信令通知一个或多个语法元素可以在第一语法元素的检查指示允许B条带的条件下。
a.此外,可替代地,如果没有被信令通知,则可以推断该值,诸如为0。
iii.在一个示例中,一个或多个语法元素可以包括但不限于:
a.pps_weighted_bipred_flag
b.num_ref_idx_default_active_minus1[1]
在PH中
3.在PH中,添加语法元素(例如,ph_X_slice_allowed_flag),以指定图片是否可以包含一个或多个X条带;或者指定图片是否不包含任何X条带。
1)在一个示例中,添加第一语法元素(例如,ph_b_slice_allowed_flag),ph_b_slice_allowed_flag等于1指定图片可以包含一个或多个B条带,并且ph_b_slice_allowed_flag等于0指定图片不包含B条带。
i.此外,可替代地,可以有条件地信令通知第一语法元素(例如,ph_b_slice_allowed_flag)。
a.在一个示例中,当sps_b_slice_allowed_flag和/或pps_b_slice_allowed_flag为真时,可以信令通知ph_b_slice_allowed_flag。
b.在一个示例中,当sps_b_slice_allowed_flag和/或pps_b_slice_allowed_flag为假时,ph_b_slice_allowed_flag可以不被信令通知,并且被推断为假。
2)此外,可替代地,可以根据第一语法元素来修改在PH中信令通知的一个或多个语法元素的信令通知和/或语义和/或推断。
i.在一个示例中,一个或多个语法元素是为了启用需要多于一个预测信令的编解码工具的语法元素,诸如双向预测或混合帧内和帧间编解码、或者从多个预测块使用线性/非线性加权的预测。
ii.在一个示例中,一个或多个语法元素可以包括但不限于:
a)ph_collocated_from_l0_flag
b)mvd_l1_zero_flag
c)ph_disable_bdof_flag
d)ph_disable_dmvr_flag
e)num_l1_weights
iii.在一个示例中,仅当第一语法元素指定图片可以包含一个或多个B条带时,才可以信令通知一个或多个语法元素。否则,跳过该信令通知,并且推断语法元素的值。
a)此外,可替代地,是否信令通知一个或多个语法元素可以依赖于项目符号1.1和2.1中的第一语法元素,诸如(sps_b_slice_allowed_flag&&ph_b_slice_allowed_flag)。
b)仅当(sps_bdof_pic_present_flag
Figure BDA0003872166770000201
Figure BDA0003872166770000202
)为真时,才可以信令通知ph_disable_bdof_flag。
c)仅当(sps_dmvr_pic_present_flag
Figure BDA0003872166770000203
Figure BDA0003872166770000204
)为真时,才可以信令通知ph_disable_dmvr_flag。
iv.在一个示例中,当ph_b_slice_allowed_flag等于0时,不信令通知mvd_l1_zero_flag,并且其值被推断为1。
v.在一个示例中,对一个或多个语法元素的推断依赖于第一语法元素的值。
a)在一个示例中,对于ph_disable_bdof_flag,以下适用:
–如果sps_bdof_enabled_flag等于1
Figure BDA0003872166770000211
Figure BDA0003872166770000212
则ph_disable_bdof_flag的值被推断为等于0。
–否则(sps_bdof_enabled_flag等于
Figure BDA0003872166770000213
Figure BDA0003872166770000214
),ph_disable_bdof_flag的值被推断为等于1。
b)在一个示例中,对于ph_disable_dmvr_flag,以下适用:
–如果sps_dmvr_enabled_flag等于1
Figure BDA0003872166770000215
Figure BDA0003872166770000216
则ph_disable_dmvr_flag的值被推断为等于0。
–否则(sps_dmvr_enabled_flag等于
Figure BDA0003872166770000217
Figure BDA0003872166770000218
),ph_disable_dmvr_flag的值被推断为等于1。
c)在一个示例中,当ph_temporal_mvp_enabled_flag和rpl_info_in_ph_flag两者都等于1并且ph_b_slice_allowed_flag等于0时,ph_collocated_from_l0_flag的值被推断为等于1。
d)在一个示例中,当ph_b_slice_allowed_flag等于0时,不信令通知num_l1_weights,并且其值被推断为0,因此,不在图片的PH或SH中信令通知参考图片列表1的加权预测参数。
4.是否信令通知条带类型和/或对条带类型的推断可以依赖于与参数集和/或图片标头中的允许的条带类型有关的语法元素。
1)在一个示例中,根据“if(ph_inter_slice_allowed_flag
Figure BDA0003872166770000221
Figure BDA0003872166770000222
)”来有条件地信令通知条带类型。
2)在一个示例中,当没有信令通知slice_type时,slice_type的值被推断为等于(ph_inter_slice_allowed_flag?1:2).
3)当ph_b_slice_allowed_flag和ph_intra_slice_allowed_flag两者都等于0时,不信令通知语法元素slice_type,并且该值被推断为等于1。
5.可以添加两个标志,以分别指示是否允许P和B。
1)在一个示例中,添加PH标志p_slices_allowed_flag(值0指定图片不具有P条带),并且还可能添加PH标志b_slices_allowed_flag(值0指定图片不具有B条带)。
2)此外,可替代地,它们根据是否应用帧间条带来被有条件地信令通知。
可以在参数集(例如,SPS、VPS、PPS)和/或通用约束信息语法和/或PH中添加一个或多个语法元素,以指示是否允许混合条带类型,或者添加约束以不允许混合帧间条带类型(例如,B和P)。
6.可以约束在图片内不应当有P条带类型和B条带类型的混合。
1)在一个示例中,可以约束在任何VVC比特流(或者使用另一视频编解码器进行编解码的任何比特流)中的图片内不应当有P条带类型和B条带类型的混合。
2)在一个示例中,可以在比特流中(例如,在参数集或DCI NAL单元中)信令通知语法元素(例如,标志),并且语法元素(例如,标志)等于X(例如,1)指定在比特流中的图片内不应当有P条带类型和B条带类型的混合。
3)在一个示例中,可以在SPS中信令通知语法元素(例如,标志),并且语法元素(例如,标志)等于X(例如,1)指定在CLVS中的图片内不应当有P条带类型和B条带类型的混合。
4)在一个示例中,可以在PPS或PH中信令通知语法元素(例如,标志),并且语法元素(例如,标志)等于X(例如,1)指定在图片内不应当有P条带类型和B条带类型的混合。
5)在一个示例中,可以在SPS/PPS/PH中信令通知语法元素(例如,标志,例如,p_slices_allowed_flag),以指示是否允许P条带。
i.此外,可替代地,语法元素(例如,标志)等于X(例如,1)指定在图片内不应当有P条带。
ii.此外,在一个示例中,如果p_slices_allowed_flag等于0,则不约束ph_collocated_from_l0_flag的值,否则,要求ph_collocated_from_l0_flag的值等于1。
6)此外,可替代地,可以有条件地信令通知以上子项目符号中提到的语法元素。
iii.在一个示例中,要在PH中信令通知的语法元素可以在“允许帧间条带”的检查的条件下(例如,if(ph_inter_slice_allowed_flag))。
7)此外,在一个示例中,当特定图片仅包含P条带时,要求ph_collocated_from_l0_flag的值等于1。
iv.可替代地,当特定图片仅包含P条带时,ph_collocated_from_l0_flag可以不被信令通知,并且被推断为等于1。
6.实施例
以下是在上面第5节中总结的本发明的一些方面的一些示例实施例,其可以被应用于VVC规范。已经被添加或修改的最相关部分以
Figure BDA0003872166770000231
用下划线示出,并且删除的部分中的一些使用[[]]指示。请注意,以下实施例可以被组合在一起。
6.1.SPS相关改变的第一实施例
7.3.2.3序列参数集RBSP语法
Figure BDA0003872166770000232
Figure BDA0003872166770000241
...
Figure BDA0003872166770000251
sps_weighted_bipred_flag等于1指定显式加权预测可以被应用于参考SPS的B条带。sps_weighted_bipred_flag等于0指定显式加权预测不应用于参考SPS的B条带。
Figure BDA0003872166770000252
Figure BDA0003872166770000253
sps_bdof_enabled_flag等于0指定禁用双向光流帧间预测。sps_bdof_enabled_flag等于1指定启用双向光流帧间预测。
Figure BDA0003872166770000254
Figure BDA0003872166770000255
sps_smvd_enabled_flag等于1指定可以在运动矢量解码中使用对称运动矢量差。sps_smvd_enabled_flag等于0指定在运动矢量编解码中不使用对称运动矢量差。
Figure BDA0003872166770000256
sps_dmvr_enabled_flag等于1指定启用基于解码器运动矢量细化的帧间双向预测。sps_dmvr_enabled_flag等于0指定禁用基于解码器运动矢量细化的帧间双向预测。
Figure BDA0003872166770000257
sps_bcw_enabled_flag指定使用CU权重的双向预测是否可以用于帧间预测。如果sps_bcw_enabled_flag等于0,则语法应当被约束,使得在CLVS中不使用使用CU权重的双向预测,并且bcw_idx不存在于CLVS的编解码单元语法中。否则(sps_bcw_enabled_flag等于1),可以在CLVS中使用使用CU权重的双向预测。
Figure BDA0003872166770000258
Figure BDA0003872166770000259
sps_ciip_enabled_flag指定ciip_flag可以存在于帧间编解码单元的编解码单元语法中。sps_ciip_enabled_flag等于0指定ciip_flag不存在于帧间编解码单元的编解码单元语法中。
Figure BDA00038721667700002510
Figure BDA00038721667700002511
...
6.2.PPS相关改变的第二实施例
7.3.2.4图片参数集RBSP语法
Figure BDA00038721667700002512
Figure BDA0003872166770000261
Figure BDA0003872166770000262
num_ref_idx_default_active_minus1[i]加1,在i等于0时,指定num_ref_idx_active_override_flag等于0的P条带或B条带的变量NumRefIdxActive[0]的推断值,并且,在i等于1时,指定num_ref_idx_active_override_flag等于0的B条带的NumRefIdxActive[1]的推断值。num_ref_idx_default_active_minus1[i]的值应当在0到14的范围(包括0和14)内。
pps_weighted_bipred_flag等于0指定显式加权预测不应用于参考PPS的B条带。pps_weighted_bipred_flag等于1指定显式加权预测被应用于参考PPS的B条带。当sps_weighted_bipred_flag等于0时,pps_weighted_bipred_flag的值应当等于0。
Figure BDA0003872166770000263
Figure BDA0003872166770000264
6.3.PH和SH相关改变的第三实施例
7.3.2.7图片标头结构语法
Figure BDA0003872166770000265
Figure BDA0003872166770000271
...
可替代地,可以应用以下内容:
Figure BDA0003872166770000281
可替代地,可以应用以下内容:
Figure BDA0003872166770000282
ph_intra_slice_allowed_flag等于0指定图片的所有编解码条带都具有等于0或1的slice_type。ph_intra_slice_allowed_flag等于1指定在图片中可以有或可以没有具有等于2的slice_type的一个或多个编解码条带。当不存在时,ph_intra_slice_allowed_flag的值被推断为等于1。
Figure BDA0003872166770000283
...
ph_collocated_from_l0_flag等于1指定用于时域运动矢量预测的并置图片是从参考图片列表0推导的。ph_collocated_from_l0_flag等于0指定用于时域运动矢量预测的并置图片是从参考图片列表1推导的。
Figure BDA0003872166770000291
Figure BDA0003872166770000292
可替代地,以下适用:
Figure BDA0003872166770000293
等于1指定用于时域运动矢量预测的并置图片是从参考图片列表0推导的。ph_collocated_from_l0_flag等于0指定用于时域运动矢量预测的并置图片是从参考图片列表1推导的。
Figure BDA0003872166770000294
Figure BDA0003872166770000295
ph_collocated_ref_idx指定用于时域运动矢量预测的并置图片的参考索引。
当ph_collocated_from_l0_flag等于1时,ph_collocated_ref_idx参考参考图片列表0中的条目,并且ph_collocated_ref_idx的值应当在0到num_ref_entries[0][RplsIdx[0]]-1的范围(包括0和num_ref_entries[0][RplsIdx[0]]-1)内。
当ph_collocated_from_l0_flag等于0时,ph_collocated_ref_idx参考参考图片列表1中的条目,并且ph_collocated_ref_idx的值应当在0到num_ref_entries[1][RplsIdx[1]]-1的范围(包括0和num_ref_entries[1][RplsIdx[1]]-1)内。
当不存在时,ph_collocated_ref_idx的值被推断为等于0。
...
mvd_l1_zero_flag等于1指示不解析mvd_coding(x0,y0,1)语法结构,并且对于compIdx=0..1且cpIdx=0..2,MvdL1[x0][y0][compIdx]和MvdCpL1[x0][y0][cpIdx][compIdx]被设置为等于0。mvd_l1_zero_flag等于0指示解析mvd_coding(x0,y0,1)语法结构。
Figure BDA0003872166770000296
Figure BDA0003872166770000297
...
ph_disable_bdof_flag等于1指定在与PH相关联的条带中禁用基于双向光流帧间预测的帧间双向预测。ph_disable_bdof_flag等于0指定在与PH相关联的条带中可以启用或可以不启用基于双向光流帧间预测的帧间双向预测。
当不存在ph_disable_bdof_flag时,以下适用:
–如果sps_bdof_enabled_flag等于1
Figure BDA0003872166770000301
Figure BDA0003872166770000302
则ph_disable_bdof_flag的值被推断为等于0。
–否则(sps_bdof_enabled_flag等于0
Figure BDA0003872166770000303
Figure BDA0003872166770000304
),ph_disable_bdof_flag的值被推断为等于1。
ph_disable_dmvr_flag等于1指定在与PH相关联的条带中禁用基于解码器运动矢量细化的帧间双向预测。ph_disable_dmvr_flag等于0指定在与PH相关联的条带中可以启用或可以不启用基于解码器运动矢量细化的帧间双向预测。
当不存在ph_disable_dmvr_flag时,以下适用:
–如果sps_dmvr_enabled_flag等于1
Figure BDA0003872166770000305
Figure BDA0003872166770000306
则ph_disable_dmvr_flag的值被推断为等于0。
–否则(sps_dmvr_enabled_flag等于0
Figure BDA0003872166770000307
Figure BDA0003872166770000308
),ph_disable_dmvr_flag的值被推断为等于1。
...
7.3.7.1通用条带标头语法
Figure BDA0003872166770000309
...
slice_type根据表9来指定条带的编解码类型。
表9–与slice_type的名称关联
slice_type slice_type的名称
0 B(B条带)
1 P(P条带)
2 I(I条带)
当不存在时,slice_type的值被推断为等于
Figure BDA0003872166770000311
Figure BDA0003872166770000312
[[2]]。
Figure BDA0003872166770000313
Figure BDA0003872166770000314
ph_intra_slice_allowed_flag等于0时,slice_type的值应当等于0或1。当nal_unit_type在IDR_W_RADL到CRA_NUT的范围(包括IDR_W_RADL和CRA_NUT)内并且vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时,slice_type应当等于2。
可替代地,以下适用:
Figure BDA0003872166770000315
Figure BDA0003872166770000316
Figure BDA0003872166770000317
ph_intra_slice_allowed_flag等于0时,slice_type的值应当等于0或1。当nal_unit_type在IDR_W_RADL到CRA_NUT的范围(包括IDR_W_RADL和CRA_NUT)内并且vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时,slice_type应当等于2。
...
7.3.7.2加权预测参数语法
Figure BDA0003872166770000318
Figure BDA0003872166770000321
7.4.8.2加权预测参数语义
...
num_l1_weights指定当pps_weighted_bipred_flag和wp_info_in_ph_flag两者都等于1时,为参考图片列表1中的条目信令通知的权重的数量。num_l1_weights的值应当在0到Min(15,num_ref_entries[1][RplsIdx[1]])的范围(包括0和Min(15,num_ref_entries[1][RplsIdx[1]]))内。
变量NumWeightsL1被推导如下:
Figure BDA0003872166770000322
图1是示出可以在其中实施本文公开的各种技术的示例视频处理系统1900的框图。各种实施方式可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收,或者可以是压缩或编码格式。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passive optical network,PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统1900可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以将来自输入1902的视频的平均比特率减小到编解码组件1904的输出,以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储,或者经由如组件1906所表示的通信连接来发送。在输入1902处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1908用于生成像素值或传送到显示接口1910的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但是将理解,编解码工具或操作在编码器处被使用,并且反转编解码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(universal serialbus,USB)、或高清晰度多媒体接口(high definition multimedia interface,HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
图2是视频处理装置3600的框图。装置3600可以用于实施本文描述的一种或多种方法。装置3600可以体现在智能手机、平板电脑、计算机、物联网(Internet of Things,IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)3604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路系统中实施本文档中描述的一些技术。
图4是示出可以利用本公开的技术的示例视频编解码系统100的框图。
如图4所示,视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码视频数据,其中,该源设备110可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码视频数据,其中,该目标设备120可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括源,诸如视频捕捉设备、从视频内容提供器接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码,以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码视频数据可以通过网络130a经由I/O接口116直接发送到目标设备120。编码视频数据也可以存储在存储介质/服务器130b上,以供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可以对编码视频数据进行解码。显示设备122可以向用户显示解码视频数据。显示设备122可以与目标设备120集成,或者可以在被配置为与外部显示设备接口的目标设备120的外部。
视频编码器114和视频解码器124可以根据视频压缩标准进行操作,例如高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准和其他当前和/或另外的标准。
图5是示出视频编码器200的示例的框图,该视频编码器200可以是图4所示的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或所有技术。在图5的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可以包括更多、更少或不同的功能组件。在示例中,预测单元202可以包括帧内块复制(intra block copy,IBC)单元。IBC单元可以执行IBC模式下的预测,其中至少一个参考图片是当前视频块所在的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成,但是出于解释的目的,在图5的示例中被单独表示。
分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以基于误差结果选择编解码模式(例如,帧内或帧间)之一,并且将作为结果的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据,以及提供给重构单元212以重构编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测模式的组合(combination of intra and interpredication,CIIP),其中,预测基于帧间预测信令和帧内预测信令。在帧间预测的情况下,模式选择单元203还可以选择块的运动矢量的分辨率(例如,子像素或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较,来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲器213的除了与当前视频块相关联的图片之外的图片的解码样点,来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,例如,依赖于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成指示列表0或列表1中的参考图片的参考索引,该参考索引包含参考视频块和指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可以在列表1中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成参考索引,该参考索引指示包含参考视频块的列表0和列表1中的参考图片以及指示参考视频块和当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出完整的运动信息集,以用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的完整的运动信息集。而是运动估计单元204可以参考另一个视频块的运动信息信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示值,该值向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息。
在另一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所讨论的,视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(advanced motionvector predication,AMVP)和Merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于相同图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如,由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中样点的不同样点分量相对应的残差视频块。
在其他示例中,例如在跳过模式下,对于当前视频块可能没有残差数据,并且残差生成单元207可能不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残差视频块。重构单元212可以将重构后的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点,以产生与当前块相关联的重构视频块,用于存储在缓冲器213中。
在重构单元212重构视频块之后,可以执行环路滤波操作,以减少视频块中的视频块效应。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时,熵编码单元214可以执行一个或多个熵编码操作,以生成熵编码数据,并输出包括该熵编码数据的比特流。
图6是示出视频解码器300的示例的框图,该视频解码器300可以是图4所示的系统100中的视频解码器114。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图6的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
在图6的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中,视频解码器300可以执行通常与针对视频编码器200(图5)描述的编码过程相反的解码过程。
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如,视频数据的编码块)。熵解码单元301可以对熵编解码的视频数据进行解码,并且从熵解码的视频数据中,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块,可以基于插值滤波器执行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可以使用如视频编码器200在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据所接收的语法信息确定视频编码器200使用的插值滤波器,并使用该插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及用于对编码视频序列进行解码的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域上相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化后的视频块系数进行逆量化,例如,反量化。逆变换单元303应用逆变换。
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加,以形成解码块。如果需要,还可以应用去方块滤波器对解码块进行滤波,以便移除块效应。解码视频块然后被存储在缓冲器307中,为随后的运动补偿/帧内预测提供参考块,并且还产生解码视频以在显示设备上呈现。
接下来提供一些实施例优选的解决方案的列表。
以下解决方案示出了在前一节(例如,第1项)中讨论的技术的示例实施例。
1.一种视频处理方法(例如,图3中示出的方法3000),包括:执行包括一个或多个编解码层视频序列的视频和视频的编解码表示之间的转换(3002),该一个或多个编解码层视频序列包括包含一个或多个视频条带的一个或多个视频图片;其中,编解码表示符合格式规则,该格式规则指定在序列参数集级别包括语法结构,其中,语法结构指示编解码类型的一个或多个条带是否被包括在参考编解码层视频序列中。
2.根据解决方案1所述的方法,其中,编解码类型包括预测(P)编解码类型的双向(B)编解码类型。
3.根据解决方案1-2中任一项所述的方法,其中,语法结构包括指定一个或多个B编解码条带是否被包括在参考编解码层视频序列中的第一语法元素。
4.根据解决方案3所述的方法,其中,格式规则还指定,根据第一语法元素的值,附加语法元素被有条件地包括在序列参数集级别。
5.根据解决方案4所述的方法,其中,附加语法元素包括指示使用非线性加权的多个预测块来表示编解码层视频序列中的视频块的语法元素。
6.根据解决方案1-5中任一项所述的方法,其中,语法结构包括指定一个或多个P编解码条带是否被包括在参考编解码层视频序列中的第二语法元素。
以下解决方案示出了在前一节(例如,第2项)中讨论的技术的示例实施例。
7.一种视频处理方法,包括:执行包括一个或多个编解码层视频序列的视频和视频的编解码表示之间的转换,该一个或多个编解码层视频序列包括包含一个或多个视频条带的一个或多个视频图片;其中,编解码表示符合格式规则,该格式规则指定在图片参数集级别包括语法结构,其中,语法结构指示编解码类型的一个或多个条带是否被包括在参考图片中。
8.根据解决方案7所述的方法,其中,编解码类型包括预测(P)编解码类型的双向(B)编解码类型。
9.根据解决方案7-8中任一项所述的方法,其中,语法结构包括指定一个或多个B编解码条带是否被包括在参考图片中的第一语法元素。
10.根据解决方案9所述的方法,其中,格式规则还指定,根据第一语法元素的值,附加语法元素被有条件地包括在图片参数集级别。
11.根据解决方案10所述的方法,其中,附加语法元素包括指示使用非线性加权的多个预测块来表示编解码层视频序列中的视频块的语法元素。
12.根据解决方案6-11中任一项所述的方法,其中,语法结构包括指定一个或多个P编解码条带是否被包括在参考编解码层视频序列中的第二语法元素。
以下解决方案示出了在前一节(例如,第3项)中讨论的技术的示例实施例。
13.一种视频处理方法,包括:执行包括一个或多个编解码层视频序列的视频和视频的编解码表示之间的转换,该一个或多个编解码层视频序列包括包含一个或多个视频条带的一个或多个视频图片;其中,编解码表示符合格式规则,该格式规则指定在图片标头级别包括语法结构,其中,语法结构指示编解码类型的一个或多个条带是否被包括在图片中。
14.根据解决方案13所述的方法,其中,编解码类型包括预测(P)编解码类型的双向(B)编解码类型。
15.根据解决方案13-14中任一项所述的方法,其中,语法结构包括指定一个或多个B编解码条带或P编解码条带是否被包括在图片中的第一语法元素。
16.根据解决方案15所述的方法,其中,格式规则还指定,根据第一语法元素的值,附加语法元素被有条件地包括在图片标头中。
17.根据解决方案16所述的方法,其中,附加语法元素包括指示使用非线性加权的多个预测块来表示编解码层视频序列中的视频块的语法元素。
18.根据解决方案13-17中任一项所述的方法,其中,语法结构包括指定一个或多个P编解码条带是否被包括在参考编解码层视频序列中的第二语法元素。
以下解决方案示出了在前一节(例如,第4项)中讨论的技术的示例实施例。
19.一种视频处理方法,包括:执行包括包含一个或多个条带的一个或多个视频图片的视频和视频的编解码表示之间转换,其中,该转换符合规则,该规则指定条带的条带类型是否被包括在编解码表示中依赖于参数集或包含条带的图片的图片标头中的语法元素的值。
20.根据解决方案19所述的方法,其中,根据表达式“if(ph_inter_slice_allowed_flag
Figure BDA0003872166770000401
Figure BDA0003872166770000402
)”的值来有条件地信令通知条带类型。
以下解决方案示出了在前一节(例如,第5、6项)中讨论的技术的示例实施例。
21.一种视频处理方法,包括:执行包括包含一个或多个视频条带的一个或多个视频图片的视频和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,该格式规则指定,是否为图片的编解码允许预测编解码条带(P条带)和双向编解码条带(B条带)。
22.根据解决方案21所述的方法,其中,格式规则规定,将指示P条带的启用的第一语法元素包括在图片的分组标头中,并且将指示B条带的启用的第二语法元素包括在分组标头中。
23.根据解决方案21-22中任一项所述的方法,其中,格式规则指定,有条件地基于帧间条带信令通知,将指示P条带的启用的第一语法元素包括在图片的分组标头中,并且将指示B条带的启用的第二语法元素包括在分组标头中。
24.根据解决方案21所述的方法,其中,格式规则规定,编解码表示中的语法元素指示P条带和B条带互斥地用于对图片和参考语法元素的所有剩余图片进行编解码。
25.根据解决方案24所述的方法,其中,语法元素被包括在解码能力指示符字段中。
26.根据解决方案24所述的方法,其中,语法元素被包括在序列参数集中。
27.根据解决方案1至26中任一项所述的方法,其中,该转换包括将视频编码为编解码表示。
28.根据解决方案1至26中任一项所述的方法,其中,该转换包括对编解码表示进行解码以生成视频的像素值。
29.一种视频解码装置,包括被配置为实施根据解决方案1至28中的一项或多项所述的方法的处理器。
30.一种视频编码装置,包括被配置为实施根据解决方案1至28中的一项或多项所述的方法的处理器。
31.一种存储有计算机代码的计算机程序产品,该代码在由处理器执行时使得处理器实施根据解决方案1至28中任一项所述的方法。
32.一种本文档中描述的方法、装置或系统。
图7是根据本技术的视频处理的方法的流程图表示。方法700包括,在操作710,根据规则来执行视频和视频的比特流之间的转换。该规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许指定编解码类型的条带。
在一些实施例中,指定编解码类型包括双向(B)编解码类型或预测(P)编解码类型。在一些实施例中,一个或多个视频单元包括序列参数集。在一些实施例中,一个或多个语法元素包括序列参数集中的第一语法元素。序列参数集中的第一语法元素等于1指示对应于序列参数集的编解码层视频序列(CLVS)包括B编解码类型的一个或多个条带,并且第一语法元素等于0指示CLVS排除B编解码类型的条带。在一些实施例中,序列参数集中的第一语法元素等于0指示对应于序列参数集的编解码层视频序列(CLVS)包括B编解码类型的一个或多个条带,并且第一语法元素等于1指示CLVS不包括B编解码类型的条带。在一些实施例中,基于第一语法元素来修改序列参数集中的第一组语法元素的使用。在一些实施例中,响应于第一语法元素指示允许指定编解码类型的条带,为转换指示第一组语法元素。在一些实施例中,响应于第一语法元素指示不允许指定编解码类型的条带,为转换推断第一组语法元素。
在一些实施例中,第一组语法元素指示需要多于一个预测信令的编解码工具的使用。在一些实施例中,第一组语法元素包括以下中的至少一个:指示显式加权预测是否适用于B条带的语法标志,指示是否启用双向光流帧间预测的语法标志,指示是否启用对称运动矢量差的语法标志,指示是否启用基于解码器运动矢量细化的帧间双向预测的语法标志,指示是否启用使用编解码单元权重的双向预测的语法标志,指示是否启用组合的帧间Merge和帧内预测的语法标志,或者指示是否启用基于几何分割的运动补偿的语法标志。在一些实施例中,通用约束信息中的语法元素用于指示第一语法元素的值。
在一些实施例中,通用约束信息中的语法元素被表示为no_b_slice_contraint_flag。no_b_slice_contraint_flag等于1指定第一语法元素等于0,并且no_b_slice_contraint_flag等于0不指定第一语法元素的值。
在一些实施例中,响应于第一语法元素指示CLVS排除B编解码类型的条带,通用约束信息中的第二组语法元素等于1。在一些实施例中,通用约束信息中的第二组语法元素包括以下中的至少一个:(1)指示sps_bcw_enabled_flag是否等于0的第一标志,其中,sps_bcw_enabled_flag指定使用编解码单元权重的双向预测是否适用于帧间预测,(2)指示sps_ciip_enabled_flag是否等于0的第二标志,其中,sps_ciip_enabled_flag指定ciip_flag是否存在于帧间编解码单元的编解码单元语法中,(3)指示sps_gpm_enabled_flag是否等于0的第三标志,其中,sps_gpm_enabled_flag指定是否启用基于几何分割的运动补偿,(4)指示sps_bdof_enabled_flag是否等于0的第四标志,其中,sps_bdof_enabled_flag指定是否禁用双向光流帧间预测,或者(5)指示sps_dmvr_enabled_flag是否等于0的第五标志,其中,sps_dmv_enabled_flag指定是否启用基于解码器运动矢量细化的帧间双向预测。
在一些实施例中,基于第一语法元素来有条件地指示解码图片缓冲器(DPB)参数中的第三组语法元素。在一些实施例中,第三组语法元素至少包括max_num_reorder_pics[i],该max_num_reorder_pics[i]指定输出层集的图片的最大允许数量,当Htid等于i时,该输出层集的图片能够按照解码顺序在输出层集中的任何图片之前并且按照输出顺序在该图片之后。在第一语法元素指示不允许B编解码类型的条带的情况下,max_num_reorder_pics[i]被省略,并且被推断为0。
在一些实施例中,一个或多个语法元素包括序列参数集中的附加语法元素。附加语法元素等于1指示编解码层视频序列(CLVS)包括P编解码类型的一个或多个条带。附加语法元素等于0指示CLVS不包括P编解码类型的条带。在一些实施例中,一个或多个语法元素包括序列参数集中的附加语法元素。附加语法元素等于0指示编解码层视频序列(CLVS)包括P编解码类型的一个或多个条带,并且附加语法元素等于1指示CLVS不包括P编解码类型的条带。
在一些实施例中,一个或多个视频单元包括图片参数集。在一些实施例中,一个或多个语法元素包括图片参数集中的第二语法元素。图片参数集中的第二语法元素等于1指示参考图片参数集的视频图片包括B编解码类型的一个或多个条带,并且第二语法元素等于0指示视频图片排除B编解码类型的条带。在一些实施例中,第一语法元素和第二语法元素具有相同的值。在一些实施例中,基于第二语法元素来修改图片参数集中的第一组语法元素的使用。在一些实施例中,在第二语法元素指示为转换允许指定编解码类型的条带的情况下,为转换在图片参数集中被指示第一组语法元素。在一些实施例中,在第二语法元素指示为转换不允许指定编解码类型的条带的情况下,为转换推断第一组语法元素。
在一些实施例中,第一组语法元素指示需要多于一个预测信令的编解码工具的使用。在一些实施例中,第一组语法元素包括以下中的至少一个:指定显式加权预测是否被应用于参考图片参数集的B条带的pps_weighted_bipred_flag,或者指定num_ref_idx_active_override_flag等于0的B条带的变量NumRefIdxActive[1]的推断值的num_ref_idx_default_active_minus1[1]。
在一些实施例中,一个或多个视频单元包括图片标头。在一些实施例中,一个或多个语法元素包括图片标头中的第三语法元素。第三语法元素等于1指示对应于图片标头的图片包括B编解码类型的一个或多个条带,并且第三语法元素等于0指示图片不包括B编解码类型的条带。在一些实施例中,基于第一语法元素和/或第二语法元素来有条件地指示第三语法元素。在一些实施例中,在第一语法元素或第二语法元素指示为转换允许指定编解码类型的条带的情况下,第三语法元素被指示。在一些实施例中,响应于第一语法元素或第二语法元素指示为转换不允许指定编解码类型的条带,第三语法元素被省略,并且被推断为假。
在一些实施例中,基于第三语法元素,为转换修改图片标头中的第一组语法元素的使用。在一些实施例中,还基于第一语法元素和/或第二语法元素来修改图片标头中的第一组语法元素的使用。在一些实施例中,响应于第一语法元素、第二语法元素和/或第三语法元素指示允许指定编解码类型的条带,在图片标头中为转换指示第一组语法元素。在一些实施例中,在序列参数集中的指示第一组语法元素中的一个语法元素的存在的语法元素等于1并且第三语法元素等于1的情况下,图片标头中的第一组语法元素中的一个语法元素被指示。在一些实施例中,图片标头中的第一组语法元素中的一个语法元素包括指定是否在与图片标头相关联的条带中禁用基于双向光流帧间预测的帧间双向预测的ph_disable_bdof_flag、或者指定是否在与图片标头相关联的条带中禁用基于解码器运动矢量细化的帧间双向预测的ph_disable_dmvr_flag。在一些实施例中,响应于第一语法元素、第二语法元素和/或第三语法元素指示不允许指定编解码类型的条带,为转换推断第一组语法元素。在一些实施例中,在序列参数集中的对应语法元素等于1并且第三语法元素等于1的情况下,图片标头中的第一组语法元素中的一个语法元素被推断为0。在一些实施例中,在序列参数集中的对应语法元素等于0并且第三语法元素等于0的情况下,图片标头中的第一组语法元素中的一个语法元素被推断为1。在一些实施例中,图片标头中的第一组语法元素中的一个语法元素包括指定是否在与图片标头相关联的条带中禁用基于双向光流帧间预测的帧间双向预测的ph_disable_bdof_flag、或者指定是否在与图片标头相关联的条带中禁用基于解码器运动矢量细化的帧间双向预测的ph_disable_dmvr_flag。
在一些实施例中,图片标头中的第一组语法元素包括指示需要多于一个预测信令的编解码工具的使用的一个或多个语法元素。在一些实施例中,图片标头中的第一组语法元素包括以下中的至少一个:是否从参考图片列表0推导指定用于时域运动矢量预测的并置图片的ph_collocated_from_l0_flag,指定是否解析mvd_coding(x0,y0,1)语法结构的mvd_l1_zero_flag,指定是否在与图片标头相关联的条带中禁用基于双向光流帧间预测的帧间双向预测的ph_disable_bdof_flag,指定是否在与图片标头相关联的条带中禁用基于解码器运动矢量细化的帧间双向预测的ph_disable_dmvr_flag,或者指定,当pps_weighted_bipred_flag和wp_info_in_ph_flag两者都等于1时,为参考图片列表1中的条目信令通知的权重的数量的num_l1_weights,其中,pps_weighted_bipred_flag指定显式加权预测是否被应用于参考图片参数集的B条带,并且wp_info_in_ph_flag指定加权预测信息是否存在于图片标头语法结构中并且不存在于不包含图片标头语法结构的参考图片参数集的条带标头中。
在一些实施例中,指示还是推断条带类型是基于一个或多个视频单元中的一个或多个语法元素。在一些实施例中,至少根据ph_inter_slice_allowed_flag、ph_intra_slice_allowed_flag以及一个或多个视频单元中的一个或多个语法元素来指示条带类型。在一些实施例中,在没有指示条带类型的情况下,条带类型被推断为等于(ph_inter_slice_allowed_flag?1:2)。在一些实施例中,在ph_intra_slice_allowed_flag等于0并且一个或多个视频单元中的一个或多个语法元素指示不允许编解码类型B的条带的情况下,条带类型被推断为1。在一些实施例中,基于帧间条带是否被应用于转换来有条件地指示一个或多个语法元素。
图8是根据本技术的视频处理的方法的流程图表示。方法800包括,在操作810,根据规则来执行视频的视频图片和视频的比特流之间的转换。该规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许在视频图片内混合不同的条带类型。
在一些实施例中,该规则还规定,在视频的视频图片内不允许双向(B)编解码类型和预测(P)编解码类型的混合。在一些实施例中,一个或多个语法元素中的第一语法元素指示不允许B编解码类型和P编解码类型的混合。在一些实施例中,一个或多个视频单元包括参数集或解码能力信息(DCI)网络抽象层(NAL)单元。在一些实施例中,一个或多个视频单元包括序列参数集、图片参数集或图片标头。在一些实施例中,基于是否允许帧间条带来有条件地指示一个或多个语法元素。在一些实施例中,在视频图片仅包括P编解码类型的条带的情况下,图片标头中指示是否从参考列表0并置视频图片的语法标志等于1。在一些实施例中,语法标志被省略,并且被推断为等于1。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,在从视频的像素表示到对应的比特流表示的转换期间,可以应用视频压缩算法,反之亦然。如语法所定义的,当前视频块的比特流表示可以例如对应于并置或者散布在比特流内的不同地方的比特。例如,可以按照变换和编解码的误差残差值并且还使用比特流中的标头和其他字段中的比特对宏块进行编码。此外,在转换期间,解码器可以基于该确定,在知道一些字段可能存在或不存在的情况下解析比特流,如以上解决方案所描述的。类似地,编码器可以确定包括或不包括特定语法字段,并通过包括语法字段或从编解码表示中排除语法字段来相应地生成编解码表示。
本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品,例如在计算机可读介质上编码的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号,例如机器生成的电信号、光学信号或电磁信号。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。
本文档书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以被实施为专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可换式盘;磁光盘;以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何主题或可能要求保护的范围的限制,而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以单独在多个实施例中或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出。

Claims (63)

1.一种视频处理方法,包括:
根据规则来执行视频和所述视频的比特流之间的转换,
其中,所述规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为所述转换允许指定编解码类型的条带。
2.根据权利要求1所述的方法,其中,所述指定编解码类型包括双向B编解码类型或预测P编解码类型。
3.根据权利要求1或2所述的方法,其中,所述一个或多个视频单元包括序列参数集。
4.根据权利要求3所述的方法,其中,所述一个或多个语法元素包括所述序列参数集中的第一语法元素,其中,所述序列参数集中的所述第一语法元素等于1指示对应于所述序列参数集的编解码层视频序列CLVS包括所述B编解码类型的一个或多个条带,并且其中,所述第一语法元素等于0指示所述CLVS排除所述B编解码类型的条带。
5.根据权利要求3所述的方法,其中,所述序列参数集中的第一语法元素等于0指示对应于所述序列参数集的编解码层视频序列CLVS包括所述B编解码类型的一个或多个条带,并且其中,所述第一语法元素等于1指示所述CLVS不包括所述B编解码类型的条带。
6.根据权利要求4或5所述的方法,其中,基于所述第一语法元素来修改所述序列参数集中的第一组语法元素的使用。
7.根据权利要求6所述的方法,其中,响应于所述第一语法元素指示允许所述指定编解码类型的条带,为所述转换指示所述第一组语法元素。
8.根据权利要求6所述的方法,其中,响应于所述第一语法元素指示不允许所述指定编解码类型的条带,为所述转换推断所述第一组语法元素。
9.根据权利要求6至8中任一项所述的方法,其中,所述第一组语法元素指示需要多于一个预测信令的编解码工具的使用。
10.根据权利要求6至9中任一项所述的方法,其中,所述第一组语法元素包括以下中的至少一个:指示显式加权预测是否适用于B条带的语法标志,指示是否启用双向光流帧间预测的语法标志,指示是否启用对称运动矢量差的语法标志,指示是否启用基于解码器运动矢量细化的帧间双向预测的语法标志,指示是否启用使用编解码单元权重的双向预测的语法标志,指示是否启用组合的帧间Merge和帧内预测的语法标志,或者指示是否启用基于几何分割的运动补偿的语法标志。
11.根据权利要求4至10中任一项所述的方法,其中,通用约束信息中的语法元素用于指示所述第一语法元素的值。
12.根据权利要求11所述的方法,其中,所述通用约束信息中的所述语法元素被表示为no_b_slice_contraint_flag,其中,no_b_slice_contraint_flag等于1指定所述第一语法元素等于0,并且其中,no_b_slice_contraint_flag等于0不指定所述第一语法元素的值。
13.根据权利要求4至10中任一项所述的方法,其中,响应于所述第一语法元素指示所述CLVS排除B编解码类型的条带,所述通用约束信息中的第二组语法元素等于1。
14.根据权利要求13所述的方法,其中,所述通用约束信息中的所述第二组语法元素包括以下中的至少一个:(1)指示sps_bcw_enabled_flag是否等于0的第一标志,其中,sps_bcw_enabled_flag指定使用编解码单元权重的双向预测是否适用于帧间预测,(2)指示sps_ciip_enabled_flag是否等于0的第二标志,其中,sps_ciip_enabled_flag指定ciip_flag是否存在于帧间编解码单元的编解码单元语法中,(3)指示sps_gpm_enabled_flag是否等于0的第三标志,其中,sps_gpm_enabled_flag指定是否启用基于几何分割的运动补偿,(4)指示sps_bdof_enabled_flag是否等于0的第四标志,其中,sps_bdof_enabled_flag指定是否禁用双向光流帧间预测,或者(5)指示sps_dmvr_enabled_flag是否等于0的第五标志,其中,sps_dmv_enabled_flag指定是否启用基于解码器运动矢量细化的帧间双向预测。
15.根据权利要求4至14中任一项所述的方法,其中,基于所述第一语法元素来有条件地指示解码图片缓冲器DPB参数中的第三组语法元素。
16.根据权利要求15所述的方法,其中,所述第三组语法元素至少包括max_num_reorder_pics[i],所述max_num_reorder_pics[i]指定输出层集的图片的最大允许数量,当Htid等于i时,所述输出层集的图片能够按照解码顺序在所述输出层集中的任何图片之前并且按照输出顺序在所述图片之后,并且其中,在所述第一语法元素指示不允许B编解码类型的条带的情况下,max_num_reorder_pics[i]被省略,并且被推断为0。
17.根据权利要求4至16中任一项所述的方法,其中,所述一个或多个语法元素包括所述序列参数集中的附加语法元素,其中,所述附加语法元素等于1指示所述编解码层视频序列CLVS包括所述P编解码类型的一个或多个条带,并且其中,所述附加语法元素等于0指示所述CLVS不包括所述P编解码类型的条带。
18.根据权利要求4至16中任一项所述的方法,其中,所述一个或多个语法元素包括所述序列参数集中的附加语法元素,其中,所述附加语法元素等于0指示所述编解码层视频序列CLVS包括所述P编解码类型的一个或多个条带,并且其中,所述附加语法元素等于1指示所述CLVS不包括所述P编解码类型的条带。
19.根据权利要求1至18中任一项所述的方法,其中,所述一个或多个视频单元包括图片参数集。
20.根据权利要求19所述的方法,其中,所述一个或多个语法元素包括所述图片参数集中的第二语法元素,其中,所述图片参数集中的所述第二语法元素等于1指示参考所述图片参数集的视频图片包括所述B编解码类型的一个或多个条带,并且其中,所述第二语法元素等于0指示所述视频图片排除所述B编解码类型的条带。
21.根据权利要求19或20所述的方法,其中,所述第一语法元素和所述第二语法元素具有相同的值。
22.根据权利要求19至21中任一项所述的方法,其中,基于所述第二语法元素来修改所述图片参数集中的第一组语法元素的使用。
23.根据权利要求22所述的方法,其中,在所述第二语法元素指示为所述转换允许所述指定编解码类型的条带的情况下,为所述转换在所述图片参数集中指示所述第一组语法元素。
24.根据权利要求22所述的方法,其中,在所述第二语法元素指示为所述转换不允许所述指定编解码类型的条带的情况下,为所述转换推断所述第一组语法元素。
25.根据权利要求22至24中任一项所述的方法,其中,所述第一组语法元素指示需要多于一个预测信令的编解码工具的使用。
26.根据权利要求25所述的方法,其中,所述第一组语法元素包括以下中的至少一个:指定显式加权预测是否被应用于所述参考图片参数集的B条带的pps_weighted_bipred_flag,或者指定num_ref_idx_active_override_flag等于0的B条带的变量NumRefIdxActive[1]的推断值的num_ref_idx_default_active_minus1[1]。
27.根据权利要求1至26中任一项所述的方法,其中,所述一个或多个视频单元包括图片标头。
28.根据权利要求27所述的方法,其中,所述一个或多个语法元素包括所述图片标头中的第三语法元素,其中,所述第三语法元素等于1指示对应于所述图片标头的图片包括所述B编解码类型的一个或多个条带,并且其中,所述第三语法元素等于0指示所述图片不包括所述B编解码类型的条带。
29.根据权利要求28所述的方法,其中,基于所述第一语法元素和/或所述第二语法元素来有条件地指示所述第三语法元素。
30.根据权利要求28或29所述的方法,其中,在所述第一语法元素或所述第二语法元素指示为所述转换允许所述指定编解码类型的条带的情况下,所述第三语法元素被指示。
31.根据权利要求28或29所述的方法,其中,响应于所述第一语法元素或所述第二语法元素指示为所述转换不允许所述指定编解码类型的条带,所述第三语法元素被省略,并且被推断为假。
32.根据权利要求28至31中任一项所述的方法,其中,基于所述第三语法元素,为所述转换修改所述图片标头中的第一组语法元素的使用。
33.根据权利要求32所述的方法,其中,还基于所述第一语法元素和/或所述第二语法元素来修改所述图片标头中的所述第一组语法元素的使用。
34.根据权利要求32或33所述的方法,其中,响应于所述第一语法元素、所述第二语法元素和/或所述第三语法元素指示允许所述指定编解码类型的条带,在所述图片标头中为所述转换指示所述第一组语法元素。
35.根据权利要求34所述的方法,其中,在所述序列参数集中的指示所述第一组语法元素中的一个语法元素的存在的语法元素等于1并且所述第三语法元素等于1的情况下,所述图片标头中的所述第一组语法元素中的一个语法元素被指示。
36.根据权利要求34或35所述的方法,其中,所述图片标头中的所述第一组语法元素中的一个语法元素包括指定是否在与所述图片标头相关联的条带中禁用基于双向光流帧间预测的帧间双向预测的ph_disable_bdof_flag、或者指定是否在与所述图片标头相关联的条带中禁用基于解码器运动矢量细化的帧间双向预测的ph_disable_dmvr_flag。
37.根据权利要求32或33所述的方法,其中,响应于所述第一语法元素、所述第二语法元素和/或所述第三语法元素指示不允许所述指定编解码类型的条带,为所述转换推断所述第一组语法元素。
38.根据权利要求37所述的方法,其中,在所述序列参数集中的对应语法元素等于1并且所述第三语法元素等于1的情况下,所述图片标头中的所述第一组语法元素中的一个语法元素被推断为0。
39.根据权利要求37所述的方法,其中,在所述序列参数集中的对应语法元素等于0并且所述第三语法元素等于0的情况下,所述图片标头中的所述第一组语法元素中的一个语法元素被推断为1。
40.根据权利要求38或39所述的方法,其中,所述图片标头中的所述第一组语法元素中的一个语法元素包括指定是否在与所述图片标头相关联的条带中禁用基于双向光流帧间预测的帧间双向预测的ph_disable_bdof_flag、或者指定是否在与所述图片标头相关联的条带中禁用基于解码器运动矢量细化的帧间双向预测的ph_disable_dmvr_flag。
41.根据权利要求32到40中任一项所述的方法,其中,所述图片标头中的所述第一组语法元素包括指示需要多于一个预测信令的编解码工具的使用的一个或多个语法元素。
42.根据权利要求32至40中任一项所述的方法,其中,所述图片标头中的所述第一组语法元素包括以下中的至少一个:指定是否从参考图片列表0推导用于时域运动矢量预测的并置图片的ph_collocated_from_l0_flag,指定是否解析mvd_coding(x0,y0,1)语法结构的mvd_l1_zero_flag,指定是否在与所述图片标头相关联的条带中禁用基于双向光流帧间预测的帧间双向预测的ph_disable_bdof_flag,指定是否在与所述图片标头相关联的条带中禁用基于解码器运动矢量细化的帧间双向预测的ph_disable_dmvr_flag,或者指定,当pps_weighted_bipred_flag和wp_info_in_ph_flag两者都等于1时,为参考图片列表1中的条目信令通知的权重的数量的num_l1_weights,其中,pps_weighted_bipred_flag指定显式加权预测是否被应用于参考所述图片参数集的B条带,并且wp_info_in_ph_flag指定加权预测信息是否存在于图片标头语法结构中并且不存在于不包含图片标头语法结构的参考所述图片参数集的条带标头中。
43.根据权利要求1至42中任一项所述的方法,其中,指示还是推断条带类型是基于所述一个或多个视频单元中的一个或多个语法元素。
44.根据权利要求43所述的方法,其中,至少根据ph_inter_slice_allowed_flag、ph_intra_slice_allowed_flag以及所述一个或多个视频单元中的所述一个或多个语法元素来指示所述条带类型。
45.根据权利要求43或44所述的方法,其中,在没有指示所述条带类型的情况下,所述条带类型被推断为等于(ph_inter_slice_allowed_flag?1:2)。
46.根据权利要求43所述的方法,其中,在ph_intra_slice_allowed_flag等于0并且所述一个或多个视频单元中的所述一个或多个语法元素指示不允许所述编解码类型B的条带的情况下,所述条带类型被推断为1。
47.根据权利要求1到45中任一项所述的方法,其中,基于帧间条带是否被应用于所述转换来有条件地指示所述一个或多个语法元素。
48.一种视频处理方法,包括:
根据规则来执行视频的视频图片和所述视频的比特流之间的转换,
其中,所述规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为所述转换允许在所述视频图片内混合不同的条带类型。
49.根据权利要求48所述的方法,其中,所述规则还规定,在所述视频的视频图片内不允许双向B编解码类型和预测P编解码类型的混合。
50.根据权利要求49所述的方法,其中,所述一个或多个语法元素中的第一语法元素指示不允许所述B编解码类型和所述P编解码类型的混合。
51.根据权利要求50所述的方法,其中,所述一个或多个视频单元包括参数集或解码能力信息DCI网络抽象层NAL单元。
52.根据权利要求50所述的方法,其中,所述一个或多个视频单元包括序列参数集、图片参数集或图片标头。
53.根据权利要求48至52中任一项所述的方法,其中,基于是否允许帧间条带来有条件地指示所述一个或多个语法元素。
54.根据权利要求48至53中任一项所述的方法,其中,在视频图片仅包括所述P编解码类型的条带的情况下,所述图片标头中指示是否从参考列表0并置所述视频图片的语法标志等于1。
55.根据权利要求53所述的方法,其中,所述语法标志被省略,并且被推断为等于1。
56.一种用于存储视频的比特流的方法,包括:
根据规则来生成所述视频的比特流,
其中,所述规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许指定编解码类型的条带。
57.一种用于存储视频的比特流的方法,包括:
根据规则来生成所述视频的视频图片的比特流,
其中,所述规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许在所述视频图片中混合不同的条带类型。
58.一种视频解码装置,包括被配置为实施根据权利要求1至57中任一项所述的方法的处理器。
59.一种视频编码装置,包括被配置为实施根据权利要求1至57中任一项所述的方法的处理器。
60.一种其上存储有计算机代码的计算机程序产品,所述代码在由处理器执行时使得所述处理器实施根据权利要求1至57中任一项所述的方法。
61.一种非暂时性计算机可读记录介质,用于存储通过由视频处理装置执行的方法生成的视频的比特流,其中,所述方法包括:
根据规则来生成所述视频的比特流,
其中,所述规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许指定编解码类型的条带。
62.一种非暂时性计算机可读记录介质,用于存储通过由视频处理装置执行的方法生成的视频的比特流,其中,所述方法包括:
根据规则来生成所述视频的视频图片的比特流,
其中,所述规则规定,一个或多个视频单元中的一个或多个语法元素用于指示是否为转换允许在所述视频图片内混合不同的条带类型。
63.一种本文档中描述的方法、装置或系统。
CN202180026190.2A 2020-03-30 2021-03-29 图片中的条带类型 Pending CN115362479A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063002148P 2020-03-30 2020-03-30
US63/002,148 2020-03-30
PCT/US2021/024641 WO2021202371A1 (en) 2020-03-30 2021-03-29 Slice types in a picture

Publications (1)

Publication Number Publication Date
CN115362479A true CN115362479A (zh) 2022-11-18

Family

ID=77927498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180026190.2A Pending CN115362479A (zh) 2020-03-30 2021-03-29 图片中的条带类型

Country Status (2)

Country Link
CN (1) CN115362479A (zh)
WO (1) WO2021202371A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230143648A1 (en) * 2020-04-03 2023-05-11 Lg Electronics Inc. Method and apparatus for encoding/decoding image, on basis of available slice type information for gdr or irap picture, and recording medium storing bitstream

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US9386309B2 (en) * 2011-11-18 2016-07-05 Google Technology Holdings LLC Explicit way for signaling a collocated picture for high efficiency video coding (HEVC) using a single reference list
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access

Also Published As

Publication number Publication date
WO2021202371A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
WO2021197445A1 (en) Constraints on adaptation parameter set syntax elements
WO2021180166A1 (en) Adaptive loop filtering
CN114846457A (zh) 对层级视频的编解码的限制
CN114902674A (zh) 视频编解码中的档次、层和层级指示
US20240127464A1 (en) Coding of instantaneous decoding refresh subpictures
US20240080492A1 (en) Identification Of Inter-Layer Reference Pictures In Coded Video
WO2021208897A1 (en) Chroma syntax signaling in adaptation parameter set
WO2021204137A1 (en) Clipping operation for reference picture wrap around
CN115804091A (zh) 访问单元分隔符,以及视频编解码中的通用约束信息
CN115362479A (zh) 图片中的条带类型
WO2021233447A1 (en) Signalling of general constrains flag
WO2021233450A1 (en) Signalling for color component
US11812063B2 (en) Video coding using parameter sets
US11997318B2 (en) Filter parameter signaling in video picture headers
US20230319312A1 (en) Deblocking Signaling In Video Coding
WO2021252973A1 (en) Picture header constraints for multi-layer video coding
CN115398898A (zh) 视频编解码中的条带类型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination