CN114902567A - 视频编解码中的子图像信令 - Google Patents
视频编解码中的子图像信令 Download PDFInfo
- Publication number
- CN114902567A CN114902567A CN202080090784.5A CN202080090784A CN114902567A CN 114902567 A CN114902567 A CN 114902567A CN 202080090784 A CN202080090784 A CN 202080090784A CN 114902567 A CN114902567 A CN 114902567A
- Authority
- CN
- China
- Prior art keywords
- picture
- video
- sub
- bitstream
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/4031—Fixed length to variable length coding
- H03M7/4037—Prefix coding
- H03M7/4043—Adaptive prefix coding
- H03M7/4068—Parameterized codes
- H03M7/4075—Golomb codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
描述了一种用于信令通知编解码视频图片中的子图片的使用的方法、设备和系统。视频处理方法的一个示例包括:执行视频和视频的比特流之间的转换,其中比特流符合格式规则,并且其中格式规则指定指示视频的图片是否可以被分割的第一语法元素基于第二语法元素和第三语法元素的值而被有条件地包括在比特流的图片参数集(PPS)中,其中,第二语法元素指示是否在PPS中信令通知子图片的标识符,第三语法元素在PPS中指示子图片的数量。
Description
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定,本申请及时要求于2019年12月27日提交的美国临时专利申请号US 62/954,364的优先权和利益。出于法律上的所有目的,将前述申请的全部公开以引用方式并入本文,作为本申请公开的一部分。
技术领域
本申请文件涉及图像和视频编码和解码。
背景技术
数字视频在互联网和其他数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将继续增长。
发明内容
本文件公开了视频编码器和解码器分别用于视频编码和解码的子图片信令的方法、设备和系统。
在一个示例方面,公开了一种视频处理方法。该方法包括:执行包括图片的视频和视频的比特流之间的转换,其中,图片中的子图片的数量在比特流的序列参数集(SPS)中作为字段被信令通知,字段的比特宽度基于子图片的数量的值,以及其中,字段是左比特在先(a left bit first)的无符号整数0阶指数哥伦布(Exp-Golomb)编解码语法元素。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,以及其中,格式规则指定指示视频的图片是否可以被分割的第一语法元素基于第二语法元素和第三语法元素的值而被有条件地包括在比特流的图片参数集(PPS)中,其中,第二语法元素指示是否在PPS中信令通知子图片的标识符,第三语法元素在PPS中指示子图片的数量。
在又一示例方面,公开了一种视频处理方法。该方法包括:执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,以及其中,格式规则指定指示视频的图片是否可以被分割的第一语法元素被包括在比特流的图片参数集(PPS)中,位于PPS中指示图片的子图片的标识符的语法元素集之前。
在又一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定基于指示子图片的信息是否包括在序列参数集(SPS)中的第二语法元素的值,第一语法元素被有条件地包括在SPS中,其中,第一语法元素指示子图片标识符的信息是否包括在比特流的参数集中。
在又一示例方面,公开了一种视频处理方法。该方法包括:执行视频的图片和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定图片的一个或多个子图片的标识符与一个或多个子图片之间的映射不包括在图片的图片标头中,其中,格式规则还指定一个或多个子图片的标识符是基于图片所引用的图片参数集(PPS)和序列参数集(SPS)中的语法元素推导的。
在又一示例方面,公开了一种视频处理方法。该方法包括:执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,以及其中,格式规则指定当第一语法元素的值指示子图片的标识符与图片的一个或多个子图片之间的映射被针对一个或多个子图片显式地信令通知时,在序列参数集(SPS)或者图片参数集(PPS)中信令通知映射。
在又一示例方面,公开了一种视频处理方法。该方法包括:执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,以及其中,格式规则指定在序列参数集(SPS)中信令通知子图片的标识符的长度不基于指示是否在SPS中信令通知标识符的语法元素的值。
在又一示例方面,公开了一种视频处理方法。该方法包括:执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,以及其中,格式规则指定由于指示在图片参数集(PPS)中显式地信令通知子图片的标识符的语法元素,在PPS中信令通知标识符的长度。
在又一示例方面,公开了一种视频处理方法。该方法包括:执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定在比特流的序列参数集(SPS)中信令通知的第一语法元素指示在SPS中的子图片的标识符的长度,以及其中,第一语法元素的信令与第二语法元素的值无关,第二语法元素的值指示在SPS或图片参数集(PPS)中显式地信令通知子图片的标识符。
在又一示例方面,公开了一种视频编码器装置。视频编码器包括处理器,处理器被配置为实现上述方法。
在又一示例方面,公开了一种视频解码器装置。视频解码器包括配置为实现上述方法。
在又一示例方面,公开了一种计算机可读介质,其上存储有代码。代码以处理器可执行代码的形式实现本文描述的方法之一。
本文件对这些特征和其他特征进行了描述。
附图说明
图1示出了用亮度编解码树单元(CTU)分割图片的示例。
图2示出了用亮度CTU分割图片的另一示例。
图3示出了图片分割的示例。
图4示出了图片分割的另一示例。
图5是可以实现所公开的技术的示例视频处理系统的框图。
图6是用于视频处理的示例硬件平台的框图。
图7是图示根据本公开一些实施例的视频编解码系统的框图。
图8是图示根据本公开一些实施例的编码器的框图。
图9是图示根据本公开一些实施例的解码器的框图。
图10-12示出了视频处理的示例方法的流程图。
具体实施方式
在本文中,使用章节标题是为了易于理解,并且不将每个章节中公开的技术和实施例的适用性仅限于该章节。此外,在一些描述中使用H.266术语只是为了易于理解而不是为了限制所公开技术的范围。因此,这里描述的技术也适用于其他视频编解码器协议和设计。
1.概述
本文涉及视频编解码技术。具体地,关于子图片、片和条带的信令。这些构思可以单独或以各种组合应用到任何支持多层视频编解码的视频编解码标准或非标准视频编解码器,例如正在开发的多功能视频编解码(VVC)。
2.缩写
APS自适应参数集
AU访问单元
AUD访问单元分隔符
AVC高级视频编解码
CLVS编解码层视频序列
CPB编解码图片缓冲区
CRA清除随机访问
CTU编解码树单元
CVS编解码视频序列
DPB解码图片缓冲区
DPS解码参数集
EOB比特流结束
EOS序列结束
GDR渐进解码刷新
HEVC高效视频编解码
HRD虚拟参考解码器
IDR即时解码刷新
JEM联合探索模型
MCTS运动约束片集
NAL网络抽象层
OLS输出层集
PH图片标头
PPS图片参数集
PTL配置文件、层级和级别
PU图片单元
RBSP原始字节序列载荷
SEI补充增强信息
SPS序列参数集
SVC可伸缩视频编解码
VCL视频编解码层
VPS视频参数集
VTM VVC测试模型
VUI视频可用性信息
VVC多功能视频编解码
3.初步讨论
视频编解码标准主要是通过开发已知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制定了H.261和H.263,ISO/IEC制定了MPEG-1和MPEG-4视频,并且两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中采用了时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。此后,JVET采用了许多新的方法,并将其应用于名为联合探索模型(JEM)的参考软件中。JVET会议每季度同时召开一次,新的编解码标准的目标是相比HEVC码率降低50%。新的视频编解码标准在2018年4月的JVET会议上正式命名为多功能视频编解码(VersatileVideo Coding,VVC),当时发布了第一版VVC测试模型(VTM)。随着VVC标准化的不断努力,在每次JVET会议上都有新的编解码技术被采纳到VVC标准中。每次会议后都会更新VVC工作草案和测试模型VTM。VVC项目现在的目标是在2020年7月的会议上的技术完成(FDIS)。
3.1.HEVC中的图片分割方案
HEVC包括四种不同的图片分割方案,即常规条带、非独立条带、片和波前并行处理(WPP),可应用于最大传输单元(MTU)尺寸匹配、并行处理和减小端到端延迟。
常规条带与H.264/AVC中的类似。每个常规条带都封装在自己的NAL单元中,并且禁用了跨条带边界的图内预测(帧内样点预测、运动信息预测、编解码模式预测)和熵编码依赖性。因此,可以独立于同一图片内的其他常规条带重建常规条带(尽管由于环路滤波操作可能仍然存在相互依赖性)。
常规条带是唯一可用于并行化的工具,该工具在H.264/AVC中也以几乎相同的形式可用。基于常规条带的并行化不需要太多处理器间或核间通信(除了在解码预测编码图片时用于运动补偿的处理器间或核间数据共享,由于帧内图片预测,这通常比处理器间或核间的数据共享重得多)。然而,出于同样的原因,由于条带标头的比特成本以及跨条带边界的预测缺失,使用常规条带可能会产生大量的编解码开销。此外,由于常规条带的图片内独立性以及每个常规条带都封装在其自己的NAL中,因此常规条带(与下面提到的其他工具相比)也可作为比特流分割以匹配MTU尺寸要求的关键机制。在许多情况下,并行化的目标和MTU尺寸匹配的目标对图片中的条带布局的要求是矛盾的。这种情况的实现导致了下面提到的并行化工具的开发。
非独立条带具有短条带标头并且允许在树块边界处对比特流进行分区而不破坏任何图片内预测。基本上,非独立条带将常规条带分成多个NAL单元,通过允许在整个常规条带的编码完成之前发送常规条带的一部分来减少端到端延迟。
在WPP中,图片被分割成单行的编解码数块(CTB)。允许熵解码和预测使用来自其他分割中的CTB的数据。通过CTB行的并行解码可以进行并行处理,其中CTB行的解码开始延迟两个CTB,以确保与在主体CTB上方和右侧的CTB相关的数据可以在正在解码的主体CTB之前获得。使用这种交错开始(以图形方式表示时看起来像一个波前),可以并行化与包含有CTB行的图片一样多的处理器/核。因为允许图片内的相邻树块行之间的图片内预测,所以实现图片内预测所需的处理器间/核间通信可能是大量的。与未应用WPP分割相比,WPP分割不会导致产生额外的NAL单元,因此WPP不是用于MTU尺寸匹配的工具。但是,如果需要MTU尺寸匹配,则可以将常规条带与WPP一起使用,但具有一定的编解码开销。
片定义将图片分割为片列和片行的水平和垂直边界。片列从图片的顶部延伸到图片底部。同样,片行从图片的左侧延伸到图片的右侧。图片中的片数可以简单地通过片列数乘以片行数得出。
在按照一个图片的片光栅扫描的顺序解码下一个片的左上CTB之前,CTB的扫描顺序被改变为片内的本地扫描顺序(按照片的CTB光栅扫描的顺序)。与常规条带类似,片打破了图片内预测依赖性以及熵解码依赖性。但是,它们不需要包含在独立的NAL单元中(在这方面与WPP相同);因此片不能用于MTU尺寸匹配。每个片可由一个处理器/核处理,并且在一个条带跨越多个片的情况下,解码相邻条带的处理单元之间的图片内预测所需的处理器间/核间通信仅限于传送共享的条带标头和与重建样点和元数据共享相关的环路滤波。当条带中包含一个以上的片或WPP段时,条带中除第一个之外的每个片或WPP段的入口点字节偏移量在条带标头中用信令通知。
为简单起见,在HEVC中指定了对四种不同图片分割方案的应用的限制。对于HEVC中指定的大多数配置文件,给定的编解码视频序列不能同时包含片和波前。对于每个条带和片,必须满足以下条件之一或两者:1)条带中的所有编解码数块都属于同一个片;2)一个片中的所有编解码数块属于同一个条带。最后,一个波前段恰好包含一个CTB行,并且当使用WPP时,如果一个条带在CTB行内开始,则该条带必须在同一CTB行中结束。
在JCT-VC输出文档JCTVC-AC1005、J.Boyce、A.Ramasubramonian、R.Skupin、G.J.Sullivan、A.Tourapis、Y.-KWang(编辑)中指定了HEVC的最近修订。“HEVC AdditionalSupplemental Enhancement Information(Draft4)”,2017年10月24日在http://phenix.intevry.fr/jct/doc_end_user/documents-/29_Macau/wg11/JCTVC-AC1005-v2.zip公开。包含此修订内,HEVC指定了三个与MCT相关的SEI消息,即时域MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。
时域MCTS SEI消息指示比特流中存在MCTS并信令通知MCTS。对于每个MCTS,运动矢量被限制为指向MCTS内的全样点位置和仅需要MCTS内的全样点位置进行插值的分数样点位置,并且不允许使用对于来自MCTS之外的块的时域运动矢量预测的运动矢量候选。这样,每个MCTS可以在不存在未包括在MCTS中的片的情况下独立解码。
MCTS提取信息集SEI消息提供补充信息,该补充信息可用于MCTS子比特流提取(指定为SEI消息的语义的一部分)以生成符合MCTS集的比特流。该信息由多个提取信息集组成,每个提取信息集定义多个MCTS集并包含要在MCTS子比特流提取过程中使用的替换VPS、SPS和PPS的RBSP字节。在根据MCTS子比特流提取过程提取子比特流时,参数集(VPS、SPS和PPS)需要重写或替换,条带标头需要稍微更新,因为其中一个或全部条带地址相关语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。
3.2.VVC中图片的分割
在VVC中,图片被分割为一个或多个片行和一个或多个片列。片是覆盖图片矩形区域的CTU序列。片中的CTU在该片内以光栅扫描顺序进行扫描。
条带由图片的片内整数个完整片或整数个连续完整CTU行组成。
支持两种条带模式,即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中,条带包含图片的条带光栅扫描中的完整条带序列。在矩形条带模式中,条带包含共同形成图片的矩形区域的多个完整片或共同形成图片的矩形区域的一个片的多个连续完整CTU行。矩形条带内的条带在对应于该条带的矩形区域内以条带光栅扫描顺序进行扫描。
子图片包含共同覆盖图片的矩形区域的一个或多个条带。
图1示出了图片的光栅扫描条带分割的示例,其中图片被分割为12个片和3个光栅扫描条带。
图2示出了图片的矩形条带分割的示例,其中图片被分割为24个片(6个片列和4个片行)和9个矩形片。
图3示出了被分割为片和矩形条带的图片的示例,其中图片被分割为4个片(2个片列和2个片行)和4个矩形条带。
图4示出了图片的子图片分割示例,其中图片被分割为18个片,左侧的12个片,每个覆盖一个有4x4个CTU的条带,右侧的6个片,每个覆盖2个有2x2个CTU的垂直堆叠的条带,总共产生24个条带和24个不同维度的子图片(每个条带是一个子图片)。
3.3.VVC中子图片、片和条带的信令
在最新的VVC草案文本中,子图片的信息在SPS中信令通知,子图片的信息包括子图片布局(即,每个图片的子图片数量以及每个图片的位置和尺寸)和其他序列级别的子图片信息。在SPS中信令通知的子图片的顺序定义了子图片索引。可以例如在SPS或PPS中显式地信令通知每个子图片所具有的子图片ID列表。
VVC中的片在概念上与HEVC中的相同,即,每个图片被分割为片列和片行,但在PPS中具有不同的用于信令通知片的语法。
在VVC中,条带模式也在PPS中信令通知。当条带模式是矩形条带模式时,每个图片的条带布局(即,每个图片的条带数量以及每个条带的位置和尺寸)在PPS中信令通知。在PPS中信令通知的图片内的矩形条带的顺序定义了图片级别条带索引。子图片级条带索引被定义为子图片内的条带在其图片级条带索引的升序中的顺序。基于在SPS中信令通知的子图片位置和尺寸(当每个子图片仅包含一个条带时),或基于在PPS中信令通知的片位置和尺寸(当子图片可能包含多个条带时)来发送/导出矩形条带的位置和尺寸。当条带模式是光栅扫描条带模式时,类似于在HEVC中,图片内的条带布局在条带本身中以不同的细节信令通知。
与本发明最相关的最新VVC草案文本中的SPS、PPS和条带标头和语义如下。
7.3.2.3序列参数集RBSP语法
7.4.3.3序列参数集RBSP语义
...
注2–当比特流是子比特流提取过程的结果并且仅包含子比特流提取过程的输入比特流的子图片的子集时,可能需要将在SPS的RBSP中的subpics_present_flag的值设置为等于1。
[i]以CtbSizeY为单位指定第i个子图片的左上角CTU的水平位置。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_ctu_top_left_x[i]的值等于0。
[i]以CtbSizeY为单位指定第i个子图片的左上角CTU的垂直位置。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_ctu_top_left_y[i]的值等于0。
[i]加1以CtbSizeY为单位指定第i个子图片的宽度。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_width_minus1[i]的值等于Ceil(pic_width_max_in_luma_samples/CtbSizeY)-1。
[i]加1以CtbSizeY为单位指定第i个子图片的高度。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_height_minus1[i]的值等于Ceil(pic_height_max_in_luma_samples/CtbSizeY)-1。
[i]等于1表示CLVS中每个编解码图片的第i个子图片在除了环路滤波操作的解码过程中被视为图片。subpic_treatment_as_pic_flag[i]等于0表示CLVS中每个编解码图片的第i个子图片在除了环路滤波操作的解码过程中不被视为图片。当其不存在,则推断subpic_treatment_as_pic_flag[i]的值等于0。
[i]等于1指定可以在CLVS中的每个编解码图片中的第i个子图片的边界上跨界执行环路滤波操作。loop_filter_across_subpic_enabled_flag[i]等于0指定不在CLVS中每个编解码图片中的第i个子图片的边界跨界执行环路滤波操作。当其不存在,则loop_filter_across_subpic_enabled_pic_flag[i]的值被推断为等于1。
以下约束适用于比特流一致性的要求:
对于任意两个子图片subpicA和subpicB,当subpicA的子图片索引小于subpicB的子片图索引时,subPicA的任何编解码条带NAL单元应在解码顺序上先于subPicB的任何编解码条带NAL单元。
子图片的形状应使得每个子图片在解码时,其整个左边界和整个上边界都由图片边界或由先前解码的子图片的边界组成。
等于1指定子图片ID映射在SPS中信令通知。sps_subpic_id_signalling_present_flag等于0指定子图片ID映射不在SPS中信令通知。当不存在时,sps_subpic_id_signalling_present_flag的值被推断为等于0。
[i]指定第i个子图片的子图片ID。sps_subpic_id[i]语法元素的长度是sps_subpic_id_len_minus1+1比特。当不存在时,并且当sps_subpic_id_present_flag等于0时,sps_subpic_id[i]的值被推断为等于i,每个i在从0到sps_num_subpics_minus1范围内,包括端值。
...
7.3.2.4图片参数集RBSP语法
7.4.3.4图片参数集RBSP语义
...
等于1指定子图片ID映射在PPS中信令通知。pps_subpic_id_signalling_present_flag等于0指定子图片ID映射不在PPS中信令通知。当sps_subpic_id_present_flag为0或sps_subpic_id_signalling_present_flag等于1时,pps_subpic_id_signalling_present_flag应等于0。
pps_num_subpic_minus1的值应等于sps_num_subpics_minus1是比特流一致性的要求。
对于被在CLVS中的编解码图片引用的pps_subpic_id_len_minus1的值应对于所有PPS均相同,这是比特流一致性的要求。
对于CLVS内的编解码图片所引用的所有PPS,no_pic_partition_flag的值应相同,这是比特流一致性的要求。
当sps_num_subpics_minus1+1的值大于1时,no_pic_partition_flag的值不能等于1,这是比特流一致性的要求。
加1指定明确提供的片列宽度的数量。num_exp_tile_columns_minus1的值应在0到PicWidthInCtbsY-1的范围内,包括端值。当no_pic_partition_flag等于1时,推断num_exp_tile_columns_minus1的值等于0。
加1指定明确提供的片行高度的数量。num_exp_tile_rows_minus1的值应在0到PicHeightInCtbsY-1的范围内,包括端值。当no_pic_partition_flag等于1时,推断num_exp_tile_columns_minus1的值等于0。
[i]加1指定以CTB为单位的第i个片列的宽度,i在0到num_exp_tile_columns_minus1-1的范围内,包括端值。tile_column_width_minus1[num_exp_tile_columns_minus1]用于推导出索引大于或等于num_exp_tile_columns_minus1的片列的宽度,如条款6.5.1中所述。当其不存在,则推断tile_column_width_minus1[0]的值等于PicWidthInCtbsY-1。
[i]加1指定以CTB为单位的第i个片行的高度,i在0到num_exp_tile_rows_minus1-1的范围内,包括端值。tile_row_height_minus1[num_exp_tile_rows_minus1]用于推导出索引大于或等于num_exp_tile_rows_minus1的片行的高度,如条款6.5.1中所述。当其不存在,则tile_row_height_minus1[0]的值被推断为等于PicHeightInCtbsY-1。
等于0指定每个条带内的片按光栅扫描顺序排列,并且条带信息不在PPS中信令通知。rect_slice_flag等于1指定每个条带内的片覆盖图片的矩形区域,并且条带信息在PPS中信令通知。当其不存在,则推断rect_slice_flag等于1。当subpics_present_flag等于1时,rect_slice_flag的值应等于1。
等于1指定每个子图片由一个且仅由一个矩形条带组成。single_slice_per_subpic_flag等于0指定每个子图片可以包含一个或多个矩形条带。当subpics_present_flag等于0时,single_slice_per_subpic_flag应等于0。当single_slice_per_subpic_flag等于1时,推断num_slices_in_pic_minus1等于sps_num_subpics_minus1。
加1指定每个图片中参考PPS的矩形条带的数量。num_slices_in_pic_minus1的值应在0到MaxSlicesPerPicture-1的范围内,包括端值,其中MaxSlicesPerPicture在附录A中规定。当no_pic_partition_flag等于1时,推断num_slices_in_pic_minus1的值等于0。
等于0指定tile_idx_delta值不存在于PPS中,并且根据条款6.5.1中定义的过程,以光栅顺序指定引用PPS的图片中的所有矩形条带。tile_idx_delta_present_flag等于1指定tile_idx_delta值可以存在于PPS中,并且参考PPS的图片中的所有矩形条带都按照tile_idx_delta值指示的顺序指定。
[i]加1指定以片列为单位的第i个矩形条带的宽度。slice_width_in_tiles_minus1[i]的值应在0到NumTileColumns-1的范围内,包括端值。当其不存在,slice_width_in_tiles_minus1[i]的值将按照第6.5.1节中的规定进行推断。
[i]加1指定以片行为单位的第i个矩形条带的高度。slice_height_in_tiles_minus1[i]的值应在0到NumTileRows-1的范围内,包括端值。当其不存在,slice_height_in_tiles_minus1[i]的值将按照第6.5.1节中的规定进行推断。
[i]加1指定当前片中的条带数,适用于第i个条带包含来自单个片的CTU行的子集的情况。num_slices_in_tile_minus1[i]的值应在0到RowHeight[tileY]-1的范围内,包括端值,其中tileY是包含第i个条带的片行索引。当其不存在,则推断num_slices_in_tile_minus1[i]的值等于0。
[i]加1以CTU行为单位指定第i个矩形条带的高度,适用于第i个条带包含来自单个片的CTU行的子集的情况。slice_height_in_ctu_minus1[i]的值应在0到RowHeight[tileY]-1的范围内,包括端值,其中tileY是包含第i个条带的片行索引。
[i]指定第i个矩形条带和第(i+1)个矩形条带之间的片索引差值。tile_idx_delta[i]的值应在–NumTilesInPic+1到NumTilesInPic-1的范围内,包括端值。当其不存在,则tile_idx_delta[i]的值被推断为等于0。在所有其他情况下,tile_idx_delta[i]的值不应等于0。
等于1指定可以在参考PPS的图片中跨片边界执行环路滤波操作。loop_filter_across_tiles_enabled_flag等于0指定不在参考PPS的图片中跨片边界执行环路滤波操作。环路滤波操作包括去方块滤波器、样点自适应偏移滤波器和自适应环路滤波器操作。当其不存在,则loop_filter_across_tiles_enabled_flag的值被推断为等于1。
等于1指定可以在参考PPS的图片中跨条带边界执行环路滤波操作。loop_filter_across_slice_enabled_flag等于0指定不在参考PPS的图片中跨条带边界执行环路滤波操作。环路滤波操作包括去方块滤波器、样点自适应偏移滤波器和自适应环路滤波器操作。当其不存在,则loop_filter_across_slices_enabled_flag的值被推断为等于0。
7.3.7.1通用条带标头语法
7.4.8.1通用条带标头语义
...
指定包含条带的子图片的子图片标识符。如果slice_subpic_id存在,则推导出变量SubPicIdx的值以使SubpicIdList[SubPicIdx]等于slice_subpic_id。否则(slice_subpic_id不存在),变量SubPicIdx被推导出等于0。slice_subpic_id的长度,以比特为单位,推导如下:
—如果sps_subpic_id_signalling_present_flag等于1,slice_subpic_id的长度等于sps_subpic_id_len_minus1+1。
—否则,如果ph_subpic_id_signalling_present_flag等于1,则slice_subpic_id的长度等于ph_subpic_id_len_minus1+1。
—否则,如果pps_subpic_id_signalling_present_flag等于1,则slice_subpic_id的长度等于pps_subpic_id_len_minus1+1。
—否则,slice_subpic_id的长度等于Ceil(Log2(sps_num_subpics_minus1+1))。
如果rect_slice_flag等于0,则适用以下情况:
—条带地址是光栅扫描片索引。
—slice_address的长度为Ceil(Log2(NumTilesInPic))比特。
—slice_address的值应在0到NumTilesInPic-1的范围内,包括端值。
否则(rect_slice_flag等于1),则适用以下情况:
—条带地址是第SubPicIdx个子图片内条带的条带索引。
—slice_address的长度是Ceil(Log2(NumSlicesInSubpic[SubPicIdx]))比特。
—slice_address的值应在0到NumSlicesInSubpic[SubPicIdx]-1的范围内,包括端值。
以下约束适用于比特流一致性的要求:
—如果rect_slice_flag等于0或subpics_present_flag等于0,则slice_address的值不应等于同一编解码图片的任何其他编解码条带NAL单元的slice_address的值。
—否则,slice_subpic_id和slice_address值的对不应等于同一编解码图片的任何其他编解码条带NAL单元的slice_subpic_id和slice_address值的对。
—当rect_slice_flag等于0时,图片的条带应按其slice_address值的升序排列。
—图片条带的形状应使得每个CTU在解码时,其整个左边界和整个上边界都应由图片边界或由先前解码的CTU的边界组成。
变量NumCtuInCurrSlice,指定当前条带中CTU的数量,列表CtbAddrInCurrSlice[i],指定条带内第i个CTB的图片光栅扫描地址,其中i的范围为0到NumCtuInCurrSlice-1,包括端值,推导如下:
变量SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos和SubPicBotBoundaryPos推导如下:
if(subpic_treated_as_pic_flag[SubPicIdx]){
SubPicLeftBoundaryPos=
subpic_ctu_top_left_x[SubPicIdx]*CtbSizeY
SubPicRightBoundaryPos=
Min(pic_width_max_in_luma_samples-1,
(subpic_ctu_top_left_x[SubPicIdx]+subpic_width_minus1[SubPicIdx]+1)*CtbSizeY-1)
SubPicTopBoundaryPos=
subpic_ctu_top_left_y[SubPicIdx]*CtbSizeY (116)
SubPicBotBoundaryPos=Min(pic_height_max_in_luma_samples-1,
(subpic_ctu_top_left_y[SubPicIdx]+subpic_height_minus1[SubPicIdx]+1)*CtbSizeY-1)
}
...
4.本文解决方案解决的技术问题示例
VVC中子图片、片和条带的信令现有设计存在以下问题:
1)sps_num_subpics_minus1的编解码为u(8),这使得每个图片不允许超过256个子图片。但是,在某些应用中,每个图片的最大子图片数量可能需要大于256。
2)允许subpics_present_flag等于0,sps_subpic_id_present_flag等于1。但是,这没有意义,因为subpics_present_flag等于0意味着CLVS根本没有关于子图片的信息。
3)对于每个子图片之一,子图片ID的列表可以在图片标头(PH)中信令通知。然而,当在PH中信令通知子图片ID的列表时,并且当从比特流中提取子图片的子集时,所有的PH都将需要更改。这是不可取的。
4)当前,当子图片ID被指示为显式地信令通知时,通过等于1的sps_subpic_id_present_flag(或语法元素的名称更改为subpic_ids_explicitly_signalled_flag),子图片ID可以不在任何地方信令通知。这是有问题的,因为当子图片ID被指示为显式地信令通知时,需要在SPS或PPS中显式地信令通知子图片ID。
5)当子图片ID没有显式信令通知时,只要subpics_present_flag等于1,包括当sps_num_subpics_minus1等于0时,条带头语法元素slice_subpic_id仍然需要信令通知。但是,slice_subpic_id的长度目前指定为Ceil(Log2(sps_num_subpics_minus1+1))比特,当sps_num_subpics_minus1等于0时为0比特。这是有问题的,因为任何现有语法元素的长度都不能为0比特。
6)子图片布局,包括子图片的数量、尺寸和位置,在整个CLVS中保持不变。即使没有在SPS或PPS中显式地信令通知子图片ID,对于条带标头中的子图片ID语法元素,仍需要信令通知子图片ID长度。
7)每当rect_slice_flag等于1时,语法元素slice_address在条带标头中信令通知,并指定包含条带的子图片内的条带索引,包括当子图片内的条带数量(即,NumSlicesInSubpic[SubPicIdx])等于1时。但是,目前,当rect_slice_flag等于1时,slice_address的长度被指定为Ceil(Log2(NumSlicesInSubpic[SubPicIdx]))比特,当NumSlicesInSubpic[SubPicIdx]等于1时slice_address的长度为0比特。这是有问题的,因为任何现有语法元素的长度都不能是0比特。
8)语法元素no_pic_partition_flag和pps_num_subpics_minus1之间存在冗余,尽管最新的VVC文本有以下约束:当sps_num_subpics_minus1大于0时,no_pic_partition_flag的值应等于1。
5.示例实施例和解决方案
为了解决上述问题和其他问题,公开了如下概述的方法。本发明应被视为解释一般概念的示例,不应狭义地解释。此外,这些发明可以单独应用或以任何方式组合应用。
1)为解决第一个问题,将sps_num_subpics_minus1的编解码从u(8)改为ue(v),使得每个图片可以多于256个子图片。
a.此外,sps_num_subpics_minus1的值被限制在0到Ceil(pic_width_max_in_luma_samples÷CtbSizeY)*Ceil(pic_height_max_in_-luma_samples÷CtbSizeY)-1的范围内。
b.此外,每个图片的子图片数量在级别的定义中被进一步限制。
2)为解决第二个问题,将信令通知语法元素sps_subpic_id_present_flag的条件设置为“if(subpics_present_flag)”,即当subpics_present_flag等于0时,不信令通知sps_subpic_id_present_flag语法元素,并在其不存在时,推断sps_subpic_id_present_flag的值等于0。
a.或者,当subpics_present_flag等于0时,语法元素sps_subpic_id_present_flag仍然被信令通知,但是当subpics_present_flag等于0时,该值需要等于0。
b.此外,语法元素subpics_present_flag和sps_subpic_id_present_flag的名称分别更改为subpic_info_present_flag和subpic_ids_explicitly_signalled_flag。
3)为解决第三个问题,去除PH语法中子图片ID的信令。因此,对于i在0到sps_num_subpics_minus1的范围内(包括端值),列表SubpicIdList[i]推导如下:
for(i=0;i<=sps_num_subpics_minus1;i++)
if(subpic_ids_explicitly_signalled_flag)
SubpicIdList[i]=subpic_ids_in_pps_flag?pps_subpic_id[i]:sps_subpic_id[i]
else
SubpicIdList[i]=i
4)为解决第四个问题,当子图片被指示显式信令通知时,在SPS或PPS中信令通知子图片ID。
a.通过添加以下约束来实现:如果subpic_ids_explicitly_signalled_flag为0或subpic_ids_in_sps_flag等于1,则subpic_ids_in_pps_flag应等于0。否则(subpic_ids_explicitly_signalled_flag为1或subpic_ids_in_sps_flag等于0),subpic_ids_in_pps_flag应等于1。
5)为解决第五个和第六个问题,无论SPS的标志sps_subpic_id_present_flag(或重命名为subpic_ids_explicitly_signalled_flag)的值如何,在SPS中信令通知子图片ID的长度,尽管当子图片ID也在PPS中显式信令通知时,长度也可以在PPS中信令通知以避免解析PPS对SPS的依赖性。在这种情况下,长度还指定了条带标头中的子图片ID的长度,即使子图片ID不在SPS或PPS中显式地信令通知。因此,当其存在时,slice_subpic_id的长度也由在SPS中信令通知的子图片ID长度指定。
6)或者,为解决第五和第六个问题,在SPS语法中添加标志,其值为1来指定在SPS语法中存在子图片ID长度。该标志的存在与指示子图片ID是否在SPS或PPS中显式信令通知的标志的值无关。当subpic_ids_explicitly_signalled_flag等于0时,该标志的值可以等于1或0,但当subpic_ids_explicitly_signalled_flag等于1时,该标志的值必须等于1。当该标志等于0时,即子图片长度不存在,slice_subpic_id的长度被指定为Max(Ceil(Log2(sps_num_subpics_minus1+1)),1)比特(而不是最新的VVC草案文本中的Ceil(Log2(sps_num_subpics_minus1+1))比特).
a.或者,仅当subpic_ids_explicitly_signalled_flag等于0时才存在此标志,并且当subpic_ids_explicitly_signalled_flag等于1时,推断此标志的值等于1。
7)为解决第七个问题,当rect_slice_flag等于1时,指定slice_address的长度为Max(Ceil(Log2(NumSlicesInSubpic[SubPicIdx])),1)比特。
a.或者,更进一步,当rect_slice_flag等于0时,slice_address的长度被指定为Max(Ceil(Log2(NumTilesInPic)),1)比特,而不是Ceil(Log2(NumTilesInPic))比特。
8)为解决第八个问题,将信令通知no_pic_partition_flag的条件设置为“if(subpic_ids_in_pps_flag&&pps_num_subpics-_minus1>0)”,并添加以下推断:当其不存在时,推断no_pic_partition_flag的值等于1。
a.或者,将子图片ID语法(所有四个语法元素)移动到PPS中的片和条带语法之后,例如,紧接在语法元素entropy_coding_sync_enabled_flag之前,然后将信令通知pps_num_subpics_minus1的条件设置为“if(no_pic_partition_flag)”。
6.实施例
以下是除以上在第5节中总结的8项之外的所有发明部分的一些示例实施例,其可应用于VVC规范。更改的文本基于JVET-P2001-v14中最新的VVC文本。已添加或修改的最相关部分以下划线、粗体和斜体文本显示,最相关的已删除部分以粗体双括号括起来突出显示,例如,[[a]]表示“a”已被删除。还有一些其他的变化是编辑性质的,因此没有突出显示。
6.1.第一实施例
7.3.2.3序列参数集RBSP语法
7.4.3.3序列参数集RBSP语义
...
[i]指定以CtbSizeY为单位的第i个子图片的左上CTU的水平位置。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_ctu_top_left_x[i]的值等于0。
[i]指定以CtbSizeY为单位的第i个子图的左上角CTU的垂直位置。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_ctu_top_left_y[i]的值等于0。
[i]加1指定以CtbSizeY为单位的第i个子图片的宽度。语法元素的长度是Ceil(Log2(pic_width_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_width_minus1[i]的值等于Ceil(pic_width_max_in_luma_samples/CtbSizeY)-1。
[i]加1指定以CtbSizeY为单位的第i个子图片的高度。语法元素的长度是Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))比特。当其不存在,则推断subpic_height_minus1[i]的值等于Ceil(pic_height_max_in_luma_samples/CtbSizeY)-1。
[i]等于1表示CLVS中每个编解码图片的第i个子图片在不包括环路滤波操作的解码过程中被视为图片。subpic_treatment_as_pic_flag[i]等于0指定CLVS中每个编解码图片的第i个子图片在不包括环路滤波操作的解码过程中不被视为图片。当其不存在,则推断subpic_treatment_as_pic_flag[i]的值等于0。
[i]等于1指定可以在CLVS中的每个编解码图片中的第i个子图片的边界上跨界执行环路滤波操作。loop_filter_across_subpic_enabled_flag[i]等于0表示不在CLVS中每个编解码图片中的第i个子图片的边界上跨界执行环路滤波操作。当其不存在,则loop_filter_across_subpic_enabled_pic_flag[i]的值被推断为等于1。
以下约束适用于比特流一致性的要求:
—对于任意两个子图片subpicA和subpicB,当subpicA的子图片索引小于subpicB的子图片索引时,subPicA的任何编解码条带NAL单元应在解码顺序上优先于subPicB的任何编解码条带NAL单元。
—子图片的形状应使得每个子图片在解码时,其整个左边界和整个上边界都由图片边界或由先前解码的子图片的边界组成。
sps_subpic_id[i]指定第i个子图片的子图片ID。sps_subpic_id[i]语法元素的长度是sps_subpic_id_len_minus1+1比特。
...
7.3.2.4图片参数集RBSP语法
7.4.3.4图片参数集RBSP语义...
比特流一致性的要求是,对于0到sps_num_subpics_minus1范围(包括端值)内的任何i和j,当i小于j时,SubpicIdList[i]应小于SubpicIdList[j]。
...
等于0指定每个条带内的片按光栅扫描顺序排列,并且不在PPS中信令通知条带信息。rect_slice_flag等于1指定每个条带内的片覆盖图片的矩形区域,并且在PPS中信令通知条带信息。当其不存在时,则推断rect_slice_flag等于1。当等于1时,rect_slice_flag的值应等于1。
等于1指定每个子图片由一个且仅由一个矩形条带组成。single_slice_per_subpic_flag等于0指定每个子图片可以包含一个或多个矩形条带。当等于0时,single_slice_per_subpic_flag应等于0。当single_slice_per_subpic_flag等于1时,推断num_slices_in_pic_minus1等于sps_num_subpics_minus1。
...
7.3.7.1通用条带头语法
7.4.8.1通用条带标头语义
...
当其不存在时,则推断slice_subpic_id的值等于0。
变量SubPicIdx被推导出为使得SubpicIdList[SubPicIdx]等于slice_subpic_id的值。
如果rect_slice_flag等于0,则适用以下情况:
—条带地址是光栅扫描片索引。
—slice_address的长度为Ceil(Log2(NumTilesInPic))比特。
—slice_address的值应在0到NumTilesInPic-1的范围内,包括端值。
否则(rect_slice_flag等于1),则适用以下情况:
—条带地址是条带的子图片级别条带索引。
—slice_address的值应在0到NumSlicesInSubpic[SubPicIdx]-1的范围内,包括端值。
以下约束适用于比特流一致性的要求:
—否则,slice_subpic_id和slice_address值的对不应等于同一编解码图片的任何其他编解码条带NAL单元的slice_subpic_id和slice_address值的对。
—当rect_slice_flag等于0时,图片的条带应按其slice_address值的升序排列。
—图像条带的形状应使得每个CTU在解码时,其整个左边界和整个上边界都应由一个图片边界或由先前解码的(多个)CTU的边界组成。
...
图5示出了可以实现本公开各种技术的示例视频处理系统500的框图。各种实现可以包括系统500的一些或所有组件。系统500可以包括用于接收视频内容的输入502。视频内容可以以原始或未压缩格式(例如,8或10比特多分量像素值)接收,或者可以以压缩或编码格式接收。输入502可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括例如以太网、无源光网络(PON)等的有线接口和例如Wi-Fi或蜂窝接口的无线接口。
系统500可以包括编解码组件504,编解码组件504可以实现本公开中描述的各种编解码或编码方法。编解码组件504可以降低从输入502到编解码组件504的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件504的输出可以被存储,或者经由如组件506所表示的通信连接而被传输。在输入502处接收到的视频的存储或通信的比特流(或编解码)表示可以由组件508使用,组件508用于生成发送到显示接口510的像素值或可显示视频。从比特流表示生成用户可观看视频的过程有时称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但应当理解,编码工具或操作在编码器处使用,并且反转编码结果的相应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本公开中描述的技术可以实施在各种电子设备中,例如移动电话、笔记本电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
图6是视频处理装置600的框图。装置600可用于实现本公开中描述的一种或多种方法。装置600可以位于智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置600可以包括一个或多个处理器602、一个或多个存储器604和视频处理硬件606。处理器602可以被配置为实现本公开中描述的一种或多种方法。存储器604可用于存储用于实现本公开描述的方法和技术的数据和代码。视频处理硬件606可以在硬件电路中使用以实现本公开中描述的一些技术。在一些实施例中,硬件606可以部分或全部在处理器602中,例如图形处理器。
图7是说明可利用本公开的技术的示例视频编解码系统100的框图。
如图7所示,视频编解码系统100可以包括源设备110和目标设备120。源设备110可生成编码视频数据,源设备110可被称为视频编码设备。目标设备120可解码由源设备110产生的编码视频数据,目标设备120可称为视频解码装置。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括例如视频捕获设备的源、从视频内容提供者接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一幅或多幅图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的位序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。关联数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目标设备120。编码的视频数据也可以存储在存储介质/服务器130b上以供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取已编码的视频数据。视频解码器124可解码已编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成,或者可以在目标设备120的外部,目标设备120被配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作,例如高效视频编码(HEVC)标准、多功能视频编码(VVM)标准和其他当前和/或其他标准。
图8是说明视频编码器200的示例的框图,视频编码器200可以是图7中说明的系统100中的视频编码器114。
视频编码器200可以配置为执行本公开的任何或所有技术。在如图8所示的示例中,视频编码器200包括多个功能组件。本公开中所描述的技术可在视频编码器200的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开中所描述的技术中的任一或全部。
视频编码器200的功能组件可以包括分割单元201、可以包括模式选择单元203的预测单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可包括更多、更少或不同功能的组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,例如运动估计单元204和运动补偿单元205之类的一些组件可以是高度集成的,但是出于描述的目的而在图8的示例中被分开表示。
分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块的尺寸。
模式选择单元203可以例如基于误差结果来选择编解码模式(帧内或帧间)之一,并将所得帧内或帧间编解码块提供给残差生成单元207以生成残差块数据并且重构单元212重构编解码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合,其中预测是基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可以为块选择运动矢量的分辨率(例如,子像素或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,例如,取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以对当前视频块的参考视频块搜索列表0或1的参考图片。运动估计单元204可接着产生指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空间位移的运动矢量。运动估计单元204可输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以对当前视频块的参考视频块搜索列表0中的参考图片,并且还可以对当前视频块的参考视频块搜索列表1中的参考图片。运动估计单元204可接着产生指示列表0和列表1中的参考图片的参考索引,其包含参考视频块和指示参考视频块与当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出完整的运动信息集以用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的完整的运动信息集。相反,运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中,运动估计单元204可在与当前视频块相关联的语法结构中指示向视频解码器300指示当前视频块具有与另一视频块相同的运动信息的值。
在另一示例中,运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(MVD)。运动矢量差表示当前视频块的运动矢量与指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所述,视频编码器200可以预测性地信令通知运动矢量。可由视频编码器200实施的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和merge模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其他视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差产生单元207可通过从当前视频块减去(例如,由负号指示)当前视频块的预测视频块来产生当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。
在其他示例中,对于当前视频块,例如在跳过模式中,可能不存在当前视频块的残差数据,并且残差生成单元207可能不执行减法运算。
变换处理单元208可通过对与当前视频块相关联的残余视频块应用一个或多个变换来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208产生与当前视频块相关联的变换系数视频块之后,量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残余视频块。重构单元212可以将重构的残余视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点,以产生存储在缓冲器213中的与当前块相关联的重构视频块。
在重构单元212重构视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
图9是说明可以说明视频解码器300的示例的框图,视频解码器300可以是图7所示的系统100中的视频解码器114。
视频解码器300可以配置为执行本公开的任何或所有技术。在图8所示的示例中,视频解码器300包括多个功能组件。本公开中所描述的技术可在视频解码器300的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开中所描述的技术中的任一或全部。
在如图9所示的示例,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重构单元306和缓冲器307。在一些示例中,视频解码器300可以执行通常与关于视频编码器200(图8)描述的编码通道相反的解码通道。
熵解码单元301可以取得编码比特流。编码比特流可以包括熵编码的视频数据(例如,编码的视频数据块)。熵解码单元301可以解码熵编码的视频数据,并且根据熵解码的视频数据,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如,运动补偿单元302可以通过执行AMVP和merge模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块,可能基于插值滤波器执行插值。用于以子像素精度的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可使用在视频块的编码期间由视频编码器20使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可根据接收的语法信息来确定由视频编码器200使用的内插滤波器并且使用内插滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码的视频序列的帧和/或条带进行编码的块的大小,分割信息描述编码视频序列的图片的每个宏块如何被分割,模式指示如何编码每个分区,每个帧间编码块的一个或多个参考帧(和参考帧列表),以及解码编码视频序列的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间相邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化,即去量化。逆变换单元303应用逆变换。
重构单元306可将残余块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加以形成解码块。如果需要,还可以应用去方块滤波器来过滤解码的块,以便去除块状伪影。然后将解码的视频块存储在缓冲器307中,该缓冲器为随后的运动补偿/帧内预测提供参考块并且还产生用于在显示设备上呈现的解码视频。
图10-12示出了可以实现上述技术方案的示例方法,例如,图5-9所示的实施例。
图10示出了视频处理的示例方法1000的流程图。方法1000包括,在操作1010,执行包括图片的视频和视频的比特流之间的转换,图片中的子图片的数量在比特流的序列参数集(SPS)中作为字段被信令通知,字段的比特宽度基于子图片的数量的值,以及字段是左比特在先的无符号整数0阶指数哥伦布(Exp-Golomb)编解码语法元素。
图11示出了视频处理的示例方法1100的流程图。方法1100包括,执行视频和视频的比特流之间的转换,比特流符合格式规则,该格式规则指定指示视频的图片是否可以被分割的第一语法元素基于第二语法元素和第三语法元素的值而被有条件地包括在比特流的图片参数集(PPS)中,其中,第二语法元素指示是否在PPS中信令通知子图片的标识符,第三语法元素在PPS中指示子图片的数量。
图12示出了视频处理的示例方法1200的流程图。方法1200包括在操作1210执行视频和视频的比特流之间的转换,比特流符合格式规则,该格式规则指定指示视频的图片是否可以被分割的第一语法元素被包括在比特流的图片参数集(PPS)中,位于PPS中指示图片的子图片的标识符的语法元素集之前。
接下来提供一些实施例优选的解决方案列表。
A1.一种视频处理方法,包括:执行包括图片的视频和视频的比特流之间的转换,其中,图片中的子图片的数量在比特流的序列参数集(SPS)中作为字段被信令通知,字段的比特宽度基于子图片的数量的值,其中,字段是左比特在先的无符号整数0阶指数哥伦布(Exp-Golomb)编解码语法元素。
A2.根据解决方案A1的方法,其中,字段的值被限制在从零到最大值的范围内,最大值是基于以亮度样点为单位的图片的最大宽度和以亮度样点为单位的的图片的最大高度。
A3.根据解决方案A2的方法,其中,最大值等于图片内适合的编解码树块的整数个数。
A4.根据解决方案A1的方法,其中基于与比特流关联的编解码级别限制子图片的数量。
A5.一种视频处理方法,包括执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定指示视频的图片是否可以被分割的第一语法元素基于第二语法元素和第三语法元素的值而被有条件地包括在比特流的图片参数集(PPS)中,其中,第二语法元素指示是否在PPS中信令通知子图片的标识符,第三语法元素在PPS中指示子图片的数量。
A6.根据解决方案A5的方法,其中,第一语法元素是no_pic_partition_flag,第二语法元素是subpic_ids_in_pps_flag,并且第三语法元素是pps_num_subpics_minus1。
A7.根据解决方案A5或A6的方法,其中,第一语法元素从PPS中被排除并且被推断为指示没有图片分割被应用于参考PPS的每个图片。
A8.根据解决方案A5或A6的方法,其中,不在PPS中信令通知第一语法元素并且第一语法元素被推断为等于一。
A9.根据解决方案A5或A6的方法,其中在PPS中的一个或多个片和/或条带语法法元素之后信令通知第二语法元素。
A10.一种视频处理方法,包括执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定指示视频的图片是否可以被分割的第一语法元素被包括在比特流的图片参数集(PPS)中,位于PPS中指示图片的子图片的标识符的语法元素集之前。
A11.根据解决方案A10的方法,其中指示子图片的数量的第二语法元素基于第一语法元素的值被有条件地包括在语法元素集中。
A12.根据解决方案A1至A11中任一个的方法,其中,转换包括从比特流中解码视频。
A13.根据解决方案A1至A11中任一个的方法,其中,转换包括将视频编码到比特流中。
A14.一种将表示视频的比特流存储到计算机可读记录介质的方法,包括根据解决方案A1至A11中任一个或多个的方法,从视频生成比特流;以及将比特流写入计算机可读记录介质中。
A15.一种视频处理装置,包括处理器,处理器配置为执行根据解决方案A1至A14中任一项或多项的方法。
A16.一种其上存储有指令的计算机可读介质,指令在被执行时使处理器执行解决方案A1至A14中的任一项或多项的方法。
A17.一种计算机可读介质,其中存储根据方案A1至A14中的任一项或多项生成的比特流。
A18.一种用于存储比特流的视频处理装置,其中,视频处理装置配置为执行方案A1至A14中任一项或多项的方法。
接下来提供一些实施例优选的解决方案的另一列表。
B1.一种视频处理方法,包括执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则指定基于指示子图片的信息是否包括在序列参数集(SPS)中的第二语法元素的值,第一语法元素被有条件地包括在SPS中,其中,第一语法元素指示子图片标识符的信息是否包括在比特流的参数集中。
B2.根据解决方案B1的方法,其中,格式规则还指定第二语法元素的值为0,第二语法元素的值为0指示子图片的信息在SPS中被省略,并且由此与SPS相关联的每个视频区域不被划分成多个子图片,并且基于第二语法元素的值为0,第一语法元素在SPS中被省略。
B3.根据解决方案B1或B2的方法,其中,第一语法元素是subpic_ids_explicitly_signalled_flag,第二语法元素是subpic_info_present_flag。
B4.根据解决方案B1或B3的方法,其中,格式规则还指定在第一语法元素的值为0的情况下,值为0的第一语法元素被包括在SPS中。
B5.根据解决方案B1至B4中任一个的方法,其中,视频区域为视频图片。
B6.一种视频处理方法,包括执行视频的图片和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则指定图片的一个或多个子图片的标识符与一个或多个子图片之间的映射不包括在图片的图片标头中,其中,格式规则还指定一个或多个子图片的标识符是基于图片所引用的图片参数集(PPS)和序列参数集(SPS)中的语法元素推导的。
B7.根据解决方案B6的方法,其中SPS中的标志取第一值以指示一个或多个子图片的标识符是基于PPS中的语法元素推导的,或者取第二值以指示一个或多个子图片的标识符是基于SPS中的语法元素推导的。
B8.根据解决方案B7的方法,其中,标志对应于subpic_ids_in_pps_flag字段,第一值为1并且第二值为0。
B9.根据解决方案B6的方法,其中标识符(表示为SubpicIdList[i])由如下得到:
for(i=0;i<=sps_num_subpics_minus1;i++)
if(subpic_ids_explicitly_signalled_flag)
SubpicIdList[i]=subpic_ids_in_pps_flag?pps_subpic_id[i]:sps_subpic_id[i]
else
SubpicIdList[i]=i。
B10.一种视频处理方法,包括执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定当第一语法元素的值指示子图片的标识符与图片的一个或多个子图片之间的映射被针对一个或多个子图片显式地信令通知时,在序列参数集(SPS)或者图片参数集(PPS)中信令通知映射。
B11.根据解决方案B10的方法,其中第一语法元素是subpic_ids_explicitly_signalled_flag。
B12.根据解决方案B11的方法,其中基于第二语法元素(表示为subpic_ids_in_sps_flag)的值在SPS中信令通知标识符,并且基于第三语法元素(表示为subpic_ids_in_pps_flag)的值在PPS中信令通知标识符。
B13.根据解决方案B12的方法,其中由于subpic_ids_explicitly_signalled_flag为0或subpic_ids_in_sps_flag为1,subpic_ids_in_pps_flag等于0。
B14.根据解决方案B13的方法,其中subpic_ids_in_pps_flag等于0指示不在PPS中信令通知标识符。
B15.根据解决方案B12的方法,其中由于subpic_ids_explicitly_signalled_flag为1并且subpic_ids_in_sps_flag为0,subpic_ids_in_pps_flag等于1。
B16.根据解决方案B15的方法,其中subpic_ids_in_pps_flag等于1指示在PPS中显式地信令通知一个或多个子图片中的每个子图片的标识符。
B17.根据解决方案B1至B15中任一个的方法,其中,转换包括从比特流中解码视频。
B18.根据解决方案B1至B15中任一个的方法,其中,转换包括将视频编码为比特流。
B19.一种将表示视频的比特流存储到计算机可读记录介质的方法,包括根据解决方案B1至B15中任一个或多个的方法,从视频生成比特流;以及将比特流写入计算机可读记录介质中。
B20.一种视频处理装置,包括处理器,处理器被配置为执行解决方案B1至B19中任一个或多个的方法。
B21.一种其上存储有指令的计算机可读介质,其中,指令在被执行时使处理器执行方案B1至B19中的任一个或多个的方法。
B22.一种计算机可读介质,其中存储根据方案B1至B19中的任一个或多个生成的比特流。
B23.一种用于存储比特流的视频处理装置,其中,视频处理装置配置为执行解决方案B1至B19中任一个或多个的方法。
接下来提供一些实施例优选的解决方案的又一列表。
Cl.一种视频处理方法,包括执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定在序列参数集(SPS)中信令通知子图片的标识符的长度不基于指示是否在SPS中信令通知标识符的语法元素的值。
C2.一种视频处理方法,包括执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定由于指示在图片参数集(PPS)中显式地信令通知子图片的标识符的语法元素,在PPS中信令通知标识符的长度。
C3.根据解决方案C1或C2的方法,其中,长度还对应于条带标头中子图片标识符的长度。
C4.根据解决方案C1至C3中任一个的方法,其中语法元素是subpic_ids_explicitly_signalled_flag。
C5.根据解决方案C3或C4的方法,其中不在SPS中信令通知标识符,并且不在PPS中信令通知标识符。
C6.根据解决方案C5的方法,其中子图片标识符的长度对应于在SPS中信令通知的子图片标识符长度。
C7.一种视频处理方法,包括执行视频和视频的比特流之间的转换,其中,比特流符合格式规则,其中,格式规则指定在比特流的序列参数集(SPS)中信令通知的第一语法元素指示在SPS中的子图片的标识符的长度,其中,第一语法元素的信令与第二语法元素的值无关,第二语法元素的值指示在SPS或图片参数集(PPS)中显式地信令通知子图片的标识符。
C8.根据解决方案C7的方法,其中第二语法元素是subpic_ids_explicitly_signalled_flag。
C9.根据解决方案C7或C8的方法,其中第二语法元素等于1指示在SPS或PPS中对于每个子图片信令通知标识符集合,其中每个子图片对应一个标识符,并且其中第二语法元素等于0指示不SPS或PPS中显式地信令通知标识符。
C10.根据解决方案C7或C8的方法,其中由于第二语法元素的值为0,第一语法元素的值为0或1。
C11.根据解决方案C7或C8的方法,其中,由于第二语法元素的值为1,第一语法元素的值为1。
C12.根据解决方案C7或C8的方法,其中第二语法元素的值为0。
C13.根据解决方案C1至C12中任一个的方法,其中转换包括从比特流中解码视频。
C14.根据解决方案C1至C12中任一个的方法,其中转换包括将视频编码成比特流。
C15.一种将表示视频的比特流存储到计算机可读记录介质中的方法,包括根据方案C1至C12中任一个或多个的方法,从视频生成比特流;以及将比特流写入计算机可读记录介质中。
C16.一种视频处理装置,包括处理器,处理器被配置为执行方案C1至C15中任一个或多个的方法。
C17.一种其上存储有指令的计算机可读介质,指令在被执行时使处理器执行解决方案C1至C15中的任一个或多个的方法。
C18.一种计算机可读介质,其中存储根据方案C1至C15中的任一个或多个生成的比特流。
C19.一种用于存储比特流的视频处理装置,其中,视频处理装置配置为执行方案C1至C15中任一个或多个的方法。
接下来提供一些实施例优选的解决方案的另一列表。
P1.一种视频处理方法,包括执行视频的图片和视频的编解码表示之间的转换,其中,图片中的子图片的数量作为字段包含在编解码表示中,字段的比特宽度依赖于子图片的数量的值。
P2.根据解决方案P1的方法,其中,字段表示使用码字的子图片的数量。
P3.根据解决方案P2的方法,其中,码字包括哥伦布码字。
P4.根据解决方案P1至P3中任一个的方法,其中,子图片的数量的值被限制为小于或等于图片内适合的编解码树块的整数个数。
P5.根据解决解决方案P1至P4中任一个的方法,其中,字段依赖于与编解码表示相关联的编解码级别。
P6.一种视频处理方法,包括执行视频的视频区域和视频的编解码表示之间的转换,其中编解码表示符合格式规则,其中,格式规则指定由于视频区域不包含任何子图片,省略指示子图片标识符的语法元素。
P7.根据解决方案P6的方法,其中,编解码表示包括具有0值的字段,具有0值的字段指示视频区域不包括任何子图片。
P8.一种视频处理方法,包括执行视频的视频区域和视频的编解码表示之间的转换,其中,编码表示符合格式规则,其中,格式规则指定在编解码表示的视频区域标头级别省略视频区域中子图片的标识符。
P9.根据解决方案P8的方法,其中,编解码表示根据子图片在视频区域标头中列出的顺序以数字方式识别子图片。
P10.一种视频处理方法,包括执行视频的视频区域和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中,格式规则指定在序列参数集级别或图片参数集级别包括视频区域中子图片的标识符和/或子图片的标识符的长度。
P11.根据解决方案P10的方法,其中,长度包含在图片参数集级别中。
P12.一种视频处理方法,包括执行视频的视频区域和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中,格式规则指定在视频序列级别的编解码表示中包括字段,以指示子图片标识符长度字段是否包含在视频序列级别的编解码表示中。
P13.根据解决方案P12的方法,其中,格式规则指定在编解码表示中的另一字段指示视频区域的长度标识符包括在编解码表示中的情况下,设置字段为1。
P14.上述任一方案的方法,其中,视频区域包括视频的子图片。
P15.上述任一方案的方法,其中,转换包括解析和解码编解码表示以生成视频。
P16.上述任一方案的方法,其中,转换包括对视频进行编码以生成编解码表示。
P17.一种视频解码装置,包括处理器,处理器被配置为执行方案P1至P16中的任一个或多个的方法。
P18.一种视频编码装置,包括处理器,处理器被配置为执行方案P1至P16中的任一个或多个的方法。
P19.一种其上存储有计算机代码的计算机程序产品,代码在被执行时使处理器执行方案P1至P16中任一个的方法。
本申请文件中描述的公开和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现,包括本说明书中所公开的结构及其结构等效体,或其中一个或多个的组合。本说明书中公开的内容和其他实施例可以实施为一个或多个计算机程序产品,即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本组件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动硬盘;磁光盘;以及CDROM和DVDROM盘。处理器和存储器可以由专用逻辑电路来补充,或合并到专用逻辑电路中。
虽然本专利文件包含许多细节,但不应将其解释为对任何发明或权利要求范围的限制,而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中移除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管附图中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。
Claims (18)
1.一种视频处理方法,包括:
执行包括图片的视频和所述视频的比特流之间的转换,
其中,所述图片中的子图片的数量在所述比特流的序列参数集(SPS)中作为字段被信令通知,所述字段的比特宽度基于所述子图片的数量的值,以及
其中,所述字段是左比特在先的无符号整数0阶指数哥伦布(Exp-Golomb)编解码语法元素。
2.根据权利要求1所述的方法,所述字段的值被限制在从零到最大值的范围内,所述最大值是基于以亮度样点为单位的所述图片的最大宽度和以亮度样点为单位的的所述图片的最大高度。
3.根据权利要求2所述的方法,所述最大值等于所述图片内适合的编解码树块的整数个数。
4.根据权利要求1所述的方法,基于与所述比特流关联的编解码级别限制所述子图片的数量。
5.一种视频处理方法,包括:
执行视频和视频的比特流之间的转换,
其中,所述比特流符合格式规则,以及
其中,所述格式规则指定指示所述视频的图片是否可以被分割的第一语法元素基于第二语法元素和第三语法元素的值而被有条件地包括在所述比特流的图片参数集(PPS)中,其中,所述第二语法元素指示是否在所述PPS中信令通知子图片的标识符,所述第三语法元素在所述PPS中指示所述子图片的数量。
6.根据权利要求5所述的方法,其中,所述第一语法元素是no_pic_partition_flag,所述第二语法元素是subpic_ids_in_pps_flag,并且所述第三语法元素是pps_num_subpics_minus1。
7.根据权利要求5或6所述的方法,其中,所述第一语法元素从所述PPS中被排除并且被推断为指示没有图片分割被应用于参考所述PPS的每个图片。
8.根据权利要求5或6所述的方法,其中,不在所述PPS中信令通知所述第一语法元素并且所述第一语法元素被推断为等于一。
9.根据权利要求5或6所述的方法,其中,在所述PPS中的一个或多个片和/或条带语法法元素之后信令通知所述第二语法元素。
10.一种视频处理方法,包括:
执行视频和视频的比特流之间的转换,
其中,所述比特流符合格式规则,以及
其中,所述格式规则指定指示所述视频的图片是否可以被分割的第一语法元素被包括在所述比特流的图片参数集(PPS)中,位于所述PPS中指示所述图片的子图片的标识符的语法元素集之前。
11.根据权利要求10所述的方法,其中,指示所述子图片的数量的第二语法元素基于所述第一语法元素的值被有条件地包括在所述语法元素集中。
12.根据权利要求1-11中任一项所述的方法,其中,所述转换包括从所述比特流中解码所述视频。
13.根据权利要求1-11中任一项所述的方法,其中,所述转换包括将所述视频编码到所述比特流中。
14.一种将表示视频的比特流存储到计算机可读记录介质中的方法,包括:
根据权利要求1-11中任一项或多项所述的方法从视频生成比特流;以及
将所述比特流写入所述计算机可读记录介质中。
15.一种视频处理装置,包括处理器,所述处理器被配置为执行权利要求1-14中任一项或多项所述的方法。
16.一种其上存储有指令的计算机可读介质,其中,所述指令在被执行时使处理器执行根据权利要求1-14中任一项或多项所述的方法。
17.一种计算机可读介质,其中存储根据权利要求1-14中任一项或多项生成的比特流。
18.一种用于存储比特流的视频处理装置,其中,所述视频处理装置配置为执行如权利要求1-14中任一项或多项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962954364P | 2019-12-27 | 2019-12-27 | |
US62/954,364 | 2019-12-27 | ||
PCT/US2020/067090 WO2021134054A1 (en) | 2019-12-27 | 2020-12-27 | Subpicture signaling in video coding |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114902567A true CN114902567A (zh) | 2022-08-12 |
Family
ID=76575140
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080090784.5A Pending CN114902567A (zh) | 2019-12-27 | 2020-12-27 | 视频编解码中的子图像信令 |
CN202080090761.4A Pending CN114902566A (zh) | 2019-12-27 | 2020-12-27 | 参数集中的子图片信令 |
CN202080090816.1A Pending CN114902677A (zh) | 2019-12-27 | 2020-12-27 | 信令通知视频子图片的语法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080090761.4A Pending CN114902566A (zh) | 2019-12-27 | 2020-12-27 | 参数集中的子图片信令 |
CN202080090816.1A Pending CN114902677A (zh) | 2019-12-27 | 2020-12-27 | 信令通知视频子图片的语法 |
Country Status (6)
Country | Link |
---|---|
US (4) | US20220377379A1 (zh) |
EP (3) | EP4066386A4 (zh) |
JP (3) | JP2023508680A (zh) |
KR (3) | KR20220113404A (zh) |
CN (3) | CN114902567A (zh) |
WO (3) | WO2021134055A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4080885A4 (en) | 2019-12-20 | 2023-07-05 | Wilus Institute of Standards and Technology Inc. | VIDEO SIGNAL PROCESSING METHOD AND RELATED DEVICE |
WO2021134015A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Profile, tier and layer indication in video coding |
EP4062634A4 (en) | 2019-12-26 | 2022-12-28 | ByteDance Inc. | LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS |
EP4066386A4 (en) | 2019-12-27 | 2023-01-25 | ByteDance Inc. | SIGNALING SUBPICTURES IN VIDEO ENCODING |
KR20220161427A (ko) * | 2020-03-31 | 2022-12-06 | 엘지전자 주식회사 | 픽처 분할 정보 및 서브픽처 정보에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
Family Cites Families (125)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003087785A (ja) | 2001-06-29 | 2003-03-20 | Toshiba Corp | 動画像符号化データの形式変換方法及び装置 |
EP1978748B1 (en) | 2001-11-29 | 2014-04-16 | Panasonic Corporation | Coding distortion removal method |
FI113123B (fi) | 2002-06-03 | 2004-02-27 | Nokia Corp | Menetelmä ja laite hajautettujen verkkojen muodostamiseksi tilapäisissä verkoissa |
US7586924B2 (en) | 2004-02-27 | 2009-09-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream |
KR101072341B1 (ko) | 2007-01-18 | 2011-10-11 | 노키아 코포레이션 | Rtp 페이로드 포맷에서의 sei 메시지들의 전송 |
KR101391601B1 (ko) | 2007-10-15 | 2014-05-07 | 삼성전자주식회사 | 최적의 임계치를 이용한 지수 골롬 이진화에 의한 영상부호화 방법 및 그 장치, 및 영상 복호화 방법 및 그 장치 |
WO2010001609A1 (ja) | 2008-07-04 | 2010-01-07 | パナソニック株式会社 | 符号化ストリーム再生装置及び符号化ストリーム再生方法 |
WO2010069427A1 (en) | 2008-12-19 | 2010-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and encoder for providing a tune- in stream for an encoded video stream and method and decoder for tuning into an encoded video stream |
EP2392138A4 (en) | 2009-01-28 | 2012-08-29 | Nokia Corp | METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING |
KR20120013966A (ko) | 2009-05-01 | 2012-02-15 | 톰슨 라이센싱 | 3dv를 위한 기준 화상 리스트 |
JP5624693B2 (ja) * | 2011-06-30 | 2014-11-12 | テレフオンアクチーボラゲット エル エムエリクソン(パブル) | 絶対的又は明示的な参照ピクチャ信号伝送 |
US9591318B2 (en) | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
US9451252B2 (en) | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
US9838684B2 (en) | 2012-04-11 | 2017-12-05 | Qualcomm Incorporated | Wavefront parallel processing for video coding |
PL2842313T3 (pl) | 2012-04-13 | 2017-06-30 | Ge Video Compression, Llc | Skalowalny strumień danych i obiekt sieciowy |
US9736476B2 (en) | 2012-04-27 | 2017-08-15 | Qualcomm Incorporated | Full random access from clean random access pictures in video coding |
US9621905B2 (en) | 2012-06-29 | 2017-04-11 | Qualcomm Incorporated | Tiles and wavefront parallel processing |
EP2868092A4 (en) | 2012-07-02 | 2016-05-04 | Nokia Technologies Oy | METHOD AND DEVICE FOR VIDEO CODING |
US9602827B2 (en) | 2012-07-02 | 2017-03-21 | Qualcomm Incorporated | Video parameter set including an offset syntax element |
US9924166B2 (en) | 2012-08-06 | 2018-03-20 | Vid Scale, Inc. | Sampling grid information for spatial layers in multi-layer video coding |
WO2014047351A2 (en) | 2012-09-19 | 2014-03-27 | Qualcomm Incorporated | Selection of pictures for disparity vector derivation |
US10021394B2 (en) | 2012-09-24 | 2018-07-10 | Qualcomm Incorporated | Hypothetical reference decoder parameters in video coding |
US9161039B2 (en) * | 2012-09-24 | 2015-10-13 | Qualcomm Incorporated | Bitstream properties in video coding |
ES2915051T3 (es) | 2012-09-26 | 2022-06-20 | Sun Patent Trust | Procedimiento de codificación de imágenes, procedimiento de decodificación de imágenes |
SG11201502435XA (en) | 2012-09-27 | 2015-05-28 | Dolby Lab Licensing Corp | Inter-layer reference picture processing for coding standard scalability |
US9565452B2 (en) | 2012-09-28 | 2017-02-07 | Qualcomm Incorporated | Error resilient decoding unit association |
US9432664B2 (en) | 2012-09-28 | 2016-08-30 | Qualcomm Incorporated | Signaling layer identifiers for operation points in video coding |
US20140092976A1 (en) | 2012-09-30 | 2014-04-03 | Sharp Laboratories Of America, Inc. | System for signaling idr and bla pictures |
US20140098851A1 (en) | 2012-10-04 | 2014-04-10 | Qualcomm Incorporated | Indication of video properties |
US9154785B2 (en) | 2012-10-08 | 2015-10-06 | Qualcomm Incorporated | Sub-bitstream applicability to nested SEI messages in video coding |
WO2014059051A1 (en) | 2012-10-09 | 2014-04-17 | Rodriguez Arturo A | Providing a common set of parameters for sub-layers of coded video |
US9374585B2 (en) | 2012-12-19 | 2016-06-21 | Qualcomm Incorporated | Low-delay buffering model in video coding |
US10419778B2 (en) | 2013-01-04 | 2019-09-17 | Sony Corporation | JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure |
US10219006B2 (en) | 2013-01-04 | 2019-02-26 | Sony Corporation | JCTVC-L0226: VPS and VPS_extension updates |
US9402076B2 (en) | 2013-01-07 | 2016-07-26 | Qualcomm Incorporated | Video buffering operations for random access in video coding |
WO2014145852A2 (en) | 2013-03-15 | 2014-09-18 | Knopp Biosciences Llc | Imidazo(4,5-b) pyridin-2-yl amides as kv7 channel activators |
US9998735B2 (en) | 2013-04-01 | 2018-06-12 | Qualcomm Incorporated | Inter-layer reference picture restriction for high level syntax-only scalable video coding |
JP2016519855A (ja) | 2013-04-05 | 2016-07-07 | シャープ株式会社 | ランダムアクセスポイント・ピクチャ |
US9270651B2 (en) | 2013-04-05 | 2016-02-23 | Futurewei Technologies, Inc. | Authentication and initial key exchange in ethernet passive optical network over coaxial network |
US9591321B2 (en) | 2013-04-07 | 2017-03-07 | Dolby International Ab | Signaling change in output layer sets |
US20140307803A1 (en) | 2013-04-08 | 2014-10-16 | Qualcomm Incorporated | Non-entropy encoded layer dependency information |
US9571809B2 (en) | 2013-04-12 | 2017-02-14 | Intel Corporation | Simplified depth coding with modified intra-coding for 3D video coding |
US9497485B2 (en) | 2013-04-12 | 2016-11-15 | Intel Corporation | Coding unit size dependent simplified depth coding for 3D video coding |
US9756335B2 (en) | 2013-07-02 | 2017-09-05 | Qualcomm Incorporated | Optimizations on inter-layer prediction signalling for multi-layer video coding |
GB2516224A (en) | 2013-07-11 | 2015-01-21 | Nokia Corp | An apparatus, a method and a computer program for video coding and decoding |
US10595031B2 (en) | 2013-07-12 | 2020-03-17 | Qualcomm Incorporated | Selection of target output layers in high efficiency video coding extensions |
WO2015009693A1 (en) | 2013-07-15 | 2015-01-22 | Sony Corporation | Layer based hrd buffer management for scalable hevc |
US9451254B2 (en) | 2013-07-19 | 2016-09-20 | Qualcomm Incorporated | Disabling intra prediction filtering |
GB2516824A (en) | 2013-07-23 | 2015-02-11 | Nokia Corp | An apparatus, a method and a computer program for video coding and decoding |
WO2015015058A1 (en) * | 2013-07-31 | 2015-02-05 | Nokia Corporation | Method and apparatus for video coding and decoding |
MY178305A (en) | 2013-10-11 | 2020-10-07 | Vid Scale Inc | High level syntax for hevc extensions |
US20150103887A1 (en) | 2013-10-14 | 2015-04-16 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US10212435B2 (en) | 2013-10-14 | 2019-02-19 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US10284858B2 (en) | 2013-10-15 | 2019-05-07 | Qualcomm Incorporated | Support of multi-mode extraction for multi-layer video codecs |
US9641862B2 (en) | 2013-10-15 | 2017-05-02 | Nokia Technologies Oy | Video encoding and decoding |
CN106416250B (zh) | 2013-12-02 | 2020-12-04 | 诺基亚技术有限公司 | 视频编码和解码 |
US9854270B2 (en) | 2013-12-19 | 2017-12-26 | Qualcomm Incorporated | Device and method for scalable coding of video information |
JP6472449B2 (ja) | 2014-01-02 | 2019-02-20 | シャープ株式会社 | ビデオシーケンスを復号するための方法 |
CN105874804A (zh) * | 2014-01-02 | 2016-08-17 | Vid拓展公司 | 针对hevc扩展的子比特流提取过程 |
CN106105210B (zh) | 2014-01-03 | 2019-04-26 | 三星电子株式会社 | 管理用于对多层视频进行编码和解码的缓冲器的方法和设备 |
CN106105220B (zh) | 2014-01-07 | 2019-07-05 | 诺基亚技术有限公司 | 用于视频编码和解码的方法和装置 |
US10057590B2 (en) | 2014-01-13 | 2018-08-21 | Mediatek Inc. | Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding |
JP6465863B2 (ja) | 2014-03-14 | 2019-02-06 | シャープ株式会社 | 画像復号装置、画像復号方法及び記録媒体 |
WO2015137237A1 (ja) | 2014-03-14 | 2015-09-17 | シャープ株式会社 | 画像復号装置 |
US9848199B2 (en) | 2014-03-17 | 2017-12-19 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US10645404B2 (en) | 2014-03-24 | 2020-05-05 | Qualcomm Incorporated | Generic use of HEVC SEI messages for multi-layer codecs |
US10880565B2 (en) * | 2014-03-24 | 2020-12-29 | Qualcomm Incorporated | Use of specific HEVC SEI messages for multi-layer video codecs |
US10390087B2 (en) | 2014-05-01 | 2019-08-20 | Qualcomm Incorporated | Hypothetical reference decoder parameters for partitioning schemes in video coding |
US9769492B2 (en) | 2014-06-06 | 2017-09-19 | Qualcomm Incorporated | Conformance parameters for bitstream partitions |
US9819948B2 (en) | 2014-06-18 | 2017-11-14 | Qualcomm Incorporated | Signaling HRD parameters for bitstream partitions |
WO2015194191A1 (en) | 2014-06-19 | 2015-12-23 | Sharp Kabushiki Kaisha | Method for decoding a video bitstream |
US9930340B2 (en) | 2014-06-20 | 2018-03-27 | Qualcomm Incorporated | Systems and methods for selectively performing a bitstream conformance check |
US9756355B2 (en) | 2014-06-20 | 2017-09-05 | Qualcomm Incorporated | Value ranges for syntax elements in video coding |
US9930342B2 (en) | 2014-06-20 | 2018-03-27 | Qualcomm Incorporated | Systems and methods for signaling hypothetical reference decoder parameters in a parameter set |
US10091532B2 (en) * | 2014-06-26 | 2018-10-02 | Qualcomm Incorporated | Bitstream conformance constraints in scalable video coding |
US10306269B2 (en) | 2014-10-10 | 2019-05-28 | Qualcomm Incorporated | Operation point for carriage of layered HEVC bitstream |
US20160112724A1 (en) | 2014-10-15 | 2016-04-21 | Qualcomm Incorporated | Hrd descriptor and buffer model of data streams for carriage of hevc extensions |
US10148969B2 (en) | 2015-02-11 | 2018-12-04 | Qualcomm Incorporated | Of sample entry and operation point signalling in a layered video file format |
US10455242B2 (en) | 2015-03-04 | 2019-10-22 | Qualcomm Incorporated | Signaling output indications in codec-hybrid multi-layer video coding |
US10382791B2 (en) * | 2015-03-06 | 2019-08-13 | Qualcomm Incorporated | Data structure for video coding unit |
US20160323600A1 (en) * | 2015-04-30 | 2016-11-03 | Zhan Ma | Methods and Apparatus for Use of Adaptive Prediction Resolution in Video Coding |
US20160373771A1 (en) | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Design of tracks and operation point signaling in layered hevc file format |
WO2017041692A1 (en) | 2015-09-08 | 2017-03-16 | Mediatek Inc. | Method and system of decoded picture buffer for intra block copy mode |
US10200690B2 (en) | 2015-09-22 | 2019-02-05 | Qualcomm Incorporated | Video decoder conformance for high dynamic range (HDR) video coding using a core video standard |
US20170105014A1 (en) | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Luma-driven chroma scaling for high dynamic range and wide color gamut contents |
FI20165256L (fi) | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
EP3453174A1 (en) | 2016-05-06 | 2019-03-13 | VID SCALE, Inc. | Method and system for decoder-side intra mode derivation for block-based video coding |
WO2017203098A1 (en) | 2016-05-24 | 2017-11-30 | Nokia Technologies Oy | Method and an apparatus and a computer program for encoding media content |
CN114363630B (zh) | 2016-06-24 | 2024-06-14 | 株式会社Kt | 视频编码方法、视频解码方法以及装置 |
JP6399189B2 (ja) | 2017-10-11 | 2018-10-03 | 富士通株式会社 | 動画像符号化方法 |
WO2019184834A1 (en) | 2018-03-28 | 2019-10-03 | Fg Innovation Ip Company Limited | Device and method for coding video data in multiple reference line prediction |
CN117692661A (zh) | 2018-04-03 | 2024-03-12 | 华为技术有限公司 | 基于子图像码流视角相关视频编码中的误差抑制的文件格式指示 |
US10972755B2 (en) | 2018-12-03 | 2021-04-06 | Mediatek Singapore Pte. Ltd. | Method and system of NAL unit header structure for signaling new elements |
CN111357290B (zh) | 2019-01-03 | 2023-08-22 | 北京大学 | 视频图像处理方法与装置 |
KR20240056798A (ko) | 2019-01-09 | 2024-04-30 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 코딩의 서브 픽처 식별자 시그널링 |
CN113796085A (zh) | 2019-05-06 | 2021-12-14 | 华为技术有限公司 | 用于逐步解码刷新的假想参考解码器 |
GB2584295A (en) * | 2019-05-28 | 2020-12-02 | Canon Kk | Method and apparatus for encoding and decoding a video bitstream for merging regions of interest |
JP7492978B2 (ja) | 2019-06-20 | 2024-05-30 | ノキア テクノロジーズ オサケユイチア | ビデオエンコーディングおよびデコーディングのための装置、方法、およびコンピュータプログラム |
US20220272378A1 (en) | 2019-06-23 | 2022-08-25 | Sharp Kabushiki Kaisha | Systems and methods for performing an adaptive resolution change in video coding |
BR112021026353A2 (pt) | 2019-06-27 | 2022-02-08 | Huawei Tech Co Ltd | Decodificador de referência hipotético para v-pcc |
US20220312042A1 (en) | 2019-08-21 | 2022-09-29 | Sharp Kabushiki Kaisha | Systems and methods for signaling buffering period information in video coding |
WO2021045128A1 (en) | 2019-09-06 | 2021-03-11 | Sharp Kabushiki Kaisha | Systems and methods for signaling temporal sub-layer information in video coding |
US11159827B2 (en) * | 2019-09-23 | 2021-10-26 | Tencent America LLC | Method for signaling output layer set with sub picture |
BR112022005466A2 (pt) | 2019-09-24 | 2022-06-14 | Huawei Tech Co Ltd | Dispositivos de codificação, e de decodificação de vídeo, e de produto de computador, e métodos associados |
WO2021061493A1 (en) | 2019-09-24 | 2021-04-01 | Futurewei Technologies, Inc. | Temporal identifier constraints for sei messages |
CA3155882A1 (en) | 2019-09-24 | 2021-04-01 | Huawei Technologies Co., Ltd. | IMAGE SYNCHRONIZATION AND DECODING UNIT INFORMATION FOR TIME SCALABILITY |
JP7381731B2 (ja) | 2019-09-24 | 2023-11-15 | 華為技術有限公司 | マルチレイヤービデオビットストリームにおける不要なレイヤーの禁止 |
CN114424571A (zh) | 2019-09-24 | 2022-04-29 | 华为技术有限公司 | 编码器、解码器及对应方法 |
WO2021061530A1 (en) | 2019-09-24 | 2021-04-01 | Futurewei Technologies, Inc. | Ols for spatial and snr scalability |
BR112022005485A2 (pt) | 2019-09-24 | 2022-06-14 | Huawei Tech Co Ltd | Ols para escalabilidade múltiplas visualizações |
WO2021061394A1 (en) | 2019-09-24 | 2021-04-01 | Futurewei Technologies, Inc. | Simulcast layers for multiview in video coding |
CN114514751B (zh) | 2019-10-07 | 2024-03-15 | 华为技术有限公司 | 避免多层视频码流中的冗余指示 |
CN114631317B (zh) | 2019-10-18 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 子图片的参数集信令中的语法约束 |
WO2021096057A1 (ko) | 2019-11-14 | 2021-05-20 | 엘지전자 주식회사 | 비디오 또는 영상 코딩 시스템에서의 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법 |
US11477487B2 (en) | 2019-12-10 | 2022-10-18 | Zte (Uk) Limited | Subpicture signaling in video coding |
CN114902679A (zh) | 2019-12-13 | 2022-08-12 | 松下电器(美国)知识产权公司 | 编码装置、解码装置、编码方法和解码方法 |
US11375182B2 (en) | 2019-12-17 | 2022-06-28 | Hfi Innovation Inc. | Method and apparatus of constrained layer-wise video coding |
US11356705B2 (en) | 2019-12-23 | 2022-06-07 | Qualcomm Incorporated | Picture header intra random access picture and gradual decoder refresh signaling in video coding |
WO2021134015A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Profile, tier and layer indication in video coding |
EP4062634A4 (en) | 2019-12-26 | 2022-12-28 | ByteDance Inc. | LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS |
EP4066386A4 (en) | 2019-12-27 | 2023-01-25 | ByteDance Inc. | SIGNALING SUBPICTURES IN VIDEO ENCODING |
WO2021137597A1 (ko) | 2019-12-30 | 2021-07-08 | 엘지전자 주식회사 | Ols에 대한 dpb 파라미터를 사용하는 영상 디코딩 방법 및 그 장치 |
CN115567717B (zh) | 2019-12-31 | 2023-11-28 | 华为技术有限公司 | 编码器、解码器及对应方法和装置 |
US11758195B2 (en) | 2020-09-17 | 2023-09-12 | Lemon Inc. | Dependency information signaling in coded video |
US11902552B2 (en) | 2020-09-17 | 2024-02-13 | Lemon Inc. | Decoder configuration record in coded video |
-
2020
- 2020-12-27 EP EP20906045.8A patent/EP4066386A4/en active Pending
- 2020-12-27 EP EP20906393.2A patent/EP4066387A4/en active Pending
- 2020-12-27 KR KR1020227020857A patent/KR20220113404A/ko not_active Application Discontinuation
- 2020-12-27 JP JP2022539152A patent/JP2023508680A/ja active Pending
- 2020-12-27 CN CN202080090784.5A patent/CN114902567A/zh active Pending
- 2020-12-27 WO PCT/US2020/067091 patent/WO2021134055A1/en unknown
- 2020-12-27 KR KR1020227020664A patent/KR20220115959A/ko unknown
- 2020-12-27 JP JP2022539153A patent/JP2023508681A/ja active Pending
- 2020-12-27 CN CN202080090761.4A patent/CN114902566A/zh active Pending
- 2020-12-27 EP EP20906637.2A patent/EP4066499A4/en active Pending
- 2020-12-27 CN CN202080090816.1A patent/CN114902677A/zh active Pending
- 2020-12-27 WO PCT/US2020/067092 patent/WO2021134056A1/en unknown
- 2020-12-27 WO PCT/US2020/067090 patent/WO2021134054A1/en unknown
- 2020-12-27 KR KR1020227020843A patent/KR20220121804A/ko active Search and Examination
- 2020-12-27 JP JP2022539151A patent/JP7422881B2/ja active Active
-
2022
- 2022-06-27 US US17/850,626 patent/US20220377379A1/en active Pending
- 2022-06-27 US US17/850,670 patent/US11812062B2/en active Active
- 2022-06-27 US US17/850,449 patent/US20220345747A1/en active Pending
-
2023
- 2023-11-29 US US18/523,118 patent/US20240107072A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240107072A1 (en) | 2024-03-28 |
JP2023508680A (ja) | 2023-03-03 |
JP7422881B2 (ja) | 2024-01-26 |
EP4066386A4 (en) | 2023-01-25 |
US20220377380A1 (en) | 2022-11-24 |
CN114902677A (zh) | 2022-08-12 |
JP2023508679A (ja) | 2023-03-03 |
EP4066387A1 (en) | 2022-10-05 |
KR20220121804A (ko) | 2022-09-01 |
US11812062B2 (en) | 2023-11-07 |
EP4066387A4 (en) | 2023-02-15 |
KR20220113404A (ko) | 2022-08-12 |
EP4066499A4 (en) | 2023-01-11 |
KR20220115959A (ko) | 2022-08-19 |
US20220377379A1 (en) | 2022-11-24 |
US20220345747A1 (en) | 2022-10-27 |
JP2023508681A (ja) | 2023-03-03 |
EP4066499A1 (en) | 2022-10-05 |
WO2021134054A1 (en) | 2021-07-01 |
WO2021134055A1 (en) | 2021-07-01 |
CN114902566A (zh) | 2022-08-12 |
WO2021134056A1 (en) | 2021-07-01 |
EP4066386A1 (en) | 2022-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7422881B2 (ja) | パラメータセットにおけるサブピクチャシグナリング | |
CN115004669B (zh) | 不同sei消息的解码顺序 | |
CN115211130B (zh) | 基于条带和片图片分割的信令通知的处理视频数据的方法 | |
CN114930825A (zh) | 用于在编解码图片中实现解码顺序的技术 | |
CN115398888B (zh) | 用于对视频编解码中并置图片的约束的方法、装置和介质 | |
JP2022164629A (ja) | サブピクチャエンティティグループに対するレベルインジケータ | |
CN114930837A (zh) | 对子图片的帧间预测的限制 | |
JP2023515514A (ja) | サブピクチャの高さの導出 | |
CN115699772A (zh) | 视频编解码中的补充增强信息的约束 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |