CN115552899A - 视频图片中的片的指示 - Google Patents

视频图片中的片的指示 Download PDF

Info

Publication number
CN115552899A
CN115552899A CN202180016194.2A CN202180016194A CN115552899A CN 115552899 A CN115552899 A CN 115552899A CN 202180016194 A CN202180016194 A CN 202180016194A CN 115552899 A CN115552899 A CN 115552899A
Authority
CN
China
Prior art keywords
slice
video
picture
tile
minus1
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180016194.2A
Other languages
English (en)
Inventor
张凯
张莉
王业奎
邓智玭
范逵
许继征
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN115552899A publication Critical patent/CN115552899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Abstract

描述了用于包括视频编解码、视频解码和视频转码的视频处理的技术。一个示例方法包括执行包括视频图片的视频与视频的比特流之间的转换,视频图片包括一个或多个片。视频图片参考图片参数集,并且图片参数集符合格式规则,格式规则规定图片参数集包括N个片列的列宽度列表,其中N是整数。第N‑1个片列存在于视频图片中,并且第N‑1个片列的宽度等于显式包括的片列宽度列表中的第N‑1个条目加上一个数量的编解码树块。

Description

视频图片中的片的指示
相关申请的交叉参考
根据适用专利法和/或依据巴黎公约的规则,本申请要求于2020年2月21日提交的第PCT/CN2020/076158号国际专利申请的优先权和利益。出于法律上的所有目的,上述申请的全部公开内容通过参考并入本申请公开的一部分。
技术领域
本专利文档涉及图像编码和解码以及视频编码和解码。
背景技术
数字视频占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量的增加,预期数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了可由视频编码器和解码器使用的技术,视频编码器和解码器使用对编解码表示的解码有用的控制信息来处理视频的编解码表示。
在一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个条带,并且响应于满足至少一个条件,该规则规定指示两个矩形条带的片索引之间的差的语法元素存在于比特流中。两个矩形条带中的第一矩形条带被表示为第i个矩形条带,其中i是整数。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片,并且每个子图片包括一个或多个矩形条带。该规则规定导出每个子图片中每个矩形条带在子图片级别的条带索引,以确定每个条带中编解码树单元的数量。
在另一个示例方面,公开了一种视频处理方法。该方法包括为视频的包括一个或多个子图片的视频图片与视频的比特流之间的转换,确定子图片中的条带的子图片级别条带索引与该条带的图片级别条带索引之间的映射关系。该方法还包括基于该确定来执行转换。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片,并且该规则规定视频的一个片完全位于视频图片的单个子图片内。
在另一个示例方面,公开了一种视频处理方法。该方法包括执行视频的视频图片与视频的比特流之间的转换,其中,视频图片包括一个或多个子图片。比特流符合格式规则,该格式规则规定分割图片的信息被包括在与图片相关联的语法结构中。
在另一个示例方面,公开了一种视频处理方法。该方法包括对视频的包括具有非矩形形状的一个或多个条带的视频图片与视频的比特流之间的转换,确定视频图片的条带分割信息。该方法还包括基于该确定来执行转换。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的包括一个或多个条带的视频图片与视频的比特流之间的转换。该规则规定视频图片中的条带数量等于或大于基于是否对视频图片应用矩形分割或者非矩形分割来确定的条带的最小数量。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个条带。在视频图片的条带分割信息被包括在视频单元的语法结构中的情况下,条带由条带的左上位置和维度来表示。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片,并且每个子图片包括一个或多个条带。该规则规定了每个子图片中的一个或多个条带的分割信息存在于在比特流中的方式。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个矩形条带,并且每个条带包括一个或多个片。该规则规定在比特流中省略对第i个矩形条带中的第一个片的第一片索引和第i+1个矩形条带中的第一片的第二片索引之间的差的信令通知。
在另一个示例方面,公开了一种视频处理方法。该方法包括:对视频的视频图片与视频的比特流之间的转换,响应于视频图片的维度与编解码树块的维度之间的关系,确定对于导出视频图片中的片的列的数量和片的行的数量的信息被有条件地包括在比特流中。该方法还包括基于该确定来执行转换。
在另一个示例方面,公开了一种视频处理方法。该方法包括执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片。该比特流符合格式规则,该格式规则规定,在规定包括条带的子图片的子图片标识符的变量存在于比特流中的情况下,存在一个且仅有一个语法元素满足与该语法元素对应的第二变量等于该变量的条件。
在另一个示例方面,公开了一种视频处理方法。该方法包括执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片。在应用非矩形分割或者在比特流中省略子图片信息的情况下,条带中的两个片具有不同的地址。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个片。该规则规定,在一个或多个片以均匀间隔和非均匀间隔二者组织的情况下,使用语法元素来指示片布局的类型。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。该规则规定在转换中是否或如何处理Merge估计区域(Merge Estimation Region,MER)尺寸取决于最小允许编解码块尺寸。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行包括至少一个视频片的视频与视频的比特流之间转换。该规则规定基于比特流中的第一语法元素的值来导出视频片中的条带的以编解码树单元为单位的高度,该第一语法元素的值指示包括该条带的视频片中的条带的显式提供的条带高度的数量。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则执行包括视频图片的视频和视频的比特流之间转换,视频图片包括包含一个或多个条带的视频片。该规则规定包括图片中的第一条带的片中的第二条带具有以编解码树单元为单位表示的高度。第一条带具有第一条带索引,并且第二条带具有第二条带索引,第二条带索引基于第一条带索引和视频片中的显式提供的条带高度的数量来确定。基于第一条带索引和第二条带索引来确定第二条带的高度。
在另一个示例方面,公开了一种视频处理方法。该方法包括执行视频与视频的比特流之间的转换,该视频包括包含一个或多个片的视频图片。视频图片参考图片参数集,并且图片参数集符合格式规则,该格式规则规定图片参数集包括N个片列的列宽度的列表,其中N是整数。视频图片中存在第N-1个片列,并且第N-1个片列的宽度等于显式包括的片列宽度的列表中的第N-1个条目加上一个编解码树块。
在另一个示例方面,公开了一种视频处理方法。该方法包括执行视频与视频的比特流之间的转换,该视频包括包含一个或多个片的视频图片。视频图片参考图片参数集,并且图片参数集符合格式规则,该格式规则规定图片参数集包括N个片行的行高度的列表,其中N是整数。视频图片中存在第N-1个片行,并且第N-1个片行的高度等于显式包括的片行高度的列表中的第N-1个条目加上一个编解码树块。
在另一个示例方面,公开了一种视频处理方法。该方法包括执行包括一个或多个视频图片的视频与视频的编解码表示之间的转换,其中,每个视频图片包括一个或多个子图片,子图片包括一个或多个条带,其中,编解码表示符合格式规则;其中,该格式规则规定,在对视频图片启用矩形条带模式的情况下,导出视频图片中每个子图片中每个条带的图片级别条带索引,而无需在编解码表示中显式信令通知;其中,格式规则规定每个条带中的编解码树单元的数量可从图片级别条带索引中导出。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括一个或多个视频图片的视频与视频的编解码表示之间的转换,其中,每个视频图片包括一个或多个子图片,子图片包括一个或多个条带,其中,编解码表示符合格式规则;其中,格式规则规定子图片级别条带索引可基于编解码表示中的信息导出,而无需信令通知编解码表示中的子图片级别条带索引。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括一个或多个视频图片的视频与视频的编解码表示之间转换,其中,每个视频图片包括一个或多个子图片和/或一个或多个片,其中,编解码表示符合格式规则;其中,该转换符合约束规则。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括一个或多个视频图片的视频与视频的编解码表示之间的转换,其中,每个视频图片包括一个或多个片和/或一个或多个条带;其中,编解码表示符合格式规则;其中,格式规则规定视频图片级别的字段携带关于视频图片中条带和/或片的分割的信息。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括一个或多个图片的视频与视频的编解码表示之间的转换,其中,该转换符合视频图片被分割的条带的最小数量依据矩形分割是否用于分割视频图片的分割规则。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行视频的视频区域的视频条带与视频的编解码表示之间的转换;其中,编解码表示符合格式规则;其中,格式规则规定编解码表示基于视频条带的左上位置信令通知视频条带,其中,格式规则规定编解码表示信令通知分割信息中的视频条带的高度和/或宽度,该分割信息在视频单元级别信令通知。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括视频图片的视频与视频的编解码表示之间的转换;其中,编解码表示符合格式规则;其中,格式规则规定省略信令通知矩形条带中的第一片的片索引与下一矩形条带中的第一片的片索引之间的差。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行视频与视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中,格式规则规定视频图片的宽度与编解码树单元的尺寸之间的关系控制用于导出视频图片中的片列的数量或片行的数量的信息的信令通知。
在另一个示例方面,公开了另一种视频处理方法。该方法包括执行包括一个或多个视频图片的视频与视频的编解码表示之间转换,其中,编解码表示符合格式规则,其中,格式规则规定在包括均匀间隔片和非均匀间隔片的视频图片的编解码表示中包括片布局信息。
在又一示例方面,公开了一种视频编码器装置。视频编码器包括被配置为实现上述方法的处理器。
在又一示例方面,公开了一种视频解码器装置。视频解码器包括被配置为实现上述方法的处理器。
在又一示例方面,公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现了这里描述的方法之一。
这些特征和其它特征在本文档中进行了描述。
附图说明
图1示出了图片的光栅扫描条带分割的示例,其中,图片被划分为12个片和3个光栅扫描条带。
图2示出了图片的矩形条带分割的示例,其中,图片被划分为24个片(6个片列和4个片行)和9个矩形条带。
图3示出了图片被分割成片和矩形条带的示例,其中,图片被划分为4个片(2个片列和2个片行)和4个矩形条带。
图4示出了图片被分割为18个片、24个条带和24个子图片。
图5示出了图片中4:2:2亮度样点和色度样点的标称竖直位置和标称水平位置。
图6示出了图片分割的示例。实线602代表片的边界;虚线604代表条带的边界,虚线606代表子图片的边界。图中指示了四个条带的图片级别索引、解码顺序索引、子图片级别索引以及子图片的索引和片的索引。
图7是示例视频处理系统的框图。
图8是视频处理装置的框图。
图9是视频处理的示例方法的流程图。
图10是示出根据本公开的一些实施例的视频编解码系统的框图。
图11是示出根据本公开的一些实施例的编码器的框图。
图12是示出根据本公开的一些实施例的解码器的框图。
图13是根据本技术的用于视频处理的方法的流程图表示。
图14是根据本技术的用于视频处理的另一方法的流程图表示。
图15是根据本技术的用于视频处理的另一方法的流程图表示。
图16是根据本技术的用于视频处理的另一方法的流程图表示。
图17是根据本技术的用于视频处理的另一方法的流程图表示。
图18是根据本技术的用于视频处理的另一方法的流程图表示。
图19是根据本技术的用于视频处理的另一方法的流程图表示。
图20是根据本技术的用于视频处理的另一方法的流程图表示。
图21是根据本技术的用于视频处理的另一方法的流程图表示。
图22是根据本技术的用于视频处理的另一方法的流程图表示。
图23是根据本技术的用于视频处理的另一方法的流程图表示。
图24是根据本技术的用于视频处理的另一方法的流程图表示。
图25是根据本技术的用于视频处理的另一方法的流程图表示。
图26是根据本技术的用于视频处理的另一方法的流程图表示。
图27是根据本技术的用于视频处理的另一方法的流程图表示。
图28是根据本技术的用于视频处理的另一方法的流程图表示。
图29是根据本技术的用于视频处理的另一方法的流程图表示。
图30是根据本技术的用于视频处理的另一方法的流程图表示。
图31是根据本技术的用于视频处理的另一方法的流程图表示。
具体实施方式
在本文件中使用章节标题是为了便于理解,并且不限制每个章节中公开的技术和实施例仅应用于该章节。此外,在一些说明书中使用H.266术语只是为了便于理解,而不是为了限制所公开技术的范围。这样,本文所描述的技术也应用于其它视频编解码器协议和设计。
1.概述
本文档涉及视频编解码技术。具体地,它是关于子图片、片和条带的信令。这些思想可以单独或以各种组合应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器,例如,正在开发的通用视频编解码(VVC)。
2.缩写
APS 自适应参数集
AU 访问单元
AUD 访问单元分隔符
AVC 高级视频编解码
CLVS 编解码层视频序列
CPB 编解码图片缓冲器
CRA 清洁随机访问
CTU 编解码树单元
CVS 编解码视频序列
DPB 解码图片缓冲器
DPS 解码参数集
EOB 比特流结尾
EOS 序列结尾
GDR 逐步解码刷新
HEVC 高效视频编解码
HRD 假设参考解码器
IDR 即时解码刷新
JEM 联合探索模型
MCTS 运动约束的片组
NAL 网络抽象层
OLS 输出层集
PH 图片标头
PPS 图片参数集
PTL 档次、层和级别
PU 图片单元
RBSP 原始字节序列有效载荷
SEI 补充增强信息
SPS 序列参数集
SVC 可缩放视频编解码
VCL 视频编解码层
VPS 视频参数集
VTM VVC测试模型
VUI 视频可用性信息
VVC 多功能视频编解码
3.初步讨论
视频编解码标准主要是通过著名的ITU-T和ISO/IEC标准的发展而发展起来的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4Visual,并且这两个组织联合制作了H.262/MPEG-2视频标准和H.264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)标准以及H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中,使用了时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(Joint Video Exploration Team,JVET)。此后,许多新方法被JVET采用,并被应用到名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。JVET会议每季度同时举行一次,并且新的编解码标准的目标是比HEVC降低50%的比特率。在2018年4月的JVET会议上,新的视频编解码标准被正式命名为通用视频编解码(Versatile Video Coding,VVC),并且当时发布了VVC测试模型(VTM)的第一个版本。随着致力于VVC标准化的不断努力,每次JVET会议都会为VCC标准采用新的编解码技术。然后在每次会议后更新VVC工作草案和测试模型VTM。VVC项目目前的目标是在2020年7月的会议上实现技术完成(FDIS)。
3.1.HEVC中的图片分割方案
HEVC包括四种不同的图片分割方案,即常规条带、依赖条带、片和波前并行处理(Wavefront Parallel Processing,WPP),其可用于最大传输单元(Maximum TransferUnit,MTU)尺寸匹配、并行处理和减少的端到端延迟。
常规条带与H.264/AVC中的相似。每个常规条带被封装在其自己的NAL单元中,并且跨条带边界的图片内预测(帧内样点预测、运动信息预测、编解码模式预测)和熵编解码依赖性被禁用。因此,可以独立于同一图片内的其他常规条带来重建常规条带(尽管由于环路滤波操作可能仍然存在相互依赖性)。
常规条带是唯一可用于并行化的工具,在H.264/AVC中也以几乎相同的形式可用。基于常规条带的并行化不需要太多的处理器间或内核间通信(除了在对预测编解码图片进行解码时用于运动补偿的处理器间数据共享或内核间数据共享,由于图片内预测,其通常比处理器间数据共享或内核间数据共享重要得多)。然而,出于同样的原因,由于条带标头的比特成本以及缺乏跨条带边界的预测,使用常规条带会导致大量编解码开销。此外,由于常规条带的图片内独立性以及每个常规条带被封装在它自己的NAL单元中,常规条带(与下面提到的其他工具相比)还用作比特流分割的关键机制,以匹配MTU尺寸要求。在许多情况下,并行化的目标和MTU尺寸匹配的目标对图片中的条带布局提出了矛盾的要求。对这种情况的认识导致了下面提到的并行化工具的开发。
依赖条带具有短的标头,并且允许在树块边界处分割比特流,而不破坏任何图片内预测。基本上,依赖条带提供将常规条带划分成多个NAL单元,以通过允许常规条带的一部分在整个常规条带的编码完成之前被发送出去来提供减少的端到端延迟。
在WPP中,图片被分割成单个编解码树块(CTB)行。熵解码和预测被允许使用来自其他分割中CTB的数据。通过CTB行的并行解码,并行处理是可能的,其中,CTB行的解码的开始被延迟了两个CTB,从而确保在对象CTB被解码之前,与对象CTB的上方和右侧CTB相关的数据是可用的。使用这种交错的开始(当以图形表示时,它看起来像一个波前),并行化可以使用与图片包含的CTB行一样多的处理器/内核。因为允许图片内相邻树块行之间的图片内预测,所以实现图片内预测所需的处理器间/内核间通信可能是大量的。与未应用时相比,WPP分割不会导致产生额外的NAL单元,因此WPP不是为了MTU尺寸匹配的工具。然而,如果需要MTU尺寸匹配,常规条带可以与WPP一起使用,但会有一定的编解码开销。
片定义了将图片分割为片列和片行的水平边界和垂直边界。片列从图片的顶部延伸到图片的底部。同样,片行从图片的左边延伸到图片的右边。图片中的片的数量可以简单地通过片列的数量乘以片行的数量来导出。
在以图片的片光栅扫描的顺序解码下一个片的左上CTB之前,CTB的扫描顺序被改变为在片内是局部的(以片的CTB光栅扫描的顺序)。与常规条带类似,片打破了图片内预测依赖性以及熵解码依赖性。然而,它们不需要被包括在单个NAL单元中(在这方面与WPP相同);因此,片不能用于MTU尺寸匹配。每个片可以由一个处理器/内核来处理,并且对相邻片进行解码的处理单元之间的图片内预测所需的处理器间/内核间通信限于在一个条带跨越不止一个片的情况下传送共享的条带标头,以及重建样点和元数据的与循环滤波有关的共享。当一个条带中包括不止一个片或WPP段时,条带中除第一个片之外的每个片或WPP段的入口点字节偏移在条带标头中信令通知。
为简单起见,在HEVC中已经规定了对四种不同图片分割方案的应用的限制。给定的编解码视频序列不能包括HEVC标准中规定的大部分档次的片和波前二者。对于每个条带和片,必须满足以下条件中的一个或两个:1)条带中的所有编解码树块属于同一个片;2)片中的所有编解码的树块属于同一条带。最后,一个波前段正好包含一个CTB行,当使用WPP时,如果一个条带从CTB行开始,它必须在同一个CTB行结束。
2017年10月24日公开发布的JCT-VC输出文档JCTVC-AC1005、J.Boyce、A.Ramasubramonian、R.Skupin、G.J.Sullivan、A.Tourapis、Y.-K.Wang(编辑)、“HEVC附加补充增强信息(草案4)”中规定了对HEVC的最新修订:http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zip。随着该修订的包括,HEVC规定了三种MCTS相关的SEI(补充增强信息)消息,即时域MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。
时域MCTS SEI消息指示比特流中MCTS的存在,并且信令通知MCTS。对于每个MCTS,运动矢量被限制为指向MCTS内的全样点位置和仅需要MCTS内的全样点位置进行插值的分数样点位置,并且不允许使用从MCTS外的块导出的用于时域运动矢量预测的运动矢量候选。这样,每个MCTS可以被独立解码,而不存在不包括在MCTS中的片。
MCTS提取信息集SEI消息提供了可以在MCTS子比特流提取中使用的补充信息(被规定为SEI消息的语义的一部分),以生成符合MCTS集的比特流。该信息由多个提取信息集组成,每个提取信息集定义多个MCTS集,并包含将在MCTS子比特流提取过程中使用的替换VPS、SPS和PPS的RBSP字节。当根据MCTS子比特流提取过程提取子比特流时,参数集(VPS、SPS和PPS)需要被重写或替换,因为一个或所有条带地址相关的语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值,所以条带标头需要稍微更新。
3.2.VVC中的图片分割
在VVC中,图片被分成一个或多个片行以及一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片中的CTU在该片中以光栅扫描顺序被扫描。
一个条带由整数个完整的片或图片的一个片内的整数个连续的完整的CTU行组成。
支持两种条带模式,即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式下,条带包含图片的片光栅扫描中的完整片的序列。在矩形条带模式下,条带包含共同形成图片的矩形区域的多个完整的片,或者共同形成图片的矩形区域的一个片的多个连续的完整的CTU行。矩形条带内的片在与该条带对应的矩形区域内以片光栅扫描顺序被扫描。
子图片包含共同覆盖图片的矩形区域的一个或多个条带。
图1示出了图片的光栅扫描条带分割的示例,其中,图片被划分成12个片和3个光栅扫描条带。
图2示出了图片的矩形条带分割的示例,其中,图片被划分成24个片(6个片列和4个片行)和9个矩形条带。
图3示出了图片被划分成片和矩形条带的示例,其中,图片被划分成4个片(2个片列和2个片行)和4个矩形条带。
图4示出了图片的子图片划分的示例,其中,图片被划分成18个片,左手边的12个片每个覆盖一个4×4CTU的条带,右手边的6个片每个覆盖2个2×2CTU的垂直堆叠条带,总共产生24个条带和24个不同维度的子图片(每个条带为一个子图片)。
3.3.VVC中SPS/PPS/图片标头/条带标头的信令
7.3.2.3序列参数集RBSP语法
Figure GDA0003944866020000121
Figure GDA0003944866020000131
Figure GDA0003944866020000141
Figure GDA0003944866020000151
Figure GDA0003944866020000161
Figure GDA0003944866020000171
Figure GDA0003944866020000181
7.3.2.4图片参数集RBSP语法
Figure GDA0003944866020000182
Figure GDA0003944866020000191
Figure GDA0003944866020000201
Figure GDA0003944866020000211
7.3.2.7图片标头结构语法
Figure GDA0003944866020000212
Figure GDA0003944866020000221
Figure GDA0003944866020000231
Figure GDA0003944866020000241
Figure GDA0003944866020000251
7.3.7.1通用条带标头语法
Figure GDA0003944866020000252
Figure GDA0003944866020000261
Figure GDA0003944866020000271
Figure GDA0003944866020000281
3.4.片、条带和子图片的示例规范
3定义
图片级别条带索引:当rect_slice_flag等于1时,图片中的条带列表(按照它们在PPS中信令通知的顺序)的条带索引。
子图片级别条带索引:当rect_slice_flag等于1时,子图片中的条带列表(按照它们在PPS中被信令通知的顺序)的条带索引。
6.5.1 CTB光栅扫描、片扫描和子图片扫描过程
规定片列的数量的变量NumTileColumns以及规定第i个片列的以CTB为单位的宽度的列表colWidth[i](其中i的范围从0到NumTileColumn-1,包括端值)的推导如下:
Figure GDA0003944866020000282
Figure GDA0003944866020000291
规定片行的数量的变量numtierrows以及规定第j个片行的以CTB为单位的高度的的列表RowHeight[j](其中j的范围从0到NumTileRows-1,包含端值)的推导如下:
Figure GDA0003944866020000292
变量NumTilesInPic被设置为等于NumTileColumns*NumTileRows。
规定第i个片列边界的以CTB为单位的位置的列表tileColBd[i](其中i的范围从0到NumTileColumns,包含端值)的推导如下:
for(tileColBd[0]=0,i=0;i<NumTileColumns;i++)
tileColBd[i+1]=tileColBd[i]+colWidth[i] (25)
注1–数组tileColBd[]的大小比CtbToTileColBd[]的推导中的片列的实际数量大1。
规定第j个片行边界的以CTB为单位的位置的列表tileRowBd[j](其中j的范围从0到NumTileRows,包含端值)的推导如下:
for(tileRowBd[0]=0,j=0;j<NumTileRows;j++)
tileRowBd[j+1]=tileRowBd[j]+RowHeight[j] (26)
注2–上述推导中的数组tileRowBd[]的大小比CtbToTileRowBd[]的推导中的片行的实际数量大1。
规定从水平CTB地址到以CTB为单位的左片列边界的转换的列表CtbToTileColBd[ctbAddrX](其中ctbAddrX的范围从0到PicWidthInCtbsY,包含端值)的推导如下:
Figure GDA0003944866020000301
注3–在上面的推导中的数组CtbToTileColBd[]的大小比推导slice_data()信令中CTB中的实际图片宽度数大1。
规定从垂直CTB地址到以CTB为单位的顶部片列边界的转换的列表CtbToTileRowBd[ctbAddrY](其中,ctbAddrY的范围从0到PicHeightInCtbsY,包含端值)的推导如下:
Figure GDA0003944866020000302
注4–在上述推导中的数组CtbToTileRowBd[]的大小比slice_data()信令中CTB中图片高度的实际数量大1。
对于矩形条带,规定第i个条带中的CTU的数量的列表NumCtusInSlice[i](其中i的范围从0到num_slices_in_pic_minus1,含端值)、规定条带的左上角片的索引的列表SliceTopLeftTileIdx[i](其中i的范围从0到num_slices_in_pic_minus1,包含端值)、以及规定第i个条带内的第j个CTB的图片光栅扫描地址的矩阵CtbAddrInSlice[i][j](其中i范围从0到num_slices_in_pic_minus1(含端值)且j的范围从0到NumCtusInSlice[i]-1(含端值))的推导如下:
Figure GDA0003944866020000303
Figure GDA0003944866020000311
Figure GDA0003944866020000321
其中,按照以下方式规定函数AddCtbsToSlice(sliceIdx,startX,stopX,startY,stopY):
Figure GDA0003944866020000322
比特流一致性的一个要求是,NumCtusInSlice[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))的值应大于0。此外,比特流一致性的一个要求是,矩阵CtbAddrInSlice[i][j](其中i的范围从0到num_slices_in_pic_minus1(含端值)且j的范围从0到NumCtusInSlice[i]-1(含端值))应包括范围从0到PicSizeInCtbsY-1的所有CTB地址一次且仅一次。
规定从图片光栅扫描中的CTB地址到子图片索引的转换的列表CtbToSubpicIdx[ctbAddrRs](其中tbAddrRs的范围从0到PicSizeInCtbsY-1,含端值)的推导如下:
Figure GDA0003944866020000323
Figure GDA0003944866020000331
规定第i个子图片中的矩形条带的数量的列表NumSlicesInSubpic[i]的推导如下:
Figure GDA0003944866020000332
7.3.4.3图片参数集RBSP语义
subpic_id_mapping_in_pps_flag等于1规定在PPS中信令通知子图片ID映射。subpic_id_mapping_in_pps_flag等于0规定在PPS中不信令通知子图片ID映射。如果subpic_id_mapping_explicitly_signaled_flag为0或subpic_id_mapping_in_sps_flag等于1,则subpic_id_mapping_in_pps_flag的值应等于0。否则(subpic_id_mapping_explicitly_signaled_flag等于1,subpic_id_mapping_in_sps_flag等于0),subpic_id_mapping_in_pps_flag的值应等于1。
pps_num_subpics_minus1应等于sps_num_subpics_minus1。
pps_subpic_id_len_minus1应等于sps_subpic_id_len_minus1。
pps_subpic_id[i]规定第i个子图片的子图片ID。pps_subpic_id[i]语法元素的长度为pps_subpic_id_len_minus1+1位。
对于0至sps_num_subpics_minus1(含端值)范围内的每个i值,变量SubpicIdVal[i]的推导如下:
for(i=0;i<=sps_num_subpics_minus1;i++)
if(subpic_id_mapping_explicitly_signalled_flag)
SubpicIdVal[i]=subpic_id_mapping_in_pps_flag?pps_subpic_id[i]:sps_subpic_id[i](80)
else
SubpicIdVal[i]=i
比特流一致性的一个要求是应用以下两个约束:
–对于0到sps_num_subpics_minus1(含端值)范围内的任何两个不同的i和j值,SubpicIdVal[i]不应等于SubpicIdVal[j]。
–当当前图片不是CLVS的第一个图片时,对于0到sps_num_subpics_minus1(含端值)范围内的每个i值,如果SubpicIdVal[i]的值不等于同一层中按照解码顺序的前一个图片的SubpicIdVal[i]的值,则具有子图片索引i的当前图片中的子图片的所有编解码条带NAL单元的nal_unit_type应等于IDR_W_RADL到CRA_NUT(含端值)范围内的特定值。
no_pic_partition_flag等于1规定没有图片划分被应用于参考PPS的每个图片。no_pic_partition_flag等于0规定参考PPS的每个图片可以被划分成不止一个片或条带。
比特流一致性的一个要求是,no_pic_partition_flag的值对于CLVS内编解码图片所参考的所有PPS应该是相同的。
比特流一致性的一个要求是,当sps_num_subpics_minus1+1的值大于1时,no_pic_partition_flag的值不应等于1。
pps_log2_ctu_size_minus5加5规定每个CTU的亮度编解码树块尺寸。pps_log2_ctu_size_minus5应等于sps_log2_ctu_size_minus5。
num_exp_tile_columns_minus1加1规定显式地提供的片列宽度的数量。num_exp_tile_columns_minus1的值应在0到PicWidthInCtbsY-1(含端值)的范围内。当no_pic_partition_flag等于1时,num_exp_tile_columns_minus1的值被推断为等于0。
num_exp_tile_rows_minus1加1规定显式地提供的片行高度的数量。num_exp_tile_rows_minus1的值应在0到PicHeightInCtbsY-1(含端值)的范围内。当no_pic_partition_flag等于1时,num_tile_rows_minus1的值被推断为等于0。
tile_column_width_minus1[i]加1规定第i个片列的以CTB为单位的宽度,i的范围为0到num_exp_tile_columns_minus1-1(含端值)。tile_column_width_minus1[num_exp_tile_columns_minus1]用于导出索引大于或等于如6.5.1条款中规定的num_exp_tile_columns_minus1的片列的宽度。tile_column_width_minus1[i]的值应在0到PicWidthInCtbsY-1(含端值)的范围内。当不存在时,tile_column_width_minus1[0]的值推断为等于PicWidthInCtbsY-1。
tile_row_height_minus1[i]加1规定第i个片行的以CTB为单位的高度,i的范围为0到num_exp_tile_rows_minus1-1(含端值)。tile_row_height_minus1[num_exp_tile_rows_minus1]用于推导索引大于或等于如6.5.1条款中规定的num_exp_tile_rows_minus1的片行的高度。tile_row_height_minus1[i]的值应在0到PicHeightInCtbsY-1(含端值)的范围内。当不存在时,tile_row_height_minus1[0]的值被推断为等于PicHeightInCtbsY-1。
rect_slice_flag等于0规定每个条带内的片处于光栅扫描顺序,并且条带信息在PPS中不被信令通知。rect_slice_flag等于1规定每个条带内的片覆盖图片的矩形区域,并且条带信息在PPS中被信令通知。当不存在时,rect_slice_flag被推断为等于1。当subpic_info_present_flag等于1时,rect_slice_flag的值应等于1。
single_slice_per_subpic_flag等于1规定每个子图片由一个且仅一个矩形条带组成。single_slice_per_subpic_flag等于0规定每个子图片可以由一个或多个矩形条带组成。当single_slice_per_subpic_flag等于1时,num_slices_in_pic_minus1被推断为等于sps_num_subpics_minus1。当不存在时,single_slice_per_subpic_flag的值被推断为等于0。
num_slices_in_pic_minus1加1规定参考PPS的每个图片中矩形条带的数量。num_slices_in_pic_minus1的值应在0到MaxSlicesPerPicture1(含端值)的范围内,其中,MaxSlicesPerPicture在附录A中被规定。当no_pic_partition_flag等于1时,num_slices_in_pic_minus1的值被推断为等于0。
tile_idx_delta_present_flag等于0规定tile_idx_delta值不存在于PPS中,并且引用PPS的图片中的所有矩形条带根据6.5.1条款中定义的过程以光栅顺序规定。tile_idx_delta_present_flag等于1规定tile_idx_delta值可以存在于PPS中,并且参考PPS的图片中的所有矩形条带以tile_idx_delta的值所指示的顺序来规定。当不存在时,tile_idx_delta_present_flag的值被推断为等于0。
slice_width_in_tiles_minus1[i]加1规定第i个矩形条带的以片列为单位的宽度。slice_width_in_tiles_minus1[i]的值应在0到NumTileColumns-1(含端值)的范围内。
当slice_width_in_tiles_minus1[i]不存在时,以下内容适用:
–如果NumTileColumns等于1,则slice_width_in_tiles_minus1[i]的值被推断为等于0。
–否则,slice_width_in_tiles_minus1[i]的值如6.5.1条款中规定地被推断。
slice_height_in_tiles_minus1[i]加1规定第i个矩形条带的以片行为单位的高度。slice_height_in_tiles_minus1[i]的值应在0到NumTileRows-1(含端值)的范围内。
当slice_height_in_tiles_minus1[i]不存在时,以下内容适用:
–如果NumTileRows等于1,或者tile_idx_delta_present_flag等于0,并且tileIdx%NumTileColumns大于0,则slice_height_in_tiles_minus1[i]的值被推断为等于0。
–否则(NumTileRows不等于1,且tile_idx_delta_present_flag等于1或tileIdx%NumTileColumns等于0),当tile_idx_delta_present_flag等于1或tileIdx%NumTileColumns等于0时,slice_height_in_tiles_minus1[i]的值被推断为等于slice_height_in_tiles_minus1[i-1]。
num_exp_slices_in_tile[i]规定在包含不止一个矩形条带的当前片中显式地提供的条带高度的数量。num_exp_slices_in_tile[i]的值应在0至RowHeight[tileY]-1(含端值)的范围内,其中,tileY是包含第i个条带的片行索引。当不存在时,num_exp_slices_in_tile[i]的值被推断为等于0。当num_exp_slices_in_tile[i]等于0时,变量NumSlicesInTile[i]的值被推导为等于1。
exp_slice_height_in_ctus_minus1[j]加1规定在当前片中第j个矩形条带的以CTU行为单位的高度。exp_slice_height_in_ctus_minus1[j]的值应在0至RowHeight[tileY]-1(含端值)的范围内,其中,tileY是当前片的片行索引。
当num_exp_slices_in_tile[i]大于0时,变量NumSlicesInTile[i]和k的范围在0到NumSlicesInTile[i]-1内的SliceHeightInCtusMinus1[i+k]的推导如下:
Figure GDA0003944866020000371
tile_idx_delta[i]规定第i个矩形条带中的第一个片的片索引与第i+1个矩形条带中的第一个片的片索引之间的差。tile_idx_delta[i]的值应在-NumTilesInPic+1至NumTilesInPic-1(含端值)范围内。当不存在时,tile_idx_delta[i]的值被推断为等于0。当存在时,tile_idx_delta[i]的值不应等于0。
……
7.4.2.4.5VCL NAL单元的顺序及其与编解码图片的关联
编解码图片内的VCL NAL单元的顺序被约束如下:
–对于一个编解码图片的任意两个编解码条带NAL单元A和B,设subpicIdxA和subpicIdxB为其子图片级别索引值,sliceAddrA和sliceddrB为其slice_address值。
–当以下任一条件为真时,编解码条带NAL单元A应在编解码条带NAL单元B之前:
–subpicIdxA小于subpicIdxB。
–subpicIdxA等于subpicIdxB,sliceAddrA小于sliceAddrB。
7.4.8.1通用条带标头语义
规定包含cu_qp_delta_abs的编解码单元的亮度量化参数与其预测之间的差的变量CuQpDeltaVal被设置为等于0。规定当确定包含cu_chroma_qp_offset_flag的编解码单元的Qp′、Qp′Cr和Qp′CbCr量化参数的相应值时要使用的值的变量CuQpOffsetCb、CuQpOffsetCr和CuQpOffsetCbCr都被设置为等于0。
picture_header_in_slice_header_flag等于1规定PH语法结构存在于条带标头中。
picture_header_in_slice_header_flag等于0规定PH语法结构不存在于条带标头中。
比特流一致性的一个要求是,在CLVS的所有编解码条带中,picture_header_in_slice_header_flag的值应该相同。
当已编解码条带的picture_header_in_slice_header_flag等于1时,比特流一致性的一个要求是CLVS中不应出现nal_unit_type等于PH_NUT的VCL NAL单元。
当picture_header_in_slice_header_flag等于0时,当前图片中的所有编解码的条带应当具有等于0的picture_header_in_slice_header_flag,并且当前PU应当具有PHNAL单元。
slice_subpic_id规定包含条带的子图片的子图片ID。如果slice_subpic_id存在,则变量CurrSubpicIdx的值被推导出,使得SubpicIdVal[CurrSubpicIdx]等于slice_subpic_id。否则(slice_subpic_id不存在),推导出CurrSubpicIdx等于0。slice_subpic_id的长度为sps_subpic_id_len_minus1+1位。
slice_address规定条带的条带地址。当不存在时,slice_address的值被推断为等于0。当rect_slice_flag等于1且NumSlicesInSubpic[CurrSubpicIdx]等于1时,slice_address的值被推断为等于0。
如果rect_slice_flag等于0,以下内容适用:
-条带地址是光栅扫描片索引。
-slice_address的长度为Ceil(Log2(NumTilesInPic))位。
-slice_address的值应在0到NumTilesInPic1-1(含端值)的范围内。
否则(rect_slice_flag等于1),以下内容适用:
-条带地址是条带的子图片级别条带索引。
-slice_address的长度为Ceil(Log2(NumSlicesInSubpic[CurrSubpicIdx]))位。
-slice_address的值应在0到NumSlicesInSubpic[CurrSubpicIdx]-1(含端值)的范围内。
比特流一致性的一个要求是应用以下约束:
-如果rect_slice_flag等于0或subpic_info_present_flag等于0,则slice_address的值不应等于同一编解码图片的任何其它编解码条带NAL单元的slice_address的值。
-否则,该对slice_subpic_id值和slice_address值不应等于同一编解码图片的任何其它编解码条带NAL单元的该对slice_subpic_id值和slice_address值。
-图片的条带的形状应该是这样的,当解码时,每个CTU的整个左边界和整个上边界应该由图片边界或由先前解码的(一个或多个)CTU的边界组成。
sh_extra_bit[i]可以等于1或0。符合此规范的此版本的解码器应忽略sh_extra_bit[i]的值。它的值不影响解码器符合此版本的规范中规定的档次。
num_tiles_in_slice_minus1加1(当存在时)规定条带中的片的数量。num_tiles_in_slice_minus1的值应在0到NumTilesInPic-1(含端值)的范围内。
变量NumCtusInCurrSlice规定当前条带中CTU的数量,规定条带内第i个CTB的图片光栅扫描地址的列表CtbAddrInCurrSlice[i](其中i的范围从0到NumCtusInCurrSlice-1(含端值))的推导如下:
Figure GDA0003944866020000391
Figure GDA0003944866020000401
变量SubpicLeftBoundaryPos、SubpicTopBoundaryPos、SubpicRightBoundaryPos和SubpicBotBoundaryPos的推导如下:
Figure GDA0003944866020000402
3.5.颜色空间和色度子采样
颜色空间,也称为颜色模型(或颜色系统),是一种抽象的数学模型,它简单地将颜色范围描述为数字元组,数字元组通常为3个或4个值或颜色分量(例如RGB)。从根本上说,颜色空间是坐标系统和子空间的一种阐述。
对于视频压缩,最常用的颜色空间是YCbCr和RGB。
YCbCr、Y′CbCr或Y Pb/Cb Pr/Cr(也写作YCBCR或Y'CBCR)是在视频和数字摄影系统中用作彩色图像流水线(pipeline)的一部分的颜色空间族(a family of colorspaces)。Y′是亮度分量并且CB和CR是蓝色差(blue-difference)色度分量和红色差(red-difference)色度分量。Y′(带撇)区别于Y(Y是亮度),这意味着光强度是基于伽马校正的RGB原色进行非线性编码的。
色度子采样是通过利用人类视觉系统对色差的敏感度低于对亮度的敏感度,对色度信息实现比亮度信息低的分辨率来编码图片的实践。
3.5.1. 4:4:4
三个Y'CbCr分量中的每个具有相同的采样率,因此没有色度子采样。这种方案有时用于高端胶片扫描仪和电影后期制作。
3.5.2. 4:2:2
两个色度分量以亮度采样速率的一半进行采样:水平色度分辨率减半,而垂直色度分辨率不变。这将未压缩视频信号的带宽减少了三分之一,但几乎没有视觉差异。在VVC工作草案的图5中描绘了4:2:2颜色格式的标称垂直位置和标称水平位置的示例。
3.5.3. 4:2:0
与4:1:1相比,4:2:0中的水平采样增加了一倍,但由于Cb通道和Cr通道仅在该方案中的每条交替线上进行采样,因此垂直分辨率减半。因此,数据率是相同的。Cb和Cr均在水平方向和垂直方向以2的因子进行子采样。4:2:0方案有三种变体,具有不同的水平位置和垂直位置。
·在MPEG-2中,Cb和Cr水平地共存。Cb和Cr位于垂直方向上的像素之间(位于空隙中)。
·在JPEG/JFIF、H.261和MPEG-1中,Cb和Cr位于交替的亮度样点之间的中间。
·在4:2:0DV中,Cb和Cr在水平方向上共址(co-sited)。在垂直方向上,它们在交替的线上共址。
表3-1。从chroma_format_idc和separate_colour_plane_flag推导出的SubWidthC和SubHeightC值
Figure GDA0003944866020000411
4.由公开的实施例解决的技术问题的示例
VVC中SPS/PPS/图片标头/条带标头的信令的现有设计存在以下问题:
1)根据当前的VVC文本,当rect_slice_flag等于1时,以下内容适用:
a.slice_address表示条带的子图片级别条带索引。
b.子图片级别条带索引被定义为子图片中的条带列表(按照它们在PPS中被信令通知的顺序)的条带索引。
c.图片级别条带索引被定义为图片中的条带列表(按照它们在PPS中被信令通知的顺序)的条带索引。
d.对于属于两个不同子图片的任何两个条带,与较小子图片索引相关联的条带在解码顺序中更靠前,而对于属于同一子图片的任何两个条带,具有较小子图片级别条带索引的条带在解码顺序中更靠前。
e.并且假设图片级别条带索引值的增加顺序与条带的解码顺序相同,通过当前VVC文本中的等式117对规定当前条带中的CTU的数量的变量NumCtusInCurrSlice进行推导。
然而,当一些条带是由划分一个片产生时,可能会违反上述一些方面。作为图6中所示的示例,当图片被垂直片边界划分成两个片,并且这两个片中的每个被跨整个图片的相同水平边界划分成两个条带时,上面的两个条带被包括在第一子图片中,下面的两个条带被包括在第二子图片中。在这种情况下,根据当前VVC文本,以条带光栅扫描顺序的四个条带的图片级别条带索引值将是0、2、1、3,而以条带光栅扫描顺序的四个条带的解码顺序索引值将是0、1、2、3。因此,NumCtusInCurrSlice的推导将是不正确的,并且反过来条带数据的解析将是有问题的,解码的样点值将是不正确的,并且解码器可能会崩溃。
2)有两种类型的条带信令通知方法。在矩形模式下,在PPS中信令通知所有条带分割信息。在非矩形模式下,在条带标头中信令通知部分条带分割信息,因此在这种模式下,在解析图片的所有条带之前,无法知道图片的完整条带划分。
3)在矩形模式下,可能通过设置tile_idx_delta来任意信令通知条带。一个不好的比特流可能会使解码器因这种机制而崩溃。
4)在一些实施例中,当i等于num_slices_in_pic_minus1时,未初始化tile_idx_delta[i]。
图6示出了图片划分的示例。实线602表示片的边界;虚线604表示条带的边界,虚线606表示子图片的边界。图中示出了四个条带的图片级别索引、解码顺序索引、子图片级别索引以及子图片和片的索引。
5.示例实施例和技术
为了解决上述问题以及其他问题,公开了如下总结的方法。本发明应该被视为解释一般概念的示例,而不应该以狭隘的方式解释。此外,这些发明可以单独应用或以任何方式组合应用。
1.对于矩形条带模式的条带(即,当rect_slice_flag等于1时),导出每个子图片中的每个条带的图片级别条带索引,并且导出的值用于导出每个条带中的CTU的数量。
2.子图片级别条带索引可以用以下方式定义/导出:
a.在一个示例中,子图片级别条带索引被定义为“当rect_slice_flag等于1时,子图片中的条带的列表(按照它们的解码顺序)的条带索引”。
b.可选择地,子图片级别条带索引被定义为“当rect_slice_flag等于1时,子图片中的条带列表的条带索引,如等式32中(如在实施例1中)导出的变量SubpicLevelSliceIdx[i]所规定的,其中,i是条带的图片级别条带索引”。
c.在一个示例中,导出具有图片级别条带索引的特定值的每个条带的子图片索引。
d.在一个示例中,导出具有图片级别条带索引的特定值的每个条带的子图片级别条带索引。
e.在一个示例中,当rect_slice_flag等于1时,条带地址的语义被规定为“条带地址是如等式32中(例如,如在实施例1中)导出的变量SubpicLevelSliceIdx[i]所规定的条带的子图片级别条带索引,其中,i是条带的图片级别条带索引”。
3.条带的子图片级别条带索引被分配给包含该条带的第一子图片中的条带。每个条带的子图片级别条带索引可以存储在由图片级别条带索引索引的数组(例如,实施例1中的SubpicLevelSliceIdx[i])中。
a.在一个示例中,子图片级别条带索引是非负整数。
b.在一个示例中,条带的子图片级别条带索引的值大于或等于0。
c.在一个示例中,条带的子图片级别条带索引的值小于N,其中,N是子图片中条带的数量。
d.在一个示例中,如果第一条带(条带A)和第二条带(条带B)在同一子图片中但是它们不同,则第一条带的第一子图片级别条带索引(表示为subIdxA)必须不同于第二条带的第二子图片级别条带索引(表示为subIdxB)。
e.在一个示例中,如果第一子图片中的第一条带(条带A)的第一子图片级别条带索引(表示为subIdxA)小于同一第一子图片中的第二条带(条带B)的第二子图片级别条带索引(表示为subIdxB),则IdxA小于IdxB,其中,idxA和idxB分别表示条带A和条带B的在整个图片中的条带索引(也称为图片级别条带索引,例如sliceIdx)
f.在一个示例中,如果第一子图片中的第一条带(条带A)的第一子图片级别条带索引(表示为subIdxA)小于同一第一子图片中的第二条带(条带B)的第二子图片级别条带索引(表示为subIdxB),则条带A在解码顺序中位于条带B之前。
g.在一个示例中,子图片中的子图片级别条带索引是基于图片级别条带索引(例如,sliceIdx)导出的。
4.提出在子图片中的子图片级别条带索引与图片级别条带索引之间导出映射函数/映射表。
a.在一个示例中,导出二维数组PicLevelSliceIdx[subPicIdx][SubPicLevelSliceIdx]以将子图片中的子图片级别条带索引映射到图片级别条带索引,其中,PicLevelSliceIdx表示条带的图片级别条带索引,subPicIdx表示子图片的索引,SubPicLevelSliceIdx表示子图片中的条带的子图片级别条带索引。
i.在一个示例中,数组NumSlicesInSubpic[subPicIdx]用于导出PicLevelSliceIdx,其中,NumSlicesInSubpic[subPicIdx]表示索引等于subPicIdx的子图片中的条带数量。
1)在一个示例中,NumSlicesInSubpic[subPicIdx]和PicLevelSliceIdx[subPicIdx][SubPicLevelSliceIdx]是通过以图片级别条带索引的顺序扫描所有条带而在单个处理中导出的。
a.在处理之前,对于所有有效的subPicIdx,NumSlicesInSubpic[subPicIdx]被设置为等于0。
b.当检查图片级别索引等于S的条带时,如果它在子图片索引等于P的子图片中,则将PicLevelSliceIdx[P][NumSlicesInSubpic[P]]设置为等于S,然后将NumSlicesInSubpic[P]设置为等于NumSlicesInSubpic[P]+1。
ii.在一个示例中,SliceIdxInPic[subPicIdx][SubPicLevelSliceIdx]用于导出图片级别条带索引(例如,picLevelSliceIdx),该图片级别条带索引然后用于在解析条带标头时导出条带中CTB的数量和/或地址。
5.一致性比特流要求一个片不能位于多个子图片中。
6.一致性比特流要求一个子图片不能包括两个条带(表示为条带A和条带B),其中,条带A在片A中但小于片A,而条带B在片B中但小于片B,并且片A和片B是不同的。
7.提出可以在相关联的图片标头中信令通知图片的片和/或条带分割信息。
a.在一个示例中,在相关联的PPS中信令通知图片的片和/或条带分割信息是在PPS中还是在相关联的图片标头中信令通知。
b.在一个示例中,在图片标头中信令通知图片的片和/或条带分割信息是否在相关联的图片标头中。
i.在一个示例中,如果在相关联的PPS和相关联的图片标头中都信令通知了图片的片和/或条带分割信息,则将使用在图片标头中信令通知的图片的片和/或条带分割信息。
ii.在一个示例中,如果在相关联的PPS和相关联的图片标头中都信令通知了图片的片和/或条带分割信息,则将使用在PPS中信令通知的图片的片和/或条带分割信息。
c.在一个示例中,在高于图片的级别处的视频单元(诸如在SPS中)中信令通知,以指示图片的片和/或条带分割信息是在相关联的PPS中还是在相关联的图片标头中信令通知。
8.提出了当以非矩形模式将相关联的图片划分成条带时,在比条带级别高的更高级别视频单元(诸如PPS和/或图片标头)中信令通知条带分割信息。
a.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,可在较高级别视频单元中信令通知指示条带数量的信息(例如,num_slices_in_pic_minus1)。
b.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,在较高级别视频单元中信令通知指示条带的第一块单元的索引(或地址、或位置、或坐标)的信息。例如,块单元可以是CTU或片。
c.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,在较高级别视频单元中信令通知指示条带的块单元的数量的信息。例如,块单元可以是CTU或片。
d.在一个示例中,当以非矩形模式在条带中划分相关联的图片时,条带分割信息(例如,num_tiles_in_slice_minus1)不在条带标头中信令通知。
e.在一个示例中,当相关联的图片以非矩形模式被划分成条带时,在条带标头中信令通知条带索引。
i.在一个示例中,当相关联的图片以非矩形模式被划分成条带时,slice_address被解释为图片级别条带索引。
f.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,图片中的每个条带的分割信息(诸如,第一块单元的索引和/或块单元的数量)可在较高级别视频单元中按顺序信令通知。
i.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,可针对较高级别视频单元中的每个条带信令通知条带的索引。
ii.在一个示例中,每个条带的分割信息以条带索引的升序信令通知。
1)在一个示例中,每个条带的分割信息以条带0、条带1、……、条带K-1、条带K、条带K+1、……、条带S-2、条带S-1的顺序信令通知,其中,K表示条带索引,S表示图片中的条带数量。
iii.在一个示例中,每个条带的分割信息以条带索引的降序信令通知。
1)在一个示例中,每个条带的分割信息以条带S-2、条带S-1、……、条带K+1、条带K、条带K-1、……、条带1、条带0的顺序信令通知,其中,K表示条带索引,S表示图片中的条带数量。
iv.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,条带的第一块单元的索引可不在较高级别视频单元中信令通知。
1)例如,条带0(条带索引等于0的条带)的第一块单元的索引被推断为0。
2)例如,条带K(条带索引等于K的条带,K>0)的第一块单元的索引被推断为
Figure GDA0003944866020000471
其中,Ni表示条带i中块单元的数量。
v.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,条带的第一块单元的索引可不在较高级别视频单元中信令通知。
1)例如,条带0(条带索引等于0的条带)的第一块单元的索引被推断为0。
2)例如,条带K(条带索引等于K的条带,K>0)的第一块单元的索引被推断为
Figure GDA0003944866020000472
其中,Ni表示条带i中块单元的数量。
vi.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,可不在较高级别视频单元中信令通知条带的块单元的数量。
1)当图片中只有一个条带并且图片中有M个块单元时,条带0的块单元的数量是M。
2)例如,条带K(条带索引等于0的条带)的块单元数量被推断为TK+1-TK,其中,TK表示当K<S–1时条带K的第一块单元的索引,其中,S是图片中的条带的数量,S>1。
3)例如,条带S-1的块单元数量被推断为
Figure GDA0003944866020000481
其中,S是图片中条带的数量,S>1,M是图片中块单元的数量,
vii.在一个示例中,当以非矩形模式将相关联的图片划分成条带时,一个或一个以上条带的分割信息可以不在较高级别视频单元中信令通知。
1)在一个示例中,不在较高级别视频单元中信令通知的一个或一个以上条带的分割信息可由待信令通知的其它条带的分割信息来推断。
2)在一个示例中,最后C个条带的分割信息可以不信令通知。例如C等于1。
3)例如,条带S-1的块单元的数量没有信令通知,其中,S是图片中的条带的数量,并且S>1。
a.例如,条带S-1的块单元的数量被推断为
Figure GDA0003944866020000482
其中,在图片中有M个块单元。
9.提出图片中的条带的最小数量可以根据是应用矩形分割还是应用非矩形分割而不同。
a.在一个示例中,如果应用非矩形分割模式,则图片被划分成至少两个条带,而如果应用矩形分割模式,则图片被划分成至少一个条带。
i.例如,如果应用非矩形分割模式,则可以信令通知规定图片中的条带数量的num_slices_in_pic_minus2加2。
b.在一个示例中,如果应用非矩形分割模式,则图片被划分成至少一个条带,而如果应用矩形分割模式,则图片被划分成至少一个条带。
i.例如,如果应用矩形分割模式,则可以信令通知规定图片中的条带数量的num_slices_in_pic_minus2加2。
c.在一个示例中,当图片没有被划分成子图片或仅被划分成一个子图片时,根据是应用矩形分割还是应用非矩形分割,图片中条带的最小数量可以不同。
10.提出了当在诸如PPS或图片标头的视频单元中信令通知分割信息时,条带由左上位置和条带的宽度/高度来表示。
a.在一个示例中,信令通知条带的左上块单元(诸如CTU或片)的索引/位置/坐标,和/或用视频单元(诸如CTU或片)度量的宽度,和/或用视频单元(诸如CTU或片)度量的高度。
b.在一个示例中,每个条带的左上位置和宽度/高度的信息按顺序信令通知。
i.例如,每个条带的左上位置和宽度/高度的信息以条带索引的升序来信令通知,例如0、1、2、……、S-1,其中,S是图片中条带的数量。
11.提出在诸如SPS/PPS/图片标头的视频单元中信令通知子图片中的条带的分割信息(诸如位置/宽度/高度)。
a.在一个示例中,每个子图的条带分割信息按顺序信令通知。
i.例如,每个子图的条带分割信息以子图索引的升序来信令通知。
b.在一个示例中,子图中每个条带的分割信息(诸如位置/
宽度/高度)按顺序信令通知。
i.在一个示例中,子图中每个条带的分割信息(例如位置/宽度/高度)以子图片级别条带索引的升序信令通知。
12.提出不信令通知而是导出第i个矩形条带中的第一个片的片索引与第i+1个矩形条带中的第一个片的片索引之间的差(表示为tile_idx_delta[i])。
a.在一个示例中,基于从第0个矩形条带到第i个矩形条带的矩形条带,导出第i+1个矩形条带中的第一个片的片索引。
b.在一个示例中,第i+1个矩形条带中的第一个片的片索引被导出为不在从第0个矩形条带到第i个矩形条带的矩形条带内的片的最小索引。
13.提出了以图片的宽度与CTU的尺寸之间的关系为条件来信令通知用于导出片列/片行的数量(例如,NumTileColumns或NumTileRows)的信息。
a.例如,如果图片的宽度小于或等于CTU的尺寸或宽度,则可以不信令通知num_exp_tile_columns_minus1和/或tile_column_width_minus1。
b.例如,如果图片的高度小于或等于CTU的尺寸或高度,则可以不信令通知num_exp_tile_rows_minus1和/或tile_row_height_minus1。
14.当slice_subpic_id存在时,必须有且仅有一个满足SubpicIdVal[CurrSubpicIdx]等于slice_subpic_id的CurrSubpicIdx。
15.如果rect_slice_flag等于0或者subpic_info_present_flag等于0,则slice_address+i的值(其中,i在0到num_tiles_in_slice_minus1的范围内(含端值))不应等于同一编解码图片的任何其他编解码的条带NAL单元的slice_address+j的值(其中,j在0到num_tiles_in_slice_minus1(含端值)的范围内),其中,i在该范围内。
16.在图片中既有均匀间隔片又有非均匀间隔片的情况下,可以在PPS(或SPS)中信令通知语法元素来指定片布局的类型。
a.在一个示例中,可以在PPS中信令通知语法标志,以规定片布局是非均匀间隔后接均匀间隔,还是均匀间隔后接非均匀间隔。
b.例如,每当存在非均匀间隔片时,显式地提供的片列/片行的数量(例如,num_exp_tile_columns_minus1、num_exp_tile_rows_minus1)可以不小于非均匀片的总数。
c.例如,每当存在均匀间隔片时,显式地提供的片列/行的数量(例如,num_exp_tile_columns_minus1、num_exp_tile_rows_minus1)可以小于或等于均匀片的总数。
d.如果片布局类似于均匀间隔后接非均匀间隔(即,图片以均匀间隔片开始,以多个非均匀间隔片结束),
i.在一个示例中,位于图片的后面的非均匀间隔的片的片列的宽度可以首先以逆序(即,片索引的顺序等于NumTileColumns、NumTileColumns-1、NumTileColumns-2、……)被分配,然后位于图片的前面的均匀间隔的片的片列的宽度可以以逆序(即,片索引的顺序等于NumTileColumns-T、NumTileColumns-T-1、……、
2、1、0,其中,T表示非均匀片列的数量)被隐含地导出。
17.仅当条件为真时,才能使用规定两个矩形条带的代表性片索引之间的差的语法元素,其中,所述两个矩形条带中的一个是第i个条带(例如,tile_idx_delta[i])。
a.在一个示例中,条件是(i<num_slices_in_pic_minus1),其中,num_slices_in_pic_minus1加1表示图片中的条带的数量。
b.在一个示例中,条件是(i!=num_slices_in_pic_minus1),其中,num_slices_in_pic_minus1加1表示图片中的条带的数量。
18.是否和/或如何信令通知或解释或限制Merge估计区域(Merge EstimationRegion,MER)尺寸(例如,由log2_parallel_merge_level_minus2信令通知)可取决于最小允许编解码块尺寸(例如,信令通知/表示为log2_min_luma_coding_block_size_minus2和/或MinCbSizeY)。
a.在一个示例中,要求MER的尺寸不能小于最小允许编解码块尺寸。
i.例如,要求log2_parallel_merge_level_minus2应等于或大于log2_min_luma_coding_block_size_minus2。
ii.例如,要求log2_parallel_merge_level_minus2在log2_min_luma_coding_block_size_minus2到CtbLog2SizeY–2的范围内。
b.在一个示例中,信令通知Log2(MER尺寸)与Log2(MinCbSizeY)之间的差,这被表示为log2_parallel_merge_level_minus_log2_mincb。
i.例如,log2_parallel_merge_level_minus_log2_mincb由一元码(ue)编解码。
ii.例如,要求log2_parallel_merge_level_minus_log2_mincb应在0到CtbLog2SizeY-log2_min_luma_coding_block_size_minus2–2的范围内。
iii.例如,Log2ParMrgLevel=log2_parallel_merge_level_minus_log2_mincb+log2_min_luma_coding_block_size_minus2+2,其中,Log2ParMrgLevel用于控制MER尺寸。
19.提出当num_exp_slices_in_tile[i]等于0时,导出第i个条带的以CTU行为单位的条带高度,例如表示为sliceHeightInCtus[i]。
a.在一个示例中,当num_exp_slices_in_tile[i]等于0时,sliceHeightInCtus[i]被导出为等于RowHeight[SliceTopLeftTileIdx[i]/NumTileColumns]。
20.提出包含图片中第i个条带的片中的第num_exp_slices_in_tile[i]-1个条带总是存在,并且高度总是exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]-1]+1个CTU行。
a.可选择地,包含图片中第i个条带的条带中的第num_exp_slices_in_tile[i]-1个条带可能存在也可能不存在,并且高度小于或等于exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]-1]+1个CTU行。
21.提出了在导出矩形条带的信息期间,变量tileIdx仅针对具有小于num_slices_in_pic_minus1的图片级别条带索引的条带进行更新,即,变量tileIdx不针对参考PPS的每个图片中的最后条带进行更新。
22.提出第num_exp_tile_columns_minus1个片列总是存在于参考PPS的图片中,并且宽度总是tile_column_width_minus1[num_exp_tile_columns_minus1]+1个CTB。
23.提出第num_exp_tile_rows_minus1个片行总是存在于参考PPS的图片中,并且高度总是tile_column_height_minus1[num_exp_tile_rows_minus1]+1个CTB。
24.提出当最大图片宽度和最大图片高度都不大于CtbSizeY时,可以跳过语法元素sps_num_subpics_minus1的信令通知。
a.可选择地,另外,当上述条件为真时,sps_num_subpics_minus1的值被推断为等于0。
25.提出当图片宽度不大于CtbSizeY时,可以跳过语法元素num_exp_tile_columns_minus1的信令通知。
b.可选择地,另外,当上述条件为真时,num_exp_tile_columns_minus1的值被推断为等于0。
26.提出当图片高度不大于CtbSizeY时,可以跳过语法元素num_exp_tile_rows_minus1的信令通知。
c.可选择地,另外,当上述条件为真时,num_exp_tile_row_minus1的值被推断为等于0。
27.提出当num_exp_tile_columns_minus1等于PicWidthInCtbsY-1时,可以跳过语法元素tile_column_width_minus1[i]的信令通知,i的范围从0到num_exp_tile_columns_minus1(含端值)。
d.可选择地,另外,tile_column_width_minus1[i]的值被推断为等于0。
28.提出当num_exp_tile_rows_minus1等于PicHeightInCtbsY-1时,可以跳过语法元素tile_row_height_minus1[i]的信令通知,i的范围从0到num_exp_tile_rows_minus1(含端值)。
e.可选择地,另外,tile_row_height_minus1[i]的值被推断为等于0。
29.提出划分片的均匀条带的高度由指示该片中条带的高度的exp_slice_height_in_ctus_minus1[]的最后条目来指示。非均匀条带是显式地信令通知的条带下面的条带。例如:uniformSliceHeight=exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]-1]+1
30.提出不允许重置第‘num_exp_tile_columns_minus1’个片列的宽度,即,可以直接使用来自比特流的解析值(例如,由tile_column_width_minus1[num_exp_tile_columns_minus1]表示)来导出宽度,而无需参考其他信息。
a.在一个示例中,第‘num_exp_tile_columns_minus1’个片列的宽度被直接设置为tile_column_width_minus1[num_exp_tile_columns_minus1]加1。可选择地,此外,tile_column_width_minus1[num_exp_tile_columns_minus1]用于导出索引大于例如如6.5.1条款中所规定的num_exp_tile_columns_minus1的片列的宽度。
b.类似地,对于第“num_exp_tile_columns_minus1”个片行的高度不允许重置,即,可以直接使用来自比特流的解析值(例如,由tile_row_height_minus1[num_exp_tile_columns_minus1]表示)来导出高度,而不参考其他信息。
i.在一个示例中,第‘num_exp_tile_columns_minus1’个片行的高度被直接设置为tile_row_height_minus1[num_exp_tile_columns_minus1]加1。
可选择地,此外,
tile_row_height_minus1[num_exp_tile_columns_minus1]用于导出索引大于例如如6.5.1条款中所规定的num_exp_tile_columns_minus1的片行的高度。
31.提出不允许重置片中第num_exp_slices_in_tile[i]–1个条带的高度,即,可以直接使用来自比特流的解析值(例如,由exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]-1]表示)来导出高度,而无需参考其他信息。
a.在一个示例中,片中第num_exp_slices_in_tile[i]–1个条带的高度被直接设置为exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]–1]加1。可选择地,此外,
exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]–1]用于导出索引大于num_exp_slices_in_tile[i]-1的条带的高度。
6.实施例
在下面的实施例中,添加的部分被标记为粗体文本、下划线文本和斜体文本。删除的部分在[[]]内标记。
6.1.实施例1:示例子图片级别条带索引变化
3定义
图片级别条带索引:当rect_slice_flag等于1时,在图片中的条带列表(按照PPS中信令通知的顺序)的[[一个]]条带索引。
[[子图片级别条带索引:当rect_slice_flag等于1时,在子图片中的条带列表(按照PPS中信令通知的顺序)的条带索引。]]
Figure GDA0003944866020000551
6.5.1CTB光栅扫描、片扫描和子图扫描过程
……
[[列表NumSlicesInSubpic[i],规定第i个子图片中矩形条带的数量,
Figure GDA0003944866020000552
Figure GDA0003944866020000553
Figure GDA0003944866020000554
推导出如下:
Figure GDA0003944866020000555
Figure GDA0003944866020000561
7.4.8.1通用条带标头语义
……
slice_address规定条带的条带地址。当不存在时,slice_address的值被推断为等于0。当rect_slice_flag等于1且NumSlicesInSubpic[CurrSubpicIdx]等于1时,slice_address的值被推断为等于0。
如果rect_slice_flag等于0,以下内容适用:
-条带地址是光栅扫描片索引。
-slice_address的长度为Ceil(Log2(NumTilesInPic))位。
-slice_address的值应在0到NumTilesInPic-1(含端值)的范围内。
否则(rect_slice_flag等于1),以下内容适用:
-条带地址是
Figure GDA0003944866020000562
Figure GDA0003944866020000563
条带的子图片级别条带索引,
Figure GDA0003944866020000564
-slice_address的长度为Ceil(Log2(NumSlicesInSubpic[CurrSubpicIdx]))位。
-slice_address的值应在0到NumSlicesInSubpic[CurrSubpicIdx]-1(含端值)的范围内。
比特流一致性的一个要求是应用以下约束:
-如果rect_slice_flag等于0或subpic_info_present_flag等于0,则slice_address的值不应等于同一编解码图片的任何其它编解码条带NAL单元的slice_address的值。
-否则,该对slice_subpic_id值和slice_address值不应等于同一编解码图片的任何其它编解码条带NAL单元的该对slice_subpic_id值和slice_address值。
-图片的条带的形状应该是这样的,当解码时,每个CTU的整个左边界和整个上边界应该由图片边界或由先前解码的(一个或多个)CTU的边界组成。
……
num_tiles_in_slice_minus1加1(当存在时)规定条带中的片的数量。num_tiles_in_slice_minus1的值应在0到NumTilesInPic-1(含端值)的范围内。
规定当前条带中CTU的数量的变量NumCtusInCurrSlice以及规定条带内第i个CTB的图片光栅扫描地址的列表CtbAddrInCurrSlice[i](其中i的范围从0到NumCtusInCurrSlice-1(含端值))的推导如下:
Figure GDA0003944866020000571
6.2.实施例2:针对非矩形模式的PPS中的信令条带
7.3.2.4图片参数集RBSP语法
Figure GDA0003944866020000572
Figure GDA0003944866020000581
Figure GDA0003944866020000591
7.3.7.1通用条带标头语法
Figure GDA0003944866020000592
7.4.3.4图片参数集RBSP语义
num_slices_in_pic_minus1加1规定参考PPS的每个图片中的[[矩形]]条带的数量。num_slices_in_pic_minus1的值应在0到MaxSlicesPerPicture-1(含端值)的范围内,其中,MaxSlicesPerPicture在附录A中被规定。当no_pic_partition_flag等于1时,num_slices_in_pic_minus1的值被推断为等于
Figure GDA0003944866020000593
Figure GDA0003944866020000601
7.4.8.1通用条带标头语义
……
slice_address规定条带的条带地址。当不存在时,slice_address的值被推断为等于0。当rect_slice_flag等于1且NumSlicesInSubpic[CurrSubpicIdx]等于1时,slice_address的值被推断为等于0。当rect_slice_flag等于0且NumSlicesInPic等于1时,slice_address的值被推断为等于0。
如果rect_slice_flag等于0,以下内容适用:
-条带地址是[[光栅扫描片索引
Figure GDA0003944866020000602
-slice_address的长度为
Figure GDA0003944866020000603
[[NumTilesInPic]]))位。
-slice_address的值应在0到
Figure GDA0003944866020000604
(含端值)的范围内。
否则(rect_slice_flag等于1),以下内容适用:
-条带地址是条带的子图片级别条带索引。
-slice_address的长度为Ceil(Log2(NumSlicesInSubpic[CurrSubpicIdx]))位。
-slice_address的值应在0至NumSlicesInSubpic[CurrSubpicIdx]-1(含端值)的范围内。
比特流一致性的一个要求是应用以下约束:
-[[如果rect_slice_flag等于0或subpic_info_present_flag等于0,则slice_address的值不应等于同一编解码图片的任何其他编解码条带NAL单元的slice_address的值。
-否则,
Figure GDA0003944866020000611
则该对slice_subpic_id值和slice_address值不应等于同一编解码图片的任何其它编解码条带NAL单元的该对slice_subpic_id值和slice_address值。
-图片的条带的形状应该是这样的,当解码时,每个CTU的整个左边界和整个上边界应该由图片边界或由先前解码的(一个或多个)CTU的边界组成。
……
规定当前条带中CTU的数量的变量NumCtusInCurrSlice以及规定条带内第i个CTB的图片光栅扫描地址的列表CtbAddrInCurrSlice[i](其中i的范围从0到NumCtusInCurrSlice-1(含端值))的推导如下:
Figure GDA0003944866020000612
6.3.实施例3:以图片维度为条件的信令片
7.3.2.4图片参数集RBSP语法
Figure GDA0003944866020000621
Figure GDA0003944866020000631
6.4.实施例4:关于tile_column_width_minus1和tile_row_height_minus1的语义的示例1
7.4.3.4图片参数集RBSP语义
……
tile_columns_width_minus1[i]加1规定
Figure GDA0003944866020000632
Figure GDA0003944866020000633
第i个片列的以CTB为单位的宽度,i的范围为0到num_exp_tile_columns_minus1-1(含端值)。tile_column_width_minus1[num_exp_tile_columns_minus1]用于导出索引大于或等于如6.5.1条款中所规定的num_exp_tile_columns_minus1的片列的宽度。tile_column_width_minus1[i]的值应在0到PicWidthInCtbsY-1(含端值)的范围内。当不存在时,tile_column_width_minus1[0]的值被推断为等于PicWidthInCtbsY1-1。
tile_row_height_minus1[i]加1规定
Figure GDA0003944866020000634
Figure GDA0003944866020000635
第i个片行的以CTB为单位的高度,i的范围为0到num_exp_tile_rows_minus1-1(含端值)。tile_row_height_minus1[num_exp_tile_rows_minus1]用于导出索引大于或等于如6.5.1条款所规定的num_exp_tile_rows_minus1的片行的高度。tile_row_height_minus1[i]的值应在0到PicHeightInCtbsY-1(含端值)的范围内。当不存在时,tile_row_height_minus1[0]的值被推断为等于PicHeightInCtbsY1-1。
……
6.5.实施例5:关于tile_column_width_minus1和tile_row_height_minus1的语义的示例2
7.4.3.4图片参数集RBSP语义
……
tile_column_width_minus1[i]加1规定第i个片列的以CTB为单位的宽度,i的范围为0到
Figure GDA0003944866020000641
num_exp_tile_columns_minus1–1)(含端值)。tile_column_width_minus1[num_exp_tile_columns_minus1]用于导出索引大于或等于如6.5.1条款中所规定的num_exp_tile_columns_minus1的片列的宽度。tile_column_width_minus1[i]的值应在0到PicWidthInCtbsY-1(含端值)的范围内。当不存在时,tile_column_width_minus1[0]的值被推断为等于PicWidthInCtbsY-1。
tile_row_height_minus1[i]加1规定第i个片行的以CTB为单位的高度,i的范围为0到
Figure GDA0003944866020000642
num_exp_tile_rows_minus1–1)(含端值)。tile_row_height_minus1[num_exp_tile_rows_minus1]用于导出索引大于或等于如6.5.1条款所规定的num_exp_tile_rows_minus1的片行的高度。tile_row_height_minus1[i]的值应在0到PicHeightInCtbsY-1(含端值)的范围内。当不存在时,tile_row_height_minus1[0]的值被推断为等于PicHeightInCtbsY-1。
……
6.6.实施例6:条带中CTU的示例推导
6.5扫描过程
6.5.1CTB光栅扫描、片扫描和子图扫描过程
……
对于矩形条带,规定第i个条带中CTU的数量的列表NumCtusInSlice[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))、规定条带的左上角片的索引的列表SliceTopLeftTileIdx[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))以及规定第i个条带内第j个CTB的图片光栅扫描地址的矩阵CtbAddrInSlice[i][j](其中i的范围从0到num_slices_in_pic_minus1(含端值)且j的范围从0到NumCtusInSlice[i]-1(含端值))的推导如下:
Figure GDA0003944866020000651
Figure GDA0003944866020000661
6.7.实施例7:关于MER尺寸的信令
7.3.2.3序列参数集RBSP语法
seq_parameter_set_rbsp(){ 描述符
sps_seq_parameter_set_id u(4)
log2_parallel_merge_level_minus_log2_mincb ue(v)
}
7.4.3.3序列参数集RBSP语义
log2_parallel_merge_level_minus_log2_mincb加log2_min_luma_coding_block_size_minus2+2规定变量Log2ParMrgLevel的值,该变量用在如8.5.2.3条款中所规定的空域merge候选的推导过程、如8.5.5.2条款中所规定的子块merge模式下的运动矢量和参考索引的推导过程中,并且用于控制8.5.2.1条款中基于历史的运动矢量预测值列表的更新过程的调用。log2_parallel_merge_level_minus_log2_mincb的值应在0到CtbLog2SizeY-log2_min_luma_coding_block_size_minus2-2(含端值)的范围内。变量Log2ParMrgLevel的推导如下:
Log2ParMrgLevel=log2_parallel_merge_level_minus2+log2_min_luma_coding_block_size_minus2+2 (68)
6.8.实施例8:关于矩形条带的信令
6.5.1 CTB光栅扫描、片扫描和子图扫描过程
……
规定从图片光栅扫描中的CTB地址到子图片索引的转换的列表ctbToSubpicIdx[ctbAddrRs](其中ctbAddrRs的范围从0到PicSizeInCtbsY-1(含端值))的推导如下:
Figure GDA0003944866020000671
当rect_slice_flag等于1时,规定第i个条带中CTU的数量的列表NumCtusInSlice[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))、规定包含条带中第一个CTU的片的片索引的列表SliceTopLeftTileIdx[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))、规定第i个条带内的第j个CTB的图片光栅扫描地址的矩阵CtbAddrInSlice[i][j](其中i的范围从0到num_slices_in_pic_minus1(含端值)且j的范围从0到NumCtusInSlice[i]-1(含端值)),以及
Figure GDA0003944866020000672
Figure GDA0003944866020000673
的推导如下:
Figure GDA0003944866020000674
Figure GDA0003944866020000681
Figure GDA0003944866020000691
比特流一致性的一个要求是,NumCtusInSlice[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))的值应大于0。此外,比特流一致性的一个要求是,矩阵CtbAddrInSlice[i][j](其中i的范围从0到num_slices_in_pic_minus1(含端值)且j的范围从0到NumCtusInSlice[i]-1(含端值))应一次且仅一次地包括范围为0到PicSizeInCtbsY-1(含端值)的所有CTB地址中的每个。
……
7.3.2.4图片参数集RBSP语法
Figure GDA0003944866020000701
7.4.3.4图片参数集语义
……
tile_idx_delta_present_flag等于0规定tile_idx_delta[i]语法元素不存在于PPS中,并且参考PPS的所有图片以条带光栅顺序被划分成矩形条带行和矩形条带列。tile_idx_delta_present_flag等于1规定tile_idx_delta[i]语法元素可以存在于PPS中,并且参考PPS的图片中的所有矩形条带以tile_idx_delta[i]的值指示的顺序以i的递增值来规定。当不存在时,tile_idx_delta_present_flag的值被推断为等于0。
slice_width_in_tiles_minus1[i]加1规定第i个矩形条带的以片列为单位的宽度。slice_width_in_tiles_minus1[i]的值应在0到NumTileColumns-1(含端值)的范围内。
当i小于num_slices_in_pic_minus1且NumTileColumns等于1时,slice_width_in_tiles_minus1[i]的值被推断为等于0。
当num_exp_slices_in_tiles_MINUS1[i]等于0时,slice_height_in_tiles_minus1[i]加1规定第i个矩形条带的以片行为单位的高度。slice_height_in_tiles_minus1[i]的值应在0到NumTileRows-1(含端值)的范围内。
当i小于num_slices_in_pic_minus1且slice_height_in_tiles_minus1[i]不存在时,其被推断等于NumTileRows==1?0:slice_height_in_tiles_MINUS1[i-1]。
num_exp_slices_in_tile[i]规定包含第i个条带的片(即,片索引等于SliceTopLeftTileIdx[i]的片)中的条带的显式地提供的条带高度的数量。num_exp_slices_in_tile[i]的值应在0到RowHeight[SliceTopLeftTileIdx[i]/NumTileColumns]-1(含端值)的范围内。当不存在时,num_exp_slices_in_tile[i]的值被推断为等于0。
Figure GDA0003944866020000711
tile_idx_delta[i]规定
Figure GDA0003944866020000712
Figure GDA0003944866020000713
tile_idx_delta[i]的值应在-NumTilesInPic+1到NumTilesInPic-1(含端值)的范围内。当不存在时,tile_idx_delta[i]的值被推断为等于0。当存在时,tile_idx_delta[i]的值不应等于0。
……
6.9.实施例9:关于矩形条带的信令
6.5.1 CTB光栅扫描、片扫描和子图扫描过程
……
当rect_slice_flag等于1时,规定第i个条带中CTU的数量的列表NumCtusInSlice[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))、规定包含条带中第一个CTU的片的片索引的列表SliceTopLeftTileIdx[i](其中i的范围从0到num_slices_in_pic_minus1(含端值))、规定第i个条带内的第j个CTB的图片光栅扫描地址的矩阵CtbAddrInSlice[i][j](其中i的范围从0到num_slices_in_pic_minus1(含端值)且j的范围从0到NumCtusInSlice[i]-1(含端值))、以及规定包含第i个条带的片(即,片索引等于SliceTopLeftTileIdx[i]的片)中的条带的数量的变量NumSlicesInTile[i]的推导如下:
Figure GDA0003944866020000721
Figure GDA0003944866020000731
Figure GDA0003944866020000741
可选择地,在上面,以下行:
Figure GDA0003944866020000742
修改为如下;
Figure GDA0003944866020000743
6.10.实施例10:关于子图片和片的信令
6.5.1 CTB光栅扫描、片扫描和子图扫描过程
规定片列的数量的变量NumTileColumns以及规定第i个片列的以CTB为单位的宽度的的列表colWidth[i](其中i的范围从0到NumTileColumns-1(含端值))的推导如下:
Figure GDA0003944866020000751
规定片行的数量的变量NumTileRows以及规定第j个片行的以CTB为单位的高度的列表RowHeight[j](其中j的范围从0到NumTileRows-1(含端值))的推导如下:
Figure GDA0003944866020000752
7.3.2.3序列参数集RBSP语法
Figure GDA0003944866020000761
7.3.2.4图片参数集RBSP语法
Figure GDA0003944866020000762
7.4.3.4图片参数集语义
……
num_exp_tile_columns_minus1加1规定显式提供的片列宽度的数量。num_exp_tile_columns_minus1的值应在0到PicWidthInCtbsY-1(含端值)的范围内。
Figure GDA0003944866020000763
num_exp_tile_rows_minus1加1规定显式提供的片行高度的数量。num_exp_tile_rows_minus1的值应在0到PicHeightInCtbsY-1(含端值)的范围内。
Figure GDA0003944866020000764
tile_column_width_minus1[i]加1规定第i个片列的以CTB为单位的宽度,i的范围为0到
Figure GDA0003944866020000771
(含端值)。tile_column_width_minus1[num_exp_tile_columns_minus1]用于导出索引
Figure GDA0003944866020000772
如6.5.1条款中所规定的num_exp_tile_columns_minus1的片列的宽度。tile_column_width_minus1[i]的值应在0到PicWidthInCtbsY-1(含端值)的范围内。当不存在时,tile_column_width_minus1[i]的值被推断为等于
Figure GDA0003944866020000773
tile_row_height_minus1[i]加1规定第i个片行的以CTB为单位的高度,i的范围为0到
Figure GDA0003944866020000774
(含端值)。tile_row_height_minus1[num_exp_tile_rows_minus1]用于导出索引
Figure GDA0003944866020000775
如6.5.1条款所规定的num_exp_tile_rows_minus1的片行的高度。tile_row_height_minus1[i]的值应在0到PicHeightInCtbsY-1(含端值)的范围内。当不存在时,tile_row_height_minus1[i]的值被推断为等于
Figure GDA0003944866020000776
……
图7是示出示例视频处理系统1900的框图,其中,可以实现本文公开的各种技术。各种实现可以包括系统1900的部分或全部组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩格式(例如,8位或10位多分量像素值)接收,或者可以以压缩或编码格式接收。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(例如,以太网、无源光学网络(PON)等),以及无线接口(例如,Wi-Fi或蜂窝接口)。
系统1900可以包括编解码组件1904,其可以实现本文档中描述的各种编解码或编码方法。编解码组件1904可以将视频的平均比特率从输入1902降低到编解码组件1904的输出,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储,或者经由由组件1906表示的连接的通信来传输。在输入1902处接收的视频的存储的或传送的比特流(或编解码的)表示可以由组件1908用于生成发送到显示接口1910的像素值或可显示视频。根据比特流生成用户可观看视频的过程有时被称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但将理解的是,在编码器处使用编解码工具或操作,并且反转编解码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可能包括通用串行总线(USB)或高清多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中,例如移动电话、膝上型计算机、智能手机或能够执行数字数据处理和/或视频显示的其它设备。
图8是视频处理装置3600的框图。装置3600可以用于实现本文所描述的一种或多种方法。装置3600可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实现本文档中描述的一个或多个方法。一个或多个存储器3604可以用于存储用于实现本文所描述的方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路中实现本文档中描述的一些技术。
图10是示出可以利用本公开技术的示例视频编解码系统100的框图。
如图10所示,视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成可以被称为视频编码设备的编码视频数据。目的地设备120可以对源设备110生成的编码视频数据进行解码,源设备110可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备之类的源、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统,或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其它语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目的地设备120。编码的视频数据还可以存储在存储介质/服务器130b上,以供目的地设备120访问。
目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以对编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集合,或者可以位于目的地设备120的外部,目的地设备120被配置为与外部显示设备接合。
视频编码器114和视频解码器124可以根据视频压缩标准(例如高效视频编解码(HEVC)标准、通用视频编解码(VVM)标准和其它当前和/或进一步的标准)操作。
图11是示出视频编码器200的示例的框图,视频编码器200可以是图10所示的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或所有技术。在图11的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、可以包括模式选择单元203的预测单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211,重建单元212、缓冲器213和熵编码单元214。
在其它示例中,视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,一些组件(例如运动估计单元204和运动补偿单元205)可以是高度集合的,但是出于解释的目的,在图11的示例中分别表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以例如基于错误结果选择编解码模式中的一种(帧内或帧间),并将得到的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据,以及提供给重建单元212以重建编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内预测和帧间预测(CIIP)模式的组合,其中预测基于帧间预测信号和帧内预测信号。模式选择单元203还可以在帧间预测的情况下为块选择运动向量的分辨率(例如,子像素精度或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的、与当前视频块相关联的图片以外的图片的运动信息和解码样点来确定当前视频块的预测视频块。
例如,运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,这取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后,运动估计单元204可以生成参考索引,该索引指示包含参考视频块的列表0或列表1中的参考图片,以及指示当前视频块和参考视频块之间的空域位移的运动向量。运动估计单元204可以输出参考索引、预测方向指示符和运动向量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其它示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块,还可以在列表1中的参考图片中搜索当前视频块的另一个参考视频块。然后,运动估计单元204可以生成指示包含参考视频块的列表0和列表1中的参考图片的参考索引,以及指示参考视频块和当前视频块之间的空域位移的运动向量。运动估计单元204可以输出当前视频块的参考索引和运动向量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出用于解码器的解码处理的完整运动信息集合。
在一些示例中,运动估计单元204可能不输出当前视频的完整运动信息集合。相反,运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中,指示向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息的值。
在另一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中识别另一个视频块和运动向量差(MVD)。运动向量差指示当前视频块的运动向量与所指示视频块的运动向量之间的差。视频解码器300可以使用所指示视频块的运动向量和运动向量差来确定当前视频块的运动向量。
如上所讨论的,视频编码器200可以预测地信令通知运动向量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和merge模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其它视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块减去(例如,用减号表示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残余数据可以包括对应于当前视频块中的样点的不同样点分量的残余视频块。
在其它示例中,对于当前视频块,可能没有当前视频块的残差数据,例如在跳过模式下,残差生成单元207可能不执行减法操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块,来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值,来对与当前视频块相关联的变换系数视频块进行量化。
反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换,以根据变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点中,以产生与当前块相关联的重建视频块,以存储在缓冲器213中。
在重建单元212重建视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪像。
熵编码单元214可以从视频编码器200的其它功能组件接收数据。当熵编码单元214接收到数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据,并输出包括熵编码数据的比特流。
图12是示出视频解码器300的示例的框图,视频解码器300可以是图10所示的系统100中的视频解码器114。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图12的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
在图12的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、重建单元306和缓冲器307。在一些示例中,视频解码器300可以执行通常与关于视频编码器200描述的编码遍次(图11)相反的解码遍次。
熵解码单元301可以取回编码比特流。编码比特流可以包括熵编码的视频数据(例如,视频数据的编码块)。熵解码单元301可以对熵编码的视频数据进行解码,并且运动补偿单元302可以根据熵解码的视频数据确定运动信息,该运动信息包括运动向量、运动向量精度、参考图片列表索引以及其它运动信息。例如,运动补偿单元302可以通过执行AMVP和merge模式来确定这种信息。
运动补偿单元302可以产生运动补偿块,可能基于插值滤波器执行插值。语法元素中可以包括用于以子像素精度使用的插值滤波器的标识符。
运动补偿单元302可以使用视频编码器200在视频块编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据接收到的语法信息确定视频编码器200使用的插值滤波器,并使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的帧和/或条带进行编码的块的尺寸,描述如何对编码视频序列的图片的每个宏块进行分割的分割信息,指示如何对每个分区进行编码的模式,用于每个帧间编码块的一个或多个参考帧(和参考帧列表),以及用于对编码视频序列进行解码的其它信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来根据空域上邻近的块形成预测块。反量化单元303对比特流中提供并由熵解码单元301解码的量化视频块系数进行反量化(即,去量化)。反变换单元303应用反变换。
重建单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加,以形成解码块。如果需要,还可以应用去方块滤波器来对解码块进行滤波,以便移除块性伪像。解码视频块然后被存储在缓冲器307中,缓冲器307为后续运动补偿/帧内预测提供参考块,并且还产生解码视频以在显示设备上呈现。
下面提供一些实施例优选的解决方案的列表。
以下解决方案示出了上一节中讨论的技术的示例实施例(例如,第1项)。
1.一种视频处理方法(例如,图9中描述的方法900),包括:执行包括一个或多个视频图片的视频与视频的编解码表示之间的转换(902),其中,每个视频图片包括一个或多个子图片,子图片包括一个或多个条带,其中,编解码表示符合格式规则;其中,格式规则规定,在对视频图片启用矩形条带模式的情况下,导出视频图片中每个子图片中每个条带的图片级别条带索引,而无需在编解码表示中显式信令通知;其中,格式规则规定每个条带中的编解码树单元的数量可从图片级别条带索引中导出。
以下解决方案示出了在上一节中讨论的技术的示例实施例(例如,第2项)。
2.一种视频处理方法,包括:执行包括一个或多个视频图片的视频与视频的编解码表示之间的转换,其中,每个视频图片包括一个或多个子图片,子图片包括一个或多个条带,其中,编解码表示符合格式规则;其中,格式规则规定子图片级别条带索引可基于编解码表示中的信息导出,而无需信令通知编解码表示中的子图片级别条带索引。
3.解决方案2的方法,其中,格式规则规定,由于矩形条带结构的使用,子图片级别条带索引对应于子图片中条带的列表中的条带的索引。
4.解决方案2的方法,其中,格式规则规定子图片级别条带索引是从图片级别条带索引的特定值导出的。
以下解决方案示出了在上一节中讨论的技术的示例实施例(例如,第5、6项)。
5.一种视频处理方法,包括:执行包括一个或多个视频图片的视频与视频的编解码表示之间转换,其中,每个视频图片包括一个或多个子图片和/或一个或多个片,其中,编解码表示符合格式规则;其中,该转换符合约束规则。
6.解决方案5的方法,其中,约束规则规定一个片不能在一个以上的子图片中。
7.解决方案5的方法,其中,约束规则规定子图片不能包括比两个条带所属的对应的片小的两个条带。
以下解决方案示出了在上一节中讨论的技术的示例实施例(例如,第7、8项)。
8.一种视频处理方法,包括:执行包括一个或多个视频图片的视频与视频的编解码表示之间的转换,其中,每个视频图片包括一个或多个片和/或一个或多个条带;其中,编解码表示符合格式规则;其中,格式规则规定视频图片级别的字段携带关于视频图片中条带和/或片的分割的信息。
9.解决方案8的方法,其中,字段包括视频图片标头。
10.解决方案8的方法,其中,字段包括图片参数集。
11.解决方案8-10中的任一个的方法,其中,格式规则通过在视频图片级别的字段中包括条带分割信息来规定省略条带级别的条带分割信息。
以下解决方案示出了在上一节中讨论的技术的示例实施例(例如,第9项)。
12.一种视频处理方法,包括:执行包括一个或多个图片的视频与视频的编解码表示之间的转换,其中,该转换符合视频图片被分割的条带的最小数量依据矩形分割是否用于分割视频图片的分割规则。
13.解决方案12的方法,其中,分割规则规定对非矩形分割使用至少两个条带,对矩形分割使用至少一个条带。
14.解决方案12的方法,其中,分割规则也是是否和/或有多少子图片用于分割视频图片的函数。
以下解决方案示出了上一节中讨论的技术的示例实施例(例如,第10、11项)。
15.一种视频处理方法,包括:执行视频的视频区域的视频条带与视频的编解码表示之间的转换;其中,编解码表示符合格式规则;其中,格式规则规定编解码表示基于视频条带的左上位置信令通知视频条带,其中,格式规则规定编解码表示在以视频单元级别信令通知的分割信息中信令通知视频条带的高度和/或宽度。
16.解决方案15的方法,其中,格式规则规定视频条带按照由格式规则定义的条带的顺序被信令通知。
17.解决方案15的方法,其中,视频区域对应于子图片,其中,视频单元级别对应于视频图片。
以下解决方案示出了在上一节中讨论的技术的示例实施例(例如,第12项)。
18.一种视频处理方法,包括:执行包括视频图片的视频与视频的编解码表示之间的转换;其中,编解码表示符合格式规则;其中,格式规则规定省略信令通知矩形条带中的第一片的片索引与下一矩形条带中的第一片的片索引之间的差。
19.解决方案18的方法,其中,差可从视频图片中的第零个条带和矩形条带中导出。
以下解决方案示出了在上一节中讨论的技术的示例实施例(例如,第13项)。
20.一种视频处理方法,包括:执行视频与视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中,格式规则规定视频图片的宽度与编解码树单元的尺寸之间的关系控制用于导出视频图片中的片列的数量或片行的数量的信息的信令通知。
21.解决方案20的方法,其中,格式规则规定在视频图片的宽度小于或等于编解码树单元的宽度的情况下,排除信令通知片行的数量或片列的数量。
以下解决方案示出了在上一节中讨论的技术的示例实施例(例如,第16项)。
22.一种视频处理方法,包括:执行包括一个或多个视频图片的视频与视频的编码表示之间转换,其中,编解码表示符合格式规则,其中,格式规则规定在包括均匀间隔片和非均匀间隔片的视频图片的编解码表示中包括片布局信息。
23.解决方案22的方法,其中,片布局信息包括包含在图片参数集中的语法标志中。
24.解决方案22-23中的任一个的方法,其中,显式地信令通知的片行的数量或片列的数量不小于非均匀间隔片的数量。
25.解决方案22-23中任一个的方法,其中,显式地信令通知的片行的数量或片列的数量不小于均匀间隔片的数量。
26.上述解决方案中的任一个的方法,其中,视频区域包括视频编解码单元。
27.上述解决方案中的任一个的方法,其中,视频区域包括视频图片。
28.解决方案1至27中的任一项的方法,其中,转换包括将视频编码成编解码表示。
29.解决方案1至27中的任一个的方法,其中,转换包括对编解码表示进行解码以生成视频的像素值。
30.一种视频解码装置,包括被配置为实现解决方案1至29中的一个或多个中所述的方法的处理器。
31.一种视频编码装置,包括被配置为实现解决方案1至29中的一个或多个中所述的方法的处理器。
32.一种其上存储有计算机代码的计算机程序产品,当由处理器执行时,该代码使处理器实现解决方案1至29中的任一个所述的方法。
33.一种本文档中描述的方法、设备或系统。
图13是根据本技术的视频处理方法的流程图表示。方法1300包括,在操作1310,根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个条带。该规则规定,响应于条件被满足,指示两个矩形条带的片索引之间的差的语法元素被信令通知,其中,条带索引之一被表示为i,其中i是整数。
在一些实施例中,两个矩形条带中的第二矩形条带被表示为第i+1个矩形条带,并且语法元素指示第i+1个矩形条带中包含第一编解码树单元的第一片的第一片索引与第i个矩形条带中包含第一编解码树单元的第二片的第二片索引之间的差。在一些实施例中,满足的至少一个条件包括i小于(视频图片中矩形条带的数量-1)。在一些实施例中,满足的至少一个条件包括i不等于(视频图片中矩形条带的数量-1)。
图14是根据本技术的视频处理方法的流程图表示。方法1400包括,在操作1410,根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片,并且每个子图片包括一个或多个矩形条带。该规则规定导出每个子图片中每个矩形条带在子图片级别的条带索引,以确定每个条带中编解码树单元的数量。
在一些实施例中,基于子图片中条带的列表中对应的条带的解码顺序来确定子图片级别的条带索引。在一些实施例中,在第一条带的子图片级别的第一条带索引小于第二条带的子图片级别的第二条带索引的情况下,根据解码顺序,在第二条带之前处理第一条带。在一些实施例中,使用变量SubpicLevelSliceIdx来表示子图片级别的条带索引。在一些实施例中,基于子图片级别的条带索引来确定条带地址。在一些实施例中,基于包括条带的第一子图片来确定条带的子图片级别的条带索引。在一些实施例中,子图片级别的条带索引是非负整数。在一些实施例中,子图片级别的条带索引大于或等于0并且小于N,N是子图片中条带的数量。
在一些实施例中,在第一条带和第二条带不同的情况下,第一条带在子图片级别的第一条带索引不同于第二条带在子图片级别的第二条带索引,其中,第一条带和第二条带在同一子图片中。在一些实施例中,在第一条带的子图片级别的第一条带索引小于第二条带的子图片级别的第二条带索引的情况下,第一条带的图片级别的第一条带索引小于第二条带的图片级别的第二条带索引。在一些实施例中,条带的子图片级别的条带索引是基于该条带的图片级别的条带索引来确定的。
图15是根据本技术的视频处理方法的流程图表示。方法1500包括,在操作1510,针对包括一个或多个子图片的视频的视频图片与视频的比特流之间的转换,确定子图片中的条带的子图片级别条带索引与该条带的图片级别条带索引之间的映射关系。方法1500还包括,在操作1520,基于该确定执行转换。
在一些实施例中,映射关系被表示为二维数组,该二维数组使用子图片的图片级别条带索引和子图片索引来索引。在一些实施例中,基于指示一个或多个子图片中的每个中的条带的数量的数组来确定图片级别条带索引。在一些实施例中,二维数组和指示一个或多个子图片中的每个中的条带的数量的数组是基于以图片级别条带索引的顺序扫描所有条带的过程来确定的。在一些实施例中,使用映射关系来确定条带的图片级别条带索引,并且基于条带的图片级别条带索引来确定条带中编解码树块的数量和/或编解码树块的地址。
图16是根据本技术的视频处理方法的流程图表示。方法1600包括,在操作1610,根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片。该规则规定视频的一个片完全位于视频图片的单个子图片内。
在一些实施例中,第一条带位于第一片中,第一条带小于第一片。第二条带位于第二片中,第二条带小于第二片。第一片不同于第二片,并且第一条带和第二条带位于子图片的不同条带中。
图17是根据本技术的视频处理方法的流程图表示。方法1700包括,在操作1710,执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片。比特流符合格式规则,该格式规则规定分割图片的信息被包括在与图片相关联的语法结构中。
在一些实施例中,语法结构包括图片标头或图片参数集。在一些实施例中,视频单元包括指示分割图片的信息是否包括在语法结构中的标志。在一些实施例中,视频单元包括图片标头、图片参数集或序列参数集。在一些实施例中,在分割图片的信息被包括在图片标头和图片参数集中的情况下,包括在图片标头中的信息被用于转换。
图18是根据本技术的视频处理方法的流程图表示。方法1800包括,在操作1810,针对包括具有非矩形形状的一个或多个条带的视频的视频图片与视频的比特流之间的转换,确定视频图片的条带分割信息。方法1800还包括,在操作1820,基于该确定执行转换。
在一些实施例中,条带分割信息存储在视频的视频单元中,其中,视频单元包括图片参数集或图片标头。在一些实施例中,比特流符合格式规则,该格式规则规定视频图片的条带分割信息被包括在与包括一个或多个条带的视频单元相关联的语法结构中。在一些实施例中,视频图片的条带分割信息包括指示图片中条带的数量的值。在一些实施例中,视频图片的条带分割信息包括指示条带内的块单元的索引的值。在一些实施例中,从视频图片的条带分割信息中省略指示条带内的块单元的索引的值。在一些实施例中,视频图片的条带分割信息包括指示条带内块单元的数量的值。在一些实施例中,从视频图片的条带分割信息中省略指示条带内的块单元的数量的值。在一些实施例中,块单元是编解码树单元或片。在一些实施例中,视频图片的条带分割信息在条带标头中被省略。在一些实施例中,条带的条带索引被包括在条带标头中,并且基于条带的地址来确定条带的图片级别条带索引。
在一些实施例中,一个或多个条带中的每个的条带分割信息以与视频单元相关联的语法结构中的实现来组织。在一些实施例中,一个或多个条带中的每个的条带分割信息以升序被包括在语法结构中。在一些实施例中,一个或多个条带中的每个的条带分割信息以降序被包括在语法结构中。
在一些实施例中,一个或多个条带中的至少一个条带的条带分割信息在比特流中被省略。在一些实施例中,一个或多个条带中的至少一个条带的条带分割信息从包括在比特流中的其他条带的条带分割信息中推断。在一些实施例中,片S-1的块单元的数量不包括在比特流中,其中,S表示视频图片中的条带的数量,S大于1。
图19是根据本技术的视频处理方法的流程图表示。方法1900包括,在操作1910,根据规则执行包括一个或多个条带的视频的视频图片与视频的比特流之间的转换。该规则规定视频图片中的条带的数量等于或大于基于对视频图片应用矩形分割还是非矩形分割而确定的条带的最小数量。
在一些实施例中,在应用非矩形分割的情况下,条带的最小数量是两个,而在应用矩形分割的情况下,条带的最小数量是一个。在一些实施例中,在应用非矩形分割的情况下,条带的最小数量是1,而在应用矩形分割的情况下,条带的最小数量是1。在一些实施例中,条带的最小数量还基于视频图片中子图片的数量来确定。
图20是根据本技术的视频处理方法的流程图表示。方法2000包括,在操作2010,根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个条带。在视频图片的条带分割信息被包括在视频单元的语法结构中的情况下,条带由条带的左上位置和维度来表示。
在一些实施例中,使用条带内的块单元的左上位置、块单元的维度以及使用块单元的维度度量的条带的维度来指示条带的左上位置和维度。在一些实施例中,每个条带的左上位置和每个条带的维度按顺序被包括在语法结构中。
图21是根据本技术的视频处理方法的流程图表示。方法2100包括,在操作2110,根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片,并且每个子图片包括一个或多个条带。该规则规定了每个子图片中的一个或多个条带的分割信息的方式存在于比特流中。
在一些实施例中,视频单元包括序列参数集、图片参数集或图片标头。在一些实施例中,一个或多个子图片的划分信息基于子图片索引以升序排列。在一些实施例中,每个子图片中的一个或多个条带的分割信息基于子图片级别条带索引以升序排列。
图22是根据本技术的视频处理方法的流程图表示。方法2200包括,在操作2210,根据规则执行视频的视频图片于视频的比特流之间的转换。视频图片包括一个或多个矩形条带,并且每个条带包括一个或多个片。该规则规定在比特流中省略第i个矩形条带中的第一个片的第一片索引与第i+1个矩形条带中的第一片的第二片索引之间的差的信令。
在一些实施例中,第i+1个矩形条带中的第一片的第二片索引基于从第0到第i个索引的矩形条带中导出。在一些实施例中,第i+1个矩形条带中的第一片的第二片索引被导出为最小片索引,该最小片索引在由从第0到第i个索引的矩形条带中定义的范围之外。
图23是根据本技术的视频处理方法的流程图表示。方法2300包括,在操作2310,针对视频的视频图片与视频的比特流之间的转换,响应于视频图片的维度与编解码树块的维度之间的关系,确定用于导出视频图片中的片的列的数量和片的行的数量的信息有条件地包括在比特流中。方法2300还包括,在操作2320,基于该确定执行转换。
在一些实施例中,在视频图片的宽度小于或等于编解码树块的宽度的情况下,该信息被省略。在一些实施例中,在视频图片的高度小于或等于编解码树块的高度的情况下,该信息被省略。
图24是根据本技术的视频处理方法的流程图表示。方法2400包括,在操作2410,执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片。该比特流符合格式规则,该格式规则规定,在规定包括条带的子图片的子图片标识符的变量存在于比特流中的情况下,存在一个且仅有一个语法元素满足与该语法元素对应的第二变量等于该变量的条件。
在一些实施例中,变量被表示为slice_subpic_id,并且第二变量被表示为SubpicIdVal。与该语法元素对应的语法元素被表示为SubpicIdVal[CurrSubpicIdx]。
图25是根据本技术的视频处理方法的流程图表示。方法2500包括,在操作2510,执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个子图片。在应用非矩形分割或者在比特流中省略子图片信息的情况下,条带中的两个片具有不同的地址。
在一些实施例中,第一语法标志rect_slice_flag指示是否应用非矩形分割,第二语法标志subpic_info_present_info指示子图片信息是否存在于比特流中。
图26是根据本技术的视频处理方法的流程图表示。方法2600包括,在操作2610,根据规则执行视频的视频图片与视频的比特流之间的转换。视频图片包括一个或多个片。该规则规定,在一个或多个片以均匀间隔和非均匀间隔二者组织的情况下,使用语法元素来指示片布局的类型。
在一些实施例中,包括在图片参数集中的语法元素指示在片布局中均匀间隔后接非均匀间隔还是非均匀间隔后接均匀间隔。在一些实施例中,片布局包括非均匀间隔的片,其中,显式地指示的片列或片行的数量等于或大于非均匀间隔的片的总数。在一些实施例中,片布局包括均匀间隔的片,并且显式地指示的片列或片行的数量等于或大于均匀间隔的片的总数。在一些实施例中,在片布局中,均匀间隔后接非均匀间隔,根据第一逆序来首先确定非均匀间隔的片的维度,然后根据第二逆序来随后确定均匀间隔的片的维度。在一些实施例中,维度包括片列的宽度或片行的高度。
图27是根据本技术的视频处理方法的流程图表示。方法2700包括,在操作2710,根据规则执行视频的视频图片与视频的比特流之间的转换。该规则规定在转换中是否或如何处理Merge估计区域(MER)尺寸取决于最小允许编解码块尺寸。
在一些实施例中,MER尺寸等于或大于最小允许编解码块尺寸。在一些实施例中,MER尺寸由MER_size指示,最小允许编解码块尺寸由MinCbSizeY指示,并且Log2(MER_size)与Log2(MinCbSizeY)之间的差被包括在比特流中。
图28是根据本技术的视频处理方法的流程图表示。方法2800包括,在操作2810,根据规则执行至少包括一个视频片的视频与视频的比特流之间的转换。该规则规定基于比特流中的第一语法元素的值来导出视频片中的条带的以编解码树单元为单位的高度,第一语法元素的值指示针对包括该条带的视频片中的条带的显式提供的条带高度的数量。
在一些实施例中,响应于第一语法元素的值等于0,视频片中的条带的以编解码树单元为单位的高度从视频的信息中导出。在一些实施例中,视频片中的条带的以编解码树单元为单位的高度被表示为sliceHeightInCtus[i]。sliceHeightInCtus[i]等于行高度RowHeight[SliceTopLeftTileIdx[i]/NumTileColumns]的值,其中,SliceTopLeftTileIdx规定包括条带中的第一编解码树单元的片的片索引,NumTileColumns规定片列的数量,行高度RowHeight[j]的值规定第j个片行的以编解码树块为单位的高度。
在一些实施例中,视频片中的条带的以编解码树单元为单位的高度是响应于视频片中的条带的高度不存在于比特流中而从视频的信息中导出的。在一些实施例中,视频片中的条带的以编解码树单元为单位的高度是根据比特流中存在的指示视频片中的条带的高度的第二语法元素导出的。在一些实施例中,响应于第一语法元素等于0,包括条带的视频片不被划分成多个条带。
图29是根据本技术的视频处理方法的流程图表示。方法2900包括,在操作2910,根据规则执行包括视频图片的视频与视频的比特流之间的转换,该视频图片包括包含一个或多个条带的视频片。该规则规定包括图片中的第一条带的片中的第二条带具有以编解码树单元为单位表示的高度。第一条带具有第一条带索引,并且第二条带具有第二条带索引,第二条带索引是基于第一条带索引和视频片中显式地提供的条带高度的数量来确定的。基于第一条带索引和第二条带索引来确定第二条带的高度。
在一些实施例中,第一条带索引被表示为i,并且第二条带索引被表示为num_exp_slices_in_tile[i]-1,其中,num_exp_slices_in_tile规定视频片中显式地提供的条带高度的数量。第二条带的高度基于exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]-1]+1来确定,其中,exp_slice_height_in_ctus_minus1规定以视频片中的编解码树单元为单位的条带高度。在一些实施例中,划分视频片的均匀条带的高度由exp_slice_height_in_ctus_minus1的最后一个条目指示。在一些实施例中,第二条带总是存在于图片中。在一些实施例中,不允许为转换重置第二条带的高度。在一些实施例中,索引大于num_exp_slices_in_tile[i]-1的第三条带的高度基于exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]-1]来确定。在一些实施例中,第二条带不存在于视频片中。在一些实施例中,第二条带的高度小于或等于exp_slice_height_in_ctus_minus1[i][num_exp_slices_in_tile[i]-1]+1。
图30是根据本技术的视频处理方法的流程图表示。方法3000包括,在操作3010,执行包括视频图片的视频与视频的比特流之间的转换,该视频图片包括一个或多个片。视频图片指图片参数集。图片参数集符合规定图片参数集包括N个片列的列宽度列表的格式规则,其中,N是整数。视频图片中存在第N-1个片列,并且第N-1个片列的宽度等于显式地包括的片列宽度的列表中的第N-1个条目加上一个编解码树块。
在一些实施例中,N-1被表示为num_exp_tile_columns_minus1。在一些实施例中,基于tile_column_width_minus1[num_exp_tile_columns_minus1]+1来确定片列的以编解码树块为单位的宽度,其中,tile_column_width_minus1规定片列的以编解码树块为单位的宽度。在一些实施例中,片列的以编解码树块为单位的宽度不允许被重置,并且仅基于tile_column_width_minus1[num_exp_tile_columns_minus1]来确定。在一些实施例中,片列的以编解码树块为单位的宽度等于tile_column_width_minus1[num_exp_tile_columns_minus1]+1。在一些实施例中,基于tile_column_width_minus1[num_exp_tile_columns_minus1]来确定第二片列的具有大于num_exp_tile_columns_minus1的索引的宽度。
图31是根据本技术的视频处理方法的流程图表示。方法3100包括,在操作3110,执行包括视频图片的视频与视频的比特流之间的转换,视频图片包括一个或多个片。视频图片指图片参数集。图片参数集符合规定图片参数集包括N个片行的行高度的列表的格式规则,其中,N是整数。视频图片中存在第N-1个片行,并且第N-1个片行的高度等于显式地包括的片行高度的列表中的第N-1个条目加上一个编解码树块的数量。
在一些实施例中,N-1被表示为num_exp_tile_rows_minus1。在一些实施例中,基于tile_row_height_minus1[num_exp_tile_row_minus1]+1来确定片行的以编解码树块为单位的高度,其中,tile_row_height_minus1规定片行的以编解码树块为单位的高度。在一些实施例中,片行的以编解码树块为单位的高度不允许被重置,并且仅基于tile_row_height_minus1[num_exp_tile_row_minus1]来确定。在一些实施例中,片行的以编解码树块为单位的高度等于tile_row_height_minus1[num_exp_tile_row_minus1]+1。在一些实施例中,基于tile_row_height_minus1[num_exp_tile_row_minus1]来确定第二片行的具有大于num_exp_tile_rows_minus1的索引的高度。
在一些实施例中,转换包括将视频编码成比特流。在一些实施例中,转换包括从比特流中解码视频。
在此描述的解决方案中,编码器可以通过根据格式规则产生编解码表示来符合格式规则。在本文描述的解决方案中,解码器可以使用格式规则来解析编解码表示中的语法元素,并根据格式规则了解语法元素的存在和不存在,以产生解码的视频。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,在从视频的像素表示到对应的比特流的转换期间,可以应用视频压缩算法,反之亦然。如语法所定义,当前视频块的比特流可例如对应于并置或散布在比特流内不同位置的位。例如,可以根据经变换和编解码的误差残余值,并且还使用比特流中的标头和其他字段中的位,对宏块进行编码。此外,在转换期间,解码器可以基于如以上解决方案中所述的确定,在知道一些字段可能存在或不存在的情况下解析比特流。类似地,编码器可确定包括或不包括某些语法字段,并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。
本文档中描述的所公开的解决方案和其它解决方案、示例、实施例、模块和功能操作可以在以下各项中实现:数字电子电路,或计算机软件、固件或硬件,包括本文档中公开的结构及其结构等同物,或上述各项的一个或多个的组合。所公开的实施例和其它实施例可以被实现为一个或多个计算机程序产品,即,编码在计算机可读介质上的计算机程序指令的一个或多个模块,用于由数据处理装置执行或控制其操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合物,或者一个或多个它们的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器,例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播信号是人为生成的信号,例如,机器生成的电气、光学或电磁信号,其被生成以对信息进行编码以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言,并且其也可以以任何形式部署,包括作为独立程序或模块、组件、子例程或其它适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件相对应。程序可以被存储在保存其它程序或数据的文件部分(例如,标记语言文档中存储的一个或多个脚本)、专用于相关程序的单个文件或多个协调文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可以被部署以在一台计算机上执行,或在位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
本文档中描述的过程和逻辑流可以由一个或多个可编程处理器执行,这些计算机程序执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流还可以由专用逻辑电路执行,并且装置还可以实现为专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适合执行计算机程序的处理器包括通用和专用微处理器,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者中接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括或被操作地耦合以从一个或多个用于存储数据的大容量存储设备(例如,磁盘、磁光盘或光盘)接收数据或向其传输数据。然而,计算机不需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪速存储器设备;磁盘,例如内部硬盘或可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM光盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
尽管本专利文档包含许多细节,但这些细节不应当被解释为对任何主题或要求保护的内容的范围的限制,而应当被解释为对特定的技术的特定的实施例所特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或在任何合适的子组合中实现。此外,尽管上述特征可以被描述为以特定组合起作用,甚至最初被声称为这样,但在一些情况下,可以从所要求保护的组合中删除一个或多个特征,并且所要求保护的组合可以指向子组合或子组合的变体。
类似地,尽管在附图中以特定的顺序描述这些操作,但这不应当被理解为要求按照所示的特定的顺序或序列顺序执行这样的操作,或要求所有示出的操作被执行,以获得理想的结果。此外,本专利文档中描述的实施例中的各种系统组件的分离不应当理解为在所有实施例中都要求这种分离。
仅描述了一些实现和示例,并且其它实现、增强和变体可以基于本专利文档中描述和说明的内容进行。

Claims (22)

1.一种视频处理方法,包括:
执行视频与所述视频的比特流之间的转换,所述视频包括包含一个或多个片的视频图片;
其中,所述视频图片参考图片参数集;并且
其中,所述图片参数集符合格式规则,所述格式规则规定所述图片参数集包括N个片列的列宽度的列表,其中N是整数,其中第N-1个片列存在于所述视频图片中,并且所述第N-1个片列的宽度等于显式包括的片列宽度列表中的第N-1个条目加上一个数量的编解码树块。
2.根据权利要求1所述的方法,其中,N-1被表示为num_exp_tile_columns_minus1。
3.根据权利要求1或2所述的方法,其中,基于tile_column_width_mnus1[num_exp_tile_columns_minus1]+1来确定片列的以编解码树块为单位的宽度,其中tile_column_width_minus1规定片列的以编解码树块为单位的宽度。
4.根据权利要求1至3中任一项所述的方法,其中,片列的以编解码树块为单位的宽度不允许被重置,并且仅基于tile_column_width_minus1[num_exp_tile_columns_minus1]来确定。
5.根据权利要求3或4所述的方法,其中,片列的以编解码树块为单位的宽度等于tile_column_width_minus1[num_exp_tile_columns_minus1]+1。
6.根据权利要求1至5中任一项所述的方法,其中,基于tile_column_width_minus1[num_exp_tile_columns_minus1]来确定具有大于num_exp_tile_columns_minus1的索引的第二片列的宽度。
7.一种视频处理方法,包括:
执行视频和所述视频的比特流之间的转换,所述视频包括包含一个或多个片的视频图片;
其中,所述视频图片参考图片参数集;
其中,所述图片参数集符合格式规则,所述格式规则规定所述图片参数集包括N个片行的行高度列表,其中N是整数,其中第N-1个片行存在于所述视频图片中,并且所述第N-1个片行的高度等于显式包括的片行高度列表中的第N-1个条目加上一个数量的编解码树块。
8.根据权利要求7所述的方法,其中,N-1被表示为num_exp_tile_rows_minus1。
9.根据权利要求7或8所述的方法,其中,基于tile_row_height_minus1[num_exp_tile_row_minus1]+1来确定片行的以编解码树块为单位的高度,其中tile_row_height_minus1规定片行的以编解码树块为单位的高度。
10.根据权利要求7至9中任一项所述的方法,其中,片行的以编解码树块为单位的高度不允许被重置,并且仅基于tile_row_height_minus1[num_exp_tile_row_minus1]来确定。
11.根据权利要求7至10中任一项所述的方法,其中,片行的以编解码树块为单位的高度等于tile_row_height_minus1[num_exp_tile_row_minus1]+1。
12.根据权利要求7至11中任一项所述的方法,其中,基于tile_row_height_minus1[num_exp_tile_row_minus1]来确定具有大于num_exp_tile_rows_minus1的索引的第二片行的的高度。
13.根据权利要求1至12中任一项所述的方法,其中,所述转换包括将所述视频编码成所述比特流。
14.根据权利要求1至12中任一项所述的方法,其中,所述转换包括从所述比特流中解码所述视频。
15.一种存储视频的比特流的方法,包括:
根据格式规则从块生成所述视频的比特流,其中所述视频包括包含一个或多个片的视频图片,其中视频图片参考图片参数集;并且
其中,所述图片参数集符合格式规则,所述格式规则规定所述图片参数集包括N个片的列宽度列表,其中N是整数,其中第N-1个片列存在于所述视频图片中,并且所述第N-1个片列的宽度等于显式包括的片列宽度列表中的第N-1个条目加上一个数量的编解码树块;
将所述比特流存储在非暂时性计算机可读记录介质中。
16.一种存储视频的比特流的方法,包括:
根据格式规则从块生成所述视频的比特流,
其中,所述视频图片参考图片参数集;并且
其中所述图片参数集符合格式规则,所述格式规则规定所述图片参数集包括N个片的行高度列表,其中N是整数,其中第N-1个片行存在于所述视频图片中,并且所述第N-1个片行的高度等于显式包括的片行高度列表中的第N-1个条目加上一个数量的编解码树块;
将所述比特流存储在非暂时性计算机可读记录介质中。
17.一种视频解码装置,包括被配置为实现权利要求1至16中的一项或多项所述的方法的处理器。
18.一种视频编码装置,包括被配置为实现权利要求1至16中的一项或多项所述的方法的处理器。
19.一种其上存储有计算机代码的计算机程序产品,当由处理器执行时,所述代码使所述处理器实现权利要求1至16中任一项所述的方法。
20.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中,所述方法包括:
根据格式规则从块生成所述视频的比特流,其中所述视频包括包含一个或多个片的视频图片,其中所述视频图片参考图片参数集;并且
其中,所述图片参数集符合格式规则,所述格式规则规定所述图片参数集包括N个片的列宽列表,其中N是整数,其中第N-1个片列存在于所述视频图片中,并且所述第N-1个片列的宽度等于显式包括的片列宽度列表中的第N-1个条目加上一个数量的编解码树块。
21.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中,所述方法包括:
根据格式规则从块生成所述视频的比特流,其中,所述视频图片参考图片参数集;并且
其中,所述图片参数集符合格式规则,所述格式规则规定所述图片参数集包括N个片的行高度列表,其中N是整数,其中第N-1个片行存在于所述视频图片中,并且所述第N-1个片行的高度等于显式包括的片行高度列表中的第N-1个条目加上一个数量的编解码树块。
22.本文档中描述的方法、装置、根据方法生成的比特流或系统。
CN202180016194.2A 2020-02-21 2021-02-22 视频图片中的片的指示 Pending CN115552899A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2020076158 2020-02-21
CNPCT/CN2020/076158 2020-02-21
PCT/CN2021/077217 WO2021164784A1 (en) 2020-02-21 2021-02-22 Indication of tiles in a video picture

Publications (1)

Publication Number Publication Date
CN115552899A true CN115552899A (zh) 2022-12-30

Family

ID=77391818

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202180016200.4A Pending CN115211110A (zh) 2020-02-21 2021-02-22 视频编解码中的图片分割
CN202180016147.8A Active CN115211130B (zh) 2020-02-21 2021-02-22 基于条带和片图片分割的信令通知的处理视频数据的方法
CN202180016121.3A Pending CN115211124A (zh) 2020-02-21 2021-02-22 视频编解码中的条带分割和片分割
CN202180016194.2A Pending CN115552899A (zh) 2020-02-21 2021-02-22 视频图片中的片的指示

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202180016200.4A Pending CN115211110A (zh) 2020-02-21 2021-02-22 视频编解码中的图片分割
CN202180016147.8A Active CN115211130B (zh) 2020-02-21 2021-02-22 基于条带和片图片分割的信令通知的处理视频数据的方法
CN202180016121.3A Pending CN115211124A (zh) 2020-02-21 2021-02-22 视频编解码中的条带分割和片分割

Country Status (7)

Country Link
US (3) US11812067B2 (zh)
EP (2) EP4097988A4 (zh)
JP (2) JP2023514624A (zh)
KR (2) KR20220137903A (zh)
CN (4) CN115211110A (zh)
BR (1) BR112022016608A2 (zh)
WO (4) WO2021164783A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112022019661A2 (pt) * 2020-03-31 2022-11-29 Sharp Kk Aparelho de decodificação de vídeo, aparelho de codificação de vídeo, método de decodificação de vídeo e método de codificação de vídeo
CN114584806A (zh) * 2022-03-07 2022-06-03 湖南国科微电子股份有限公司 视频源文件的处理方法、视频播放方法、装置及设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965296B2 (en) * 2006-06-20 2011-06-21 Via Technologies, Inc. Systems and methods for storing texture map data
US20080285652A1 (en) * 2007-05-14 2008-11-20 Horizon Semiconductors Ltd. Apparatus and methods for optimization of image and motion picture memory access
US8990435B2 (en) 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
US9325999B2 (en) 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
US8767824B2 (en) 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US9749661B2 (en) * 2012-01-18 2017-08-29 Qualcomm Incorporated Sub-streams for wavefront parallel processing in video coding
CN103220507B (zh) * 2012-01-19 2018-04-20 中兴通讯股份有限公司 一种视频编解码方法及系统
SG10201505820QA (en) 2012-01-30 2015-08-28 Samsung Electronics Co Ltd Method and apparatus for video encoding for each spatial sub-area, and method and apparatus for video decoding for each spatial sub-area
CN108337526B (zh) 2012-04-13 2020-10-30 Ge视频压缩有限责任公司 一种低延迟图像编码解码方法、设备及计算机可读介质
BR122020007914B1 (pt) * 2012-06-29 2023-03-07 Ge Video Compression, Llc Fluxo contínuo de dados de vídeo, entidade de rede para receber o fluxo contínuo de dados de vídeo e método para decodificar o fluxo contínuo de dados recebido
US20140192899A1 (en) 2013-01-09 2014-07-10 Mediatek Inc. Method and apparatus for referring to bitstream address related information derived from segment of multi-tile picture to determine bitstream start address of tile of multi-tile picture
GB2516224A (en) 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US20150016503A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Tiles and wavefront processing in multi-layer context
US11425395B2 (en) * 2013-08-20 2022-08-23 Google Llc Encoding and decoding using tiling
WO2015083575A1 (ja) * 2013-12-06 2015-06-11 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
CN114827601A (zh) 2015-09-11 2022-07-29 株式会社Kt 对视频进行解码的方法和设备以及对视频进行编码的方法和设备
CN109076216B (zh) * 2016-03-30 2023-03-31 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
US11039143B2 (en) * 2017-11-20 2021-06-15 Qualcomm Incorporated Memory reduction for context initialization with temporal prediction
CN110662053B (zh) * 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
WO2020008106A1 (en) * 2018-07-02 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP3818710A4 (en) * 2018-07-02 2022-06-29 Nokia Technologies Oy Method and apparatus for tile-relative addressing in video coding
CA3191812A1 (en) 2018-07-04 2020-01-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
KR102572140B1 (ko) 2018-11-30 2023-08-30 샤프 가부시키가이샤 코딩된 비디오의 픽처들에 대한 타일 구조들을 시그널링하기 위한 시스템들 및 방법들
MX2021008001A (es) 2018-12-31 2021-10-22 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes para señalización de configuración de mosaicos.
WO2020209478A1 (ko) * 2019-04-08 2020-10-15 엘지전자 주식회사 픽처를 복수의 타일들로 분할하는 방법 및 장치
JP2022537767A (ja) * 2019-06-20 2022-08-29 エックスリス、コーポレーション 映像信号の符号化/復号化方法及びそのための装置
US20220279179A1 (en) 2019-08-12 2022-09-01 Hanwha Techwin Co., Ltd. Method and device for high-level image segmentation and image encoding/decoding
KR20210030889A (ko) * 2019-09-10 2021-03-18 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20220087514A (ko) 2019-11-28 2022-06-24 엘지전자 주식회사 영상/비디오 코딩 방법 및 장치
EP4070545A4 (en) 2019-12-23 2023-03-08 Huawei Technologies Co., Ltd. CROSS-COMPONENT ADAPTIVE LOOP FILTERING ALLOWS VIDEO CODING
US20230085937A1 (en) * 2020-01-28 2023-03-23 Sharp Kabushiki Kaisha Systems and methods for signaling picture information in a slice header in video coding
JP7479492B2 (ja) * 2020-03-03 2024-05-08 バイトダンス インコーポレイテッド ビデオ・コーディングにおける低周波ノン・セパラブル変換シグナリング

Also Published As

Publication number Publication date
EP4097988A4 (en) 2023-03-01
WO2021164784A1 (en) 2021-08-26
BR112022016608A2 (pt) 2022-10-04
WO2021164783A1 (en) 2021-08-26
JP2023514623A (ja) 2023-04-06
WO2021164781A1 (en) 2021-08-26
US11917211B2 (en) 2024-02-27
US20230027555A1 (en) 2023-01-26
JP2023514624A (ja) 2023-04-06
CN115211130B (zh) 2024-04-09
EP4097976A1 (en) 2022-12-07
US20230007307A1 (en) 2023-01-05
US11962814B2 (en) 2024-04-16
EP4097976A4 (en) 2023-03-01
US11812067B2 (en) 2023-11-07
KR20220143822A (ko) 2022-10-25
CN115211130A (zh) 2022-10-18
US20220417565A1 (en) 2022-12-29
CN115211110A (zh) 2022-10-18
WO2021164782A1 (en) 2021-08-26
KR20220137903A (ko) 2022-10-12
CN115211124A (zh) 2022-10-18
EP4097988A1 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
US20230008778A1 (en) Interplay between picture header and slice header of a video bitstream
US11917211B2 (en) Signaling of slice and tile picture partitions
KR20220124702A (ko) 비디오 비트스트림들에서의 값 범위들에 대한 제약들
CN114902677A (zh) 信令通知视频子图片的语法
JP2024026265A (ja) スライスおよびタイルを含むピクチャのコーディング
CN115211044A (zh) 使用条带头信令通知控制缩放处理
CN114930825A (zh) 用于在编解码图片中实现解码顺序的技术
CN115804086A (zh) 补充增强消息中的子图片级信息信令
CN114930837A (zh) 对子图片的帧间预测的限制
CN115299063A (zh) 变换跳过残差编解码
CN115152210A (zh) 子图片的高度的推导
CN115462085A (zh) 视频编解码中滤波的高级控制
CN115699772A (zh) 视频编解码中的补充增强信息的约束

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination