CN114175657B - 基于块尺寸的图片分割模式确定 - Google Patents

基于块尺寸的图片分割模式确定 Download PDF

Info

Publication number
CN114175657B
CN114175657B CN202080054122.2A CN202080054122A CN114175657B CN 114175657 B CN114175657 B CN 114175657B CN 202080054122 A CN202080054122 A CN 202080054122A CN 114175657 B CN114175657 B CN 114175657B
Authority
CN
China
Prior art keywords
video block
current video
video
width
luminance sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080054122.2A
Other languages
English (en)
Other versions
CN114175657A (zh
Inventor
邓智玭
张莉
张凯
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202311469575.3A priority Critical patent/CN117354527A/zh
Publication of CN114175657A publication Critical patent/CN114175657A/zh
Application granted granted Critical
Publication of CN114175657B publication Critical patent/CN114175657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Discrete Mathematics (AREA)

Abstract

描述了用于对视频编解码或解码的方法、系统和装置,其中,图片分割模式基于块尺寸。一种用于视频处理的示例方法包括:使用虚拟流水线数据单元(VPDU)的维度来确定是否启用一个或多个视频块的视频块的三叉树(TT)或二叉树(BT)分割,该虚拟流水线数据单元的维度用于包括一个或多个视频区域的视频和视频的比特流表示之间的转换,该视频区域包括一个或多个视频块;以及基于该确定执行该转换,其中,亮度样点中的该维度等于VSize,其中,亮度样点中的该视频块的维度为CtbSizeY,其中,VSize=min(M,CtbSizeY),并且其中,M是正整数。

Description

基于块尺寸的图片分割模式确定
相关申请的交叉引用
本申请是于2020年7月27日提交的国际专利申请号PCT/CN2020/104785进入中国国家阶段的申请,其要求于2019年7月26日提交的国际专利申请No.PCT/CN2019/097926以及2019年8月31日提交的国际专利申请No.PCT/CN2019/103892的优先权。以上申请的全部公开内容通过引用而并入,作为本申请的公开的一部分。
技术领域
本文档涉及视频和图像编解码及解码技术
背景技术
数字视频占据了因特网和其他数字通信网络上最大的带宽使用量。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将持续增长。
发明内容
所公开的技术可以由视频或图像解码器或编码器实施例用来执行对视频的编解码或解码,其中,图片分割模式是基于块尺寸确定的。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:使用虚拟流水线数据单元(VPDU)的维度来确定是否启用一个或多个视频块的视频块三叉树(TT)或二叉树(BT)分割,该虚拟流水线数据单元用于包括一个或多个视频区域的视频和所述视频的比特流表示之间的转换,该视频区域包括一个或多个视频块;以及基于该确定执行该转换,其中,亮度样点中的该维度等于VSize,其中,亮度样点中的该视频块的维度为CtbSizeY,其中,VSize=min(M,CtbSizeY),并且其中,M是正整数。
在另一个示例性方面中,公开了一种视频处理的方法。该方法包括:为包括一个或多个视频区域(该视频区域包括一个或多个视频块)的视频与该视频的比特流表示之间的转换,使用该一个或多个视频块的维度来确定是否启用三叉树(TT)或二叉树(BT)分割的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度,为包括一个或多个视频区域(该视频区域包括一个或多个视频块,且该一个或多个视频块包括该视频块)的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换,其中,该确定基于该高度或该宽度与值N之间的比较,其中,N为正整数。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度与变换块的尺寸之间的比较,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的子分割的维度与最大变换尺寸之间的比较来执行(a)为包括一个或多个视频区域(该视频区域包括一个或多个视频块,且该一个或多个视频块包括该视频块)的视频与该视频的比特流表示之间的转换,是否启用帧内子分割预测(ISP)模式的确定,以及(b)针对该转换对一个或多个允许分割类型的选择;以及基于该确定和该选择执行该转换,其中,在ISP模式中,在应用帧内预测和变换之前,将该一个或多个视频块中的视频块分割成多个子分割。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,将与该编解码工具相关的语法元素从该比特流表示中排除,并且将其推断为指定该编解码工具被禁用的预定值。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括执行包括一个或多个视频区域(该视频区域包括一个或多个视频块)的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,该比特流表示包括与该编解码工具相关的语法元素,将这些语法元素推断为基于该编解码工具被禁用的预定值。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括使用包括一个或多个视频区域(该视频区域包括一个或多个视频块)的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度和/或最大变换尺寸来执行对是否启用对该一个或多个视频块中的视频块的隐式(QT)分割的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括执行包括一个或多个视频区域(该视频区域包括一个或多个视频块)的视频和该视频的比特流表示之间的转换,其中,该转换包括子块变换(SBT),其中,该SBT的最大高度或最大宽度基于最大变换尺寸,并且其中,该SBT包括单独应用于该一个或多个视频块中的视频块的一个或多个分割的一个或多个变换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:执行包括一个或多个视频区域(该视频区域包括一个或多个视频块)的视频和该视频的比特流表示之间的转换,其中,该转换包括变换跳过模式和/或帧内基于块的差分脉码调制(BDPCM)模式,其中,用于该变换跳过模式的最大块尺寸基于最大变换尺寸,其中,该变换跳过模式包括对于对应的编解码工具跳过变换和逆变换处理,并且其中,在BDPCM模式中,使用差分脉冲编解码调制操作对当前视频块的帧内预测的残差进行预测编解码。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度与最大变换尺寸之间的比较,为包括一个或多个视频区域(该视频区域包括包括该视频块的一个或多个视频块)的视频与该视频的比特流表示之间的转换,执行对是否启用合并帧间帧内预测(CIIP)模式的确定;以及基于该确定执行该转换,其中,在CIIP模式中,对该视频块的最终预测基于该视频块的帧间预测和该视频块的帧内预测的加权和。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:为包括一个或多个视频区域(该视频区域包括一个或多个视频块)的视频和该视频的比特流表示之间的转换,做出有关分割采用合并帧间帧内预测(CIIP)编解码的该一个或多个视频块中的视频块的确定;以及基于该确定执行该转换,其中,在CIIP模式中,该视频块的最终预测基于该视频块的帧间预测和该视频块的帧内预测的加权和。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定该视频区域中的使用变换编解码被编解码到该比特流表示中的多个视频块的最大块尺寸确定该视频区域中的在不使用变换编解码的情况下被编解码到该比特流表示中的多个视频块的最大块尺寸。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定在针对该视频区域启用无损编解码时对该视频区域禁用带有色度缩放的亮度映射(LMCS)处理,其中,该视频区域是序列、图片、子图片、条带、片组、片、砖块、编解码树单元(CTU)行、CTU、编解码单元(CU)、预测单元(PU)、变换单元(TU)或子块,并且其中,该LMCS处理包括在第一域和第二域之间对该视频区域的亮度样点整形,并且按照亮度相关方式对色度残差进行缩放。
在又一示例性方面中,可以由包括处理器的视频编码器装置实施上述方法。
在又一示例性方面中,这些方法可以被体现为处理器可执行指令的形式并存储于计算机可读程序介质上。
本文档进一步描述了这些方面以及其他方面。
附图说明
图1示出了取决于视频块尺寸的二叉树(binary-tree,BT)和三叉树(ternary-tree,TT)划分的示例。
图2是用于实施本文档中描述的技术的硬件平台的示例的框图。
图3是可以实施所公开的技术的示例性视频处理系统的框图。
图4是视频处理的示例性方法的流程图。
图5是视频处理的另一示例性方法的流程图。
图6是视频处理的又一示例性方法的流程图。
图7是视频处理的又一示例性方法的流程图。
图8是视频处理的又一示例性方法的流程图。
图9是视频处理的又一示例性方法的流程图。
图10是视频处理的又一示例性方法的流程图。
图11是视频处理的又一示例性方法的流程图。
图12是视频处理的又一示例性方法的流程图。
图13是视频处理的又一示例性方法的流程图。
图14是视频处理的又一示例性方法的流程图。
图15是视频处理的又一示例性方法的流程图。
图16是视频处理的又一示例性方法的流程图。
图17是视频处理的又一示例性方法的流程图。
图18是视频处理的又一示例性方法的流程图。
具体实施方式
本文档提供了图像或视频比特流的解码器可以使用的各种技术,以提高解压缩或解码数字视频或图像的质量。为了简洁起见,“视频”一词在本文当中被用来既包含图片的序列(常规上被称为视频),又包含单独图像。此外,视频编码器还可以在编码过程期间实施这些技术,以便重建用于进一步的编码的解码帧。
本文档中使用了章节标题,其目的是便于理解,而非使实施例和技术局限于对应的章节。如此,来自一个章节的实施例可以与来自其他章节的实施例相结合。
1.概述
本文档涉及视频编解码技术。具体地,本文档关于用于控制视频编解码或解码当中的编解码树单元或变换单元的尺寸的规则。其可以应用于现有的视频编解码标准,如HEVC,或待定案的标准(多功能视频编解码)。其还可以适用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263,ISO/IEC开发了MPEG-1和MPEG-4视觉,并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(Joint Video Exploration Team,JVET)。从那时起,JVET采用了许多新的方法,并将其应用到了名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。JVET会议当前每季度举办一次,并且新型编解码标准以相较于HEVC有50%的比特率下降为目标。该新型编解码标准曾在2018年4月的JVET会议中被正式命名为多功能视频编解码(VVC),并且当时发布了第一版VVC测试模型(VVC test model,VTM)。随着促进VVC标准化的持续努力,在每次JVET会议中都有新的编解码技术被VVC标准采纳。于是,每次会议之后都会更新VVC工作草案和测试模型VTM。现在,VVC项目致力于在2020年7月的会议中实现技术完成(FDIS)。
2.1 VVC中的CTU尺寸
VTM-5.0软件允许4种不同CTU尺寸:16×16、32×32、64×64和128×128。然而,在2019年7月的JVET会议上,因JVET-O0526的采纳而将最小CTU尺寸重新定义为32×32。并且,将VVC工作草案6中的CTU尺寸编码到SPS标头当中的被称为log2_ctu_size_minus_5的UE编码语法元素当中。
下文是定义了虚拟流水线数据单元(virtual pipeline data unit,VPDU)并且采纳了JVET-O0526的VVC草案6中的对应规范修改。
7.3.2.3.序列参数集RBSP语法
seq_parameter_set_rbsp(){ 描述符
log2_ctu_size_minus5 u(2)
7.4.3.3.序列参数集RBSP语义
log2_ctu_size_minus5加5规定每一CTU的亮度编解码树块尺寸。比特流一致性的要求是log2_ctu_size_minus5的值小于或等于2。
log2_min_luma_coding_block_size_minus2加2规定最小亮度编解码块尺寸。
如下推导变量CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、IbcBufWidthY、IbcBufWidthC和Vsize:
CtbLog2SizeY=log2_ctu_size_minus5+5
(7-15)
CtbSizeY=1<<CtbLog2SizeY (7-16)
MinCbLog2SizeY=log2_min_luma_coding_block_size_minus2+2 (7-17)
MinCbSizeY=1<<MinCbLog2SizeY (7-18)
IbcBufWidthY=128*128/CtbSizeY (7-19)
IbcBufWidthC=IbcBufWidthY/SubWidthC
(7-20)
VSize=Min(64,CtbSizeY) (7-21)
如下推导分别规定每一色度CTB的阵列的宽度和高度的变量CtbWidthC和CtbHeightC:
-如果chroma_format_idc等于0(单色)或者separate_colour_plane_flag等于1,那么CtbWidthC和CtbHeightC两者均等于0。
-否则,如下推导CtbWidthC和CtbHeightC:
CtbWidthC=CtbSizeY/SubWidthC (7-22)
CtbHeightC=CtbSizeY/SubHeightC (7-23)
对于处于范围0到4(含端点)内的log2BlockWidth并且对于处于范围0到4(含端点)的范围内的log2BlockHeight,在以1<<log2BlockWidth且1<<log2BlockHeight为输入的情况下调用如条款6.5.2中规定的右上对角线和光栅扫描顺序数组初始化处理,并且将输出赋予
DiagScanOrder[log2BlockWidth][log2BlockHeight]和
RasterScanOrder[log2BlockWidth][log2BlockHeight]。
slice_log2_diff_max_bt_min_qt_luma规定当前条带中能够使用二叉树划分进行划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)和CTU的由四叉树划分得到的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_bt_min_qt_luma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeY的范围(含端点)内。当不存在时,如下推断slice_log2_diff_max_bt_min_qt_luma的值:
–如果slice_type等于2(I),那么将slice_log2_diff_max_bt_min_qt_luma的值推断为等于sps_log2_diff_max_bt_min_qt_intra_slice_luma
–否则(slice_type等于0(B)或1(P)),将slice_log2_diff_max_bt_min_qt_luma的值推断为等于sps_log2_diff_max_bt_min_qt_inter_slice。
slice_log2_diff_max_tt_min_qt_luma规定当前条带中能够使用三叉树划分进行划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)和CTU的由四叉树划分得到的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_tt_min_qt_luma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeY(含端点)的范围内。当不存在时,如下推断slice_log2_diff_max_tt_min_qt_luma的值:
–如果slice_type等于2(I),那么将slice_log2_diff_max_tt_min_qt_luma的值推断为等于sps_log2_diff_max_tt_min_qt_intra_slice_luma
–否则(slice_type等于0(B)或1(P)),将slice_log2_diff_max_tt_min_qt_luma的值推断为等于sps_log2_diff_max_tt_min_qt_inter_slice。
slice_log2_diff_min_qt_min_cb_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下色度CTU的由四叉树划分得到的色度叶块的亮度样点中的最小尺寸的以2为底的对数和在treeType等于DUAL_TREE_CHROMA的情况下色度CU的亮度样点中的最小编解码块尺寸的以2为底的对数之间的差值。slice_log2_diff_min_qt_min_cb_chroma的值应当处于0到CtbLog2SizeY-MinCbLog2SizeY(含端点)的范围内。当不存在时,将slice_log2_diff_min_qt_min_cb_chroma的值推断为等于sps_log2_diff_min_qt_min_cb_intra_slice_chroma。
slice_max_mtt_hierarchy_depth_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下四叉树叶的由多类型树划分得到的编解码单元的最大层次深度。slice_max_mtt_hierarchy_depth_chroma的值应当处于0到CtbLog2SizeY-MinCbLog2SizeY(含端点)的范围内。当不存在时,将slice_max_mtt_hierarchy_depth_chroma的值推断为等于sps_max_mtt_hierarchy_depth_intra_slices_chroma。
slice_log2_diff_max_bt_min_qt_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下能够使用二叉树划分进行划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)和色度CTU的由四叉树划分得到的色度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_bt_min_qt_chroma的值应该处于0到CtbLog2SizeY-MinQtLog2SizeC(含端点)的范围内。当不存在时,将slice_log2_diff_max_bt_min_qt_chroma的值推断为等于sps_log2_diff_max_bt_min_qt_intra_slice_chroma。
slice_log2_diff_max_tt_min_qt_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下能够使用三叉树划分进行划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)和色度CTU的由四叉树划分得到的色度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_tt_min_qt_chroma的值应该处于0到CtbLog2SizeY-MinQtLog2SizeC(含端点)的范围内。当不存在时,将slice_log2_diff_max_tt_min_qt_chroma的值推断为等于sps_log2_diff_max_tt_min_qt_intra_slice_chroma。
如下推导变量MinQtLog2SizeY、MinQtLog2SizeC、MinQtSizeY、MinQtSizeC、MaxBtSizeY、MaxBtSizeC、MinBtSizeY、MaxTtSizeY、MaxTtSizeC、MinTtSizeY、MaxMttDepthY和MaxMttDepthC:
MinQtLog2SizeY=MinCbLog2SizeY+slice_log2_diff_min_qt_min_cb_luma(7-86)
MinQtLog2SizeC=MinCbLog2SizeY+slice_log2_diff_min_qt_min_cb_chhroma(7-87)
MinQtSizeY=1<<MinQtLog2SizeY
(7-88)
MinQtSizeC=1<<MinQtLog2SizeC
(7-89)
MaxBtSizeY=1<<(MinQtLog2SizeY+slice_log2_diff_max_bt_min_qt_luma)(7-90)
MaxBtSizeC=1<<(MinQtLog2SizeC+slice_log2_diff_max_bt_min_qt_chroma) (7-91)
MinBtSizeY=1<<MinCbLog2SizeY
(7-92)
MaxTtSizeY=1<<(MinQtLog2SizeY+slice_log2_diff_max_tt_min_qt_luma)(7-93)
MaxTtSizeC=1<<(MinQtLog2SizeC+slice_log2_diff_max_tt_min_qt_chroma) (7-94)
MinTtSizeY=1<<MinCbLog2SizeY
(7-95)
MaxMttDepthY=slice_max_mtt_hierarchy_depth_luma (7-96)
MaxMttDepthC=slice_max_mtt_hierarchy_depth_chroma (7-97)
2.2 VVC中的最大变换尺寸
在VVC草案5中,在SPS中信令通知最大变换尺寸,但是其被固定为长度64,并且是不可配置的。然而,在2019年7月的JVET会议中,确定仅借助于SPS层级上的标志使最大亮度变换尺寸能够要么是64,要么是32。最大色度变换尺寸是相对于最大亮度变换尺寸由色度采样比推导的。
下文是采纳了JVET-O05xxx的VVC草案6中的对应规范修改。
7.3.2.3.序列参数集RBSP语法
seq_parameter_set_rbsp(){ 描述符
sps_max_luma_transform_size_64_flag u(1)
7.4.3.3.序列参数集RBSP语义
sps_max_luma_transform_size_64_flag等于1规定亮度样点中的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定亮度样点中的最大变换尺寸等于32。
在CtbSizeY小于64时,sps_max_luma_transform_size_64_flag的值必须等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size_64_flag?6:5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY=1<<MaxTbLog2SizeY
(7-30)
sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度为32个样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度为64个样点。
MaxSbtSize=Min(MaxTbSizeY,sps_sbt_max_size_64_flag?64:32) (7-31)
3.由所公开的技术解决方案解决的技术问题的示例
在最近的VVC工作草案JVET-O2001-v11中有几个问题,下文将对其给出描述。
1)在当前的VVC草案6中,最大变换尺寸和CTU尺寸是单独定义的。例如,CTU尺寸可以是32,而变换尺寸可以是64。希望最大变换尺寸应当等于或小于CTU尺寸。
2)在当前的VVC草案6中,块分割处理取决于最大变换块尺寸而非VPDU尺寸。因此,如果最大变换块尺寸为32×32,那么除了禁用128×128TT划分和64×128垂直BT划分以及128×64水平BT划分以遵守VPDU规则之外,还禁用对64×64块的TT划分,禁用对32×64/16×64/8×64编解码块的垂直BT划分,还禁用对64×8/64×16/64×32编解码块的水平BT划分,从编解码效率来看这样做效率不高。
3)当前VVC草案6允许CTU尺寸等于32、64和128。然而,CTU尺寸可以大于128也是可能的。因而,需要修改一些语法元素。
a)如果允许更大CTU尺寸,那么可以重新设计块分割结构和块划分标志的信令通知。
b)如果允许更大CTU尺寸,那么可以重新设计当前设计(例如,仿射参数推导、IBC预测、IBC缓存尺寸、Merge三角形预测、CIIP、常规Merge模式等)中的一些。
4)在当前草案6中,在SPS层级上信令通知CTU尺寸。然而,由于参考图片重采样(又名自适应分辨率变化)的采纳允许可以采用不同分辨率将图片编解码到一个比特流当中,因而CTU尺寸可以是跨越多个层而不同的。
5)在WD6中,用于MIP和ISP的最大块尺寸取决于最大变换尺寸,而非VPDU尺寸或64×64,从编解码效率来看这样做效率不高。
6)在WD6中,用于变换跳过和帧内BDPCM的最大块尺寸取决于最大变换跳过尺寸,其受到最大变换尺寸限制。
7)在WD6中,用于SBT的最大块尺寸取决于最大SBT尺寸,其受到最大变换尺寸的限制。
8)在WD6中,用于IBC和PLT的编解码块的尺寸局限于64×64,可以根据最大变换尺寸、CTU尺寸和/或VPDU尺寸对其进行调整。
9)在WD6中,用于CIIP的编解码块的尺寸可以大于最大变换尺寸。
10)在WD6中,LMCS启用标志不以变换量化旁路标志为条件。
4.示例实施例和技术
下文对解决方案的列举应被视为解释一些构思的示例。不应狭义地解释这些项目。此外,可以按照任何方式使这些项目相结合。
在本文档中,C=min(a,b)表明C等于a和b当中的最小值。
在本文档中,视频单元尺寸/维度可以是视频单元的高度或者宽度(例如,图片/子图片/条带/砖块/片/CTU/CU/CB/TU/TB的宽度或高度)。如果由M×N表示视频单元尺寸,那么M表示视频单元的宽度,并且N表示视频单元的高度。
在本文档中,“编解码块”可以是亮度编解码块和/或色度编解码块。在本发明中可以采用编解码块的按亮度样点来计的尺寸/维度来表示亮度样点中的尺寸/维度。例如,128×128编解码块(或者以亮度样点来计的编解码块尺寸128×128)可以指示对于4:2:0颜色格式的128×128亮度编解码块和/或64×64色度编解码块。类似地,对于4:2:2颜色格式,其可以指128×128亮度编解码块和/或64×128色度编解码块。对于4:4:4色度格式,其可以指128×128亮度编解码块和/或128×128色度编解码块。
相关的可配置CTU尺寸
1.提出了针对不同的视频单元(诸如层/图片/子图片/条带/片/砖块)可以允许不同的CTU维度(诸如宽度和/或高度)。
a)在一个示例中,可以在视频单元层级(诸如VPS/DPS/SPS/PPS/APS/图片/子图片/条带/条带标头/片/砖块层级)上显式信令通知一组或多组CTU维度。
b)在一个示例中,在允许参考图片重采样(又名自适应分辨率变化)时,CTU维度可以是跨越不同层而不同的。
i.例如,可以根据降采样/升采样缩放因数显式推导层间图片的CTU维度。
1.例如,如果基本层的信令通知CTU维度为M×N(诸如,M=128并且N=128)并且根据在宽度上的缩放因数S和在高度上的缩放因数T对层间编解码图片重采样(其中,S和T可以大于或小于1,例如,S=1/4和T=1/2表示在宽度上以4倍并且在高度上以2倍对层间编解码图片降采样),那么可以将层间编解码图片中的CTU维度推导为(M×S)×(N×T)或者(M/S)×(N/T)。
ii.例如,可以在视频单元层级上针对多个层显式信令通知不同CTU维度,例如,对于层间重采样图片/子图片,可以在VPS/DPS/SPS/PPS/APS/图片/子图片/条带/条带标头/片/砖块层级上信令通知CTU维度,这不同于基本层CTU尺寸。
2.提出了是否允许TT划分或BT划分可以取决于VPDU维度(诸如宽度和/或高度)。假设VPDU具有亮度样点中的维度VSize,并且编解码树块具有亮度样点中的维度CtbSizeY。
a)在一个示例中,VSize=min(M,CtbSizeY)。M是整数值,例如,64。
b)在一个示例中,是否允许TT划分或BT划分可以独立于最大变换尺寸。
c)在一个示例中,在亮度样点中的编解码块宽度或高度大于min(VSize,maxTtSize)时可以禁用TT划分。
i.在一个示例中,在最大变换尺寸等于32×32但是VSize等于64×64时,可以对128×128/128×64/64×128编解码块禁用TT划分。
ii.在一个示例中,在最大变换尺寸等于32×32,但是VSize等于64×64时,可以对64×64编解码块允许TT划分。
d)在一个示例中,在亮度样点中的编解码块宽度小于或等于VSize,但是亮度样点中的其高度大于VSize时,可以禁用垂直BT划分。
i.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对64×128编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对32×64/16×64/8×64编解码块允许垂直BT划分。
e)在一个示例中,在编解码块超过亮度样点中的图片/子图片宽度,但是亮度样点中的其高度大于VSize时,可以禁用垂直BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片宽度时可以允许水平BT划分。
f)在一个示例中,在亮度样点中的编解码块宽度大于VSize,但是亮度样点中的其高度小于或等于VSize时,可以禁用水平BT划分。
i.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64的情况下,可以对128×64编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64的情况下,可以对64×8/64×16/64×32编解码块允许水平BT划分。
g)在一个示例中,在编解码块超过亮度样点中的图片/子图片高度,但是亮度样点中的其宽度大于VSize时,可以禁用水平BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片高度时可以允许垂直BT划分。
h)在一个示例中,在禁用TT划分或BT划分时,可以不信令通知TT或BT划分标志并且将其隐式推导为零。
i.替代性地,在启用TT和/或BT划分时,可以在比特流中显式信令通知TT和/或BT划分标志。
ii.替代性地,在禁用TT或BT划分时,可以信令通知TT或BT划分标志,但是解码器可以将其忽略。
iii.替代性地,在禁用TT或BT划分时,可以信令通知TT或BT划分标志,但是在一致性比特流中其必须为零。
3.提出了CTU维度(诸如宽度和/或高度)可以大于128。
a)在一个示例中,信令通知的CTU维度可以是256,甚至更大(例如,log2_ctu_size_minus5可以等于3或更大)。
b)在一个示例中,所推导的CTU维度可以是256,甚至更大。
i.例如,用于对图片/子图片重采样的推导CTU维度可以大于128。
4.提出了在允许较大CTU维度(例如,CTU宽度和/或高度大于128)时,那么可以将QT划分标志推断为真并且可以递归地应用QT划分,直到经划分的编解码块的维度达到指定值为止(例如,可以将该指定值设置为最大变换块尺寸或128或64或32)。
a)在一个示例中,可以在不信令通知的情况下隐式施行递归QT划分,直到经划分的编解码块尺寸达到最大变换块尺寸为止。
b)在一个示例中,在CTU 256×256适用于双重树时,那么可以不对大于最大变换块尺寸的编解码块信令通知QT划分标志,并且可以强制将QT划分用于该编解码块,直到经划分的编解码块尺寸达到最大变换块尺寸为止。
5.提出了可以针对大于128的CU/PU维度(宽度和/或高度)有条件地信令通知TT划分标志。
a)在一个示例中,可以对256×256 CU信令通知水平和垂直TT划分标志两者。
b)在一个示例中,可以对256×128/256×64 CU/PU信令通知垂直TT划分,但不信令通知水平TT划分。
c)在一个示例中,可以对128×256/64×256 CU/PU信令通知水平TT划分,但不信令通知垂直TT划分。
d)在一个示例中,在对大于128的CU维度禁用TT划分标志时,那么可以不对其信令通知,并且将其隐式推导为零。
i.在一个示例中,可以对256×128/256×64CU/PU禁用水平TT划分。
ii.在一个示例中,可以对128×256/64×256CU/PU禁用垂直TT划分。
6.提出了可以针对大于128的CU/PU维度(宽度和/或高度)有条件地信令通知BT划分标志。
a)在一个示例中,可以针对256×256/256×128/128×256CU/PU信令通知水平和垂直BT划分标志两者。
b)在一个示例中,可以对64×256CU/PU信令通知水平BT划分标志。
c)在一个示例中,可以对256×64CU/PU信令通知垂直BT划分标志。
d)在一个示例中,在对大于128的CU维度禁用BT划分标志时,那么可以不对其信令通知,并且将其隐式推导为零。
i.在一个示例中,可以对K×256CU/PU(例如,在亮度样点中时K等于或小于64)禁用垂直BT划分,并且可以不信令通知垂直BT划分标志,并且将其推导为零。
1.例如,在上述情况下,可以对64×256 CU/PU禁用垂直BT划分。
2.例如,在上述情况下,可以禁用垂直BT划分,以避免图片/子图片边界处的32×256 CU/PU。
ii.在一个示例中,在编解码块超过亮度样点中的图片/子图片宽度,但是亮度样点中的其高度大于M(例如,在亮度样点中时M=64)时,可以禁用垂直BT划分。
iii.在一个示例中,可以对256×K(例如,在亮度样点中时K等于或小于64)编解码块禁用水平BT划分,并且可以不信令通知水平BT划分标志,并且将其推导为零。
1.例如,在上述情况下,可以对256×64编解码块禁用水平BT划分。
2.例如,在上述情况下,可以禁用水平BT划分,以避免图片/子图片边界处的256×32编解码块。
iv.在一个示例中,在编解码块超过亮度样点中的图片/子图片高度,但是亮度样点中的其宽度大于M(例如,在亮度样点中时M=64)时,可以禁用水平BT划分。
7.提出了仿射模型参数计算可以取决于CTU维度。
a)在一个示例中,经缩放的运动矢量和/或仿射预测中的控制点运动矢量的推导可以取决于CTU维度。
8.提出了帧内块复制(IBC)缓存可以取决于最大可配置/允许CTU维度。
a)例如,亮度样点中的IBC缓存宽度可以等于N×N除以亮度样点中的CTU宽度(或高度),其中,N可以是亮度样点中的最大可配置CTU尺寸,例如,N=1<<(log2_ctu_size_minus5+5)。
9.提出了可以对较大CU/PU禁用一组(多个)指定编解码工具,其中,较大CU/PU是指其中CU/PU宽度或CU/PU高度大于N(例如,N=64或128)的CU/PU。
a)在一个示例中,上文提及的(多个)指定编解码工具可以是调色板和/或帧内块复制(IBC)和/或帧内跳过模式和/或三角形预测模式和/或CIIP模式和/或常规Merge模式和/或解码器侧运动推导和/或双向光流和/或基于预测细化的光流和/或仿射预测和/或基于子块的TMVP等等。
i.替代性地,(多个)屏幕内容编解码工具,诸如调色板和/或帧内块复制(IBC)模式,可以适用于较大CU/PU。
b)在一个示例中,可以显式使用语法约束条件以对较大CU/PU禁用(多个)指定编解码工具。
i.例如,对于不是较大CU/PU的CU/PU可以显式信令通知调色板/IBC标志。
c)在一个示例中,其可以使用比特流约束条件以对较大CU/PU禁用(多个)指定编解码工具。
10.是否允许TT或BT划分可以取决于块维度。
a)在一个示例中,在亮度样点中的编解码块宽度或高度大于N(例如,N=64)时可以禁用TT划分。
i.在一个示例中,在最大变换尺寸等于32×32时,可以针对128×128/128×64/64×128编解码块禁用TT划分。
ii.在一个示例中,在最大变换尺寸等于32×32时,可以对64×64编解码块允许TT划分。
b)在一个示例中,在亮度样点中的编解码块宽度小于或等于N(例如,N=64),但是亮度样点中的其高度大于N(例如,N=64)时,可以禁用垂直BT划分。
i.在一个示例中,在最大变换尺寸为32×32的情况下,可以对64×128编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32的情况下,可以对32×64/16×64/8×64编解码块允许垂直BT划分。
c)在一个示例中,在编解码块超过亮度样点中的图片/子图片宽度,但是亮度样点中的其高度大于64时,可以禁用垂直BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片宽度时可以允许水平BT划分。
d)在一个示例中,在亮度样点中的编解码块宽度大于N(例如,N=64),但是亮度样点中的其高度小于或等于N(例如,N=64)时,可以禁用水平BT划分。
i.在一个示例中,在最大变换尺寸为32×32的情况下,可以对128×64编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32的情况下,可以对64×8/64×16/64×32编解码块允许水平BT划分。
e)在一个示例中,在编解码块超过亮度样点中的图片/子图片高度,但是亮度样点中的其宽度大于N(例如,N=64)时,可以禁用水平BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片高度时可以允许垂直BT划分。
相关的可配置最大变换尺寸
11.提出了最大TU尺寸可以取决于CTU维度(宽度和/或高度),或者CTU维度可以取决于最大TU尺寸。
a)在一个示例中,可以使用最大TU尺寸必须小于或等于CTU维度这一比特流约束条件。
b)在一个示例中,最大TU尺寸的信令通知可以取决于TU维度。
i.例如,在CTU维度小于N(例如,N=64)时,信令通知的最大TU尺寸必须小于N。
ii.例如,在CTU维度小于N(例如,N=64)时,可以不信令通知最大亮度变换尺寸是64还是32的指示(例如,sps_max_luma_transform_size_64_flag),并且可以将最大亮度变换尺寸隐式推导为32。
12.可以针对具有大于变换块尺寸的宽度和/或高度的块启用某一编解码工具。
a)在一个示例中,该某一编解码工具可以是帧内子分割预测(intra sub-partition prediction,ISP)、MIP、SBT或者其他可以将一个CU划分成多个TU或者将一个CB划分成多个TB的编解码工具。
b)在一个示例中,该某一编解码工具可以是不应用变换(或者仅应用恒等变换)的编解码工具,诸如变换跳过模式、BDPCM/DPCM/PCM。
c)该某一工具可以是帧内块复制(IBC)、调色板(PLT)。
d)该某一编解码工具可以是合并帧间帧内预测(combined inter intraprediction,CIIP)。
13.是否启用某一编解码工具可以取决于编解码块维度。
a)在一个示例中,该某一编解码工具可以是帧内子分割预测(ISP)、基于矩阵的帧内预测(matrixed based intra prediction,MIP)、子块变换(Sub-block transform,SBT)、帧内块复制(IBC)、调色板(PLT)等。
b)在一个示例中,在亮度样点中的编解码块宽度和/或高度小于或者等于N(例如,N=64)时,可以允许该某一编解码工具(诸如ISP、MIP)。
i.替代性地,在亮度样点中的编解码块宽度或高度大于N(例如,N=64)时可以禁用该某一编解码工具。
c)是否启用某一编解码工具(诸如ISP、MIP)可以取决于编解码块尺寸和VPDU尺寸之间的关系。
i.在一个示例中,在亮度样点中的编解码块宽度和/或高度小于或者等于VPDU尺寸(诸如32或64)时,可以允许某一编解码工具。
1.替代性地,在亮度样点中的编解码块宽度或高度大于VPDU尺寸(诸如32或64)时,可以禁用某一编解码工具。
d)是否启用帧内子分割预测(ISP)和/或允许哪一种(哪几种)分割类型(例如,划分方向)可以取决于子分割的维度与最大变换块尺寸之间的关系。
i.在一个示例中,如果对于至少一种分割类型而言子分割宽度和/或高度不大于最大变换块尺寸,那么可以启用ISP。
1.替代性地,此外,否则,可以禁用IPS。
ii.在一个示例中,如果对于所有允许的分割类型而言子分割宽度和/或高度均不大于最大变换块尺寸,那么可以启用ISP。
1.替代性地,此外,否则,可以禁用ISP。
iii.在一个示例中,分割类型的信令通知(例如,intra_subpartitions_split_flag)可以取决于基于分割类型的对应子分割的宽度和/或高度与最大变换块尺寸之间的关系。
1.在一个示例中,如果只有一个分割类型满足基于划分类型的对应子分割的宽度和/或高度不大于最大变换块尺寸这一条件,那么可以不信令通知和推断分割类型。
e)是否启用某一编解码工具(诸如IBC、PLT)可以取决于编解码块尺寸和最大变换尺寸(诸如32或64)之间的关系。
i.在一个示例中,是否启用某一编解码工具(诸如IBC、PLT)可以不以编解码块维度和固定数值64之间的关系为条件。
ii.在一个示例中,在亮度样点中的编解码块宽度和高度不大于最大变换尺寸时,可以允许某一编解码工具(诸如IBC、PLT)。
1.在一个示例中,在亮度样点中的编解码块宽度和/或高度大于最大变换尺寸时,可以禁用某一编解码工具(诸如IBC、PLT)。
2.在一个示例中,在最大变换尺寸等于32的情况下,可以在亮度样点中的块宽度和/或高度等于64时禁用某一编解码工具(诸如IBC、PLT)
f)如果禁用某一编解码工具,那么可以不信令通知相关语法元素(诸如针对ISP的intra_subpartitions_mode_flag和intra_subpartitions_split_flag,针对MIP的intra_mip_flag和intra_mip_mode,针对IBC的pred_mode_ibc_flag,针对PLT的pred_mode_plt_flag)并且将其推断为0。
g)如果禁用某一编解码工具,那么可以信令通知相关语法元素(诸如针对ISP的intra_subpartitions_mode_flag和intra_subpartitions_split_flag,针对MIP的intra_mip_flag和intra_mip_mode,针对IBC的pred_mode_ibc_flag,针对PLT的pred_mode_plt_flag),但是其在一致性比特流中必须为0。14.隐式的QT划分可以取决于VPDU尺寸和/或最大变换尺寸。
a)在一个示例中,隐式的QT划分可以不以编解码块维度和固定数值64之间的关系为条件。
b)在一个示例中,可以将编解码块隐式划分成四叉树分割,并且可以对每一子分割递归地隐式划分,直到子分割的宽度和高度均达到VPDU尺寸为止。
c)在一个示例中,可以将编解码块隐式划分成四叉树分割,并且可以对每一子分割递归地隐式划分,直到子分割的宽度和高度两者达到最大变换尺寸为止。
15.用于子块变换(SBT)的最大块宽度和/或高度可以取决于最大变换尺寸。
a)在一个示例中,可以将最大SBT尺寸设置为等于最大变换尺寸。
b)在一个示例中,可以不信令通知与最大SBT尺寸有关的语法元素(例如,sps_sbt_max_size_64_flag)。
i.例如,在最大变换尺寸小于64时,可以不信令通知sps_sbt_max_size_64_flag,并将其推断为0。
ii.例如,在最大变换尺寸小于64时信令通知sps_sbt_max_size_64_flag,但是其在一致性比特流中必须为0。
c)在一个示例中,相关语法元素(例如,cu_sbt_flag)的信令通知可以取决于最大变换尺寸。
d)在一个示例中,相关语法元素(例如,cu_sbt_flag)的信令通知可以独立于最大SBT尺寸。
16.用于变换跳过和/或帧内BDPCM的最大块尺寸可以取决于最大变换尺寸。
a)在一个示例中,可以将最大变换跳过尺寸设置为等于最大变换尺寸。
b)在一个示例中,可以不信令通知与最大变换跳过尺寸有关的语法元素(例如,log2_transform_skip_max_size_minus2)。
17.可以独立地信令通知用于帧内BDPCM的最大块尺寸。
a)在一个示例中,用于帧内BDPCM的最大块尺寸可以不取决于用于变换跳过的最大块尺寸。
b)在一个示例中,可以在比特流中信令通知SPS/VPS/PPS/条带/VPDU/CTU/CU层级标志,以指定用于帧内BDPCM的最大块尺寸。
18.对块启用还是禁用合并帧间帧内预测(CIIP)可以取决于块宽度和/或高度与最大变换尺寸之间的关系。
a)在一个示例中,如果块宽度和/或高度大于最大变换尺寸,那么可以对块禁用CIIP。
b)在一个示例中,如果禁用CIIP,那么可以不信令通知指示CIIP的语法元素(例如,ciip_flag)。
19.在采用CIIP编解码的CU的宽度和高度两者均小于128时,不允许将CU划分成几个子分割,其中,用于第一子分割的帧内预测可以取决于第二子分割的重建,对第二子分割的的帧内预测是在对第一子分割的帧内预测之前执行的。
20.允许将采用CIIP编解码的CU划分成几个子分割,其中,用于第一子分割的帧内预测可以取决于第二子分割的重建,对第二子分割的的帧内预测是在对第一子分割的帧内预测之前执行的。
相关的无损编解码
21.由应用变换的块的最大尺寸(例如,MaxTbSizeY)推导变换跳过编解码块的最大尺寸(例如,不应用变换/仅应用恒等变换)。
a)在一个示例中,将变换跳过编解码块的最大尺寸推断为MaxTbSizeY。
b)在一个示例中,跳过对变换跳过编解码块的最大尺寸的信令通知。
22.在启用无损编解码时,可以在序列/图片/子图片/条带/片组/片/砖块/CTU行/CTU/CU/PU/TU/子块层级内对当前视频单元禁用亮度映射色度缩放(Luma Mapping ChromaScaling,LMCS)。
a)在一个示例中,可以在序列/图片/子图片/条带/片组/片/砖块/CTU行/CTU/CU/PU/TU/子块层级内,以变换量化旁路标志(诸如sps_transquant_bypass_flag、pps_transquant_bypass_flag、cu_transquant_bypass_flag)为条件信令通知LMCS启用标志(诸如sps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flag、lmcs_data等)。
i.在一个示例中,如果变换量化旁路标志等于1,那么可以不信令通知LMCS启用标志,并且将其推断为0。
1.在一个示例中,如果序列层级变换量化旁路标志(诸如sps_transquant_bypass_flag)等于1,那么可以不信令通知序列及其以下层级的LMCS启用标志(诸如sps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flag),并且将其推断为0。
2.在一个示例中,如果序列层级TransquantBypassEnabledFlag等于1,那么可以不信令通知APS层级lmcs_data。
3.在一个示例中,如果PPS层级变换量化旁路标志(诸如pps_transquant_bypass_flag)等于1,那么可以不信令通知条带层级LMCS启用标志(诸如slice_lmcs_enabled_flag、slice_lmcs_aps_id、slice_chroma_residual_scale_flag),并且将其推断为0。
b)在一个示例中,可以应用比特流约束条件,即,在变换量化旁路标志等于1时,LMCS启用标志应当等于0。
5.实施例
将新添加的部分括到粗体双括号当中,例如,{{a}}表示添加了“a”,而从VVC工作草案删除的部分则被括到粗体双方括号当中,例如,[[b]]表示删除了“b”。修改以最新VVC工作草案(JVET-O2001-v11)为基础。
5.1示例实施例#1
下文的实施例是针对所发明的方法的,其使得最大TU尺寸取决于CTU尺寸。
7.4.3.3.序列参数集RBSP语义
sps_max_luma_transform_size_64_flag等于1规定亮度样点中的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定亮度样点中的最大变换尺寸等于32。
在CtbSizeY小于64时,sps_max_luma_transform_size_64_flag的值必须等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size_64_flag?6:5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY={{min(CtbSizeY,1<<MaxTbLog2SizeY)}} (7-30)
5.2示例实施例#2
下文的实施例是针对所发明的方法的,其使得TT和BT划分处理取决于VPDU尺寸。
6.4.2所允许的二叉树划分处理
如下推导变量allowBtSplit:
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALS
–btSplit等于SPLIT_BT_VER
–cbHeight大于[[MaxTbSizeY]]{{VSize}}
–x0+cbWidth大于pic_width_in_luma_samples
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于[[MaxTbSizeY]]{{VSize}}
–y0+cbHeight大于pic_height_in_luma_samples
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_VER
–cbWidth小于或等于[[MaxTbSizeY]]{{VSize}}
–cbHeight大于[[MaxTbSizeY]]{{VSize}}
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于[[MaxTbSizeY]]{{VSize}}
–cbHeight小于或等于[[MaxTbSizeY]]{{VSize}}
6.4.3所允许的三叉树划分过程
如下推导变量allowTtSplit:
–如果下述条件中的一者或多者为真,那么将allowTtSplit设置为等于FALSE:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min([[MaxTbSizeY]]{{VSize}},maxTtSize)
–cbHeight大于Min([[MaxTbSizeY]]{{VSize}},maxTtSize)
-mttDepth大于或等于maxMttDepth
-x0+cbWidth大于pic_width_in_luma_samples
-y0+cbHeight大于pic_height_in_luma_samples
-treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或者等于32
-treeType等于DUAL_TREE_CHROMA,并且modeType等于INTRA
-否则,将allowTtSplit设置为等于真。
5.3示例实施例#3
下文的实施例是针对所发明的方法的,其使得仿射模型参数计算取决于CTU尺寸。
7.4.3.3.序列参数集RBSP语义
log2_ctu_size_minus5加5规定每一CTU的亮度编解码树块尺寸。比特流一致性的一个要求是log2_ctu_size_minus5的值小于或等于[[2]]{{3(根据指定可以更大)}}。
CtbLog2SizeY=log2_ctu_size_minus5+5
{{CtbLog2SizeY用于指示当前视频单元的亮度样点中的CTU尺寸。在将单一CTU尺寸用于当前视频单元时,通过上述方程计算CtbLog2SizeY。否则,CtbLog2SizeY可以取决于实际CTU尺寸,可以针对当前视频单元对其进行显式信令通知或隐式推导。(一个示例)}}
8.5.5.5由相邻块对亮度仿射控制点运动矢量所做的推导处理
如下推导变量mvScaleHor、mvScaleVer、dHorX和dVerX:
-如果isCTUboundary等于TRUE,那么以下内容适用:
mvScaleHor=MvLX[xNb][yNb+nNbH-1][0]<<[[7]]{{CtbLog2SizeY}} (8-533)
mvScaleVer=MvLX[xNb][yNb+nNbH-1][1]<<[[7]]{{CtbLog2SizeY}} (8-534)
-否则(isCTUboundary等于FALSE),那么以下内容适用:
mvScaleHor=CpMvLX[xNb][yNb][0][0]<<[[7]]{{CtbLog2SizeY}}
(8-537)
mvScaleVer=CpMvLX[xNb][yNb][0][1]<<[[7]]{{CtbLog2SizeY}}
(8-538)
8.5.5.6针对所构建的仿射控制点运动矢量merging候选的推导处理
当availableFlagCorner[0]等于TRUE并且availableFlagCorner[2]等于TRUE时,以下内容适用:
-对于以0或1代替X而言,以下内容适用:
-如下推导变量availableFlagLX:
-如果下述条件全部为TRUE,那么将availableFlagLX设置为等于TRUE:
-predFlagLXCorner[0]等于1
-predFlagLXCorner[2]等于1
-refIdxLXCorner[0]等于refIdxLXCorner[2]
-否则,将availableFlagLX设置为等于FALSE。
-在availableFlagLX等于TRUE时,以下内容适用:
-如下推导第二控制点运动矢量cpMvLXCorner[1]:
cpMvLXCorner[1][0]=(cpMvLXCorner[0][0]<<[[7]]{{CtbLog2SizeY}})+((cpMvLXCorner[2][1]-cpMvLXCorner[0][1])
<<([[7]]{{CtbLog2SizeY}}+Log2(cbHeight/cbWidth))) (8-606)
cpMvLXCorner[1][1]=(cpMvLXCorner[0][1]<<[[7]]{{CtbLog2SizeY}})+((cpMvLXCorner[2][0]-cpMvLXCorner[0][0])
<<([[7]]{{CtbLog2SizeY}}+Log2(cbHeight/cbwidth))) (8-607)
8.5.5.9从仿射控制点运动矢量对运动矢量阵列所做的推导过程
如下推导变量mvScaleHor、mvScaleVer、dHorX和dVerX:
mvScaleHor=cpMvLX[0][0]<<[[7]]{{CtbLog2SizeY}}
(8-665)
mvScaleVer=cpMvLX[0][1]<<[[7]]{{CtbLog2SizeY}}
(8-666)
5.4实施例#4,其关于依据块尺寸允许BT和TT划分
如图1所示,可以对具有块尺寸64×64的编解码块允许TT划分,并且可以对块尺寸32×64、16×64、8×64、64×32、64×16、64×8允许BT划分,而不管最大变换尺寸是32×32还是64×64。
图1是依据块尺寸而允许BT和TT划分的示例。
5.5实施例#5,其关于依据VPDU尺寸或64×64而应用ISP
修改以最新VVC工作草案(JVET-O2001-v14)为基础。
编解码单元语法
/>
变换树语法
/>
/>
编解码单元语义
intra_subpartitions_split_flag[x0][y0]规定帧内子分割划分类型是水平的还是垂直的。当intra_subpartitions_split_flag[x0][y0]不存在时,对其作如下推断:
–如果cbHeight大于[[MaxTbSizeY]]{{64(或者另一选项:Vsize)}},那么将intra_subpartitions_split_flag[x0][y0]推断为等于0。
–否则(cbWidth大于[[MaxTbSizeY]]{{64(或另一选项:Vsize)}}),将intra_subpartitions_split_flag[x0][y0]推断为等于1。
5.6实施例#6,其关于依据VPDU尺寸或64×64应用MIP
下文的实施例是针对所发明的方法的,其使得ISP取决于VPDU尺寸。修改以最新VVC工作草案(JVET-O2001-v14)为基础。
编解码单元语法
5.7实施例#7,其关于依据最大变换尺寸应用SBT
序列参数集RBSP语法
编解码单元语法
序列参数集RBSP语义
[[sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度为32个样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度为64个样点。
MaxSbtSize=Min(MaxTbSizeY,sps_sbt_max_size_64_flag?64:32) (7-32)]]
5.8实施例#8,其关于依据最大变换尺寸应用变换跳过
图片参数集RBSP语法
编解码单元语法
变换单元语法
/>
图片参数集RBSP语义
[[log2_transform_skip_max_size_minus2规定用于变换跳过的最大块尺寸,并且必须处于0到3的范围内。
当不存在时,将log2_transform_skip_max_size_minus2的值推断为等于0。
将变量MaxTsSize设置为等于1<<(log2_transform_skip_max_size_minus2+2)。]]
5.9实施例#9,其关于取决于最大变换尺寸的ciip_flag
Merge数据语法
/>
/>
ciip_flag[x0][y0]规定是否对当前编解码单元应用组合式帧间Merge和帧内预测。阵列索引x0、y0规定所考虑的编解码块的左上亮度样点相对于该图片的左上亮度样点的位置(x0,y0)。
在ciip_flag[x0][y0]不存在时,对其作如下推断:
–如果所有以下条件为真,那么推断ciip_flag[x0][y0]等于1:
–sps_ciip_enabled_flag等于1。
–general_merge_flag[x0][y0]等于1。
–merge_subblock_flag[x0][y0]等于0。
–regular_merge_flag[x0][y0]等于0。
–cbWidth小于或等于{{MaxTbSizeY}}。
–cbHeight小于或等于{{MaxTbSizeY}}。
–cbWidth*cbHeight大于或等于64。
–否则,推断ciip_flag[x0][y0]等于0。
5.10实施例#10,其关于取决于CtbSizeY的sps_max_luma_transform_size_64_flag
7.3.2.3序列参数集RBSP语法
7.4.3.3.序列参数集RBSP语义
sps_max_luma_transform_size_64_flag等于1规定亮度样点中的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定亮度样点中的最大变换尺寸等于32。
在[[CtbSizeY小于64时,]]{{sps_max_luma_transform_size_64_flag不存在时,}}sps_max_luma_transform_size_64_flag的值[[[必须]]{{被推断为}}等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size_64_flag?6:5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY=1<<MaxTbLog2SizeY
(7-30)
图2是视频处理装置200的框图。装置200可以用于实施本文描述的方法中的一者或多者。装置200可以被体现到智能手机、平板电脑、计算机、物联网(Internet of Things,IoT)接收器等当中。装置200可以包括一个或多个处理器202、一个或多个存储器204以及视频处理硬件206。(多个)处理器202可以被配置为实施本文档中描述的一种或多种方法。(一个或多个)存储器204可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件206可以用于在硬件电路系统中实施本文档中描述的一些技术。在一些实施例中,视频处理硬件206可以至少部分地处于处理器202
(例如,图形协同处理器)内。
在一些实施例中,可以使用在关于图2描述的硬件平台上实施的装置来实施这些视频编解码方法。
所公开技术的一些实施例包括作出启用视频处理工具或模式的决策或确定。在一个示例中,当视频处理工具或模式被启用时,编码器将在视频块的处理中使用或实施该工具或模式,但不一定基于该工具或模式的使用来修改所得的比特流。也就是说,当基于决策或确定启用视频处理工具或模式时,从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中,当视频处理工具或模式被启用时,解码器将在知道已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说,将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括作出禁用视频处理工具或模式的决策或确定。在一个示例中,当视频处理工具或模式被禁用时,编码器在将视频块转换为视频的比特流表示中将不使用该工具或模式。在另一示例中,当视频处理工具或模式被禁用时,解码器将在知道并未使用曾基于决策或确定启用的视频处理工具或模式对比特流做出修改的情况下处理比特流。
图3是示出了示例视频处理系统300的框图,在该系统中可以实施本文公开的各种技术。各种实施方式可以包括系统300的一些或全部部件。系统300可以包括用于接收视频内容的输入302。视频内容可以是按照原始或未压缩格式接收的,例如8比特或10比特多分量像素值,或者可以具有压缩或编码格式。输入302可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passive optical network,PON)等的有线接口,以及诸如Wi-Fi或蜂窝接口的无线接口。
系统300可以包括编解码部件304,其可以实施本文档中所描述的各种编解码或编码方法。编解码部件304可以降低从输入302到编解码部件304的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码部件304的输出可以被存储,也可以经由所连接的通信进行传输,如通过部件306所表示的。输入302处接收的视频的存储或传达比特流(或经编解码的)表示可由部件308用于生成像素值或发送到显示接口310的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但应当理解的是,编解码工具或操作用在编码器处,并且逆转编解码结果的对应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可体现在各种电子设备中,诸如移动电话、笔记本电脑、智能电话或其他能够执行数字数据处理和/或视频显示的设备。
图4是视频处理方法400的流程图。方法400包括:在操作410中,使用包括一个或多个含有一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度来执行对是否启用对该一个或多个视频块中的视频块的三叉树(TT)或二叉树(BT)分割的确定,在亮度样点中的该维度亮度样点中等于VSize。
方法400包括在操作420中基于该确定执行该转换。
图5是视频处理方法500的流程图。方法500包括,在操作510中,为包括一个或多个包含一个或多个视频块的视频区域的视频与该视频的比特流表示之间的转换,使用该一个或多个视频块的视频块的维度来执行对是否启用三叉树(TT)或二叉树(BT)分割的确定。
方法500包括在操作520中基于该确定执行该转换。
图6是视频处理方法600的流程图。方法600包括:在操作610中,使用视频块的高度或宽度,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定,该确定是基于该高度或该宽度与值N之间的比较,其中,N为正整数。
方法600包括在操作620中基于该确定执行该转换。
图7是视频处理方法700的流程图。方法700包括:在操作710中,使用视频块的高度或宽度与变换块的尺寸之间的比较,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定。
方法700包括在操作720中基于该确定执行该转换。
图8是视频处理方法800的流程图。方法800包括:在操作810中,使用视频块的高度或宽度,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定。
方法800包括在操作820中基于该确定执行该转换。
图9是视频处理方法900的流程图。方法900包括:在操作910中,使用视频块的子分割的维度与最大变换尺寸之间的比较来执行(a)为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,是否启用帧内子分割预测(ISP)模式的确定,以及(b)为该转换对一个或多个允许的分割类型的选择。
方法900包括在操作920中基于该确定和该选择执行该转换。
图10是视频处理方法1000的流程图。方法1000包括:在操作1010中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括已经被禁用的编解码工具,并且将与该编解码工具相关的语法元素从该比特流表示中排除,并将其推断为指定该编解码工具被禁用的预定值。
图11是视频处理方法1100的流程图。方法1100包括:在操作1110中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括已经被禁用的编解码工具,并且该比特流表示包括与该编解码工具相关的语法元素,将这些语法元素推断为基于该工具被禁用的预定值。
图12是视频处理方法1200的流程图。方法1200包括:在操作1210中,使用包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度和/或最大变换尺寸来执行对是否启用对该一个或多个视频块中的视频块的隐式(QT)分割的确定。
方法1200包括在操作1220中基于该确定执行该转换。
图13是视频处理方法1300的流程图。方法1300包括:在操作1310中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括子块变换(SBT),并且该SBT的最大高度或最大宽度是基于最大变换尺寸。
图14是视频处理方法1400的流程图。方法1400包括:在操作1410中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括变换跳过模式和/或帧内基于块的差分脉码调制(block-based differentialpulse code modulation,BDPCM)模式,并且用于该变换跳过模式的最大块尺寸是基于最大变换尺寸。
图15是视频处理方法1500的流程图。方法1500包括:在操作1510中,使用视频块的高度或宽度与最大变换尺寸之间的比较,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用合并帧间帧内预测(CIIP)模式的确定。
方法1500包括在操作1520中基于该确定执行该转换。
图16是视频处理方法1600的流程图。方法1600包括:在操作1610中,为包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,做出有关分割采用合并帧间帧内预测(CIIP)编解码的该一个或多个视频块中的视频块的确定。
方法1600包括在操作1620中基于该确定执行该转换。
图17是视频处理方法1700的流程图。方法1700包括:在操作1710中,根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,该规则规定该视频区域中的使用变换编解码编解码到该比特流表示中的多个视频块的最大块尺寸确定该视频区域中的在不使用变换编解码的情况下被编解码到该比特流表示中的多个视频块的最大块尺寸。
图18是视频处理方法1800的流程图。方法1800包括:在操作1810中,根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,该规则规定在对该视频区域启用无损编解码时对该视频区域禁用带有色度缩放的亮度映射(lumamapping with chroma scaling,LMCS)处理,并且该视频区域是序列、图片、子图片、条带、片组、片、砖块、编解码树单元(CTU)行、CTU、编解码单元(CU)、预测单元(PU)、变换单元(TU)或子块。
在方法400-1800中,在ISP模式当中,在应用帧内预测和变换之前,将一个或多个视频块中的视频块分割成多个子分割。
在方法400-1800中,该SBT包括单独应用于该一个或多个视频块中的视频块的一个或多个分割的一个或多个变换。
在方法400-1800中,该变换跳过模式包括针对对应的编解码工具的跳过变换和逆变换处理,并且在BDPCM模式中,使用差分脉冲编解码调制操作对当前视频块的帧内预测的残差进行预测编解码。
在方法400-1800中,在CIIP模式中,对该视频块的最终预测是基于该视频块的帧间预测和该视频块的帧内预测的加权和。
在方法400-1800中,该LMCS处理包括在第一域和第二域之间对该视频区域的亮度样点整形(reshape),并且按照亮度相关方式对色度残差进行缩放。
在一些实施例中,可以实施以下技术解决方案。
A1.一种视频处理方法,包括:使用虚拟流水线数据单元(VPDU)的维度来确定是否启用一个或多个视频块的视频块三叉树(TT)或二叉树(BT)分割,该虚拟流水线数据单元用于包括一个或多个视频区域的视频和所述视频的比特流表示之间的转换,该视频区域包括所述一个或多个视频块;以及基于该确定执行该转换,其中,亮度样点中的该维度等于VSize,其中,亮度样点中的该视频块的维度为CtbSizeY,其中,VSize=min(M,CtbSizeY),并且其中,M是正整数。
A2.根据解决方案A1所述的方法,其中,M=64。
A3.根据解决方案A1或A2所述的方法,其中,该VPDU的维度为高度或宽度。
A4.根据解决方案A1所述的方法,其中,该确定独立于最大变换尺寸。
A5.根据解决方案A1到A4中的任何解决方案所述的方法,其中,VSize为预定值。
A6.根据解决方案A5所述的方法,其中,VSize=64。
A7.根据解决方案A1所述的方法,其中,对TT分割的确定基于亮度样点中的该视频块的宽度或高度大于min(VSize,maxTtSize),并且其中,maxTtSize是最大变换尺寸。
A8.根据解决方案A1所述的方法,其中,对TT分割的确定基于亮度样点中的该视频块的宽度或高度大于VSize。
A9.根据解决方案A7所述的方法,其中,maxTtSize为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为128×128、128×64或者64×128时禁用TT分割。
A10.根据解决方案A7所述的方法,其中,maxTtSize为32×32并且VSize为64×64,并且其中,在该视频块的尺寸为64×64时启用TT分割。
A11.根据解决方案A1所述的方法,其中,对垂直BT分割的确定基于亮度样点中该视频块的宽度小于或等于VSize并且亮度样点中该视频块的高度大于VSize。
A12.根据解决方案A11所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为64×128时禁用垂直BT分割。
A13.根据解决方案A11所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为32×64、16×64或8×64时启用垂直BT分割。
A14.根据解决方案A1所述的方法,其中,在(i)亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片宽度或者包括该视频块的子图片的宽度,并且(ii)该视频块的亮度样点中的高度大于VSize时,禁用垂直BT分割。
A15.根据解决方案A1所述的方法,其中,在亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片宽度或者包括该视频块的子图片的宽度时启用水平BT分割。
A16.根据解决方案A1所述的方法,其中,对水平BT分割的确定基于亮度样点中的该视频块的宽度大于VSize并且亮度样点中的该视频块的高度小于或等于VSize。
A17.根据解决方案A16所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为128×64时禁用水平BT分割。
A18.根据解决方案A16所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为64×8、64×16或64×32时启用水平BT分割。
A19.根据解决方案A1所述的方法,其中,在(i)亮度样点中的该视频块的高度与该视频块的左上亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度,并且(ii)该视频块的亮度样点中的宽度大于VSize时,禁用水平BT分割。
A20.根据解决方案A1所述的方法,其中,在亮度样点中的该视频块的高度与该视频块的左上亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度时启用垂直BT分割。
A21.根据解决方案A1所述的方法,其中,禁用TT或BT分割并且将TT或BT分割的指示从比特流表示中排除,并且其中,将该指示隐式推导为指示禁用TT或BT分割的预定值。
A22.根据解决方案A21所述的方法,其中,该预定值为零。
A23.根据解决方案A1所述的方法,其中,启用TT或BT分割,并且在该比特流表示中信令通知TT或BT分割的指示。
A24.根据解决方案A1所述的方法,其中,禁用TT或BT分割,其中,在该比特流表示中信令通知TT或BT分割的指示,并且其中,该指示被解码器忽略。
A25.根据解决方案A1所述的方法,其中,禁用该TT或BT分割,其中,在该比特流表示中信令通知TT或BT分割的指示,并且其中,该指示基于TT或BT分割被禁用而为零。
A26.一种视频处理方法,包括:为包括一个或多个包含一个或多个视频块的视频区域的视频与该视频的比特流表示之间的转换,使用该一个或多个视频块的视频块的维度来执行对是否启用三叉树(TT)或二叉树(BT)分割的确定;以及基于该确定执行该转换。
A27.根据解决方案A26所述的方法,其中,对TT或BT分割的确定基于亮度样点中的该视频块的高度或宽度大于N,并且其中,N为正整数。
A28.根据解决方案A27所述的方法,其中,N=64。
A29.根据解决方案A27或A28所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为128×128、128×64或者64×128时禁用TT分割。
A30.根据解决方案A27或A28所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为64×64时启用TT分割。
A31.根据解决方案A26所述的方法,其中,对垂直BT分割的确定基于亮度样点中的该视频块的宽度小于或等于N并且亮度样点中的该视频块的高度大于N,其中,N为正整数。
A32.根据解决方案A31所述的方法,其中,N=64。
A33.根据解决方案A31或A32所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为64×128时禁用垂直BT分割。
A34.根据解决方案A31或A32所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为32×64、16×64或8×64时启用垂直BT分割。
A35.根据解决方案A26所述的方法,其中,在(i)亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片的宽度或者包括该视频块的子图片的宽度,并且(ii)该视频块的亮度样点中的高度大于64时,禁用垂直BT分割。
A36.根据解决方案A26所述的方法,其中,在亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片宽度或者包括该视频块的子图片的宽度时启用水平BT分割。
A37.根据解决方案A26所述的方法,其中,对水平BT分割的确定基于亮度样点中的该视频块的宽度大于N并且亮度样点中的该视频块的高度小于或等于N,并且其中,N为整数。
A38.根据解决方案A37所述的方法,其中,N=64。
A39.根据解决方案A37或A38所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为128×64时禁用水平BT分割。
A40.根据解决方案A37或A38所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为64×8、64×16或64×32时启用水平BT分割。
A41.根据解决方案A26所述的方法,其中,在(i)亮度样点中的该视频块的高度与该视频块的亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度,并且(ii)该视频块的亮度样点中的宽度大于N时,禁用水平BT分割,其中,N为正整数。
A42.根据解决方案A26所述的方法,其中,在亮度样点中的该视频块的高度与该视频块的左上亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度时启用垂直BT分割。
A43.根据解决方案A1到A42中的任何解决方案所述的方法,其中,该视频块对应于编解码树单元(CTU),编解码树单元表示用于将该视频编解码成该比特流表示的逻辑分割。
A44.根据解决方案A1到A43中的任何解决方案所述的方法,其中,执行该转换包括从该视频区域生成该比特流表示。
A45.根据解决方案A1到A43中的任何解决方案所述的方法,其中,执行该转换包括从该比特流表示生成该视频区域。
A46.一种视频系统中的装置,包括处理器以及其上具有指令的非暂态存储器,其中,这些指令在被该处理器执行时使得该处理器实施根据解决方案A1到A45中的任何解决方案所述的方法。
A47.一种存储在非暂态计算机可读介质上的计算机程序产品,该计算机程序产品包括用于实施根据解决方案A1到A45中的任何解决方案所述的方法的程序代码。
在一些实施例中,可以实施以下技术解决方案。
B1.一种视频处理方法,包括:使用视频块的高度或宽度,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,来执行对是否启用编解码工具的确定;以及基于该确定执行该转换,其中,该确定是基于该高度或该宽度与值N之间的比较,其中,N为正整数。
B2.根据解决方案B1所述的方法,其中,N=64。
B3.根据解决方案B1所述的方法,其中,N=128。
B4.根据解决方案B1到B3中的任何解决方案所述的方法,其中,被禁用的编解码工具包括调色板模式、帧内块复制(IBC)模式和/或合并帧内帧间预测(CIIP)模式。
B5.根据解决方案B1到B4中的任何解决方案所述的方法,其中,该编解码工具还包括帧内跳过模式、三角形预测模式、常规Merge模式、解码器侧运动推导模式、双向光流模式、基于预测细化的光流模式、仿射预测模式和/或基于子块的时域运动矢量预测(TMVP)模式。
B6.根据解决方案B1到B3中的任何解决方案所述的方法,其中,所启用的编解码工具包括调色板编解码模式和/或帧内块复制(IBC)模式。
B7.根据解决方案B1到B3中的任何解决方案所述的方法,其中,该比特流表示包括用于禁用该编解码工具的显式语法约束条件。
B8.根据解决方案B7所述的方法,其中,该显式语法约束条件包括调色板编解码模式标志和/或帧内块复制(IBC)模式标志。
B9.根据解决方案B1到B8中的任何解决方案所述的方法,其中,该视频块包括编解码单元(CU)或预测单元(PU)。
B10.一种视频处理方法,包括:使用视频块的高度或宽度与变换块的尺寸之间的比较,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
B11.根据解决方案B10所述的方法,其中,该编解码工具包括帧内子分割预测(ISP)、基于矩阵的帧内预测(MIP)、子块变换(SBT)或者将与该视频区域相关联的一个编解码单元(CU)划分成多个变换单元(TU)或将与该视频区域相关联的一个编解码块划分成多个变换块(TB)的编解码工具。
B12.根据解决方案B10所述的方法,其中,该编解码工具包括变换跳过模式、基于块的差分脉码调制(BDPCM)、DPCM或PCM。
B13.根据解决方案B10所述的方法,其中,该编解码工具包括帧内块复制(IBC)模式或调色板模式(PLT)。
B14.根据解决方案B10所述的方法,其中,该编解码工具包括合并帧内帧间预测(CIIP)模式。
B15.一种视频处理方法,包括:使用视频块的高度或宽度,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
B16.根据解决方案B15所述的方法,其中,该编解码工具包括帧内子分割预测(ISP)、子块变换(SBT)、帧内块复制(IBC)或调色板模式。
B17.根据解决方案B15所述的方法,其中,该编解码工具包括在亮度样点中的该视频块的高度或宽度小于或等于N时启用的帧内子分割预测(ISP),并且其中,N为正整数。
B18.根据解决方案B15所述的方法,其中,该编解码工具包括在亮度样点中的该视频块的高度或宽度大于N时禁用的帧内子分割预测(ISP),并且其中,N为正整数。
B19.根据解决方案B17或B18所述的方法,其中,N=64。
B20.根据解决方案B15所述的方法,其中,该确定基于该视频块的高度或宽度与虚拟流水线数据单元(VPDU)的尺寸之间的比较。
B21.根据解决方案B20所述的方法,其中,在亮度样点中的该视频块的高度或宽度小于或等于VPDU的尺寸时启用该编解码工具。
B22.根据解决方案B20所述的方法,其中,在亮度样点中的该视频块的高度或宽度大于VPDU的尺寸时禁用该编解码工具。
B23.根据解决方案B21或B22所述的方法,其中,该VPDU的尺寸为32或64。
B24.一种视频处理方法,包括:使用视频块的子分割的维度与最大变换尺寸之间的比较来执行(a)为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,对是否启用帧内子分割预测(ISP)模式的确定,以及(b)为该转换,对一个或多个允许分割类型的选择;以及基于该确定和该选择执行该转换,其中,在ISP模式中,在应用帧内预测和变换之前,将该一个或多个视频块中的视频块分割成多个子分割。
B25.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的至少一个,在该视频块的高度或宽度小于或等于最大变换尺寸时,启用ISP模式。
B26.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的至少一个,在该视频块的高度或宽度大于最大变换尺寸时,禁用ISP模式。
B27.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的每一个,在该视频块的高度或宽度小于或等于最大变换尺寸时,启用ISP模式。
B28.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的每一个,在该视频块的高度或宽度大于最大变换尺寸时,禁用ISP模式。
B29.根据解决方案B24所述的方法,其中,在该比特流表示中信令通知该一个或多个允许分割类型是基于对应子分割的高度或宽度与最大变换尺寸之间的关系。
B30.根据解决方案B24所述的方法,其中,在该比特流表示中信令通知该一个或多个允许分割类型是基于该视频块的高度或宽度与最大变换尺寸之间的关系。
B31.根据解决方案B24所述的方法,其中,启用或禁用编解码工具在该视频块上的应用是基于该视频块的尺寸与最大变换尺寸之间的关系。
B32.根据解决方案B31所述的方法,其中,最大变换尺寸为32或64。
B33.根据解决方案B31或B32所述的方法,其中,在该视频块的高度或宽度小于或等于最大变换尺寸时启用该编解码工具。
B34.根据解决方案B31到B33中的任一解决方案所述的方法,其中,该编解码工具包括帧内块复制(IBC)模式或调色板模式。
B35.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,将与该编解码工具相关的语法元素从该比特流表示中排除,并且将其推断为指定该编解码工具被禁用的预定值。
B36.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,该比特流表示包括与该编解码工具相关的语法元素,将这些语法元素推断为基于该编解码工具被禁用的预定值。
B37.根据解决方案B35或B36所述的方法,其中,该预定值为零。
B38.根据解决方案B35或B36所述的方法,其中,该编解码工具包括帧内子分割预测(ISP),并且其中,这些语法元素指示是否将该一个或多个视频块中的视频块划分成多个子分割(表示为intra_subpartitions_mode_flag),和/或如何将该视频块划分成多个子分割(表示为intra_subpartitions_split_flag)。
B39.根据解决方案B35或B36所述的方法,其中,该编解码工具包括基于矩阵的帧内预测(MIP),并且其中,这些语法元素指示该一个或多个视频块中的视频块是否使用MIP(表示为intra_mip_flag)和/或MIP模式索引的指示(表示为intra_mip_mode)。
B40.根据解决方案B35或B36所述的方法,其中,该编解码工具包括帧内块复制(IBC)模式,并且其中,这些语法元素指示该一个或多个视频块中的视频块是否使用IBC模式(表示为pred_mode_ibc_flag)。
B41.根据解决方案B35或B36所述的方法,其中,该编解码工具包括调色板模式,并且其中,这些语法元素指示该一个或多个视频块中的视频块是否使用调色板模式(表示为pred_mode_plt_flag)。
B42.一种视频处理方法,包括:使用包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度和/或最大变换尺寸来执行对是否启用对该一个或多个视频块中的视频块的隐式(QT)分割的确定;以及基于该确定执行该转换。
B43.根据解决方案B42所述的方法,其中,对该隐式QT分割的每一子分割进行递归分割,直到该子分割的尺寸等于VPDU的尺寸为止。
B44.根据解决方案B42所述的方法,其中,对该隐式QT分割的每一子分割进行递归分割,直到该子分割的尺寸等于最大变换尺寸为止。
B45.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括子块变换(SBT),其中,该SBT的最大高度或最大宽度是基于最大变换尺寸,并且其中,该SBT包括单独应用于该一个或多个视频块中的视频块的一个或多个分割的一个或多个变换。
B46.根据解决方案B45所述的方法,其中,将该SBT的最大高度或最大宽度中的至少一个设置为等于最大变换尺寸。
B47.根据解决方案B45所述的方法,其中,该比特流表示排除与该SBT的最大高度或最大宽度有关的语法元素。
B48.根据解决方案B47所述的方法,其中,该语法元素为sps_sbt_max_size_64_flag,并且将其推断为指示该最大变换尺寸小于64的预定值。
B49.根据解决方案B48所述的方法,其中,该预定值为零。
B50.根据解决方案B47所述的方法,其中,在该比特流表示当中信令通知与SBT有关的语法元素是基于最大变换尺寸。
B51.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括变换跳过模式和/或帧内基于块的差分脉码调制(BDPCM)模式,其中,用于该变换跳过模式的最大块尺寸是基于最大变换尺寸,其中,该变换跳过模式包括针对对应的编解码工具的跳过变换和逆变换处理,并且其中,在BDPCM模式中,使用差分脉冲编解码调制操作对当前视频块的帧内预测的残差进行预测编解码。
B52.根据解决方案B51所述的方法,其中,将用于变换跳过模式的最大块尺寸设置为等于最大变换尺寸。
B53.根据解决方案B51所述的方法,其中,该比特流表示排除与用于变换跳过模式的最大块尺寸有关的语法元素。
B54.根据解决方案B51所述的方法,其中,在比特流表示中独立地信令通知用于帧内BDPCM模式的最大块尺寸。
B55.根据解决方案B54所述的方法,其中,用于帧内BDPCM模式的最大块尺寸不是基于用于变换跳过模式的最大块尺寸。
B56.根据解决方案B51所述的方法,其中,在该比特流表示中,在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带标头、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)或编解码单元(CU)中信令通知用于帧内BDPCM模式的最大块尺寸。
B57.一种视频处理方法,包括:使用视频块的高度或宽度与最大变换尺寸之间的比较,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用合并帧间帧内预测(CIIP)模式的确定;以及基于该确定执行该转换,其中,在CIIP模式中,对该视频块的最终预测是基于该视频块的帧间预测和该视频块的帧内预测的加权和。
B58.根据解决方案B57所述的方法,其中,在该视频块的高度和/或宽度大于最大变换尺寸时禁用CIIP模式。
B59.一种视频处理方法,包括:为包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,做出有关分割采用合并帧间帧内预测(CIIP)编解码的该一个或多个视频块中的视频块的确定;以及基于该确定执行该转换,其中,在CIIP模式中,该视频块的最终预测基于该视频块的帧间预测和该视频块的帧内预测的加权和。
B60.根据解决方案B59所述的方法,其中,在该编解码单元的高度和宽度小于128时,不对该视频块进行分割。
B61.根据解决方案B59所述的方法,其中,在该编解码单元的高度和宽度小于或等于64时不对该视频块进行分割。
B62.根据解决方案B59所述的方法,其中,将该视频块分割成多个子分割,其中,用于该多个子分割中的第一子分割的帧内预测是基于该多个子分割中的第二子分割的重建,并且其中,对第二子分割的帧内预测是在对第一子分割的帧内预测之前执行的。
B63.根据解决方案B59到B62中的任一解决方案所述的方法,其中,该视频块为编解码单元(CU)。
B64.一种视频处理方法,包括:根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定该视频区域中的使用变换编解码被编解码到该比特流表示中的多个视频块的最大块尺寸确定该视频区域中的在不使用变换编解码的情况下被编解码到该比特流表示中的多个视频块的最大块尺寸。
B65.根据解决方案B64所述的方法,其中,用于变换跳过模式的最大尺寸等于MaxTbSizeY。
B66.根据解决方案B64所述的方法,其中,该比特流表示排除对用于变换跳过模式的最大尺寸的指示。
B67.一种视频处理方法,包括:根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定在针对该视频区域启用无损编解码时对该视频区域禁用带有色度缩放的亮度映射(LMCS)处理,其中,该视频区域是序列、图片、子图片、条带、片组、片、砖块、编解码树单元(CTU)行、CTU、编解码单元(CU)、预测单元(PU)、变换单元(TU)或子块,并且其中,该LMCS处理包括在第一域和第二域之间对该视频区域的亮度样点整形,并且按照亮度相关方式对色度残差进行缩放。
B68.根据解决方案B67所述的方法,其中,信令通知与LMCS处理有关的指示基于对于该视频区域的变换量化旁路标志。
B69.根据解决方案B68所述的方法,其中,从该比特流表示中排除与LMCS处理有关的指示并且在变换量化旁路标志等于一时将其推断为零。
B70.根据解决方案B1到B69中的任一解决方案所述的方法,其中,执行该转换包括从该视频区域生成该比特流表示。
B71.根据解决方案B1到B69中的任一解决方案所述的方法,其中,执行该转换包括从该比特流表示生成该视频区域。
B72.一种视频系统中的装置,包括处理器以及其上具有指令的非暂态存储器,其中,这些指令在被该处理器执行时使得该处理器实施根据解决方案B1到B71中的任一解决方案所述的方法。
B73.一种存储在非暂态计算机可读介质上的计算机程序产品,该计算机程序产品包括用于实施根据解决方案B1到B71中的任一解决方案所述的方法的程序代码。
本文档中描述的所公开的以及其他的解决方案、示例、实施例、模块和功能操作可以在数字电子电路系统或者计算机软件、固件或硬件中实施,其包括本文档中所公开的结构及其结构等同物,或其中一者或多者的组合。所公开的实施例和其他实施例可以被实施成一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储衬底、存储器设备、影响机器可读传播信号的物质组成或者它们当中的一者或多者的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,例如包括可编程处理器、计算机或者多个处理器或计算机。除硬件外,该装置还可以包括为所考虑的计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或者它们当中的一者或多者的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成为对信息编码,以便传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以按照任何形式部署,包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本),专用于该程序的单个文件中,或者多个协调文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。可以将计算机程序部署为在一个计算机或多个计算机上执行,该多个计算机位于一个站点上,或者跨越多个站点分布并通过通信网络互连。
本文档中描述的过程和逻辑流可以通过由一个或多个可编程处理器执行一个或多个计算机程序来执行,从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流也可以通过专用逻辑电路系统来执行,并且装置也可以被实施成专用逻辑电路系统,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如,磁盘、磁光盘或光盘,或被操作性地耦接到该一个或多个大容量存储设备以从其接收数据或向其传输数据,或两者兼有。然而,计算机不一定具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,例如包括半导体存储器设备,例如,EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动盘;磁光盘;以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路系统来补充,或合并到专用逻辑电路系统中。
虽然本专利文档包含许多细节,但不应将其解释为对任何主题或权利要求范围的限制,而应解释为对特定技术的特定实施例专有特征的描述。本专利文档在分离实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反地,在单个实施例的上下文中描述的各种特征也可分离地或者以任何合适的子组合的形式在多个实施例中实施。此外,虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求对其的权利保护,但是来自要求权利保护的组合的一个或多个特征在某些情况下可从该组合中去除,并且要求权利保护的组合可以包含子组合或子组合的变型。
类似地,虽然操作在附图中以特定次序描绘,但不应将这种情况理解为需要以顺序次序或所示的特定次来执行此类操作,或者需要执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例当中对各种系统部件的分离不应被理解为在所有实施例中都要求这样的分离。
仅描述了几种实施方式和示例,并且其他实施方式、增强和变化可以基于本专利文档中描述和说明的内容做出。

Claims (19)

1.一种处理视频数据的方法,包括:
基于视频的当前视频块的维度,确定是否允许在水平方向或垂直方向上将所述当前视频块划分成两个子块的第一分割处理或者在水平方向或垂直方向上将所述当前视频块划分成三个子块的第二分割处理,其中,所述当前视频块的维度包括亮度样点中的所述当前视频块的高度或宽度,其中在确定是否允许所述第一分割处理或者所述第二分割处理的过程中不使用信令通知的最大变换尺寸;以及
基于所述确定,执行所述当前视频块和所述视频的比特流之间的转换,
其中,在(i)亮度样点中的所述当前视频块的宽度和所述当前视频块的左上亮度样点的水平坐标之和大于亮度样点中的包括所述当前视频块的图片的宽度或子图片的宽度,以及(ii)亮度样点中的所述当前视频块的高度大于N的情况下,禁用在所述垂直方向上的所述第一分割处理,并且其中N是正整数且N=64。
2.根据权利要求1所述的方法,其中,在亮度样点中的所述当前视频块的高度或宽度大于64的情况下,禁用所述第二分割处理。
3.根据权利要求1所述的方法,其中,在(i)亮度样点中的所述当前视频块的宽度小于或等于N并且(ii)亮度样点中的所述当前视频块的高度大于N的情况下,禁用在所述垂直方向上的所述第一分割处理,并且其中,N是正整数。
4.根据权利要求1所述的方法,其中,在(i)亮度样点中的所述当前视频块的宽度大于N以及(ii)亮度样点中的所述当前视频块的高度小于或等于N的情况下,禁用在所述水平方向上的所述第一分割处理,并且其中,N是正整数。
5.根据权利要求1所述的方法,其中,在(i)亮度样点中的所述当前视频块的高度和所述当前视频块的左上角亮度样点的垂直坐标之和大于亮度样点中包括所述当前视频块的图片的高度或子图片的高度,以及(ii)亮度样点中的所述当前视频块的宽度大于N的情况下,禁用在所述水平方向上的第一分割处理,并且其中,N是正整数。
6.根据权利要求1所述的方法,其中,不能仅根据亮度样点中的所述当前视频块的宽度和所述当前视频块的左上角亮度样点的水平坐标之和大于亮度样点中包括所述当前视频块的图片的宽度的条件来确定禁用在所述水平方向上的所述第一分割处理。
7.根据权利要求1所述的方法,还包括:确定所述第一分割处理或所述第二分割处理是否被允许独立于最大变换尺寸。
8.根据权利要求7所述的方法,其中,所述最大变换尺寸取决于编解码树单元的维度,并且所述编解码树单元的维度包括所述编解码树单元的宽度和/或高度。
9.根据权利要求8所述的方法,其中,所述最大变换尺寸小于或等于所述编解码树单元的维度。
10.根据权利要求8所述的方法,其中,在所述编解码树单元的维度小于M的情况下,所述最大变换尺寸小于M,其中M=64。
11.根据权利要求1所述的方法,其中,所述第一分割处理包括二叉树BT分割,并且所述第二分割处理包括三叉树TT分割。
12.根据权利要求1所述的方法,其中,所述转换包括将所述当前视频块编码到所述比特流中。
13.根据权利要求1所述的方法,其中,所述转换包括从所述比特流解码所述当前视频块。
14.一种处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器:
基于视频的当前视频块的维度,确定是否允许在水平方向或垂直方向上将所述当前视频块划分成两个子块的第一分割处理或者在水平方向或垂直方向上将所述当前视频块划分成三个子块的第二分割处理,其中,所述当前视频块的维度包括亮度样点中的所述当前视频块的高度或宽度,其中在确定是否允许所述第一分割处理或者所述第二分割处理的过程中不使用信令通知的最大变换尺寸;以及
基于所述确定,执行所述当前视频块和所述视频的比特流之间的转换,
其中,在(i)亮度样点中的所述当前视频块的宽度和所述当前视频块的左上亮度样点的水平坐标之和大于亮度样点中的包括所述当前视频块的图片的宽度或子图片的宽度,以及(ii)亮度样点中的所述当前视频块的高度大于N的情况下,禁用在所述垂直方向上的所述第一分割处理,并且其中N是正整数且N=64。
15.根据权利要求14所述的装置,其中,
在亮度样点中的所述当前视频块的高度或宽度大于64的情况下,禁用所述第二分割处理;
在(i)亮度样点中的所述当前视频块的宽度小于或等于N并且(ii)亮度样点中的所述当前视频块的高度大于N的情况下,禁用在所述垂直方向上的所述第一分割处理,并且其中,N是正整数;
在(i)亮度样点中的所述当前视频块的宽度大于N以及(ii)亮度样点中的所述当前视频块的高度小于或等于N的情况下,禁用在所述水平方向上的所述第一分割处理,并且其中,N是正整数;
在(i)亮度样点中的所述当前视频块的高度和所述当前视频块的左上角亮度样点的垂直坐标之和大于亮度样点中包括所述当前视频块的图片的高度或子图片的高度,以及(ii)亮度样点中的所述当前视频块的宽度大于N的情况下,禁用在所述水平方向上的第一分割处理,并且其中,N是正整数;
不能仅根据亮度样点中的所述当前视频块的宽度和所述当前视频块的左上角亮度样点的水平坐标之和大于亮度样点中包括所述当前视频块的图片的宽度的条件来确定禁用在所述水平方向上的所述第一分割处理;
所述第一分割处理包括二叉树BT分割,并且所述第二分割处理包括三叉树TT分割。
16.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
基于视频的当前视频块的维度,确定是否允许在水平方向或垂直方向上将所述当前视频块划分成两个子块的第一分割处理或者在水平方向或垂直方向上将所述当前视频块划分成三个子块的第二分割处理,其中,所述当前视频块的维度包括亮度样点中的所述当前视频块的高度或宽度,其中在确定是否允许所述第一分割处理或者所述第二分割处理的过程中不使用信令通知的最大变换尺寸;以及
基于所述确定,执行所述当前视频块和所述视频的比特流之间的转换,
其中,在(i)亮度样点中的所述当前视频块的宽度和所述当前视频块的左上亮度样点的水平坐标之和大于亮度样点中的包括所述当前视频块的图片的宽度或子图片的宽度,以及(ii)亮度样点中的所述当前视频块的高度大于N的情况下,禁用在所述垂直方向上的所述第一分割处理,并且其中N是正整数且N=64。
17.根据权利要求16所述的非暂时性计算机可读存储介质,其中,
在亮度样点中的所述当前视频块的高度或宽度大于64的情况下,禁用所述第二分割处理;
在(i)亮度样点中的所述当前视频块的宽度小于或等于N并且(ii)亮度样点中的所述当前视频块的高度大于N的情况下,禁用在所述垂直方向上的所述第一分割处理,并且其中,N是正整数;
在(i)亮度样点中的所述当前视频块的宽度大于N以及(ii)亮度样点中的所述当前视频块的高度小于或等于N的情况下,禁用在所述水平方向上的所述第一分割处理,并且其中,N是正整数;
在(i)亮度样点中的所述当前视频块的高度和所述当前视频块的左上角亮度样点的垂直坐标之和大于亮度样点中包括所述当前视频块的图片的高度或子图片的高度,以及(ii)亮度样点中的所述当前视频块的宽度大于N的情况下,禁用在所述水平方向上的第一分割处理,并且其中,N是正整数;
不能仅根据亮度样点中的所述当前视频块的宽度和所述当前视频块的左上角亮度样点的水平坐标之和大于亮度样点中包括所述当前视频块的图片的宽度的条件来确定禁用在所述水平方向上的所述第一分割处理;
所述第一分割处理包括二叉树BT分割,并且所述第二分割处理包括三叉树TT分割。
18.一种存储视频的比特流的方法,包括:
基于视频的当前视频块的维度,确定是否允许在水平方向或垂直方向上将所述当前视频块划分成两个子块的第一分割处理或者在水平方向或垂直方向上将所述当前视频块划分成三个子块的第二分割处理,其中,所述当前视频块的维度包括亮度样点中的所述当前视频块的高度或宽度,其中在确定是否允许所述第一分割处理或者所述第二分割处理的过程中不使用信令通知的最大变换尺寸;
基于所述确定生成所述比特流;以及
将所述比特流存储到非暂时性计算机可读存储介质中,
其中,在(i)亮度样点中的所述当前视频块的宽度和所述当前视频块的左上亮度样点的水平坐标之和大于亮度样点中的包括所述当前视频块的图片的宽度或子图片的宽度,以及(ii)亮度样点中的所述当前视频块的高度大于N的情况下,禁用在所述垂直方向上的所述第一分割处理,并且其中N是正整数且N=64。
19.根据权利要求18所述的方法,其中,所述方法进一步包括:
确定所述第一分割处理或所述第二分割处理是否被允许独立于最大变换尺寸,
其中,所述最大变换尺寸取决于编解码树单元的维度,并且所述编解码树单元的维度包括所述编解码树单元的宽度和/或高度;
所述最大变换尺寸小于或等于所述编解码树单元的维度;
在所述编解码树单元的维度小于M的情况下,所述最大变换尺寸小于M,其中M=64。
CN202080054122.2A 2019-07-26 2020-07-27 基于块尺寸的图片分割模式确定 Active CN114175657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311469575.3A CN117354527A (zh) 2019-07-26 2020-07-27 基于块尺寸的图片分割模式确定

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/097926 2019-07-26
CN2019097926 2019-07-26
CNPCT/CN2019/103892 2019-08-31
CN2019103892 2019-08-31
PCT/CN2020/104785 WO2021018082A1 (en) 2019-07-26 2020-07-27 Determination of picture partition mode based on block size

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311469575.3A Division CN117354527A (zh) 2019-07-26 2020-07-27 基于块尺寸的图片分割模式确定

Publications (2)

Publication Number Publication Date
CN114175657A CN114175657A (zh) 2022-03-11
CN114175657B true CN114175657B (zh) 2023-12-26

Family

ID=74230173

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080054122.2A Active CN114175657B (zh) 2019-07-26 2020-07-27 基于块尺寸的图片分割模式确定
CN202311469575.3A Pending CN117354527A (zh) 2019-07-26 2020-07-27 基于块尺寸的图片分割模式确定

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311469575.3A Pending CN117354527A (zh) 2019-07-26 2020-07-27 基于块尺寸的图片分割模式确定

Country Status (11)

Country Link
US (4) US11659179B2 (zh)
EP (2) EP3987776A4 (zh)
JP (3) JP7369273B2 (zh)
KR (2) KR20220036938A (zh)
CN (2) CN114175657B (zh)
AU (1) AU2020321002B2 (zh)
BR (1) BR112022001279A2 (zh)
CA (1) CA3148299C (zh)
MX (1) MX2022000716A (zh)
WO (2) WO2021018082A1 (zh)
ZA (1) ZA202201250B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240056656A (ko) * 2016-10-10 2024-04-30 삼성전자주식회사 블록 맵을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
EP3987776A4 (en) 2019-07-26 2022-10-19 Beijing Bytedance Network Technology Co., Ltd. USING A VIDEO CODING MODE BASED ON A BLOCK SIZE
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079160A (zh) * 2014-11-11 2017-08-18 联发科技(新加坡)私人有限公司 对亮度及色度使用单独编码树的视频编码方法
CN108464001A (zh) * 2016-01-15 2018-08-28 高通股份有限公司 用于视频译码的多类型树框架
CN108702507A (zh) * 2016-12-26 2018-10-23 日本电气株式会社 视频编码方法、视频解码方法、视频编码设备、视频解码设备以及程序
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
AU2017340007A1 (en) * 2016-10-04 2019-05-30 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012080213A (ja) 2010-09-30 2012-04-19 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CA2979455C (en) 2011-01-12 2018-09-04 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
CA2833902C (en) 2011-06-24 2018-09-04 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US20130083840A1 (en) * 2011-09-30 2013-04-04 Broadcom Corporation Advance encode processing based on raw video data
JP2014045434A (ja) 2012-08-28 2014-03-13 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びそれらのプログラム
JP6341426B2 (ja) 2012-09-10 2018-06-13 サン パテント トラスト 画像復号化方法および画像復号化装置
US10136143B2 (en) 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
WO2015012600A1 (ko) 2013-07-23 2015-01-29 성균관대학교 산학협력단 영상 부호화/복호화 방법 및 장치
KR102353787B1 (ko) 2014-01-03 2022-01-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
CN106105212A (zh) 2014-03-07 2016-11-09 高通股份有限公司 简化的子预测单元(sub‑pu)运动参数继承(mpi)
US11070810B2 (en) 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
CA2942903A1 (en) * 2014-03-16 2015-09-24 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
US9838712B2 (en) 2014-03-17 2017-12-05 Hfi Innovation Inc. Method of signaling for depth-based block partitioning
US9877034B2 (en) 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
JP6328277B2 (ja) 2014-06-20 2018-05-23 寰發股▲ふん▼有限公司HFI Innovation Inc. ビデオ符号化(coding)のパレット予測器シグナリング方法
CN105519106B (zh) 2014-06-20 2017-08-04 寰发股份有限公司 用于三维或多视图视频编码中基于深度的块分区模式的编码方法
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2016167538A1 (ko) 2015-04-12 2016-10-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
CN106254870B (zh) 2015-06-08 2020-08-18 财团法人工业技术研究院 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
US10390020B2 (en) 2015-06-08 2019-08-20 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
KR102199463B1 (ko) 2015-08-31 2021-01-06 삼성전자주식회사 스캔 순서를 고려한 영상의 변환 방법 및 그 장치, 및 역변환 방법 및 그 장치
US10819987B2 (en) * 2015-11-12 2020-10-27 Lg Electronics Inc. Method and apparatus for coefficient induced intra prediction in image coding system
US10440399B2 (en) * 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
US20170150156A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
CN114786009A (zh) * 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
CN116828177A (zh) * 2016-06-24 2023-09-29 世宗大学校产学协力团 视频信号解码和编码方法、比特流的传输方法
CN109479131B (zh) 2016-06-24 2023-09-01 世宗大学校产学协力团 视频信号处理方法及装置
US20180109814A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Method And Apparatus Of Coding Unit Information Inheritance
WO2018088805A1 (ko) * 2016-11-08 2018-05-17 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018123315A1 (ja) 2016-12-26 2018-07-05 日本電気株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
BR112019013978A2 (pt) 2017-01-12 2020-03-03 Sony Corporation Dispositivo e método de processamento de imagem.
CN117201819A (zh) 2017-05-26 2023-12-08 Sk电信有限公司 对视频数据进行编码或解码的方法和存储比特流的方法
US20180367818A1 (en) * 2017-06-15 2018-12-20 Futurewei Technologies, Inc. Block Partition Structure in Video Compression
CN109151477B (zh) * 2017-06-28 2020-08-07 华为技术有限公司 一种图像数据的编码、解码方法及装置
CN111149359B (zh) 2017-09-20 2023-11-17 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
JP2021010046A (ja) 2017-10-06 2021-01-28 シャープ株式会社 画像符号化装置及び画像復号装置
US11039143B2 (en) * 2017-11-20 2021-06-15 Qualcomm Incorporated Memory reduction for context initialization with temporal prediction
US11259021B2 (en) 2017-12-29 2022-02-22 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US11470359B2 (en) 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US10609403B2 (en) * 2018-07-09 2020-03-31 Tencent America LLC Method and apparatus for block partition with non-uniform quad split
US10743029B2 (en) 2018-07-30 2020-08-11 Tencent America LLC Constraints on coding unit partition
KR102616766B1 (ko) 2018-09-22 2023-12-27 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
US20200120339A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra Prediction For Multi-Hypothesis
CN115514958A (zh) 2018-11-02 2022-12-23 抖音视界有限公司 用于基于历史的运动矢量预测的表维护
WO2020094076A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Motion candidates for inter prediction
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
WO2020103933A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Configuration method for default motion candidate
CN113170182B (zh) 2018-12-03 2024-01-26 北京字节跳动网络技术有限公司 不同预测模式下的修剪方法
US10999594B2 (en) 2018-12-20 2021-05-04 Qualcomm Incorporated Virtual search area for current picture referencing (CPR) and intra block copy (IBC)
KR20200083317A (ko) * 2018-12-31 2020-07-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113196780A (zh) 2019-01-12 2021-07-30 韦勒斯标准与技术协会公司 使用多变换核处理视频信号的方法和设备
US20200252608A1 (en) 2019-02-05 2020-08-06 Qualcomm Incorporated Sub-partition intra prediction
CN113396589A (zh) 2019-02-11 2021-09-14 北京字节跳动网络技术有限公司 基于五叉树的视频块分割
CN117714694A (zh) * 2019-02-17 2024-03-15 北京字节跳动网络技术有限公司 处理视频数据的方法、装置和计算机可读记录介质
US11159795B2 (en) 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
US11032543B2 (en) 2019-03-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
EP3987776A4 (en) 2019-07-26 2022-10-19 Beijing Bytedance Network Technology Co., Ltd. USING A VIDEO CODING MODE BASED ON A BLOCK SIZE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079160A (zh) * 2014-11-11 2017-08-18 联发科技(新加坡)私人有限公司 对亮度及色度使用单独编码树的视频编码方法
CN108464001A (zh) * 2016-01-15 2018-08-28 高通股份有限公司 用于视频译码的多类型树框架
AU2017340007A1 (en) * 2016-10-04 2019-05-30 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN108702507A (zh) * 2016-12-26 2018-10-23 日本电气株式会社 视频编码方法、视频解码方法、视频编码设备、视频解码设备以及程序
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CE1-Related: Prediction Mode Restriction and Implicit Transform Splitting to Enable VPDU;Yin Zhao ET AL;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18 Jan. 2019;全文 *
Versatile Video Coding (Draft 5);Benjamin Bross ET AL;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19–27 Mar. 2019;1, 22-24, 339 *

Also Published As

Publication number Publication date
MX2022000716A (es) 2022-02-23
US20220150491A1 (en) 2022-05-12
CA3148299C (en) 2024-06-04
JP2022542138A (ja) 2022-09-29
JP2022542139A (ja) 2022-09-29
KR20220036939A (ko) 2022-03-23
WO2021018083A1 (en) 2021-02-04
US20220150544A1 (en) 2022-05-12
AU2020321002B2 (en) 2023-06-01
US11930175B2 (en) 2024-03-12
EP3987776A4 (en) 2022-10-19
US20220150492A1 (en) 2022-05-12
JP7383119B2 (ja) 2023-11-17
US11539949B2 (en) 2022-12-27
BR112022001279A2 (pt) 2022-03-22
JP7369273B2 (ja) 2023-10-25
EP3991429A1 (en) 2022-05-04
US11659179B2 (en) 2023-05-23
JP2023184634A (ja) 2023-12-28
EP3987776A1 (en) 2022-04-27
CA3148299A1 (en) 2021-02-04
AU2020321002A1 (en) 2022-02-24
EP3991429A4 (en) 2022-08-31
US20240107016A1 (en) 2024-03-28
WO2021018082A1 (en) 2021-02-04
CN117354527A (zh) 2024-01-05
ZA202201250B (en) 2023-11-29
KR20220036938A (ko) 2022-03-23
CN114175657A (zh) 2022-03-11
CN114175632A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN113316931B (zh) 视频处理中的脉冲编解码调制技术
CN113748676B (zh) 帧内编解码模式下的矩阵推导
CN114208174B (zh) 预测过程中的调色板模式编解码
CN114175657B (zh) 基于块尺寸的图片分割模式确定
US11388476B2 (en) Block partitioning method and apparatus
CN116671101A (zh) 编解码视频中量化信息的信令通知
CN114175632B (zh) 对视频编解码模式的块尺寸相关使用
WO2021018084A1 (en) Interdependence of transform size and coding tree unit size in video coding
RU2815443C2 (ru) Определение режима разделения изображения на основе размера блока
WO2024092425A1 (zh) 视频编解码方法、装置、设备、及存储介质
US11997318B2 (en) Filter parameter signaling in video picture headers
JP7415038B2 (ja) 映像コーディングにおける適合性ウィンドウパラメータ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40063730

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant