CN114175650A - 视频编解码中的变换尺寸和编解码树单元尺寸的相互依赖 - Google Patents
视频编解码中的变换尺寸和编解码树单元尺寸的相互依赖 Download PDFInfo
- Publication number
- CN114175650A CN114175650A CN202080053871.3A CN202080053871A CN114175650A CN 114175650 A CN114175650 A CN 114175650A CN 202080053871 A CN202080053871 A CN 202080053871A CN 114175650 A CN114175650 A CN 114175650A
- Authority
- CN
- China
- Prior art keywords
- video
- size
- block
- luma
- codec
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了一种用于对包括可配置编解码树单元(CTU)的视频编解码或解码的方法、系统和装置。一种视频处理的示例性方法包括:执行包括一个或多个视频区域的视频和该视频的比特流之间的转换,视频区域包括一个或多个视频块,其中,该转换遵守规则,该规则允许对于该一个或多个视频区域中的不同视频区域当中的一个或多个视频块使用不同尺寸来执行该转换。另一种示例性视频处理方法包括:基于视频的视频区域的视频块的维度超过阈值,确定是否在该视频的比特流中信令通知对该视频块的二叉树(BT)划分的指示;以及基于该确定,执行该视频和该比特流之间的转换。
Description
相关申请的交叉引用
根据适用的专利法和/或巴黎公约的规定,本申请及时要求于2019年7月26日提交的国际专利申请号PCT/CN2019/097926的优先权和利益。出于根据该法律的所有目的,将前述申请的全部公开内容以引用方式并入本文,以作为本申请公开内容的部分。
技术领域
本文档涉及视频和图像编解码及解码技术。
背景技术
数字视频占据了因特网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将持续增长。
发明内容
所公开的技术可以由视频或图像解码器或编码器用来执行对视频的编解码或解码,其中使用可配置的编解码树单元尺寸。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:执行包括一个或多个视频区域的视频和该视频的比特流表示之间的转换,该视频区域包括一个或多个视频块,其中,该转换遵守规则,该规则允许对于该一个或多个视频区域中的不同视频区域当中的一个或多个视频块使用不同尺寸以便执行该转换。
在另一个示例性方面中,公开了一种视频处理的方法。该方法包括:基于视频的视频区域的视频块的尺寸超过阈值,确定使用基于四叉树的划分来划分该视频块,直到满足尺寸条件并且从该视频的比特流表示中排除对基于四叉树的划分的指示;以及基于该确定执行该视频和该比特流表示之间的转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:基于视频的视频区域的视频块的维度超过阈值,确定是否在该视频的比特流表示中信令通知对该视频块的三叉树(ternary-tree,TT)划分的指示;以及基于该确定执行该视频和该比特流表示之间的转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:基于视频的视频区域的视频块的维度超过阈值,确定是否在该视频的比特流表示中信令通知对该视频块的二叉树(binary-tree,BT)划分的指示;以及基于该确定执行该视频和该比特流表示之间的转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:执行包括视频区域的视频与该视频的比特流表示之间的转换,该视频区域包括视频块,其中,该转换包括仿射模型参数计算,并且其中,该仿射模型参数计算是基于该视频块的维度。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:执行包括视频区域的视频与该视频的比特流表示之间的转换,该视频区域包括视频块,其中,该转换包括帧内块复制(intra block copy,IBC)工具的应用,并且其中,IBC缓存的尺寸是基于该视频块的最大可配置和/或容许维度。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:执行包括一个或多个视频区域的视频和该视频的比特流表示之间的转换,该视频区域包括一个或多个视频块,其中,根据规则执行该转换,该规则规定该一个或多个视频块的视频块尺寸的指示与用于该视频块的变换块(transform block,TB)的最大尺寸的指示之间的关系。
在另一个示例方面,上述方法可由包括处理器的视频编码器装置实施。
在又一示例性方面中,这些方法可以被体现为处理器可执行指令的形式并存储于计算机可读程序介质上。
本文档进一步描述了这些方面以及其他方面。
附图说明
图1是用于实施本文档中描述的技术的硬件平台的示例的框图。
图2是可以实施所公开的技术的示例性视频处理系统的框图。
图3是视频处理的示例性方法的流程图。
图4是视频处理的另一示例性方法的流程图。
图5是视频处理的又一示例性方法的流程图。
图6是视频处理的又一示例性方法的流程图。
图7是视频处理的又一示例性方法的流程图。
图8是视频处理的又一示例性方法的流程图。
图9是视频处理的又一示例性方法的流程图。
具体实施方式
本文档提供了图像或视频比特流的解码器可以使用的各种技术,以提高解压缩或解码数字视频或图像的质量。为了简洁起见,“视频”一词在本文中被用来既包含图片的序列(常规上被称为视频),又包含单独的图像。此外,视频编码器还可以在编码处理期间实施这些技术,以便重建用于进一步的编码的解码帧。
本文档中使用了章节标题,其目的是便于理解,而非使实施例和技术局限于对应的章节。如此,来自一个章节的实施例可以与来自其他章节的实施例相结合。
1.概述
本文档涉及视频编解码技术。具体地,本文档涉及视频编解码和解码中的可配置编解码树单元(coding tree unit,CTU)。它可以应用于现有的视频编解码标准,如HEVC,或待定案的标准(多功能视频编解码)。它还可以应用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263,ISO/IEC开发了MPEG-1和MPEG-4视觉,并且这两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准是基于混合视频编解码结构,其中采用了时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(Joint Video Exploration Team,JVET)。从那时起,JVET采用了许多新的方法,并将其应用到了名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。JVET会议当前每季度举办一次,并且新型编解码标准以相较于HEVC有50%的比特率下降为目标。该新型编解码标准曾在2018年4月的JVET会议中被正式命名为多功能视频编解码(Versatile Video Coding,VVC),并且当时发布了第一版VVC测试模型(VVCtest model,VTM)。随着促进VVC标准化的不断努力,在每次JVET会议中都有新的编解码技术被VVC标准采纳。于是,每次会议之后都会更新VVC工作草案和测试模型VTM。现在,VVC项目致力于在2020年7月的会议中实现技术完成(FDIS)。
2.1 VVC中的CTU尺寸
VTM-5.0软件允许4种不同CTU尺寸:16×16、32×32、64×64和128×128。然而,在2019年7月的JVET会议上,因JVET-O0526的采纳而将最小CTU尺寸重新定义为32×32。并且,将VVC工作草案6中的CTU尺寸编码到SPS(sequence parameter set,序列参数集)标头当中的被称为log2_ctu_size_minus_5的UE编码语法元素当中。
下文是定义了虚拟流水线数据单元(virtual pipeline data unit,VPDU)并且采纳了JVET-O0526的VVC草案6中的对应规范修改。
7.3.2.3.序列参数集RBSP语法
seq_parameter_set_rbsp(){ | 描述符 |
… | |
log2_ctu_size_minus5 | u(2) |
… |
7.4.3.3.序列参数集RBSP语义
…
log2_ctu_size_minus5加5规定每一CTU的亮度编解码树块尺寸。比特流一致性的要求是log2_ctu_size_minus5的值小于或等于2。
log2_min_luma_coding_block_size_minus2加2规定最小亮度编解码块尺寸。
如下推导变量CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、IbcBufWidthY、IbcBufWidthC和Vsize:
CtbLog2SizeY=log2_ctu_size_minus5+5 (7-15)
CtbSizeY=1<<CtbLog2SizeY (7-16)
MinCbLog2SizeY=log2_min_luma_coding_block_size_minus2+2 (7-17)
MinCbSizeY=1<<MinCbLog2SizeY (7-18)
IbcBufWidthY=128*128/CtbSizeY (7-19)
IbcBufWidthC=IbcBufWidthY/SubWidthC (7-20)
VSize=Min(64,CtbSizeY) (7-21)
如下推导分别规定每一色度CTB的阵列的宽度和高度的变量CtbWidthC和CtbHeightC:
–如果chroma_format_idc等于0(单色)或者separate_colour_plane_flag等于1,那么CtbWidthC和CtbHeightC两者均等于0。
–否则,如下推导CtbWidthC和CtbHeightC:
CtbWidthC=CtbSizeY/SubWidthC (7-22)
CtbHeightC=CtbSizeY/SubHeightC (7-23)
对于处于范围0到4(含端点)内的log2BlockWidth并且对于处于范围0到4(含端点)的范围内的log2BlockHeight,在以1<<log2BlockWidth和1<<log2BlockHeight为输入的情况下调用如条款6.5.2中规定的右上对角线和光栅扫描顺序数组初始化处理,并且将输出赋予DiagScanOrder[log2BlockWidth][log2BlockHeight]和RasterScanOrder[log2BlockWidth][log2BlockHeight]。
…
slice_log2_diff_max_bt_min_qt_luma规定当前条带中能够使用二叉树划分进行划分的亮度编解码块的以亮度样点衡量的最大尺寸(宽度或高度)的以2为底的对数和CTU的由四叉树划分得到的亮度叶块的以亮度样点衡量的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_bt_min_qt_luma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeY的范围(含端点)内。当不存在时,如下推断slice_log2_diff_max_bt_min_qt_luma的值:
–如果slice_type等于2(I),那么将slice_log2_diff_max_bt_min_qt_luma的值推断为等于sps_log2_diff_max_bt_min_qt_intra_slice_luma
–否则(slice_type等于0(B)或1(P)),将slice_log2_diff_max_bt_min_qt_luma的值推断为等于sps_log2_diff_max_bt_min_qt_inter_slice。
slice_log2_diff_max_tt_min_qt_luma规定当前条带中能够使用三叉树划分进行划分的亮度编解码块的以亮度样点衡量的最大尺寸(宽度或高度)的以2为底的对数和CTU的由四叉树划分得到的亮度叶块的以亮度样点衡量的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_tt_min_qt_luma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeY(含端点)的范围内。当不存在时,如下推断slice_log2_diff_max_tt_min_qt_luma的值:
–如果slice_type等于2(I),那么将slice_log2_diff_max_tt_min_qt_luma的值推断为等于sps_log2_diff_max_tt_min_qt_intra_slice_luma
–否则(slice_type等于0(B)或1(P)),将slice_log2_diff_max_tt_min_qt_luma的值推断为等于sps_log2_diff_max_tt_min_qt_inter_slice。
slice_log2_diff_min_qt_min_cb_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下色度CTU的由四叉树划分得到的色度叶块的以亮度样点衡量的最小尺寸的以2为底的对数和在treeType等于DUAL_TREE_CHROMA的情况下色度CU的以亮度样点衡量的最小编解码块尺寸的以2为底的对数之间的差值。slice_log2_diff_min_qt_min_cb_chroma的值应当处于0到CtbLog2SizeY-MinCbLog2SizeY(含端点)的范围内。当不存在时,将slice_log2_diff_min_qt_min_cb_chroma的值推断为等于sps_log2_diff_min_qt_min_cb_intra_slice_chroma。
slice_max_mtt_hierarchy_depth_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下四叉树叶的由多类型树划分得到的编解码单元的最大层次深度。slice_max_mtt_hierarchy_depth_chroma的值应当处于0到CtbLog2SizeY-MinCbLog2SizeY(含端点)的范围内。当不存在时,将slice_log2_diff_min_qt_min_cb_chroma的值推断为等于sps_max_mtt_hierarchy_depth_intra_slices_chroma。
slice_log2_diff_max_bt_min_qt_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下能够使用二叉树划分进行划分的色度编解码块的以亮度样点衡量的最大尺寸(宽度或高度)的以2为底的对数和色度CTU的由四叉树划分得到的色度叶块的以亮度样点衡量的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_bt_min_qt_chroma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeC(含端点)的范围内。当不存在时,将slice_log2_diff_max_bt_min_qt_chroma的值推断为等于sps_log2_diff_max_bt_min_qt_intra_slice_chroma。
slice_log2_ddiff_max_tt_min_qt_chroma规定当前条带中在treeType等于DUALTREE CHROMA的情况下能够使用三叉树划分进行划分的色度编解码块的以亮度样点衡量的最大尺寸(宽度或高度)的以2为底的对教和色度CTU的由四叉树划分得到的色度叶块的以亮度样点衡量的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_tt_min_qt_chroma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeC(含端点)的范围内。当不存在时,将slice_log2_diff_max_tt_min_qt_chroma的值推断为等于sps_log2_diff_max_tt_min_qt_intra_slice_chroma。
如下推导变量MinQtLog2SizeY、MinQtLog2SizeC、MinQtSizeY、MinQtSizeC、MaxBtSizeY、MaxBtSizeC、MinBtSizeY、MaxTtSizeY、MaxTtSizeC、MinTtSizeY、MaxMttDepthY和MaxMttDepthC:
MinQtLog2SizeY=MinCbLog2SizeY+slice_log2_diff_min_qt_min_cb_luma(7-86)
MinQtLog2SizeC=MinnCbLog2SizeY+slice_log2_diff_min_qt_min_cb_chroma(7-87)
MinQtSizeY=1<MinQtLog2SizeY
(7-88)
MinQtSizeC=1<<MinQtLog2SizeC/
(7-89)
MaxBtSizeY=1<<(MiinQtLog2SizeY+slice_log2_diff_max_bt_min_qt_luma)(7-90)
MaxBtSizeC=1<<(MinQtLog2SizeC+slice_log2_diff_max_bt_min_qt_chroma)(7-91)
MinBtSizeY=1<MinCbLog2SizeY
(7-92)
MaxTtSizeY=1<<(MinQtLog2SizeY+slice_log2_diff_max_tt_min_qt_luma)(7-93)
MaxTtSizeC=1<<(MinQtLog2SizeC+slice_log2_ddiff_max_tt_min_qt_chroma)(7-94)MinTtSizeY=1<<MinCbLog2SizeY
(7-95)
MaxMttDepthY=slice_max_mtt_hierarchy_depth_luuma (7-96)
MaxMtttDepthC=slice_max_mtt_hierarchy_depth_chroma (7-97)
2.2VVC中的最大变换尺寸
在VVC草案5中,在SPS中信令通知最大变换尺寸,但是其被固定为长度64,并且是不可配置的。然而,在2019年7月的JVET会议中,决定仅借助于SPS级别上的标志使最大亮度变换尺寸能够是64或者是32。最大色度变换尺寸是相对于最大亮度变换尺寸由色度采样比推导的。
下文是采纳了JVET-O05xxx的VVC草案6中的对应规范修改。
7.3.2.3.序列参数集RBSP语法
seq_parameter_set_rbsp(){ | 描述符 |
… | |
sps_max_luma_transform_size_64__flag | u(1) |
… |
7.4.3.3.序列参数集RBSP语义
…
sps_max_luma_transform_size_64_flag等于1规定以亮度样点衡量的最大变换尺寸等于64。sps_max_luma_transform_size_64__flag等于0规定以亮度样点衡量的最大变换尺寸等于32。
在CtbSizeY小于64时,sps_max_luma_transform_size_64_flag的值应当等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size64_flag?6∶5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY=1<<MaxTbLog2SizeY
(7-30)
…
sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度为32个样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度为64个样点。
MaxSbtSize=Min(MaxTbSizeY,sps_sbt_max_size_64_flag?64∶32)(7-31)
…
3.由所公开的技术解决方案解决的技术问题的示例
在最近的VVC工作草案JVET-O2001-v11中有几个问题,下文将对其给出描述。
1)在当前的VVC草案6中,最大变换尺寸和CTU尺寸是单独定义的。例如,CTU尺寸可以是32,而变换尺寸可以是64。希望最大变换尺寸应当等于或小于CTU尺寸。
2)在当前的VVC草案6中,块分割处理取决于最大变换块尺寸而非VPDU尺寸。因此,如果最大变换块尺寸为32×32,那么除了禁止128×128TT划分和64×128垂直BT划分以及128×64水平BT划分以遵守VPDU规则之外,还禁止对于64×64块的TT划分,禁止对于32×64/16×64/8×64编解码块的垂直BT划分,还禁止对于64×8/64×16/64×32编解码块的水平BT划分,对于编解码效率而言,它们效率不高。
3)当前VVC草案6允许CTU尺寸等于32、64和128。然而,CTU尺寸可以大于128也是可能的。因而,需要修改一些语法元素。
a)如果允许更大CTU尺寸,那么可以重新设计块分割结构和块划分标志的信令通知。
b)如果允许更大CTU尺寸,那么可以重新设计当前设计中的一些(例如,仿射参数推导、IBC预测、IBC缓存尺寸、Merge三角形预测、CIIP、常规Merge模式等)。
4)在当前VVC草案6中,在SPS级别上信令通知CTU尺寸。然而,由于采纳参考图片重采样(又名自适应分辨率变化)允许可以采用不同分辨率来将图片编解码到一个比特流当中,因而CTU尺寸可以是跨越多个层而不同的。
4.示例性实施例和技术
下文对解决方案的列举应被视为解释一些构思的示例。不应狭义地解释这些项目。此外,可以按照任何方式使这些项目相结合。
在本文档当中,C=min(a,b)指示C等于a和b当中的最小值。
在本文档当中,视频单元尺寸/维度可以是视频单元的高度或者宽度(例如,图片/子图片/条带/砖块/片/CTU/CU/CB/TU/TB的宽度或高度)。如果由M×N表示视频单元,那么M表示视频单元的宽度,N表示视频单元的高度。
在本文档中,“编解码块”可以是亮度编解码块和/或色度编解码块。在本发明中可以采用编解码块的按照亮度样点来计的尺寸/维度来表示以亮度样点衡量的尺寸/维度。例如,128×128编解码块(或者以亮度样点来计的编解码块尺寸128×128)可以指示128×128亮度编解码块和/或对于4:2:0而言的64×64色度编解码块。类似地,对于4:2:2色度格式,其可以指128×128亮度编解码块和/或64×128色度编解码块。对于4:4:4色度格式,其可以指128×128亮度编解码块和/或128×128色度编解码块。
相关的可配置CTU尺寸
1.提出了对于不同的视频单元(诸如层/图片/子图片/条带/片/砖块)可以允许不同的CTU维度(诸如宽度和/或高度)。
a)在一个示例中,可以在视频单元级别(诸如VPS/DPS/SPS/PPS/APS/图片/子图片/条带/条带标头/片/砖块级别)上显式信令通知一组或多组CTU维度。
b)在一个示例中,在允许参考图片重采样(又名自适应分辨率变化)
时,CTU维度可以是跨越不同层而不同的。
i.例如,可以根据下采样/上采样缩放因数显式推导层间图片的CTU维度。
1.例如,如果基本层的信令通知CTU维度为M×N(例如,M=128并且N=128)并且通过对于宽度的缩放因数S和对于高度的缩放因数T对层间编解码图片重采样,其中S和T可以大于或小于1(例如,S=1/4和T=1/2表示在宽度上以4倍并且在高度上以2倍对层间编解码图片进行下采样),那么可以将层间编解码图片中的CTU维度推导为(M×S)×(N×T)或者(M/S)×(N/T)。
ii.例如,可以在视频单元级上对于多个层显式信令通知不同CTU维度,例如,对于层间重采样图片/子图片,可以在VPS/DPS/SPS/PPS/APS/图片/子图片/条带/条带标头/片/砖块级别上信令通知不同于基本层CTU尺寸的CTU维度。
2.提出了是否允许TT或BT划分可以取决于VPDU维度(诸如宽度和/或高度)。假设VPDU具有以亮度样点衡量的维度VSize,并且编解码树块具有以亮度样点衡量的维度CtbSizeY。
a)在一个示例中,VSize=min(M,CtbSizeY)。M是整数值,例如,64。
b)在一个示例中,是否允许TT或BT划分可以独立于最大变换尺寸。
c)在一个示例中,在以亮度样点衡量的编解码块宽度或高度大于min(VSize,maxTtSize)时可以禁用TT划分。
i.在一个示例中,在最大变换尺寸等于32×32但是VSize等于64×64时,可以对于128×128/128×64/64×128编解码块禁用TT划分。
ii.在一个示例中,在最大变换尺寸等于32×32但是VSize等于64×64时,可以对64×64编解码块允许TT划分。
d)在一个示例中,在以亮度样点衡量的编解码块宽度小于或等于VSize,但是以亮度样点衡量的其高度大于VSize时,可以禁用垂直BT划分。
i.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对64×128编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对32×64/16×64/8×64编解码块允许垂直BT划分。
e)在一个示例中,在编解码块超过以亮度样点衡量的图片/子图片宽度,但是以亮度样点衡量的其高度大于VSize时,可以禁用垂直BT划分。
i.替代性地,在编解码块超过以亮度样点衡量的图片/子图片宽度时可以允许水平BT划分。
f)在一个示例中,在以亮度样点衡量的编解码块宽度大于VSize,但是以亮度样点衡量的其高度小于或等于VSize时,可以禁用水平BT划分。
i.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对128×64编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对64×8/64×16/64×32编解码块允许水平BT划分。
g)在一个示例中,在编解码块超过以亮度样点衡量的图片/子图片高度,但是以亮度样点衡量的其宽度大于VSize时,可以禁用水平BT划分。
i.替代性地,在编解码块超过以亮度样点衡量的图片/子图片高度时可以允许垂直BT划分。
h)在一个示例中,在禁用TT或BT划分时,可以不信令通知TT或BT划分标志并且将其隐式推导为零。
i.替代性地,在启用TT和/或BT划分时,可以在比特流中显式信令通知TT和/或BT划分标志。
ii.替代性地,在禁用TT或BT划分时,可以信令通知TT或BT划分标志,但是解码器可以将其忽略。
iii.替代性地,在禁用TT或BT划分时,可以信令通知TT或BT划分标志,但是在一致性比特流中其必须为零。
3.提出了CTU维度(诸如宽度和/或高度)可以大于128。
a)在一个示例中,信令通知的CTU维度可以是256,甚至更大(例如,log2_ctu_size_minus5可以等于3或更大)。
b)在一个示例中,所推导的CTU尺寸可以是256,甚至更大。
i.例如,用于对图片/子图片重采样的所推导CTU维度可以大于128。
4.提出了在允许较大CTU维度(例如,CTU宽度和/或高度大于128)时,那么可以将QT划分标志推断为真并且可以递归地应用QT划分,直到经划分的编解码块的维度达到指定值(例如,可以将该指定值设置为最大变换块尺寸,或128,或64,或32)。
a)在一个示例中,可以在不信令通知的情况下隐式执行递归QT划分,直到经划分的编解码块尺寸达到最大变换块尺寸。
b)在一个示例中,在CTU 256×256应用于双重树时,那么对于大于最大变换块尺寸的编解码块,可以不信令通知QT划分标志,并且可以强制将QT划分用于编解码块,直到经划分的编解码块尺寸达到最大变换块尺寸。
5.提出了可以对于大于128的CU/PU维度(宽度和/或高度)有条件地信令通知TT划分标志。
a)在一个示例中,对于256×256CU,可以信令通知水平和垂直TT划分标志两者。
b)在一个示例中,对256×128/256×64CU/PU,可以信令通知垂直TT划分,但不信令通知水平TT划分。
c)在一个示例中,对于128×256/64×256CU/PU,可以信令通知水平TT划分,但不信令通知垂直TT划分。
d)在一个示例中,在对大于128的CU维度禁止TT划分标志时,那么可以不对其信令通知,并且将其隐式推导为零。
i.在一个示例中,对于256×128/256×64CU/PU,可以禁止水平TT划分。
ii.在一个示例中,对于128×256/64×256CU/PU,可以禁止垂直TT划分。
6.提出了可以对于大于128的CU/PU维度(宽度和/或高度)有条件地信令通知BT划分标志。
a)在一个示例中,可以对256×256/256×128/128×256CU/PU信令通知水平和垂直BT划分标志两者。
b)在一个示例中,可以对64×256CU/PU信令通知水平BT划分标志。
c)在一个示例中,可以对256×64CU/PU信令通知垂直BT划分标志。
d)在一个示例中,在对大于128的CU维度禁止BT划分标志时,那么可以不对其信令通知,并且将其隐式推导为零。
i.在一个示例中,可以对K×256CU/PU(例如,在以亮度样点衡量时K等于或小于64)禁止垂直BT划分,并且可以不信令通知垂直BT划分标志,并且将其推导为零。
1.例如,在上述情况下,可以对64×256CU/PU禁止垂直BT划分。
2.例如,在上述情况下,可以禁止垂直BT划分,以避免图片/子图片边界处的32×256CU/PU。
ii.在一个示例中,在编解码块超过以亮度样点衡量的图片/子图片宽度,但是以亮度样点衡量的其高度大于M(例如,在以亮度样点衡量时M=64)时,可以禁止垂直BT划分。
iii.在一个示例中,可以对256×K(例如,在以亮度样点衡量时K等于或小于64)编解码块禁止水平BT划分,并且可以不信令通知水平BT划分标志,并且将其推导为零。
1.例如,在上述情况下,可以对256×64编解码块禁止水平BT划分。
2.例如,在上述情况下,可以禁止水平BT划分,以避免图片/子图片边界处的256×32编解码块。
iv.在一个示例中,在编解码块超过以亮度样点衡量的图片/子图片高度,但是以亮度样点衡量的其宽度大于M(例如,在以亮度样点衡量时M=64)时,可以禁止水平BT划分。
7.提出了仿射模型参数计算可以取决于CTU维度。
a)在一个示例中,经缩放的运动矢量的推导和/或仿射预测中的控制点运动矢量可以取决于CTU维度。
8.提出了帧内块复制(intra block copy,IBC)缓存可以取决于最大可配置/容许的CTU维度。
a)例如,以亮度样点衡量的IBC缓存宽度可以等于N×N除以以亮度样点衡量的CTU宽度(或高度),其中,N可以是以亮度样点衡量的最大可配置CTU尺寸,例如,N=1<<(log2_ctu_size_minus5+5)。
9.提出了可以对较大CU/PU禁用一组(多个)指定编解码工具,其中,较大CU/PU是指CU/PU宽度或CU/PU高度大于N(例如,N=64或128)的CU/PU。
a)在一个示例中,上文提及的(多个)指定编解码工具可以是调色板和/或帧内块复制(IBC)和/或帧内跳过(skip)模式和/或三角形预测模式和/或CIIP模式和/或常规Merge模式和/或解码器侧运动推导和/或双向光流和/或基于光流的预测细化和/或仿射预测和/或基于子块的TMVP等等。
i.替代性地,诸如调色板和帧内块复制(IBC)模式的(多个)屏幕内容编解码工具可以应用于较大CU/PU。
b)在一个示例中,可以显式使用语法约束条件以便对较大CU/PU禁用(多个)指定编解码工具。
i.例如,对于非较大CU/PU的CU/PU可以显式信令通知调色板/IBC标志。
c)在一个示例中,它可以使用比特流约束条件以便对较大CU/PU禁用(多个)指定编解码工具。
相关的可配置最大变换尺寸
10.提出了最大TU尺寸可以取决于CTU维度(宽度和/或高度),或者CTU维度可以取决于最大TU尺寸。
a)在一个示例中,可以使用最大TU尺寸应当小于或等于CTU维度这一比特流约束条件。
b)在一个示例中,最大TU尺寸的信令通知可以取决于TU维度。
i.例如,在CTU维度小于N(例如,N=64)时,信令通知的最大TU尺寸必须小于N。
ii.例如,在CTU维度小于N(例如,N=64)时,可以不信令通知最大亮度变换尺寸是64还是32的指示(例如,
sps_max_luma_transform_size_64flag),并且可以将最大亮度变换尺寸隐式推导为32。
5.实施例
将新添加的部分括入粗体双圆括号当中,例如,{{a}}表示添加了“a”,而从VVC工作草案删除的部分则被括入粗体双方括号当中,例如,[[b]]表示删除了“b”。这些修改以最新VVC工作草案(JVET-O2001-v11)为基础。
5.1示例性实施例#1
下文的实施例是对于所发明的方法的,其使得最大TU尺寸取决于CTU尺寸。
7.4.3.3.序列参数集RBSP语义
…
sps_max_luma_transform_size64_flag等于1规定以亮度样点衡量的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定以亮度样点衡量的最大变换尺寸等于32。
在CtbSizeY小于64时,sps_max_luma_transform_size_64_flag的值应当等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeYsps_max_luma_transform_size_64_flag?6∶5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY={{min(CtbSizeY,1<<MaxTbLog2SizeY)}} (7-30)
…
5.2示例性实施例#2
下文的实施例是对于所发明的方法的,其使得TT和BT划分处理取决于VPDU尺寸。
6.4.2所允许的二叉树划分处理
如下推导变量allowBtSplit:
…
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_VER
–cbHeight大于[[MaxTbSizeY]]{{VSize}}
–x0+cbWidth大于pic_width_in_luma_samples
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于[[MaxTbSizeY]]{{VSize}}
–y0+cbHeight大于pic_height_in_luma_samples
…
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_VER
–cbWidth小于或等于[[MaxTbSizeY]]{{VSize}}
–cbHeight大于[[MaxTbSizeY]]{{VSize}}
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于[[MaxTbSizeY]]{{VSize}}
–cbHeight小于或等于[[MaxTbSizeY]]{{VSize}}
6.4.3所允许的三叉树划分过程
…
如下推导变量allowTtSplit:
–如果下述条件中的一者或多者为真,那么将allowTtSplit设置为等于FALSE:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min([[MaxTbSizeY]]{{VSize}},maxTtSize)
–cbHeight大于Min([[MaxTbSizeY]]{{VSize}},maxTtSize)
-mttDepth大于或等于maxMttDepth
-x0+cbWidth大于pic_width_in_luma__samples
-y0+cbHeight大于pic_height_in_luma_samples
-treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或者等于32
-treeType等于DUAL_TREE_CHROMA,并且modeType等于INTRA-否则,将allowTtSplit设置为等于TRUE。
5.3示例性实施例#3
下文的实施例是对于所发明的方法的,其使得仿射模型参数计算取决于CTU尺寸。
7.4.3.3.序列参数集RBSP语义
…
log2_ctu_size_minus5加5规定每一CTU的亮度编解码树块尺寸。比特流一致性的一个要求是log2_ctu__size_minus5的值小于或等于[[2]]{{3(根据指定可以更大)}}。
…
CtbLog2SizeY=log2_ctu_size_minus5+5
{{CtbLog2SizeY用于指示当前视频单元的以亮度样点衡量的CTU尺寸。在将单一CTU尺寸用于当前视频单元时,通过上述方程计算CtbLog2SizeY。否则,CtbLog2SizeY可以取决于实际CTU尺寸,可以对于当前视频单元对其边行显式信令通知或隐式推导。(一个示例)}}
…
8.5.5.5从相邻块对亮度仿射控制点运动矢量所做的推导处理
…
如下推导变量mvScaleHor、mvScaleVer、dHorX和dVerX:
-如果isCTUboundary等于TRUE,那么以下内容适用:
mvScaleHor=MvLX[xNb][yNb+nNbH-1][0]<<[[7]]{{CtbLog2SizeY}} (8-533)
mvScaleVer=MvLX[xNb][yNb+nNbH-1][1]<<[[7]]{{CtbLog2SizeY}} (8-534)
…
-否则(isCTUboundary等于FALSE),那么以下内容适用:
mvScaleHor=CpMvLX[xNb][yNb][0][0]<<[[7]]{{CtbLog2SizeY}} (8-537)
mvScaleVer=CpMvLX[xNb][yNb][0][1]<<[[7]]{{CtbLog2SizeY}}
(8-538)
…
8.5.5.6对于所构建的仿射控制点运动矢量merging候选的推导处理
…
当availableFlagCorner[0]等于TRUE并且availableFlagCorner[2]等于TRUE时,以下内容适用:
-对于以0或1代替X而言,以下内容适用:
-如下推导变量availableFlagLX:
-如果下述条件全部为TRUE,那么将availableFlagLX设置为等于TRUE:
-predFlagLXCorner[0]等于1
-predFlagLXCorner[2]等于1
-refIdxLXCorner[0]等于refIdxLXCorner[2]
-否则,将availableFlagLX设置为等于FALSE。
-在availableFlagLX等于TRUE时,以下内容适用:
-如下推导第二控制点运动矢量cpMvLXCorner[1]:
cpMvLXCorner[1][0]=(cpMvLXCorner[0][0]<<[[7]]
{{CtbLog2SizeY}})+
((cpMvLXCorner[2][1]-cpMvLXCorner[0][1])
(8-606)
<<([[7]]{{CtbLog2SizeY}}+Log2(cbHeight/cbWidth)))
cpMvLXCorner[1][1]=(cpMvLXCorner[0][1]<<[[7]]
{{CtbLog2SizeY}})+
((cpMvLXCorner[2][0]-cpMvLXCorner[0][0])
(8-607)
<<([[7]]{{CtbLog2SizeY}}+Log2(cbHeight/cbWidth)))
8.5.5.9从仿射控制点运动矢量对运动矢量阵列所做的推导处理
如下推导变量mvScaleHor、mvScaleVer、dHorX和dVerX:
mvScaleHor=cpMvLX[0][0]<<[[7]]{{CtbLog2SizeY}}
(8-665)
mvScaleVer=cpMvLX[0][1]<<[[7]]{{CtbLog2SizeY}}
(8-666)
图1是视频处理装置1300的框图。装置1300可以用于实施本文描述的方法中的一者或多者。装置1300可以被体现到智能手机、平板电脑、计算机、物联网(Internet ofThings,IoT)接收器等当中。装置1300可以包括一个或多个处理器1302、一个或多个存储器1304以及视频处理硬件1306。(多个)处理器1302可以被配置为实施本文档中描述的一种或多种方法。(多个)存储器1304可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1306可以用于在硬件电路中实施本文档中描述的一些技术。在一些实施例中,硬件1306可以至少部分地包括在处理器1302(例如,图形协处理器)内。
在一些实施例中,可以使用在结合图1描述的硬件平台上实施的装置来实施这些视频编解码方法。
所公开技术的一些实施例包括做出启用视频处理工具或模式的决策或决定。在一个示例中,当视频处理工具或模式被启用时,编码器将在视频块的处理中使用或实施该工具或模式,但不一定基于该工具或模式的使用来修改所得到的比特流。也就是说,当基于决策或决定启用视频处理工具或模式时,从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中,当视频处理工具或模式被启用时,解码器将在知道已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说,将使用基于决策或决定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括做出禁用视频处理工具或模式的决策或决定。在一个示例中,当视频处理工具或模式被禁用时,编码器在从视频块到视频的比特流表示的转换中将不使用该工具或模式。在另一示例中,当视频处理工具或模式被禁用时,解码器将在知道并未使用基于决策或决定启用的视频处理工具或模式对比特流做出修改的情况下处理比特流。
图2是示出了示例性视频处理系统200的框图,在该系统中可以实施本文公开的各种技术。各种实施方式可以包括系统200的部分或全部部件。系统200可以包括用于接收视频内容的输入202。视频内容可以是按照原始或未压缩格式接收的,例如8比特或10比特多分量像素值,或者可以是按照压缩或编码格式接收的。输入202可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passive opticalnetwork,PON)等的有线接口,以及诸如Wi-Fi或蜂窝接口的无线接口。
系统200可以包括编解码部件204,其可以实施本文档中所描述的各种编解码或编码方法。编解码部件204可以降低从输入202到编解码部件204的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码部件204的输出可以被存储,也可以通过所连接的通信进行传输,如部件206所示。输入202处接收的视频的存储或传达比特流(或经编解码的)表示可由部件208用于生成像素值或发送到显示接口210的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但应当理解的是,编解码工具或操作被用于编码器处,并且逆转编解码结果的对应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(universal serialbus,USB)或高清晰度多媒体接口(high definition multimedia interface,HDMI)或Displayport等。存储接口的示例包括SATA(serial advanced technology attachment,行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可体现在各种电子设备中,诸如移动电话、笔记本电脑、智能电话或其他能够执行数字数据处理和/或视频显示的设备。
图3是视频处理方法300的流程图。方法300包括:在操作310中,执行包括一个或多个视频区域的视频和该视频的比特流表示之间的转换,该视频区域包括一个或多个视频块,该转换遵守规则,该规则允许对于该一个或多个视频区域中的不同视频区域当中的一个或多个视频块使用不同尺寸来执行该转换。
图4是视频处理方法400的流程图。方法400包括:在操作410中,基于视频的视频区域的视频块的尺寸超过阈值,确定使用基于四叉树的划分来划分该视频块,直到满足尺寸条件并且从该视频的比特流表示中排除对基于四叉树的划分的指示。
方法400包括在操作420中基于该确定,执行该视频与该比特流表示之间的转换。
图5是视频处理方法500的流程图。方法500包括:在操作510中,基于视频的视频区域的视频块的维度超过阈值,确定是否在该视频的比特流表示中信令通知对该视频块的三叉树(ternary-tree,TT)划分的指示。
方法500包括在操作520中基于该确定,执行该视频与该比特流表示之间的转换。
图6是视频处理方法600的流程图。方法600包括:在操作610中,基于视频的视频区域的视频块的维度超过阈值,确定是否在该视频的比特流表示中信令通知对该视频块的二叉树(binary-tree,BT)划分的指示。
方法600包括在操作620中基于该确定,执行该视频与该比特流表示之间的转换。
图7是视频处理方法700的流程图。方法700包括:在操作710中,执行包括视频区域的视频与该视频的比特流表示之间的转换,该视频区域包括视频块,该转换包括仿射模型参数计算,并且该仿射模型参数计算是基于该视频块的维度。
图8是视频处理方法800的流程图。方法800包括:在操作810中,执行包括视频区域的视频与该视频的比特流表示之间的转换,该视频区域包括视频块,该转换包括帧内块复制(IBC)工具的应用,并且IBC缓存的尺寸是基于该视频块的最大可配置和/或容许维度。
图9是视频处理方法900的流程图。方法900包括:在操作910中,执行包括一个或多个视频区域的视频和该视频的比特流表示之间的转换,视频区域包括一个或多个视频块,根据规则执行该转换,该规则规定该一个或多个视频块的视频块尺寸的指示与用于该视频块的变换块(TB)的最大尺寸的指示之间的关系。
在一些实施例中,可以实施以下技术解决方案。
A1.一种视频处理的方法,包括:执行包括一个或多个视频区域的视频和该视频的比特流表示之间的转换,该视频区域包括一个或多个视频块,其中,该转换遵守规则,该规则允许对于该一个或多个视频区域中的不同视频区域当中的一个或多个视频块使用不同尺寸来执行该转换。
A2.根据解决方案A1所述的方法,其中,该规则还规定将指示在该比特流表示中允许的视频块的一个或多个尺寸的语法元素包含到该比特流表示当中。
A3.根据解决方案A2所述的方法,其中,将该语法元素包括到序列参数集(SPS)当中。
A4.根据解决方案A2所述的方法,其中,将该语法元素包括到图片参数集(pictureparameter set,PPS)当中。
A5.根据解决方案A2所述的方法,其中,将该语法元素包括到视频参数集(videoparameter set,VPS)、解码参数集(decoding parameter set,DPS)、调适参数集(adaptation parameter set,APS)、图片标头、子图片标头、条带标头、片标头或砖块标头当中。
A6.根据解决方案A1所述的方法,其中,该一个或多个视频区域对应于视频层,并且其中,该一个或多个视频块对应于编解码树单元(CTU),该编解码树单元表示用于将该视频编解码成该比特流表示的逻辑分割。
A7.根据解决方案A6所述的方法,其中,在对于该一个或多个视频区域中的至少一个视频区域启用参考图片重采样工具时,在视频层中对于该一个或多个视频块使用不同尺寸。
A8.根据解决方案A6所述的方法,其中,该一个或多个视频区域中的至少一个视频区域包括层间图片或者层内图片,并且其中,用于层间参考或者层内参考的一个或多个视频块的维度隐式地基于缩放因数。
A9.根据解决方案A8所述的方法,其中,该缩放因数包括上采样缩放因数或下采样缩放因数。
A10.根据解决方案A8所述的方法,其中,该缩放因数是从包括一个或多个块的当前图片的尺寸以及与该当前图片相关联的参考图片的尺寸推导的。
A11.根据解决方案A8所述的方法,其中,该缩放因数是从该比特流表示中的一个或多个语法元素推导的。
A12.根据解决方案A8所述的方法,其中,层间图片或层内图片的一个或多个视频块的视频块尺寸为M×N,其中,在宽度维度上根据第一缩放因数(S)并且根据第二缩放因数(T)对所述层间图片或层内图片重采样,其中,用于层间参考或层内参考的视频块的维度为(M×S)×(N×T)或(M/S)×(N/T),并且其中,M、N、S和T为正整数。
A13.根据解决方案A8所述的方法,其中,在该比特流表示中信令通知在视频层内使用的一个或多个视频块的不同尺寸。
A14.根据解决方案A13所述的方法,其中,在序列参数集(SPS)或图片参数集(PPS)中信令通知这些不同尺寸。
A15.根据解决方案A14所述的方法,其中,这些不同尺寸中的每者不同于基本层CTU的尺寸。
A16.根据解决方案A6所述的方法,其中,CTU的维度包括高度和宽度,并且其中,高度和/或宽度大于128。
A17.根据解决方案A6所述的方法,其中,CTU的维度包括高度和宽度,并且其中,高度和/或宽度大于或等于256。
A18.一种视频处理的方法,包括:基于视频的视频区域的视频块的尺寸超过阈值,确定使用基于四叉树的划分来划分该视频块,直到满足尺寸条件并且从该视频的比特流表示中排除对基于四叉树的划分的指示;以及基于该确定执行该视频和该比特流表示之间的转换。
A19.根据解决方案A18所述的方法,其中,该阈值为128。
A20.根据解决方案A18或A19所述的方法,其中,该尺寸条件对应于最大变换块尺寸64或32。
A21.根据解决方案A18到A20中的任何解决方案所述的方法,其中,该视频块对应于编解码树单元(CTU),该编解码树单元表示用于将该视频编解码成该比特流表示的逻辑分割。
A22.一种视频处理的方法,包括:基于视频的视频区域的视频块的维度超过阈值,确定是否在该视频的比特流表示中信令通知对该视频块的三叉树(TT)划分的指示;以及基于该确定执行该视频和该比特流表示之间的转换。
A23.根据解决方案A22所述的方法,其中,该阈值为128。
A24.根据解决方案A22或A23所述的方法,其中,在该视频块的维度为256×256时,该指示包括水平TT标志和垂直TT标志。
A25.根据解决方案A22或A23所述的方法,其中,在该视频块的维度为256×128或256×64时,该指示由垂直TT标志构成。
A26.根据解决方案A22或A23所述的方法,其中,在该视频块的维度为128×256或64×256时,该指示由水平TT标志构成。
A27.根据解决方案A22到A26中的任何解决方案所述的方法,其中,该视频块为编解码单元(coding unit,CU)或预测单元(prediction unit,PU)。
A28.一种视频处理的方法,包括:基于视频的视频区域的视频块的维度超过阈值,确定是否在该视频的比特流表示中信令通知对该视频块的二叉树(BT)划分的指示;以及基于该确定执行该视频和该比特流表示之间的转换。
A29.根据解决方案A28所述的方法,其中,该阈值为128。
A30.根据解决方案A28或A29所述的方法,其中,在该视频块的维度为256×256、256×128或128×256时,该指示包括水平TT标志和垂直TT标志。
A31.根据解决方案A28或A29所述的方法,其中,在该视频块的维度为64×256时,该指示由水平TT标志构成。
A32.根据解决方案A28或A29所述的方法,其中,在该视频块的维度为256×64时,该指示由垂直TT标志构成。
A33.根据解决方案A28到A32中的任何解决方案所述的方法,其中,该视频块为编解码单元(CU)或预测单元(PU)。
A34.一种视频处理的方法,包括:执行包括视频区域的视频与该视频的比特流表示之间的转换,该视频区域包括视频块,其中,该转换包括仿射模型参数计算,并且其中,该仿射模型参数计算是基于该视频块的维度。
A35.根据解决方案A34所述的方法,其中,该仿射模型参数计算是仿射预测处理的部分,该仿射预测处理还包括经缩放的运动矢量和/或控制点运动矢量的推导,并且其中,该推导是基于该视频块的维度。
A36.根据解决方案A34或A35所述的方法,其中,该视频块对应于编解码树单元(CTU),该编解码树单元表示用于将该视频编解码成该比特流表示的逻辑分割。
A37.一种视频处理的方法,包括:执行包括视频区域的视频与该视频的比特流表示之间的转换,该视频区域包括视频块,其中,该转换包括帧内块复制(IBC)工具的应用,并且其中,IBC缓存的尺寸是基于该视频块的最大可配置和/或容许维度。
A38.根据解决方案A37所述的方法,其中,以亮度样点衡量的IBC缓存的宽度等于N×N除以该视频块的宽度或高度,其中,N×N是以亮度样点衡量的该视频块的最大可配置维度,并且其中,N为整数。
A39.根据解决方案A38所述的方法,其中,N=1<<(log2_ctu_size_minus5+5),其中,log2_ctu_size_minus5表示编解码树单元(CTU)尺寸的指示。
A40.根据解决方案A37到A39中的任何解决方案所述的方法,其中,该视频块对应于编解码树单元(CTU),编解码树单元表示用于将该视频编解码成该比特流表示的逻辑分割。
A41.根据解决方案A1到A40中的任何解决方案所述的方法,其中,执行该转换包括从该视频生成该比特流表示。
A42.根据解决方案A1到A40中的任何解决方案所述的方法,其中,执行该转换包括从该比特流表示生成该视频。
A43.一种处于视频系统中的装置,包括处理器以及其上具有指令的非暂时性存储器,其中,该指令在被该处理器执行时使得该处理器实施根据解决方案A1到A42中的任何解决方案所述的方法。
A44.一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于实施根据解决方案A1到A42中的任何解决方案所述的方法的程序代码。
在一些实施例中,可以实施以下技术解决方案。
B1.一种视频处理的方法,包括:执行包括一个或多个视频区域的视频和该视频的比特流表示之间的转换,该视频区域包括一个或多个视频块,其中,根据规则执行该转换,该规则规定该一个或多个视频块的视频块尺寸的指示与用于该视频块的变换块(TB)的最大尺寸的指示之间的关系。
B2.根据解决方案B1所述的方法,其中,该关系规定TB的最大尺寸是基于该视频块的尺寸。
B3.根据解决方案B1所述的方法,其中,该关系规定该视频块的尺寸是基于该TB的最大尺寸。
B4.根据解决方案B2或B3所述的方法,其中,该TB的最大尺寸小于或等于该视频块的维度。
B5.根据解决方案B2或B3所述的方法,其中,该比特流表示对该TB的最大尺寸的指示的包含是基于该视频块的维度。
B6.根据解决方案B5所述的方法,其中,该视频块的维度中的至少一个维度小于N,其中,该TB的最大尺寸的指示表明该TB的最大尺寸小于N,并且其中,N为正整数。
B7.根据解决方案B6所述的方法,其中,N=64。
B8.根据解决方案B5所述的方法,其中,与该视频区域相关联的亮度变换块的最大尺寸为64或32。
B9.根据解决方案B8所述的方法,其中,在该视频块的维度中的至少一个维度小于N时,该比特流表示排除对该亮度变换块的最大尺寸的指示,其中,将该亮度变换块的最大尺寸隐式地推导为32,并且其中,N为正整数。
B10.根据解决方案B9所述的方法,其中,N=64。
B11.根据解决方案B1到B10中的任何解决方案所述的方法,其中,该视频块对应于编解码树块(coding tree block,CTB),该编解码树块表示用于将该视频编解码成该比特流表示的逻辑分割。
B12.根据解决方案B1到B10中的任何解决方案所述的方法,其中,该视频块对应于亮度编解码树块(CTB),该亮度编解码树块表示用于将该视频的亮度分量编解码成该比特流表示的逻辑分割。
B13.根据解决方案B1到B10中的任何解决方案所述的方法,其中,该视频块的尺寸的指示对应于表示该亮度编解码树块(CTB)的尺寸是否大于32的语法元素或变量。
B14.根据解决方案B1到B10中的任何解决方案所述的方法,其中,该视频块的尺寸的指示对应于表示该亮度编解码树块(CTB)的尺寸是否大于或等于64的语法元素或变量。
B15.根据解决方案B1到B10中的任何解决方案所述的方法,其中,该变换块的最大尺寸对应于亮度变换块的最大尺寸。
B16.根据解决方案B1到B10中的任何解决方案所述的方法,其中,该变换块的最大尺寸的指示对应于表示亮度变换块的最大尺寸是否等于64的语法元素或变量。
B17.根据解决方案B16所述的方法,其中,该语法元素为标志。
B18.根据解决方案B1到B17中的任何解决方案所述的方法,其中,执行该转换包括从该视频区域生成该比特流表示。
B19.根据解决方案B1到B17中的任何解决方案所述的方法,其中,执行该转换包括从该比特流表示生成该视频区域。
B20.一种处于视频系统中的装置,包括处理器以及其上具有指令的非暂时性存储器,其中,该指令在被该处理器执行时使得该处理器实施根据解决方案B1到B19中的任何解决方案所述的方法。
B21.一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于实施根据解决方案B1到B19中的任何解决方案所述的方法的程序代码。
本文档中描述的所公开的以及其他的解决方案、示例、实施例、模块和功能操作可以在数字电子电路系统或者计算机软件、固件或硬件中实施,其包括本文档中所公开的结构及其结构等同物,或其中一者或多者的组合。所公开的实施例和其他实施例可以被实施成一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板(substrate)、存储器设备、影响机器可读传播信号的物质组成或者它们当中的一者或多者的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,包括(例如)可编程处理器、计算机或者多个处理器或计算机。除硬件外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或者它们当中的一者或多者的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成为对信息编码,以便传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以按照任何形式部署,包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件(例如,存储在标记语言文档中的一个或多个脚本)的部分中,专用于所讨论的程序的单个文件中,或者多个协调文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。可以将计算机程序部署为在一个或多个计算机上执行,这一个或多个计算机位于一个站点上,或者跨越多个站点分布并通过通信网络互连。
本说明书中描述的过程和逻辑流可以通过由一个或多个可编程处理器执行一个或多个计算机程序来执行,从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流也可以通过专用逻辑电路系统来执行,并且装置也可以被实施成专用逻辑电路系统,例如,FPGA(field programmable gate array,现场可编程门阵列)或ASIC(application specific integrated circuit,专用集成电路)。
例如,适于执行计算机程序的处理器包括通用微处理器和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或被操作性地耦合以便从一个或多个大容量存储设备接收数据或向其传输数据,或两者兼有。然而,计算机不一定具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括(例如)半导体存储器设备,例如,EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动盘;磁光盘;以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路系统来补充,或合并到专用逻辑电路系统中。
虽然本专利文档包含许多细节,但不应将其解释为对任何主题或权利要求范围的限制,而应解释为对特定技术的特定实施例的具体特征的描述。本专利文档在分离实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反地,在单个实施例的上下文中描述的各种特征也可分离地或者以任何合适的子组合的形式在多个实施例中实施。此外,虽然某些特征可能在上面被描述为以某些组合的方式起作用并且甚至最初也这样地来要求对其的权利保护,但是来自要求权利保护的组合的一个或多个特征在某些情况下可从该组合中去除,并且要求权利保护的组合可涉及子组合或子组合的变型。
类似地,尽管附图中以特定顺序描述了操作,但这不应被理解为要获得想要的结果必须按照所示的特定顺序或者按照顺次排序执行此类操作,或者必须执行所有示出的操作。此外,在本专利文档中描述的实施例当中对各种系统部件的划分不应被理解为在所有实施例中都要求这样的划分。
仅描述了几种实施方式和示例,其他实施方式、增强和变化可以基于本专利文档中描述和说明的内容做出。
Claims (21)
1.一种视频处理的方法,包括:
执行包括一个或多个视频区域的视频和所述视频的比特流之间的转换,所述视频区域包括一个或多个视频块,
其中,根据规则执行所述转换,所述规则规定所述一个或多个视频块的视频块尺寸的指示与用于所述视频块的变换块(TB)的最大尺寸的指示之间的关系。
2.根据权利要求1所述的方法,其中,所述关系规定所述TB的最大尺寸是基于所述视频块的尺寸。
3.根据权利要求1所述的方法,其中,所述关系规定所述视频块的尺寸是基于所述TB的最大尺寸。
4.根据权利要求2或3所述的方法,其中,所述TB的最大尺寸小于或等于所述视频块的维度。
5.根据权利要求2或3所述的方法,其中,所述比特流对所述TB的最大尺寸的指示的包含是基于所述视频块的维度。
6.根据权利要求5所述的方法,其中,所述视频块的维度中的至少一个维度小于N,其中,所述TB的最大尺寸的指示表明所述TB的最大尺寸小于N,并且其中,N为正整数。
7.根据权利要求6所述的方法,其中,N=64。
8.根据权利要求5所述的方法,其中,与所述视频区域相关联的亮度变换块的最大尺寸为64或32。
9.根据权利要求8所述的方法,其中,在所述视频块的维度中的至少一个维度小于N时,所述比特流不包含对所述亮度变换块的最大尺寸的指示,其中,将所述亮度变换块的最大尺寸隐式地推导为32,并且其中,N为正整数。
10.根据权利要求9所述的方法,其中,N=64。
11.根据权利要求1到10中的任一项所述的方法,其中,所述视频块对应于编解码树块(CTB),所述编解码树块表示用于将所述视频编解码成所述比特流的逻辑分割。
12.根据权利要求1到10中的任一项所述的方法,其中,所述视频块对应于亮度编解码树块(CTB),所述亮度编解码树块表示用于将该视频的亮度分量编解码成所述比特流的逻辑分割。
13.根据权利要求1到10中的任一项所述的方法,其中,对所述视频块的尺寸的指示对应于表示所述亮度编解码树块(CTB)的尺寸是否大于32的语法元素或变量。
14.根据权利要求1到10中的任一项所述的方法,其中,对所述视频块的尺寸的指示对应于表示所述亮度编解码树块(CTB)的尺寸是否大于或等于64的语法元素或变量。
15.根据权利要求1到10中的任一项所述的方法,其中,所述变换块的最大尺寸对应于亮度变换块的最大尺寸。
16.根据权利要求1到10中的任一项所述的方法,其中,对所述变换块的最大尺寸的指示对应于表示亮度变换块的最大尺寸是否等于64的语法元素或变量。
17.根据权利要求16所述的方法,其中,所述语法元素为标志。
18.根据权利要求1到17中的任一项所述的方法,其中,执行所述转换包括从所述视频区域生成所述比特流。
19.根据权利要求1到17中的任一项所述的方法,其中,执行所述转换包括从所述比特流生成所述视频区域。
20.一种处于视频系统中的装置,包括处理器以及其上具有指令的非暂时性存储器,其中,所述指令在被所述处理器执行时使得所述处理器实施根据权利要求1到19中的一项或多项所述的方法。
21.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于实施根据权利要求1到19中的一项或多项所述的方法的程序代码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/097926 | 2019-07-26 | ||
CN2019097926 | 2019-07-26 | ||
PCT/CN2020/104790 WO2021018084A1 (en) | 2019-07-26 | 2020-07-27 | Interdependence of transform size and coding tree unit size in video coding |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114175650A true CN114175650A (zh) | 2022-03-11 |
Family
ID=74229220
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080053871.3A Pending CN114175650A (zh) | 2019-07-26 | 2020-07-27 | 视频编解码中的变换尺寸和编解码树单元尺寸的相互依赖 |
CN202080053833.8A Pending CN114175649A (zh) | 2019-07-26 | 2020-07-27 | 视频编解码中的可配置编解码树单元尺寸 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080053833.8A Pending CN114175649A (zh) | 2019-07-26 | 2020-07-27 | 视频编解码中的可配置编解码树单元尺寸 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN114175650A (zh) |
WO (2) | WO2021018084A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023034748A1 (en) * | 2021-08-31 | 2023-03-09 | Bytedance Inc. | Method, apparatus, and medium for video processing |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG10202008690XA (en) * | 2011-01-12 | 2020-10-29 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method |
SG10201902274SA (en) * | 2011-06-24 | 2019-04-29 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method |
JP2014045434A (ja) * | 2012-08-28 | 2014-03-13 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びそれらのプログラム |
JP6341426B2 (ja) * | 2012-09-10 | 2018-06-13 | サン パテント トラスト | 画像復号化方法および画像復号化装置 |
US9877034B2 (en) * | 2014-04-14 | 2018-01-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Pipelined video decoder system |
KR102199463B1 (ko) * | 2015-08-31 | 2021-01-06 | 삼성전자주식회사 | 스캔 순서를 고려한 영상의 변환 방법 및 그 장치, 및 역변환 방법 및 그 장치 |
US10200719B2 (en) * | 2015-11-25 | 2019-02-05 | Qualcomm Incorporated | Modification of transform coefficients for non-square transform units in video coding |
US10212444B2 (en) * | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
MX2018011198A (es) * | 2016-03-16 | 2019-05-20 | Mediatek Inc | Metodo y aparato de procesamiento de datos de video con tamaño restringido de bloque en codificacion de video. |
WO2018131523A1 (ja) * | 2017-01-12 | 2018-07-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
CN117201818A (zh) * | 2017-05-26 | 2023-12-08 | Sk电信有限公司 | 对视频数据进行编码或解码的方法和发送比特流的方法 |
US11677940B2 (en) * | 2017-09-20 | 2023-06-13 | Electronics And Telecommunications Research Institute | Method and device for encoding/decoding image, and recording medium having stored bitstream |
-
2020
- 2020-07-27 WO PCT/CN2020/104790 patent/WO2021018084A1/en active Application Filing
- 2020-07-27 CN CN202080053871.3A patent/CN114175650A/zh active Pending
- 2020-07-27 CN CN202080053833.8A patent/CN114175649A/zh active Pending
- 2020-07-27 WO PCT/CN2020/104784 patent/WO2021018081A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021018084A1 (en) | 2021-02-04 |
CN114175649A (zh) | 2022-03-11 |
WO2021018081A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11553179B2 (en) | Sample determination for adaptive loop filtering | |
US20230156189A1 (en) | Sample padding in adaptive loop filtering | |
US20240107014A1 (en) | Handling Video Unit Boundaries And Virtual Boundaries | |
CN114175632B (zh) | 对视频编解码模式的块尺寸相关使用 | |
US20210185362A1 (en) | Binarization of partitioning related to extended quadtree | |
US11388476B2 (en) | Block partitioning method and apparatus | |
US20240048735A1 (en) | Cross-component adaptive loop filter | |
CN114009050B (zh) | 视频编解码的自适应环内颜色空间变换 | |
CN115362682A (zh) | 视频比特流中编解码信息的信令通知 | |
WO2021018084A1 (en) | Interdependence of transform size and coding tree unit size in video coding | |
JP7415038B2 (ja) | 映像コーディングにおける適合性ウィンドウパラメータ | |
US11997318B2 (en) | Filter parameter signaling in video picture headers | |
RU2815443C2 (ru) | Определение режима разделения изображения на основе размера блока | |
CN114902684A (zh) | 控制视频编解码中的跨边界滤波 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |