CN115211126A - 环路滤波和视频条带之间的相互作用 - Google Patents

环路滤波和视频条带之间的相互作用 Download PDF

Info

Publication number
CN115211126A
CN115211126A CN202180014774.8A CN202180014774A CN115211126A CN 115211126 A CN115211126 A CN 115211126A CN 202180014774 A CN202180014774 A CN 202180014774A CN 115211126 A CN115211126 A CN 115211126A
Authority
CN
China
Prior art keywords
video
bitstream
picture
slice
codec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014774.8A
Other languages
English (en)
Inventor
张凯
张莉
王洋
王业奎
邓智玭
许继征
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN115211126A publication Critical patent/CN115211126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

描述了用于处理视频的方法、设备和系统。一种示例方法包括执行视频的视频单元和视频的比特流之间的转换,其中,比特流符合格式规则,并且其中,格式规则规定,响应于视频单元是否或如何被分割成条带,指示是否跨条带边界执行环路滤波操作的语法元素被选择性地包括在比特流中。

Description

环路滤波和视频条带之间的相互作用
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定,本申请及时要求于2020年2月14日提交的国际专利申请号PCT/CN2020/075216的优先权和利益。出于法律上的所有目的,将前述申请的全部公开以引用方式并入本文,作为本申请公开的一部分。
技术领域
本专利文档涉及图像和视频编码和解码。
背景技术
数字视频在互联网和其他数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将继续增长。
发明内容
本文件公开了由视频编码器和解码器处理所使用的使用对解码编解码表示有用的控制信息处理视频的编解码表示的技术。
在一个示例方面,公开了一种视频处理方法。该方法包括:执行包括视频单元的视频和视频的比特流之间的转换,其中,比特流符合格式规则,并且其中,格式规则规定,响应于视频单元是否或如何被分割成片,指示环路滤波操作是否跨片边界执行的第一语法元素被选择性地包括在比特流中。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频单元和视频的比特流之间的转换,其中,比特流符合格式规则,并且其中,格式规则规定,响应于视频单元是否或如何被分割成条带,指示是否跨条带边界执行环路滤波操作的语法元素被选择性地包括在比特流中。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,并且其中,格式规则规定,在视频条带级别和/或在视频图片级别的比特流中指示关于工具对于转换的适用性的信息,并且其中,工具将亮度样点映射到特定值并且选择性地对色度样点的值应用缩放操作。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频区域和视频的比特流之间的转换,其中,转换符合尺寸规则,并且其中,尺寸规则规定,使用变换跳过(TS)编解码方案或者基于块的增量脉冲编解码调制(BDPCM)编解码方案编解码的视频区域的最大尺寸,或者用于根据视频区域的编解码特性的视频区域的变换块的最大尺寸。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括最大允许变换块的尺寸。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括用于使用变换跳过(TS)方案或基于方块的增量脉冲编解码调制(BDPCM)方案进行编码或解码的视频区域的最大尺寸的指示。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频单元和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括指示启用或禁用变换跳过(TS)方案或基于方块的增量脉冲编解码调制(BDPCM)方案的字段。
在另一示例方面,公开了一种视频处理方法。该方法包括:根据格式规则执行视频的视频单元和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流的视频区域级别中包括携带关于编解码工具的适用性的信息的字段。
在另一示例方面,公开了一种视频处理方法。该方法包括:对于视频的视频区域和视频的比特流之间的转换,由于对视频区域启用了双树编解码方案,确定用于视频的亮度分量和色度分量的划分方案具有不同的最小允许块尺寸,以及基于确定执行转换。
在另一示例方面,公开了一种视频处理方法。该方法包括:对于视频的视频区域和视频的比特流之间的转换,基于规则确定视频区域允许的基于子块的合并候选的最大数量;以及基于确定执行转换,其中,规则规定,在转换期间使用的基于子块的合并候选的最大数量推导为第一变量和第二变量的和,其中,响应于仿射预测被禁用,第一变量等于零,并且其中,第二变量基于是否启用基于子块的时域运动矢量预测(sbTMVP)。
在另一示例方面,公开了一种视频处理方法。该方法包括:通过符合处理规则而执行视频的视频区域和视频区域的比特流之间的转换,其中,由于视频是4:2:2视频或4:4:4视频,处理规则适用于转换,其中,处理规则定义色度和亮度对齐以下一个或多个:(a)自适应环路滤波器(ALF)操作的虚拟边界和编解码树块(CTB)的底边界之间的像素行的数量;或者(b)用于ALF操作的虚拟边界和CTB的底边界之间的行的滤波器的滤波强度;或者(c)用于在同一行中填充亮度和色度样点的填充方法。
在另一示例方面,公开了一种视频处理方法。该方法包括:对于视频的视频单元和视频的编解码表示之间的转换,确定视频单元的跨视频区域的环内滤波的适用性的指示是否被包括在编解码表示中;以及基于确定执行转换。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频区域和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中,格式规则规定,关于亮度映射与色度缩放(LMCS)工具对转换的适用性的信息被在视频条带级别在编解码表示中指示;其中,LMCS工具包括在转换期间基于第一域和第二域来构造当前视频块,和/或以亮度相关的方式缩放色度残差。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频和视频的编解码表示之间的转换,其中,转换符合尺寸规则,尺寸规则规定:在编码期间,对使用变换跳过编解码方案或增量脉冲编解码调制编解码方案编解码的视频区域的最大尺寸强制执行尺寸规则,或在解码期间,通过对使用变换跳过解码方案或增量脉冲编解码调制解码方案解码的视频区域的最大尺寸强制执行尺寸规则,解析和解码编解码表示。
在另一示例方面,公开了一种视频处理方法。该方法包括:执行视频的视频区域和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,格式规则规定,在转换期间使用的最小允许变换块尺寸控制最大允许变换块尺寸是否或如何包括在编解码表示中的指示。
在另一示例方面,公开了一种视频处理方法。该方法包括:根据格式规则执行视频的视频单元和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否在视频区域级别中包括携带关于编解码工具的适用性的信息的字段。
在另一示例方面,公开了一种视频处理方法。该方法包括:对于视频的视频区域和视频的编解码表示之间的转换,由于使用用于转换的双树编解码,确定用于视频亮度分量和色度分量的划分方案对于亮度分量和色度分量具有不同的最小允许块尺寸,并基于确定执行转换。
在另一示例方面,公开了一种视频处理方法。该方法包括:通过符合用于编解码表示的格式规则而执行视频的视频区域和视频区域的编解码表示之间的转换;其中,格式规则规定,在转换期间使用的基于子块的合并候选的最大数量可推导为第一变量和第二变量的和,其中使用仿射预测控制第一变量的值,并且其中,使用基于子块的时域运动矢量预测控制第二变量的值。
在另一示例方面,公开了一种视频处理方法。该方法包括:由于视频是4:2:2或4:4:4,通过符合适用于转换的处理规则,执行视频的视频区域和视频区域的编解码表示之间的转换,其中,处理规则定义色度和亮度与以下一项或多项对齐:(a)自适应环路滤波器操作的虚拟边界和编解码树块(CTB)的底边界之间的像素行的数量;或(b)用于自适应环路滤波器操作的虚拟边界和编解码树块的底边界之间的行的滤波器的滤波强度;或(c)用于在同一行中填充视频样点的填充方法。
在又一示例方面,公开了一种视频编码器装置。视频编码器包括处理器,处理器被配置为实现上述方法。
在又一示例方面,公开了一种视频解码器装置。视频解码器包括处理器,处理器被配置为实现上述方法。
在又一示例方面,公开了一种计算机可读介质,其上存储有代码。代码以处理器可执行代码的形式实现本文描述的方法之一。
本文对这些特征和其他特征进行了描述。
附图说明
图1示出了图片的格栅扫描条带分割的示例,其中图片被分割为12个片和3个格栅扫描条带。
图2示出了图片的矩形条带分割的示例,其中图片被分割为24个片(6个片列和4个片行)和9个矩形条带。
图3示出了被分割为片和矩形条带的图片的示例,其中图片被分割为4个片(2个片列和2个片行)和4个矩形条带。
图4示出了被分割为15个片、24个条带和24个子图片的图片。
图5示出了图片中4:2:2亮度和色度样点的标称垂直和水平位置。
图6示出了ALF滤波器形状的示例。
图7A-7D示出了子采样拉普拉斯计算。图7A显示了垂直梯度的子采样位置。图7B示出了水平梯度的子采样位置。图7C示出了对角梯度的子采样位置。图7D示出了对角梯度的子采样位置。
图8示出了VTM-4.0中亮度分量的环路滤波行缓冲器要求的示例。
图9示出了VTM-4.0中色度分量的环路滤波行缓冲器要求的示例。
图10示出了虚拟边界处的改进块分类。
图11示出了虚拟边界处针对亮度分类的改进ALF滤波器的示例。
图12A-12C示出了虚拟边界处的改进亮度ALF滤波器。
图13示出了在图片或子图片或条带或片边界的亮度ALF滤波器的重复填充的示例。
图14A-14D示出了ALF镜像填充的示例。
图15示出了示例视频处理系统的框图。
图16示出了视频处理设备的框图。
图17示出了视频处理的示例方法的流程图。
图18是图示根据本公开一些实施例的视频编解码系统的框图。
图19是图示根据本公开一些实施例的编码器的框图。
图20是图示根据本公开一些实施例的解码器的框图。
图21-31示出了视频处理的示例方法的流程图。
具体实施方式
在本文中,使用章节标题是为了易于理解,并且不将每个章节中公开的技术和实施例的适用性仅限于该章节。此外,在一些描述中使用H.266术语只是为了易于理解而不是为了限制所公开技术的范围。因此,这里描述的技术也适用于其他视频编解码器协议和设计。
1.概述
本文涉及视频编解码技术。具体地,关于子图片、片和条带的信令。这些构思可以单独或以各种组合应用到任何支持多层视频编解码的视频编解码标准或非标准视频编解码器,例如正在开发的多功能视频编解码(VVC)。
2.缩写
APS 自适应参数集
AU 接入单元
AUD 接入单元分隔符
AVC 高级视频编解码
CLVS 编解码层视频序列
CPB 编解码图片缓冲区
CRA 清除随机访问
CTU 编解码树单元
CVS 编解码视频序列
DPB 解码图片缓冲区
DPS 解码参数集
EOB 比特流结束
EOS 序列结束
GDR 渐进解码刷新
HEVC 高效视频编解码
HRD 虚拟参考解码器
IDR 即时解码刷新
JEM 联合探索模型
MCTS 运动约束片集
NAL 网络抽象层
OLS 输出层集
PH 图片标头
PPS 图片参数集
PTL 配置文件、层级和级别
PU 图片单元
RBSP 原始字节序列载荷
SEI 补充增强信息
SPS 序列参数集
SVC 可伸缩视频编解码
VCL 视频编解码层
VPS 视频参数集
VTM VVC 测试模型
VUI 视频可用性信息
VVC 多功能视频编解码
3.初步讨论
视频编解码标准主要是通过开发已知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制定了H.261和H.263,ISO/IEC制定了MPEG-1和MPEG-4视频,并且两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中采用了时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。此后,JVET采用了许多新的方法,并将其应用于名为联合探索模型(JEM)的参考软件中。JVET会议每季度同时召开一次,新的编解码标准的目标是相比HEVC码率降低50%。新的视频编解码标准在2018年4月的JVET会议上正式命名为多功能视频编解码(VersatileVideo Coding,VVC),当时发布了第一版VVC测试模型(VTM)。随着VVC标准化的不断努力,在每次JVET会议上都有新的编解码技术被采纳到VVC标准中。每次会议后都会更新VVC工作草案和测试模型VTM。VVC项目现在的目标是在2020年7月的会议上的技术完成(FDIS)。
3.1.HEVC中的图片分割方案
HEVC包括四种不同的图片分割方案,即常规条带、非独立条带、片和波前并行处理(WPP),可应用于最大传输单元(MTU)尺寸匹配、并行处理和减小端到端延迟。
常规条带与H.264/AVC中的类似。每个常规条带都封装在自己的NAL单元中,并且禁用了跨条带边界的图内预测(帧内样点预测、运动信息预测、编解码模式预测)和熵编码依赖性。因此,可以独立于同一图片内的其他常规条带重建常规条带(尽管由于环路滤波操作可能仍然存在相互依赖性)。
常规条带是唯一可用于并行化的工具,该工具在H.264/AVC中也以几乎相同的形式可用。基于常规条带的并行化不需要太多处理器间或核间通信(除了在解码预测编解码图片时用于运动补偿的处理器间或核间数据共享,由于帧内图片预测,这通常比处理器间或核间的数据共享重得多)。然而,出于同样的原因,由于条带标头的比特成本以及跨条带边界的预测缺失,使用常规条带可能会产生大量的编解码开销。此外,由于常规条带的图片内独立性以及每个常规条带都封装在其自己的NAL中,因此常规条带(与下面提到的其他工具相比)也可作为比特流分割以匹配MTU尺寸要求的关键机制。在许多情况下,并行化的目标和MTU尺寸匹配的目标对图片中的条带布局的要求是矛盾的。这种情况的实现导致了下面提到的并行化工具的开发。
非独立条带具有短条带标头并且允许在树块边界处对比特流进行分区而不破坏任何图片内预测。基本上,非独立条带将常规条带分成多个NAL单元,通过允许在整个常规条带的编码完成之前发送常规条带的一部分来减少端到端延迟。
在WPP中,图片被分割成单行的编解码树块(CTB)。允许熵解码和预测使用来自其他分割中的CTB的数据。通过CTB行的并行解码可以进行并行处理,其中CTB行的解码开始延迟两个CTB,以确保与在主体CTB上方和右侧的CTB相关的数据可以在解码的主体CTB之前获得。使用这种交错开始(以图形方式表示时看起来像一个波前),可以并行化与包含有CTB行的图片一样多的处理器/核。因为允许图片内的邻域树块行之间的图片内预测,所以实现图片内预测所需的处理器间/核间通信可能是大量的。与未应用WPP分割相比,WPP分割不会导致产生额外的NAL单元,因此WPP不是用于MTU尺寸匹配的工具。然而,如果需要MTU尺寸匹配,则可以将常规条带与WPP一起使用,但具有一定的编解码开销。
片定义将图片分割为片列和片行的水平和垂直边界。片列从图片的顶部延伸到图片底部。同样,片行从图片的左侧延伸到图片的右侧。图片中的片数可以简单地通过片列数乘以片行数得出。
在按照一个图片的片格栅扫描的顺序解码下一个片的左上CTB之前,CTB的扫描顺序被改变为在片内为本地(按照片的CTB格栅扫描的顺序)。与常规条带类似,片打破了图片内预测依赖性以及熵解码依赖性。然而,它们不需要包含在独立的NAL单元中(在这方面与WPP相同);因此片不能用于MTU尺寸匹配。每个片可由一个处理器/核处理,并且在一个条带跨越多个片的情况下,解码邻域片的处理单元之间的图片内预测所需的处理器间/核间通信仅限于传送共享的条带标头和与重构样点和元数据共享相关的环路滤波。当条带中包含多于一个的片或WPP段时,条带中除第一个之外的每个片或WPP段的条目点字节偏移量在条带标头中用信令通知。
为简单起见,在HEVC中指定了对四种不同图片分割方案的应用的限制。对于HEVC中指定的大多数配置文件,给定的编解码视频序列不能同时包含片和波前。对于每个条带和片,必须满足以下条件之一或两者:1)条带中的所有编解码树块都属于同一个片;2)一个片中的所有编解码树块属于同一个条带。最后,一个波前段恰好包含一个CTB行,并且当使用WPP时,如果一个条带在CTB行内开始,则该条带必须在同一CTB行中结束。
在JCT-VC输出文档JCTVC-AC1005、J.Boyce、A.Ramasubramonian、R.Skupin、G.J.Sullivan、A.Tourapis、Y.-KWang(编辑)中规定了HEVC的最近修订。“HEVC AdditionalSupplemental Enhancement Information(Draft4)”,2017年10月24日在http://phenix.intevry.fr/jct/doc_end_user/documents-/29_Macau/wg11/JCTVC-AC1005-v2.zip公开。包含此修订内,HEVC指定了三个与MCT相关的SEI消息,即时域MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。
时域MCTS SEI消息指示比特流中存在MCTS并信令通知MCTS。对于每个MCTS,运动矢量被限制为指向MCTS内的全样点位置和仅需要MCTS内的全样点位置进行内插的分数样点位置,并且不允许使用对于从MCTS之外的块导出的时域运动矢量预测的运动矢量候选。这样,每个MCTS可以在不存在未包括在MCTS中的片的情况下独立解码。
MCTS提取信息集SEI消息提供补充信息,该补充信息可用于MCTS子比特流提取(指定为SEI消息的语义的一部分)以生成符合MCTS集的比特流。该信息由多个提取信息集组成,每个提取信息集定义多个MCTS集并包含要在MCTS子比特流提取过程中使用的替换VPS、SPS和PPS的RBSP字节。在根据MCTS子比特流提取过程提取子比特流时,参数集(VPS、SPS和PPS)需要重写或替换,条带标头需要稍微更新,因为其中一个或全部条带地址相关语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。
3.2.VVC中图片的分割
在VVC中,图片被分为一个或多个片行和一个或多个片列。片是覆盖图片矩形区域的CTU序列。片中的CTU在该片内以格栅扫描顺序进行扫描。
条带由图片的片内整数个完整片或整数个连续完整CTU行组成。
支持两种条带模式,即格栅扫描条带模式和矩形条带模式。在格栅扫描条带模式中,条带包含图片的片格栅扫描中的完整片序列。在矩形条带模式中,条带包含共同形成图片的矩形区域的多个完整片或共同形成图片的矩形区域的一个片的多个连续完整CTU行。矩形条带内的片在对应于该条带的矩形区域内以片格栅扫描顺序进行扫描。
子图片包含共同覆盖图片的矩形区域的一个或多个条带。
图1示出了图片的格栅扫描条带分割的示例,其中图片被分为12个片和3个格栅扫描条带。
图2示出了图片的矩形条带分割的示例,其中图片被分为24个片(6个片列和4个片行)和9个矩形条带。
图3示出了被分割为片和矩形条带的图片的示例,其中图片被分为4个片(2个片列和2个片行)和4个矩形条带。
图4示出了图片的子图片分割示例,其中图片被分为18个片,左侧的12个片,每个覆盖4x4个CTU的一个条带,右侧的6个片,每个覆盖2x2个CTU的2个垂直堆叠的条带,总共产生24个条带和24个不同维度的子图片(每个条带是一个子图片)。
3.3.VVC(JVET-Q2001-vB)中SPS/PPS/图片标头/条带标头的信令通知
7.3.2.3序列参数集RBSP语法
Figure BDA0003797638110000101
Figure BDA0003797638110000111
Figure BDA0003797638110000121
Figure BDA0003797638110000131
Figure BDA0003797638110000141
Figure BDA0003797638110000151
Figure BDA0003797638110000161
Figure BDA0003797638110000171
Figure BDA0003797638110000181
Figure BDA0003797638110000191
Figure BDA0003797638110000201
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000202
Figure BDA0003797638110000211
Figure BDA0003797638110000221
Figure BDA0003797638110000231
Figure BDA0003797638110000241
Figure BDA0003797638110000251
7.3.2.7图片标头结构语法
Figure BDA0003797638110000252
Figure BDA0003797638110000261
Figure BDA0003797638110000271
Figure BDA0003797638110000281
Figure BDA0003797638110000291
Figure BDA0003797638110000301
Figure BDA0003797638110000311
Figure BDA0003797638110000321
7.3.7.1常规条带标头语法
Figure BDA0003797638110000322
Figure BDA0003797638110000331
Figure BDA0003797638110000341
Figure BDA0003797638110000351
Figure BDA0003797638110000361
3.4.颜色空间和色度子采样
颜色空间,也称为颜色模型(或颜色系统),是一种抽象的数学模型,它简单地将颜色范围描述为数字元组,通常为3或4个值或颜色分量(例如RGB)。基本上来说,颜色空间是坐标系和子空间的细化。
对于视频压缩,最常用的是YCbCr和RGB。
YCbCr、Y′CbCr或YPb/CbPr/Cr,也写作YCBCR或Y′CBCR,是一系列颜色空间,用作视频和数字摄影系统中颜色图像流水线(pipeline)的一部分。Y′是亮度分量,CB和CR是蓝色差和红色差色度分量。Y′(带上标符号)与Y不同(Y是亮度),这意味着光强度是基于伽马校正的RGB原色非线性编码的。
色度子采样是利用人类视觉系统对色差的敏锐度低于对亮度的敏锐度,通过对色度信息实施比对亮度信息更低的分辨率来对图像进行编码的做法。
3.4.1 4:4:4
三个Y′CbCr分量中的每一个都具有相同的采样率,因此没有色度子采样。这种方案有时用于高端胶片扫描仪和电影后期制作。
3.4.2 4:2:2
两个色度分量以亮度采样率的一半进行采样:水平色度分辨率减半,而垂直色度分辨率不变。这将未压缩视频信号的带宽减少了三分之一,而几乎没有视觉差异。在VVC工作草案中的4:2:2颜色格式的标称垂直和水平位置示例如图5所示。
图5显示了图片中4:2:2亮度和色度样点的标称垂直和水平位置。
3.4.3 4:2:0
在4:2:0中,水平采样比4:1:1翻倍,但由于Cb和Cr通道仅在此方案中的每条交替线上采样,因此垂直分辨率减半。因此数据速率是相同的。Cb和Cr各自水平地和垂直地以因子2进行子采样。4:2:0方案有三种变体,具有不同的水平和垂直定位。
·在MPEG-2中,Cb和Cr是水平共位的。Cb和Cr位于垂直方向的像素之间(相间地定位)。
·在JPEG/JFIF、H.261和MPEG-1中,Cb和Cr在交替亮度样点之间相间地定位。
·在4:2:0DV中,Cb和Cr共同位于水平方向。在垂直方向,它们共同位于交替线上。
表3:从chroma_format_idc和separate_colour_plane_flag推导的SubWidthC和SubHeightC值
chroma_format_idc separate_colour_plane_flag 色度格式 SubWidthC SubHeightC
0 0 单色度 1 1
1 0 4:2:0 2 2
2 0 4:2:2 2 1
3 0 4:4:4 1 1
3 1 4:4:4 1 1
3.4.自适应环路滤波器(ALF)
在VVC中,应用了具有基于块的滤波器自适应的自适应环路滤波器(ALF)。对于亮度分量,根据局部梯度的方向和活动,为每个4×4块选择25个滤波器中的一个。
3.5.1滤波器形状
使用了两种菱形滤波器形状(如图6所示)。亮度分量采用7×7菱形,色度分量采用5×5菱形。
图6显示了ALF滤波器形状的示例(色度:5×5菱形,亮度:7×7菱形)。
3.5.2块分类
对于亮度分量,每个4×4块分为25个类中的一个。分类索引C基于其方向性D和活动
Figure BDA0003797638110000381
的量化值导出,如下所示:
Figure BDA0003797638110000382
为了计算D和
Figure BDA0003797638110000383
首先使用一维拉普拉斯函数计算水平、垂直和两个对角方向的梯度:
Figure BDA0003797638110000384
Figure BDA0003797638110000385
Figure BDA0003797638110000386
Figure BDA0003797638110000391
其中,索引i和j表示4×4块内左上角样点的坐标,R(i,j)表示坐标(i,j)处的重构样点。
为了降低块分类的复杂性,应用子采样一维拉普拉斯计算。如图7A-7D所示,相同的子采样位置用于所有方向的梯度计算。
图7A-7D显示子采样拉普拉斯计算。
然后将水平方向和垂直方向的梯度的最大值和最小值设置为:
Figure BDA0003797638110000392
两个对角方向的梯度的最大值和最小值设置为:
Figure BDA0003797638110000393
为了推导方向性D的值,将这些值相互比较以及与两个阈值t1和t2比较:
步骤1.如果
Figure BDA0003797638110000394
Figure BDA0003797638110000395
均为真,D设置为0。
步骤2.如果
Figure BDA0003797638110000396
从步骤3继续;否则从步骤4继续。
步骤3.如果
Figure BDA0003797638110000397
D设置为2;否则D设置为1。
步骤4.如果
Figure BDA0003797638110000398
D设置为4;否则,D设置为3。
活动值A的计算如下:
Figure BDA0003797638110000399
A进一步量化到0到4的范围,并且量化值表示为
Figure BDA00037976381100003910
对于图片中的色度分量,不应用任何分类方法,即对每个色度分量应用一组ALF系数。
3.5.3滤波器系数和裁剪值的几何变换
在滤波每个4×4亮度块之前,根据对该块计算的梯度值,将诸如旋转或对角和垂直翻转之类的几何变换应用于滤波器系数f(k,l)和相应的滤波器裁剪值c(k,l)。这相当于将这些变换应用于滤波器支持区域中的样点。该想法是通过对齐其方向性,使得应用ALF的不同块更加相似。
介绍了三种几何变换,包括对角线、垂直翻转和旋转:
对角线:fD(k,l)=f(l,k),cD(k,l)=c(l,k), (3-9)
垂直翻转:fV(k,l)=f(k,K-l-1),cV(k,l)=c(k,K-l-1) (3-10)
旋转:fR(k,l)=f(K-l-1,k),cR(k,l)=c(K-l-1,k) (3-11)
其中K是滤波器的大小,0≤k、l≤K-1是系数坐标,因此位置(0,0)位于左上角,位置(K-1,K-1)位于右下角。根据对该块计算的梯度值,将变换应用于滤波器系数f(k,l)和裁剪值c(k,l)。下表总结了变换与四个方向的四个梯度之间的关系。
表3.2对一个块的梯度计算和变换之间的映射
梯度值 变换
g<sub>d2</sub>&lt;g<sub>d1</sub> and g<sub>h</sub>&lt;g<sub>v</sub> 不变换
g<sub>d2</sub>&lt;g<sub>d1</sub> and g<sub>v</sub>&lt;g<sub>h</sub> 对角线
g<sub>d1</sub>&lt;g<sub>d2</sub> and g<sub>h</sub>&lt;g<sub>v</sub> 垂直翻转
g<sub>d1</sub>&lt;g<sub>d2</sub> and g<sub>v</sub>&lt;g<sub>h</sub> 旋转
3.5.4滤波器参数信号
ALF滤波器参数在自适应参数集(APS)中信令通知。在一个APS中,最多可以信令通知25组亮度滤波器系数和裁剪值索引,以及最多8组色度滤波器系数和裁剪值索引。为了减少比特开销,可以对亮度分量的不同分类的滤波器系数进行合并。在条带标头中,信令通知用于当前条带的APS的索引。
从APS中解码的裁剪值索引允许使用对亮度分量和色度分量的裁剪值表来确定裁剪值。这些裁剪值取决于内部比特深度。更准确地说,裁剪值通过以下公式获得:
AlfClip={round(2B-α*n) for n∈[0..N-1]} (3-12)
B等于内部比特深度,α是一个等于2.35的预定义常量值,N等于4为VVC中允许的裁剪值的数量。
在条带标头中,最多可以信令通知7个APS索引,以指定用于当前条带的色度滤波器组。滤波过程可以在CTB级进一步控制。始终信令通知标志,以指示ALF是否应用于色度CTB。色度CTB可以在16个固定滤波器组和来自APS的滤波器组中选择一个滤波器组。为色度CTB信令通知滤波器组索引,以指示应用了哪个滤波器组。16个固定滤波器组在编码器和解码器中都是预定义和硬编码的。
对于色度分量,在条带标头中信令通知APS索引,以指示当前条带使用的色度滤波器组。在CTB级别,如果在APS中设置了多于一组色度滤波器,则为每个色度CTB信令通知滤波器索引。
滤波器系数以等于128的范数进行量化。为了限制乘法复杂度,应用比特流一致性,以便非中心位置的系数值应在以下范围内:-27至27-1,包括端值。中心位置的系数不在比特流中信令通知,并被视为等于128。
3.5.5滤波过程
在解码器侧,当为CTB启用ALF时,CU内的每个样点R(i,j)被滤波,产生如下所示的样点值R’(i,j),
R′(i,j)=R(i,j)+((∑k≠0l≠0f(k,l)×K(R(i+k,j+l)-R(i,j),c(k,l))+64)>>7) (3-9)
其中f(k,l)表示解码滤波器系数,K(x,y)表示裁剪函数,c(k,l)表示解码的裁剪参数。变量k和l在
Figure BDA0003797638110000411
Figure BDA0003797638110000412
之间变化,其中L表示滤波器长度。裁剪函数K(x,y)=min(y,max(-y,x)),对应于函数Clip3(-y,y,x)。
3.5.6用于减少行缓冲器的虚拟边界滤波过程
在硬件和嵌入式软件中,基于图片的处理实际上是不可接受的,因为对图片缓冲器的要求很高。使用片内图片缓冲器非常昂贵,使用片外图片缓冲器会显著增加外部内存访问、功耗和数据访问延迟。因此,在实际产品中,DF、SAO和ALF从基于图片的解码更改为基于LCU的解码。当基于LCU的处理用于DF、SAO和ALF时,整个解码过程可以由LCU在格栅扫描中以LCU流水线方式完成,以并行处理多个LCU。在这种情况下,DF、SAO和ALF需要行缓冲器,因为处理一个LCU行需要来自上面LCU行的像素。如果使用片外行缓冲器(例如DRAM),则会增加外部内存带宽和功耗;如果使用片上行缓冲器(例如SRAM),芯片面积将增加。因此,尽管行缓冲器已经比图片缓冲器小得多,但仍然需要减少行缓冲器。
在VTM-4.0中,如图8所示,色度分量所需的行缓冲器总数为11.25行。对行缓冲器要求的解释如下:无法执行与CTU边缘重叠的水平边缘的去方块,因为决策和滤波需要来自第一个CTU的行K、L、M、M和来自底部CTU的行O、P。因此,与CTU边界重叠的水平边缘的去方块被推迟,直到较低的CTU出现。因此,对于行K、L、M、N,重构的色度样点必须存储在行缓冲器(4行)中。然后,可以对行A到J执行SAO滤波。可以对行J进行SAO滤波,因为去方块不会改变行K中的样点。对于行K的SAO滤波,边缘偏移分类决策仅存储在行缓冲器中(即0.25色度行)。ALF滤波只能对行A-F执行。如图8所示,对每个4×4块执行ALF分类。每个4×4块分类需要8×8大小的活动窗口,而活动窗口又需要9×9的窗口来计算一维(1D)拉普拉斯函数以确定梯度。
因此,对于与行G、H、I、J重叠的4×4块的块分类的需求,SAO滤波在虚拟边界下方的样点。此外,ALF分类需要行D、E、F的SAO滤波样点。此外,行G的ALF滤波需要来自上方行的三个SAO滤波行D、E、F。因此,总的行缓冲器要求如下:
–行K-N(水平DF像素):4行
–行D-J(SAO滤波像素):7行
–行J和行K之间的SAO边缘偏移分类器值:0.25行
因此,所需的亮度行总数为7+4+0.25=11.25。
类似地,色度分量的行缓冲器要求如图9所示。评估色度分量的行缓冲器要求为6.25行。
图8显示了VTM-4.0中亮度分量的环路滤波器行缓冲器要求示例。
图9显示了VTM-4.0中色度分量的环路滤波器行缓冲器要求示例。
为了消除SAO和ALF的行缓冲器要求,在最新的VVC中引入了虚拟边界(VB)的概念,以减少ALF的行缓冲器要求。对水平CTU边界附近的样点采用修改的块分类和滤波。如图8所示,VB是向上移动N个像素的水平LCU边界。对于每个LCU,SAO和ALF可以在较低LCU到来之前处理VB上方的像素,但无法在较低LCU到来之前处理VB下方的像素,这是由DF引起的。考虑到硬件实现成本,所提出的VB和水平LCU边界之间的空间对于亮度分量设置为四个像素(例如,图8或图10中N=4),对于色度分量设置为两个像素(例如,N=2)。
图10显示了虚拟边界处的修改块分类。
修改的块分类适用于图11所示的亮度分量。对于位于虚拟边界上方的4×4块的1D拉普拉斯梯度计算,仅使用虚拟边界上方的样点。类似地,对于虚拟边界下方的4×4块的1D拉普拉斯梯度计算,仅使用虚拟边界下方的样点。通过考虑1D拉普拉斯梯度计算中使用的减少的样点数,相应地缩放活动值A的量化。
对于滤波处理,亮度分量和色度分量都使用虚拟边界处的镜像(对称)填充操作。如图11所示,当被滤波的样点位于虚拟边界下方时,填充位于虚拟边界上方的邻域样点。同时,另一侧的相应样点也对称填充。
对于另一个示例,如果填充位于(i,j)的一个样点(例如,图12B中的虚线P0A),则即使样点可用,也填充位于(m,n)(例如,图12B中的虚线P3B)的具有相同滤波系数的相应样点,如图12A-12C所示。
图12A显示了VB上方/下方需要填充的1条所需行(每侧)。
图12B显示了VB上方/下方需要填充的2条所需行(每侧)。
图12C显示了VB上方/下方需要填充的3条所需行(每侧)。
与水平CTU边界处使用的镜像(对称)填充方法不同,当禁用跨边界滤波时,对条带、片和子图片边界应用重复(单侧)填充过程。重复(单侧)填充过程也适用于图片边界。填充样点用于分类和滤波过程。图13显示了用于在图片/子图片/条带/片边界处的亮度-ALF滤波的重复填充方法的示例。
3.5.7规范中的自适应环路滤波器过程
8.8.5.2亮度样点的编解码树块滤波过程
该过程的输入为:
–在自适应环路滤波过程之前,重构亮度图片样点阵列recPicture,
–滤波重构亮度图片样点阵列alfPictureL
–亮度位置(xCtb,yCtb),指定相对于当前图片的左上样点的当前亮度编解码树块的左上样点。
该过程的输出是修改的滤波重构亮度图片样点阵列alfPictureL
调用第8.8.5.3条滤波器索引的推导过程,将位置(xCtb,yCtb)和重构的亮度图片样点阵列recPicture作为输入,filtIdx[x][y]和transposeIdx[x][y]-1作为输出,其中x,y=0.CtbSizeY。
为了推导滤波的重构亮度样点alfPictureL[x][y],用x,y=0..CtbSizeY-1对当前亮度编解码树块recPicture[x][y]内的每个重构亮度样点按如下方式进行滤波:
–对应于filtIdx[x][y]指定的滤波器的亮度滤波器系数f[j]的阵列和亮度裁剪值c[j]的阵列推导如下,其中j=0..11:
–如果AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]小于16,则应用以下:
i=AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY] (1453)
f[j]=AlfFixFiltCoeff[AlfClassToFiltMap[i][filtIdx[x][y]]][j](1454)
c[j]=2BitDepth (1455)
–否则(AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]大于或等于16,则应用以下:
i=slice_alf_aps_id_luma[AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]-16] (1456)
f[j]=AlfCoeffL[i][filtIdx[x][y]][j] (1457)
c[j]=AlfClipL[i][filtIdx[x][y]][j] (1458)
–根据transposeIdx[x][y]推导出亮度滤波器系数和裁剪值索引idx,如下所示:
–如果transposeIndex[x][y]等于1,则应用以下:
idx[]={9,4,10,8,1,5,11,7,3,0,2,6} (1459)
–否则,如果transposeIndex[x][y]等于2,则应用以下:
idx[]={0,3,2,1,8,7,6,5,4,9,10,11} (1460)
–否则,如果transposeIndex[x][y]等于3,则应用以下:
idx[]={9,8,10,4,3,7,11,5,1,0,2,6} (1461)
–否则,应用以下:
idx[]={0,1,2,3,4,5,6,7,8,9,10,11} (1462)
–色度样点的给定阵列recPicture内每个对应的亮度样点(x,y)的位置(hx+i,vy+j)推导如下,其中i,j=-3..3:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (1463)
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (1464)
–变量clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag和clipBotRightFlag是通过调用第8.8.5.5条中规定的ALF边界位置推导过程推导得到的,其中(xCtb,yCtb)和(x,y)作为输入。
–通过调用第8.8.5.6条中规定的ALF样点填充过程修改变量hx+i和vy+j,并将(xCtb,yCtb)、(hx+i,vy+j)、0、clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag和clipBotRightFlag作为输入。
–变量applyAlfLineBufBoundary的推导如下:
–如果当前编解码树块的底边界是当前图片的底边界且pic_height_in_luma_samples-yCtb<=CtbSizeY-4,则applyAlfLineBufBoundary设置为0:
–否则,applyAlfLineBufBoundary设置为1。
–在表45中,根据垂直亮度样点位置y和applyAlfLineBufBoundary指定垂直样点位置偏移量y1、y2、y3和变量alfShiftY。
–变量curr的推导如下:
curr=recPicture[hx][vy] (1465)
–变量sum推导如下:
sum=f[idx[0]]*(Clip3(-c[idx[0]],c[idx[0]],recPicture[hx][vy+y3]-curr)+
Clip3(-c[idx[0]],c[idx[0]],recPicture[hx][vy-y3]-curr))+
f[idx[1]]*(Clip3(-c[idx[1]],c[idx[1]],recPicture[hx+1][vy+y2]-curr)+
Clip3(-c[idx[1]],c[idx[1]],recPicture[hx-1][vy-y2]-curr))+
f[idx[2]]*(Clip3(-c[idx[2]],c[idx[2]],recPicture[hx][vy+y2]-curr)+
Clip3(-c[idx[2]],c[idx[2]],recPicture[hx][vy-y2]-curr))+
f[idx[3]]*(Clip3(-c[idx[3]],c[idx[3]],recPicture[hx-1][vy+y2]-curr)+
Clip3(-c[idx[3]],c[idx[3]],recPicture[hx+1][vy-y2]-curr))+
f[idx[4]]*(Clip3(-c[idx[4]],c[idx[4]],recPicture[hx+2][vy+y1]-curr)+
Clip3(-c[idx[4]],c[idx[4]],recPicture[hx-2][vy-y1]-curr))+
f[idx[5]]*(Clip3(-c[idx[5]],c[idx[5]],recPicture[hx+1][vy+y1]-curr)+
Clip3(-c[idx[5]],c[idx[5]],recPicture[hx-1][vy-y1]-curr))+
f[idx[6]]*(Clip3(-c[idx[6]],c[idx[6]],recPicture[hx][vy+y1]-curr)+
Clip3(-c[idx[6]],c[idx[6]],recPicture[hx][vy-y1]-curr)) +(1466)
f[idx[7]]*(Clip3(-c[idx[7]],c[idx[7]],recPicture[hx-1][vy+y1]-curr)+
Clip3(-c[idx[7]],c[idx[7]],recPicture[hx+1][vy-y1]-curr))+
f[idx[8]]*(Clip3(-c[idx[8]],c[idx[8]],recPicture[hx-2][vy+y1]-curr)+
Clip3(-c[idx[8]],c[idx[8]],recPicture[hx+2][vy-y1]-curr))+
f[idx[9]]*(Clip3(-c[idx[9]],c[idx[9]],recPicture[hx+3][vy]-curr)+
Clip3(-c[idx[9]],c[idx[9]],recPicture[hx-3][vy]-curr))+
f[idx[10]]*(Clip3(-c[idx[10]],c[idx[10]],recPicture[hx+2][vy]-curr)+
Clip3(-c[idx[10]],c[idx[10]],recPicture[hx-2][vy]-curr))+
f[idx[11]]*(Clip3(-c[idx[11]],c[idx[11]],recPicture[hx+1][vy]-curr)+
Clip3(-c[idx[11]],c[idx[11]],recPicture[hx-1][vy]-curr))sum=curr+((sum+64)>>alfShiftY) (1467)
–修改的滤波重构亮度图片样点alfPictureL[xCtb+x][yCtb+y]推导如下:
alfPictureL[xCtb+x][yCtb+y]=Clip3(0,(1<<BitDepth)-1,sum) (1468)
表45-y1、y2、y3和alfShiftY根据垂直亮度样点位置y和applyAlfLineBufBoundary的规范
Figure BDA0003797638110000481
8.8.5.4色度样点的编解码树块滤波过程
该过程的输入为:
–在自适应环路滤波过程之前,重构色度图片样点阵列recPicture,
–滤波重构色度图片样点阵列alfPicture,
–色度位置(xCtbC,yCtbC),指定相对于当前图片的左上样点的当前色度编解码树块的左上样点,
–替代色度滤波器索引altIdx。
该过程的输出是修改的滤波重构色度图片样点阵列alfPicture。
当前色度编解码树块的宽度和高度ctbWidthC和ctbHeightC推导如下:
ctbWidthC=CtbSizeY/SubWidthC (1500)
ctbHeightC=CtbSizeY/SubHeightC (1501)
为了推导滤波后的重构色度样点alfPicture[x][y],对当前色度编解码树块recPicture[x][y]内的每个重构色度样点按如下方式进行滤波,其中x=0..ctbWidthC-1,y=0..ctbHeightC-1:
–给定阵列内每个对应色度样点(x,y)的位置(hx+i,vy+j)推导如下,其中i,j=-2..2:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i)(1502)
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j)(1503)
–变量clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag和clipBotRightFlag是通过调用第8.8.5.5条中规定的ALF边界位置推导过程推导得到的,其中(xCtbC*SubWidthC,yCtbC*SubHeightC)和(x*SubWidthC,y*SubHeightC)作为输入。
–通过调用第8.8.5.6条中规定的ALF样点填充过程修改变量hx+i和vy+j,并将(xCtb,yCtb)、(hx+i,vy+j)、等于1的变量isChroma集、clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag和clipBotRightFlag作为输入。
–变量applyAlfLineBufBoundary的推导如下:
–如果当前编解码树块的底边界是图片的底边界和pic_height_in_luma_samples-(yCtbC*SubHeightC)<CtbSizeY–4的底边界,applyAlfLineBufBoundary设置为0。
–否则,applyAlfLineBufBoundary设置为1。
–在表45中,根据垂直色度采样位置y和applyAlfLineBufBoundary指定垂直采样位置偏移y1、y2和变量alfShiftC。
–变量curr的推导如下:
curr=recPicture[hx][vy] (1504)
–色度滤波器系数的阵列f[j]和色度裁剪值的阵列c[j]推导如下,其中j=0.5:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][altIdx][j] (1505)
c[j]=AlfClipC[slice_alf_aps_id_chroma][altIdx][j] (1506)
–变量sum推导如下:
sum=f[0]*(Clip3(-c[0],c[0],recPicture[hx][vy+y2]-curr)+
Clip3(-c[0],c[0],recPicture[hx][vy-y2]-curr))+
f[1]*(Clip3(-c[1],c[1],recPicture[hx+1][vy+y1]-curr)+
Clip3(-c[1],c[1],recPicture[hx-1][vy-y1]-curr))+
f[2]*(Clip3(-c[2],c[2],recPicture[hx][vy+y1]-curr)+
Clip3(-c[2],c[2],recPicture[hx][vy-y1]-curr))+ (1507)
f[3]*(Clip3(-c[3],c[3],recPicture[hx-1][vy+y1]-curr)+
Clip3(-c[3],c[3],recPicture[hx+1][vy-y1]-curr))+
f[4]*(Clip3(-c[4],c[4],recPicture[hx+2][vy]-curr)+
Clip3(-c[4],c[4],recPicture[hx-2][vy]-curr))+
f[5]*(Clip3(-c[5],c[5],recPicture[hx+1][vy]-curr)+
Clip3(-c[5],c[5],recPicture[hx-1][vy]-curr))
sum=curr+((sum+64)>>alfShiftC) (1508)
–修改的滤波重构色度图片样点alfPicture[xCtbC+x][yCtbC+y]推导如下:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepth)-1,sum) (1509)
表46-y1、y2和alfShiftC根据垂直色度样点位置y和applyAlfLineBufBoundary的规范
Figure BDA0003797638110000511
4.公开的解决方案解决的技术问题示例
现有的VVC中SPS/PPS/图片标头/条带标头的信令通知的设计存在以下问题:
1)即使只有一个片,也信令通知loop_filter_across_tiles_enabled_flag。
2)即使只有一个条带,也信令通知loop_filter_across_slices_enabled_flag。
3)LMCS信息在图片标头中信令通知,而不是在条带标头中信令通知。
4)最大允许TS块尺寸可能大于最大CU尺寸。
5)MaxNumSubblockMergeCand取决于是否启用仿射而以不同方式推导。
6)在ALF虚拟边界应用镜像填充,得到不可用样点及其对应的ALF样点(例如,亮度ALF和色度ALF),其中ALF虚拟边界的位置用于确定哪些样点不可用和需要填充。然而,在目前的设计中,对于4:2:2/4:4:4色度格式的视频,色度ALF中ALF虚拟边界的位置与亮度ALF中的位置不一致。
7)在当前的设计中,取决于虚拟边界的位置而对虚拟水平CTU边界邻域行的ALF滤波降低了滤波强度。然而,ALF虚拟边界的错误位置使得滤器强度在非预期的样点行处降低。
5.技术和实施例示例
为了解决上述问题和其他问题,公开了如下概述的方法。所列项目应视为解释一般概念的示例,不应狭义地解释。此外,这些项目可以单独应用或以任何方式组合应用。
在本公开中,如果邻域(相邻或非相邻)样点(或线,或行)不允许位于不同的视频处理单元中(例如,在当前图片之外,或当前子图片,或当前片,或当前条带,或当前砖,或当前CTU,或当前处理单元(例如ALF处理单元或窄ALF处理单元),或任何其他当前视频单元)中,或未重构或交叉滤波视频处理单元不被允许,则邻域(相邻或非相邻)样点“不可用”。
用于ALF虚拟边界的填充方法可以表示为“镜像填充”,其中对于位于(i,j)(或第一不可用线j,或第一不可用行i)的第一个不可用样点,其需要被填充,并且即使第二个样点可用,也会填充由ALF中的滤波器支持中(例如,对应的样点位于(m,n)(或相应的线n,或相应的行m),(m,n)当前样点(或当前线,或当前行)的距离相同)的“第一个样点的对应样点”(或“第一线的对应线”,或“第一行的对应行”)定义的第二个样点。
1.是否跨片边界执行环路滤波操作的指示的信令通知(例如,loop_filter_across_tiles_enabled_flag)可以取决于视频单元(例如图片)是否和/或如何被分割成片。
a.在一个示例中,仅在视频单元被分割为多于一个片时才信令通知loop_filter_across_tiles_enabled_flag。
b.替代地,当视频单元只有一个片时,跳过loop_filter_across_tiles_enabled_flag的信令通知。
c.在一个示例中,仅当通用约束标志one_tile_per_pic_constraint_flag等于0时才信令通知loop_filter_across_tiles_enabled_flag。
i.替代地,如果通用约束标志one_tile_per_pic_constraint_flag等于1,则loop_filter_across_tiles_enabled_flag被推断(或要求)等于0。
2.是否跨条带边界执行环路滤波操作的指示的信令通知(例如,loop_filter_across_slices_enabled_flag)可以取决于视频单元(例如图片和/或子图片)是否和/或如何被分割成条带。
a.在一个示例中,如果视频单元仅被分割成一个条带,则不信令通知loop_filter_across_slices_enabled_flag。
b.在一个示例中,如果每个子图片仅被分割为一个条带(例如,single_slice_per_subpic_flag等于1),则不信令通知loop_filter_across_slices_enabled_flag。
c.在一个示例中,如果每个子图片仅被分割为一个条带(例如,single_slice_per_subpic_flag等于1),则信令通知loop_filter_across_slices_enabled_flag。
d.在一个示例中,如果通过非矩形方式将图片分割为条带(例如,rect_slice_flag等于0),则信令通知loop_filter_across_slices_enabled_flag。
e.在一个示例中,如果通过矩形方式将图片分割为条带(例如,rect_slice_flag等于0)并且条带的数量等于1(例如,num_slices_in_pic_minus1等于0),则不信令通知loop_filter_across_slices_enabled_flag。
f.在一个示例中,仅在通用约束标志one_slice_per_pic_constraint_flag等于0时才信令通知loop_filter_across_slices_enabled_flag。
i.替代地,如果通用约束标志one_slice_per_pic_constraint_flag等于1,则loop_filter_across_slices_enabled_flag被推断(或要求)等于0。
3.可以在条带标头中和/或图片标头信令通知LMCS信息(例如,LMCS的使用指示,和/或亮度整形的使用,和/或要使用的LMCS APS的adaptation_parameter_set_id和/或色度残差缩放的使用)。
a.LMCS信息可以包括是否启用LMCS的第一指示,例如ph_lmcs_enabled_flag或slice_lmcs_enabled_flag。
b.LMCS信息可以包括LMCS参数的第二指示,例如ph_lmcs_aps_id和/或ph_chroma_residual_scale_flag。
c.LMCS信息可以在条带标头和图片标头中信令通知。
d.LMCS信息可以在图片标头和条带标头中信令通知,当它存在于条带标头中时,图片标头的LMCS信息(如果有)可能会被覆盖。
e.LMCS信息可以在条带标头或图片标头中信令通知,但不能同时在两者中信令通知。
f.在一个示例中,可以在条带标头中信令通知语法元素以指示哪个
LMCS APS用于当前条带。
g.在一个示例中,语法元素(例如lmcs_info_in_ph_flag)在诸如SPS或PPS的更高级别视频单元中信令通知,以指示LMCS信息是在图片标头还是条带标头中信令通知。
i.语法元素可以只控制第一个指示。
ii.语法元素可以只控制第二指示。
iii.语法元素可以控制第一指示和第二指示。
h.如果图片标头中的LMCS信息的语法元素不存在,则可以将其设置为默认值。
i.如果条带标头中的LMCS信息的语法元素不存在,则可以将其设置为默认值。
i.如果条带标头中的LMCS信息的语法元素不存在,则可以将其设置为图片标头中的LMCS信息的相应语法元素的值。
j.在一个示例中,与PH关联的条带所指的LMCS APS的多于一个adaptation_parameter_set_id(例如ph_lmcs_aps_id[]的列表)可以在图片标头中信令通知。
i.在一个示例中,ph_lmcs_aps_id[]列表的长度可以取决于图片中的条带的数量。
ii.在一个示例中,可以在条带标头中信令通知语法元素以指示ph_lmcs_aps_id[]列表中的哪个LMCS APS用于当前条带。
4.变换跳过(TS)和/或BDPCM的最大允许尺寸应小于或等于编解码树块(CTB)的尺寸。
a.例如,要求亮度块的TS和/或BDPCM的最大允许宽度和高度应小于或等于CtbSizeY。
b.例如,要求色度块的TS和/或BDPCM的最大允许宽度和高度应小于或等于CtbSizeY/subWidthC和/或CtbSizeY/subHeightC。
i.替代地,要求色度块的TS和/或BDPCM的最大允许宽度应小于或等于CtbSizeY/subWidthC和/或CtbSizeY/subHeightC。
ii.替代地,要求色度块的TS和/或BDPCM的最大允许高度应小于或等于CtbSizeY/subWidthC和/或CtbSizeY/subHeightC。
c.例如,要求log2_transform_skip_max_size_minus2加2应小于等于CtbLog2SizeY。
d.例如,log2_transform_skip_max_size_minus2的最大值等于CtbLog2SizeY–2。
e.例如,MaxTsSize推导为
MaxTsSize=Min(CtbSizeY,1<<(log2_transform_skip_max_size_minus2+2))。
f.例如,MaxTsSize推导为
MaxTsSize=1<<Min(log2_transform_skip_max_size_minus2+2,CtbLog2SizeY)。
g.色度块的TS和/或BDPCM的最大允许块尺寸应小于或等于色度块的最大变换块尺寸。
i.在一个示例中,假设MaxTbSizeY表示亮度块的最大变换尺寸,则色度块的TS和/或BDPCM的最大允许宽度和高度可以小于或等于MaxTbSizeY/SubWidthC。
ii.在一个示例中,假设MaxTbSizeY表示亮度块的最大变换尺寸,则色度块的TS和/或BDPCM的最大允许宽度可以小于或等于MaxTbSizeY/SubWidthC。
iii.在一个示例中,假设MaxTbSizeY表示亮度块的最大变换尺寸,则色度块的TS和/或BDPCM的最大允许高度可以小于或等于MaxTbSizeY/SubHeightC
h.最大允许变换跳过(TS)块尺寸可以用二进制语法元素(例如,
“0”表示等于16,“1”表示等于32)信令通知。
5.最大允许变换跳过(TS)块尺寸和/或最大允许变换块尺寸应不小于最小编解码块尺寸。
6.是否和/或如何信令通知或解释或限制最大允许变换块尺寸(例如,在JVET-Q2001-vB中表示为MaxTbSizeY)可以取决于最小允许编解码块尺寸(例如,在JVET-Q2001-vB中表示为MinCbSizeY)。
a.在一个示例中,要求MaxTbSizeY必须大于或等于MinCbSizeY。
i.在一个示例中,当MinCbSizeY等于64时,sps_max_luma_transform_size_64_flag的值应等于1。
ii.在一个示例中,当MinCbSizeY等于64时,sps_max_luma_transform_size_64_flag不被信令通知,且被推断为1。
7.是否和/或如何信令通知或解释或限制TS和/或BDPCM编解码的最大允许尺寸(例如,在JVET-Q2001-vB中表示为MaxTsSize)可以取决于最小允许编解码块尺寸(例如,在JVET-Q2001-vB中表示为MinCbSizeY)。
a.在一个示例中,要求MaxTsSize必须大于或等于MinCbSizeY。
b.在一个示例中,要求MaxTsSize必须小于或等于W,其中W为整数,例如32。
i.例如要求MaxTsSize必须满足MinCbSizeY<=MaxTsSize<=W。
ii.例如,当启用TS和/或BDPCM编解码时,MinCbSizeY应小于或等于X。
c.在一个示例中,当启用TS和/或BDPCM(例如,sps_transform_skip_enabled_flag等于1)时,要求MaxTsSize必须大于或等于MinCbSizeY。
i.例如,当sps_transform_skip_enabled_flag等于1时,log2_transform_skip_max_size_minus2应大于或等于log2_min_luma_coding_block_size_minus2。
d.在一个示例中,MaxTsSize=max(MaxTsSize,MinCbSizeY)。
i.在另一个示例中,MaxTsSize=min(W,max(MaxTsSize,MinCbSizeY)),其中W是整数,例如32。
e.在一个示例中,当启用TS和/或BDPCM(例如,sps_transform_skip_enabled_flag等于1)时,MaxTsSize=max(MaxTsSize,MinCbSizeY)。
i.在一个示例中,当启用TS和/或BDPCM时(例如,sps_transform_skip_enabled_flag等于1),MaxTsSize=min(W,max(MaxTsSize,MinCbSizeY)),其中W是整数,例如32。
f.在一个示例中,MaxTsSize的信令通知(例如JVET-Q2001-vB中的log2_transform_skip_max_size_minus2)可以取决于MinCbSizeY。
i.在一个示例中,可以信令通知log2_transform_skip_max_size_minus2和log2_min_luma_coding_block_size_minus2之间的差异(表示为log2_diff_max_trasform_skip_min_coding_block)以指示MaxTsSize。
1)例如,MaxTsSize=1<<(MinCbLog2SizeY+log2_diff_max_trasform_skip_min_coding_block)。
2)例如,MaxTsSize=min(W,1<<(MinCbLog2SizeY+log2_diff_max_trasform_skip_min_coding_block)),其中W是整数,例如32。
8.是否和/或如何信令通知或解释或限制TS和/或BDPCM编解码的指示(例如,在JVET-Q2001-vB中表示为sps_transform_skip_enabled_flag)可以取决于最小允许编解码块尺寸(例如在JVET-Q2001-vB中表示为MinCbSizeY)。
a.在一个示例中,当MinCbSizeY等于64时,sps_transform_skip_enabled_flag不被信令通知,且被推断为0。
b.在一个示例中,当MinCbSizeY大于TS和/或BDPCM的最大允许尺寸(例如,TS和/或BDPCM的最大允许大小为32)时,sps_transform_skip_enabled_flag不被信令通知,且被推断为0。
9.是否和/或如何在SPS/PPS/图片标头/条带标头中信令通知或解释编解码工具X的指示可以取决于最小允许编解码块尺寸(例如,JVET-Q2001-vB中的MinCbSizeY)。
a.如果最小允许编解码块尺寸大于T,则可以不信令通知SPS/PPS/图片标头/条带标头中的编解码工具X的指示,且被推断为不使用,其中T为例如32的整数。
b.如果最小允许编解码块尺寸大于T,则必须指示不使用SPS/PPS/图片标头/条带标头中的编解码工具X,其中T为例如32的整数。
c.编解码工具X可以是组合帧间帧内预测(CIIP)。
d.编解码工具X可以是多变换选择(MTS)。
e.编解码工具X可以是段块变换(SBT)。
f.编解码工具X可以是对称运动矢量差(SMVD)。
g.编解码工具X可以是BDOF。
h.编解码工具X可以是仿射预测。
i.编解码工具X可以是光流预测细化(PROF)。
j.编解码工具X可以是解码器侧运动矢量细化(DMVR)。
k.编解码工具X可以是CU级权重(BCW)的双向预测。
l.编解码工具X可以是带有运动矢量差的Merge(MMVD)。
m.编解码工具X可以是几何分割模式(GPM)。
n.coidng工具X可以是块内复制(IBC)。
o.编解码工具X可以是调色板编解码。
p.编解码工具X可以是自适应颜色变换(ACT)。
q.编解码工具X可以是联合Cb-Cr残差编解码(JCCR)。
r.编解码工具X可以是跨分量线性模型预测(CCLM)。
s.编解码工具X可以是多参考线(MRL)。
t.编解码工具X可以是基于矩阵的帧内预测(MIP)。
u.编解码工具X可以是子分割内预测(ISP)。
10.当应用双树编解码时,二叉树划分的最小允许块尺寸(例如JVET-Q2001-vB中的MinBtSizeY)对于亮度分量和色度分量可能不同。
a.在一个示例中,MinBtSizeY=1<<MinBtLog2SizeY是亮度分量的二叉树划分的最小允许块尺寸,MinBtSizeC=1<<MinBtLog2SizeC是色度分量的二叉树划分的最小允许块尺寸,其中MinBtLog2SizeY可能不等于MinBtLog2SizeC。
i.MinBtLog2SizeY可以由MinCbLog2SizeY信令通知预测。例如,可以信令通知MinBtLog2SizeY和MinCbLog2SizeY之间的差异。
ii.MinBtLog2SizeC可以由MinCbLog2SizeY信令通知预测。例如,可以信令通知MinBtLog2SizeC和MinCbLog2SizeY之间的差异。
11.当应用双树编解码时,三叉树划分的最小允许块尺寸(例如JVET-Q2001-vB中的MinTtSizeY)对于亮度分量和色度分量可能不同。MinCbSizeY=1<<MinCbLog2SizeY表示最小允许编解码块尺寸。
a.在一个示例中,MinTtSizeY=1<<MinTtLog2SizeY是亮度分量的三叉树划分的最小允许块大小,而MinTtSizeC=1<<MinTtLog2SizeC是色度分量的三叉树划分的最小允许块尺寸,其中MinTtLog2SizeY可能不等于MinTtLog2SizeC。
i.MinTtLog2SizeY可以由MinCbLog2SizeY预测。例如,可以信令通知MinTtLog2SizeY和MinCbLog2SizeY之间的差异。
ii.MinTtLog2SizeC可以由MinCbLog2SizeY预测。例如,可以信令通知MinTtLog2SizeC和MinCbLog2SizeY之间的差异。
12.基于子块的合并候选的最大数量(例如MaxNumSubblockMergeCand)推导为第一变量和第二变量的总和,其中如果仿射预测被禁用(例如sps_affine_enabled_flag等于0),则第一变量等于零,第二变量取决于是否启用基于子块的TMVP(sbTMVP)。
a.在一个示例中,第一变量表示允许仿射合并候选的数量。
b.在一个示例中,第二变量可以设置为(sps_sbtmvp_enabled_flag&&ph_temporal_mvp_enable_flag)。
c.在一个示例中,第一变量推导为K-S,其中S是由语法元素(例如,five_minus_num_affine_merge_cand)信令通知的值,并且K是诸如4或5的固定值。
d.在一个示例中,MaxNumSubblockMergeCand=5-Five_minus_max_num_affine_merge_cand+(sps_sbtmvp_enabled_flag&&ph_temporal_mvp_enable_flag)。
e.在一个示例中,MaxNumSubblockMergeCand=4-four_minus_max_num_affine_merge_cand+(sps_sbtmvp_enabled_flag&&ph_temporal_mvp_enable_flag)。
f.在一个示例中,MaxNumSubblockMergeCand=Min(W,MaxNumSubblockMergeCand),其中W是固定值,例如5。
g.在一个示例中,第一变量(例如,five_minus_max_num_affine_merge_cand或four_minus_max_num_affine_merge_cand)的指示可以有条件地被信令通知。
i.在一个示例中,仅当sps_affine_enabled_flag等于1时才信令通知。
ii.当不存在时,five_minus_max_num_affine_merge_cand被推断为K(例如,K=4或5)。
13.亮度分量和色度分量的ALF虚拟边界与CTB底边界之间的行(线)数;和/或对亮度分量的ALF虚拟边界和CTB底部边界之间的行以及色度分量的对应行的滤波强度;和/或同一行的亮度和色度样点的填充方法;在4:2:2和4:4:4情况下对齐。
a.在一个示例中,对于4:2:2/4:4:4色度格式视频,色度ALF中ALF虚拟边界(VB)的垂直(和/或水平)位置应与亮度ALF中ALF虚拟边界的垂直(和/或水平)位置对齐。用vbPosY表示ALF VB在亮度ALF中的垂直(和/或水平)位置,用vbPosC表示ALF VB在色度ALF中的垂直(和/或水平)位置。
i.在一个示例中,当ALF VB在亮度ALF中的垂直位置(vbPosY)等于CtbSizeY-S时,色度分量的ALF VB的垂直位置vbPosC可以设置为等于(CtbSizeY-S)/SubHeightC。
ii.在一个示例中,当ALF VB在亮度ALF中的水平位置vbPosY等于CtbSizeY–S时,色度分量的ALF VB的水平位置,vbPosC=(CtbSizeY-S)/SubWidthC。
iii.在上述示例中,CtbSizeY指定每个CTU和SubHeightC和SubWidthC的亮度编解码树块尺寸,如在表3-1中定义的。S是整数,例如4。
b.在一个示例中,在ALF VB的垂直(和/或水平)位置附近的K行(和/或H列)的色度ALF中的填充方法应与亮度ALF中的填充方法对齐。用Yc表示垂直(或水平)色度样点位置。
i.在一个示例中,当Yc等于vbPosC(例如,在图14B中)时,可以应用以下:
1)上方(或左方)K(例如,K=2)不可用的行可以被填充。替代地,此外,即使对应K行可用,也可以填充当前行下方(或右方)的这些不可用行的对应K行。
a.在一个示例中,可以使用当前行填充上方K个不可用行。
i.在一个示例中,在图14B中,当前行上方的C1、C2、C3可以设置为等于C5、C6、C5。并且可以将当前行上方的C0设置为等于C6。
b.在一个示例中,可以使用当前行填充对应K行。
i.在一个示例中,在图14B中,当前行下方的C3、C2、C1可以设置为等于C5、C6、C5。并且当前行下方的C0可以设置为等于C6。
2)可以填充下方(或右方)K个不可用行。替代地,此外,即使对应K行可用,也可以填充在当前行上方(或左方)的这些不可用行的对应K行。
ii.在一个示例中,当Yc等于vbPosC-M(例如,M=1,2)时(例如,在图14A和图14D中),可以应用以下:
1)可以填充下方(或右方)K个(例如,K=1,2)不可用行。并且即使对应K行可用,也可以填充在当前行上方(或左方)的这些不可用行的对应K行。
a.在一个示例中,当M等于1时,可以使用当前行填充下方K个不可用行。
i.在一个示例中,在图14A中,当前行下方的C3、C2、
C1可设置为等于C5、C6、C5。并且当前行下方的C0可以设置为等于C6。
b.在一个示例中,当M等于1时,可以使用当前行填充对应K行。
i.在一个示例中,在图14A中,当前行上方的C1、C2、
C3可以设置为等于C5、C6、C5。并且可以将当前行上方的C0设置为等于C6。
c.在一个示例中,当M大于或等于2时,可以使用ALF虚拟边界上方的最下方的行(例如,vbPosC-1)来填充下方的K个不可用行。
i.在一个例子中,在图14D中,当前行下方的C0可以设置为等于C6。
d.在一个示例中,当M大于或等于2时,可以使用ALF虚拟边界上方的最下方的行的对应行来填充对应K行(例如,vbPos–2*M+1)。
i.在一个示例中,在图14D中,当前行上方的C0可以设置为等于C6。
iii.在一个示例中,当Yc等于vbPosC+N(例如,N=1)(例如,在图14C中)时,可以应用以下:
1)可以填充上方(或左方)K个(例如,K=1)不可用行。
即使对应的K行可用,也可以填充当前行下方(或右方)的这些不可用行的对应K行。
a.在一个示例中,可以使用当前行填充上方K个不可用行。
i.在一个示例中,在图14C中,当前行上方的C0可以设置为等于C6。
b.在一个示例中,可以使用当前行填充对应的K行。
i.在一个示例中,在图14C中,当前行下方的C0可以设置为等于C6。
c.在一个示例中,色度ALF中ALF VB的垂直(或水平)位置附近的M行(或N列)的ALF滤波强度应与4:2:2/4:4:4色度格式视频的亮度ALF中的滤波强度对齐。亮度ALF和色度ALF的ALF滤波强度由alfShiftY(例如,在表45中)和alfShiftC(例如,在表46中)控制。
i.在一个示例中,当Yc==vbPosC-M(例如,M=0,1)时,alfShiftC=T1;当Yc!=vbPosC–M时,alfShiftC=T2。
1)在一个示例中,T1=10,T2=7。
ii.在一个示例中,当Yc==vbPosC+M(例如,M=0,1)时,alfShiftC=T1;当Yc!=vbPosC+M时,alfShiftC=T2。
1)在一个示例中,T1=10,T2=7。
6.实施例
6.1.loop_filter_across_tiles_enabled_flag信令通知的实施例
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000621
6.2.loop_filter_across_slices_enabled_flag信令通知的实施例#1
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000631
6.3.loop_filter_across_slices_enabled_flag信令通知的实施例#2
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000632
6.4.loop_filter_across_slices_enabled_flag信令通知的实施例#3
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000633
Figure BDA0003797638110000641
6.5.loop_filter_across_slices_enabled_flag信令通知的实施例#4
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000642
6.6.LMCS信息信令通知的实施例#1
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000643
6.7.LMCS信息信令通知的实施例#2
7.3.2.7图片参数集RBSP语法
Figure BDA0003797638110000644
Figure BDA0003797638110000651
6.8.LMCS信息信令通知的实施例#3
7.3.7.1通用条带头语法
Figure BDA0003797638110000652
6.9.LMCS信息信令通知的实施例#4
7.3.2.7图片参数集RBSP语法
Figure BDA0003797638110000653
Figure BDA0003797638110000661
6.10.LMCS信息信令通知的实施例#5
7.3.7.1通用条带标头语法
Figure BDA0003797638110000662
6.11.LMCS信息信令通知的实施例#6
例1:当slice_lmcs_enabled_flag不存在时,推断等于ph_lmcs_enabled_flag。
例2:当slice_lmcs_aps_id不存在时,推断等于ph_lmcs_aps_id。
例3:当slice_chroma_residual_scale_flag不存在时,推断等于ph_chroma_residual_scale_flag。
6.12.条带信息信令通知的实施例#1
7.3.2.4图片参数集RBSP语法
Figure BDA0003797638110000671
Figure BDA0003797638110000681
6.13.处理ALF虚拟边界的实施例
8.8.5.4色度样点的编解码树块滤波过程
–在表46
Figure BDA0003797638110000691
中,根据垂直色度样点位置y和applyAlfLineBufBoundary指定垂直样点位置偏移y1、y2和变量alfShiftC。
–变量curr推导如下:
curr=recPicture[hx][vy] (1504)
–色度滤波器系数阵列f[j]和色度裁剪值阵列c[j]推导如下,其中j=0..5:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][altIdx][j] (1505)
c[j]=AlfClipC[slice_alf_aps_id_chroma][altIdx][j] (1506)
–变量sum的推导如下:
–sum=f[0]*(Clip3(-c[0],c[0],recPicture[hx][vy+y2]-curr)+
Clip3(-c[0],c[0],recPicture[hx][vy-y2]-curr))+
f[1]*(Clip3(-c[1],c[1],recPicture[hx+1][vy+y1]-curr)+
Clip3(-c[1],c[1],recPicture[hx-1][vy-y1]-curr))+
f[2]*(Clip3(-c[2],c[2],recPicture[hx][vy+y1]-curr)+
Clip3(-c[2],c[2],recPicture[hx][vy-y1]-curr))+ (1507)
f[3]*(Clip3(-c[3],c[3],recPicture[hx-1][vy+y1]-curr)+
Clip3(-c[3],c[3],recPicture[hx+1][vy-y1]-curr))+
f[4]*(Clip3(-c[4],c[4],recPicture[hx+2][vy]-curr)+
Clip3(-c[4],c[4],recPicture[hx-2][vy]-curr))+
f[5]*(Clip3(-c[5],c[5],recPicture[hx+1][vy]-curr)+
Clip3(-c[5],c[5],recPicture[hx-1][vy]-curr))
sum=curr+((sum+64)>>alfShiftC) (1508)
–修改的滤波重构色度图片样点alfPicture[xCtbC+x][yCtbC+y]推导如下:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepth)-1,sum) (1509)
表46–根据垂直色度样点位置y和applyAlfLineBufBoundary指定y1、y2和alfShiftC
Figure BDA0003797638110000701
图15示出了可以实现本公开各种技术的示例视频处理系统1900的框图。各种实现可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩格式(例如,8或10比特多分量像素值)接收,或者可以以压缩或编码格式接收。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括例如以太网、无源光网络(PON)等的有线接口和例如Wi-Fi或蜂窝接口的无线接口。
系统1900可以包括编解码组件1904,编解码组件1904可以实现本公开中描述的各种编解码或编码方法。编解码组件1904可以降低从输入1902到编解码组件1904的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储,或者经由如组件1906所表示的通信连接而被传输。在输入1902处接收到的视频的存储或通信的比特流(或编解码)表示可以由组件1908使用,组件1908用于生成发送到显示接口1910的像素值或可显示视频。从比特流表示生成用户可观看视频的过程有时称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但应当理解,编解码工具或操作在编码器处使用,并且反转编码结果的相应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本公开中描述的技术可以实施在各种电子设备中,例如移动电话、笔记本电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
图16是视频处理装置3600的框图。装置3600可用于实现本公开中描述的一种或多种方法。装置3600可以位于智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实现本公开中描述的一种或多种方法。存储器(多个存储器)3604可用于存储用于实现本公开描述的方法和技术的数据和代码。视频处理硬件3606可以在硬件电路中使用以实现本公开中描述的一些技术。
图18是说明可利用本公开的技术的示例视频编解码系统100的框图。
如图18所示,视频编解码系统100可以包括源设备110和目标设备120。源设备110可生成编码视频数据,源设备110可被称为视频编码设备。目标设备120可解码由源设备110产生的编码视频数据,目标设备120可称为视频解码装置。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括例如视频捕获设备的源、从视频内容提供者接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的位序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。关联数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目标设备120。编码的视频数据也可以存储在存储介质/服务器130b上以供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取已编码的视频数据。视频解码器124可解码已编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成,或者可以在目标设备120的外部,目标设备120被配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作,例如高效视频编码(HEVC)标准、多功能视频编码(VVM)标准和其他当前和/或其他标准。
图19是说明视频编码器200的示例的框图,视频编码器200可以是图18中说明的系统100中的视频编码器114。
视频编码器200可以配置为执行本公开的任何或所有技术。在如图19所示的示例中,视频编码器200包括多个功能组件。本公开中所描述的技术可在视频编码器200的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开中所描述的技术中的任一或全部。
视频编码器200的功能组件可以包括分割单元201,可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202,残差生成单元207,变换单元208,量化单元209,逆量化单元210,逆变换单元211,重构单元212,缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可包括更多、更少或不同功能的组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,例如运动估计单元204和运动补偿单元205之类的一些组件可以是高度集成的,但是出于描述的目的而在图19的示例中被分开表示。
分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块的尺寸。
模式选择单元203可以例如基于误差结果来选择编解码模式(帧内或帧间)之一,并将所得帧内或帧间编解码块提供给残差生成单元207以生成残差块数据并且提供给重构单元212以重构编解码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测组合(CIIP)模式,其中预测是基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可以为块选择运动矢量的分辨率(例如,子像素或整数像素分辨率)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,例如,取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以对当前视频块的参考视频块搜索列表0或列表1的参考图片。然后,运动估计单元204可以产生指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以对当前视频块的参考视频块搜索列表0中的参考图片,并且还可以对当前视频块的另一参考视频块搜索列表1中的参考图片。然后,运动估计单元204可以产生指示列表0和列表1中的包含参考视频块的参考图片的参考索引,以及指示参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出完整的运动信息集以用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的完整的运动信息集。相反,运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可确定当前视频块的运动信息与邻域视频块的运动信息足够相似。
在一个示例中,运动估计单元204可在与当前视频块相关联的语法结构中指示向视频解码器300指示当前视频块具有与另一视频块相同的运动信息的值。
在另一示例中,运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所述,视频编码器200可以预测性地信令通知运动矢量。可由视频编码器200实施的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其他视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差产生单元207可通过从当前视频块减去(例如,由负号指示)当前视频块的(多个)预测视频块来产生当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。
在其他示例中,对于当前视频块,例如在跳过模式中,可能不存在当前视频块的残差数据,并且残差生成单元207可能不执行减法运算。
变换处理单元208可通过对与当前视频块相关联的残余视频块应用一个或多个变换来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208产生与当前视频块相关联的变换系数视频块之后,量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残余视频块。重构单元212可以将重构的残余视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点,以产生存储在缓冲器213中的与当前块相关联的重构视频块。
在重构单元212重构视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
所公开技术的一些实施例包括作出启用视频处理工具或模式的决定或确定。在一个示例中,当视频处理工具或模式被启用时,编码器将在视频块的处理中使用该工具或实现该模式,但不一定基于该工具或模式的使用修改生成的比特流。即,当基于决定或确定启用视频处理工具或模式时,从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一个示例中,当视频处理工具或模式被启用时,解码器将在了解比特流已经基于视频处理工具或模式被修改的情况下处理比特流。即,将使用基于决定或确定启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
图20是说明可以说明视频解码器300的示例的框图,视频解码器300可以是图18所示的系统100中的视频解码器114。
视频解码器300可以配置为执行本公开的任何或所有技术。在图20所示的示例中,视频解码器300包括多个功能组件。本公开中所描述的技术可在视频解码器300的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开中所描述的技术中的任一或全部。
在如图20所示的示例,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重构单元306和缓冲器307。在一些示例中,视频解码器300可以执行通常与关于视频编码器200(图19)描述的编码通道相反的解码通道。
熵解码单元301可以取得编码比特流。编码比特流可以包括熵编码的视频数据(例如,编码的视频数据块)。熵解码单元301可以解码熵编码的视频数据,并且根据熵解码的视频数据,运动补偿单元302可以确定运动信息,包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。例如,运动补偿单元302可以通过执行AMVP和合并模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块,可能基于内插滤波器执行内插。用于以子像素分辨率的内插滤波器的标识符可以包括在语法元素中。
运动补偿单元302可使用在视频块的编码期间由视频编码器20使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可根据接收的语法信息来确定由视频编码器200使用的内插滤波器并且使用内插滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码的视频序列的(多个)帧和/或(多个)条带进行编码的块的大小,描述编码视频序列的图片的每个宏块如何被分割的分割信息,指示如何编码每个分割的模式,每个帧间编码块的一个或多个参考帧(和参考帧列表),以及解码编码视频序列的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化,即去量化。逆变换单元303应用逆变换。
重构单元306可将残余块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加以形成解码块。如果需要,还可以应用去方块滤波器来滤波解码的块,以便去除块状伪影。然后将解码的视频块存储在缓冲器307中,该缓冲器为随后的运动补偿/帧内预测提供参考块并且还产生用于在显示设备上呈现的解码视频。
接下来提供一些实施例优选的解决方案列表。
以下解决方案显示了在前面部分中讨论的技术的示例实施例(例如,第1和第2项)。
1.一种视频处理方法(例如,图17中所示的方法1700),包括:对于视频的视频单元和视频的编解码表示之间的转换,确定(1702)视频单元的跨视频区域的环内滤波的适用性的指示是否被包括在编解码表示中;以及基于该确定执行(1704)转换。
2.如解决方案1的方法,其中,视频单元包括图片。
3.如解决方案1-2中任一项的方法,其中,视频区域包括片。
4.如解决方案1-2中任一项的方法,其中,视频区域包括条带。
以下解决方案显示了在前面部分(例如,第3项)中讨论的技术的示例实施例。
5.一种视频处理方法,包括:执行视频的视频区域和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,其中格式规则规定,关于亮度映射与色度缩放(LMCS)工具对该转换的适用性的信息在视频条带级别的编解码表示中指示;其中,LMCS工具包括在转换期间基于第一域和第二域和/或以亮度相关的方式缩放色度残差来构造当前视频块。
以下解决方案显示了在前面部分中讨论的技术的示例实施例(例如,第4、5、7、8项)。
6.一种视频处理方法,包括:执行视频和视频的编解码表示之间的转换,其中转换符合尺寸规则,尺寸规则规定:在编码期间,对使用变换跳过编解码方案或增量脉冲编解码调制编解码方案的编解码的视频区域的最大尺寸强制执行该尺寸规则,或在解码期间,通过对使用变换跳过解码方案或增量脉冲编解码调制解码方案解码的视频区域的最大尺寸强制执行该尺寸规则而解析和解码该编解码表示。
7.如解决方案6的方法,其中,尺寸规则规定,作为变换跳过块的视频区域的最大尺寸小于或等于编解码树块尺寸。
8.如解决方案6的方法,其中,尺寸规则规定,使用基于块的增量脉冲模式编解码处理的视频区域的最大尺寸小于或等于编解码树块尺寸。
以下解决方案显示了在前面部分(例如,第5项)中讨论的技术的示例实施例。
9.如解决方案6的方法,其中,尺寸规则规定,作为变换跳过方块的视频区域的最大尺寸小于或等于最小编解码块尺寸。
10.如解决方案6的方法,其中,尺寸规则规定,使用基于块的增量脉冲模式编解码处理的视频区域的最大尺寸小于或等于最小编解码块尺寸。
以下解决方案显示了在前面部分(例如,第7项)中讨论的技术的示例实施例。
11.如解决方案6至10中任一项的方法,其中,在编解码表示中的字段中指示尺寸,并且其中用于转换的最小允许编解码块尺寸控制字段在编解码表示中出现的位置和/或如何从字段解释尺寸。
以下解决方案显示了在前面部分(例如,第8项)中讨论的技术的示例实施例。
12.如解决方案6至10中任一项的方法,其中用于转换的最小允许编解码块尺寸控制指示尺寸规则的字段是否存在于编解码表示中和/或如何从字段解释尺寸。
以下解决方案显示了在前面部分(例如,第6项)中讨论的技术的示例实施例。
13.一种视频处理方法,包括:执行视频的视频区域和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,格式规则规定,在转换期间使用的最小允许变换块尺寸控制最大允许变换块尺寸的指示是否或如何包括在编解码表示中。
14.如解决方案13的方法,其中,格式规则规定,最小允许变换块尺寸大于或等于最小允许编码块尺寸。
以下解决方案显示了在前面部分(例如,第9项)中讨论的技术的示例实施例。
15.一种视频处理方法,包括:根据格式规则执行视频的视频单元和视频的编解码表示之间的转换,其中,编解码表示符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否在视频区域级别中包括携带关于编解码工具在转换中的适用性的信息的字段。
16.如解决方案15的方法,其中,视频区域对应于序列参数集或图片参数集或图片标头或条带标头。
17.如解决方案15-16中任一项的方法,其中编解码工具包括组合帧间帧内预测工具。
18.如解决方案15-16中任一项的方法,其中编解码工具包括多变换选择编解码工具。
以下解决方案显示了在前面部分中讨论的技术的示例实施例(例如,第10、11项)。
19.一种视频处理方法,包括:对于视频的视频区域和视频的编解码表示之间的转换,由于使用用于转换的双树编解码,确定用于视频的亮度分量和色度分量的划分方案对于亮度分量和色度分量具有不同的允许最小块尺寸,并基于确定执行转换。
20.如解决方案19的方法,其中,划分方案包括二叉树划分。
21.如解决方案19的方法,其中,划分方案包括三叉树划分。
以下解决方案显示了在前面部分(例如,第12项)中讨论的技术的示例实施例。
22.一种视频处理方法,包括:通过符合用于编解码表示的格式规则,执行视频的视频区域和视频区域的编解码表示之间的转换;其中,格式规则规定,在转换期间使用的基于子块的合并候选的最大数量可推导为第一变量和第二变量的和,其中仿射预测的使用控制第一变量的值,并且其中,使用基于子块的时域运动矢量预测控制第二变量的值。
23.如解决方案22的方法,其中第一变量表示允许仿射合并候选的数量。
以下解决方案示出了在前一部分(例如,第13项)中讨论的技术的示例实施例。
24.一种视频处理方法,包括:由于视频是4:2:2或4:4:4,通过符合适用于转换的处理规则而执行视频的视频区域与视频的编解码表示区域之间的转换,其中,处理规则定义色度和亮度对以下一项或多项对齐:(a)自适应环路滤波器操作的虚拟边界和编解码树块的底边界之间的像素行的数量;或(b)用于自适应环路滤波器操作的虚拟边界和编解码树块的底边界之间的行的滤波器的滤波强度;或(c)用于在同一行中填充视频样点的填充方法。
25.如解决方案24的方法,其中处理规则进一步定义色度分量和亮度分量之间的虚拟边界的垂直对齐。
26.如解决方案24的方法,其中,处理规则定义了用于填充K行和/或H列色度的填充方法与用于亮度的填充方法对齐。
27.上述任一解决方案的方法,其中,视频区域包括视频编解码单元。
28.上述任一解决方案的方法,其中,视频区域包括视频图片。
29.如解决方案1至28中任一项的方法,其中,转换包括将视频编码到编解码表示中。
30.如解决方案1至28中任一项的方法,其中,转换包括解码编解码表示以生成视频的像素值。
31.一种视频解码装置,包括被配置为实现解决方案1至30中的一个或多个中的方法的处理器。
32.一种视频编码装置,包括被配置为实现解决方案1至30中的一个或多个中的方法的处理器。
33.一种其上存储有计算机代码的计算机程序产品,该代码在由处理器执行时使处理器实现解决方案1至30中任一项中的方法。
34.本文中描述的方法、设备或系统。
图21是视频处理的示例方法(2100)的流程图。操作2102包括执行包括视频单元的视频和视频的比特流之间的转换,其中,比特流符合格式规则,并且其中,格式规则规定,响应于视频单元是否或如何被分割成片,指示环路滤波操作是否跨片边界执行的第一语法元素被选择性地包括在比特流中。
在方法2100的一些实施例中,视频单元包括图片。在方法2100的一些实施例中,第一语法元素在图片参数集中。在方法2100的一些实施例中,格式规则规定,响应于视频单元被分割成多于一个片,第一语法元素被包括在比特流中。在方法2100的一些实施例中,格式规则规定,响应于仅包括一个片的视频单元,第一语法元素不被包括在比特流中。在方法2100的一些实施例中,格式规则规定,响应于包括指示是否存在作为约束的每个图片一个片的第二语法元素的零值的比特流,第一语法元素被包括在比特流中。
在方法2100的一些实施例中,格式规则规定,响应于包括指示是否存在作为约束的每个图片一个片的第二语法元素的一值的比特流,第一语法元素被要求等于零并被包括在比特流中。在方法2100的一些实施例中,第二语法元素是one_tile_per_pic_constraint_flag。在方法2100的一些实施例中,环路滤波操作包括去方块滤波操作、样点自适应偏移操作或自适应环路滤波操作中的至少一个。在方法2100的一些实施例中,第一语法元素是loop_filter_across_tiles_enabled_flag。在方法2100的一些实施例中,执行转换包括将视频编码到比特流中。
在方法2100的一些实施例中,执行转换包括从视频生成比特流,并且方法还包括将比特流存储在非暂时性计算机可读记录介质中。在方法2100的一些实施例中,执行转换包括从比特流中解码视频。在一些实施例中,视频解码装置包括被配置为实现方法2100和相关实施例的操作的处理器。在一些实施例中,视频编码装置包括被配置为实现方法2100和相关实施例的操作的处理器。
在一些实施例中,其上具有计算机指令的计算机程序产品,指令在被处理器执行时,使处理器执行与相关实施例相关的方法2100和操作。在一些实施例中,一种存储有由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中,该方法包括:从包括视频单元的视频生成比特流;其中比特流符合格式规则,并且其中格式规则规定,响应于视频单元是否或如何被分割成片,指示是否块片边界执行环路滤波操作的第一语法元素被选择性地包括在比特流中。在一些实施例中,非暂时性计算机可读存储介质存储有使处理器实现方法2100和相关实施例的操作的指令。在一些实施例中,一种比特流生成方法,包括:根据方法2100和相关实施例的操作生成视频的比特流,以及将比特流存储在计算机可读程序介质中。
图22是视频处理的示例方法(2200)的流程图。操作2202包括执行视频的视频单元和视频的比特流之间的转换,其中,比特流符合格式规则,并且其中,格式规则规定,响应于视频单元是否或如何被分割成条带,指示是否跨条带边界执行环路滤波操作的语法元素被选择性地包括在比特流中。
在方法2200的一些实施例中,视频单元包括图片。在方法2200的一些实施例中,视频单元包括子图片。在方法2200的一些实施例中,语法元素在图片参数集中。在方法2200的一些实施例中,规则规定,响应于仅被分割成一个条带的视频单元,语法元素不被包括在比特流中。在方法2200的一些实施例中,规则规定,响应于仅被分割成一个条带的视频单元的每个子图片,语法元素不被包括在比特流中。在方法2200的一些实施例中,规则规定,响应于仅被分割成一个条带的视频单元的每个子图片,语法元素被包括在比特流中。
在方法2200的一些实施例中,规则规定,响应于规定每个子图片由有且仅有一个矩形条带组成的等于1的第一标志,语法元素被包括在比特流。在方法2200的一些实施例中,第一标志是single_slice_per_subpic_flag。在方法2200的一些实施例中,第一标志在图片参数集中。
在方法2200的一些实施例中,规则规定,响应于包括被分割成非矩形形状的图片的视频单元,语法元素被包括在比特流中。在方法2200的一些实施例中,规则规定,响应于规定每个图片采用格栅扫描条带模式的等于0的第二标志,语法元素被包括在比特流中。在方法2200的一些实施例中,格栅扫描条带模式是非矩形条带模式。在方法2200的一些实施例中,第二标志是rect_slice_flag。在方法2200的一些实施例中,第二标志在图片参数集中。在方法2200的一些实施例中,规则规定,响应于包括被分割成矩形形状的图片的视频单元和视频单元的条带的数量等于1,语法元素不被包括在比特流中。
在方法2200的一些实施例中,规则规定,响应于包括指示每个图片是否有一个条带作为约束的语法元素的零值的比特流,语法元素被包括在比特流中。在方法2200的一些实施例中,规则规定,响应于包括指示每个图片是否有一个条带作为约束的语法元素的一值的比特流,语法元素被设置等于0并被包括在比特流中。在方法2200的一些实施例中,环路滤波操作包括去方块滤波操作、样点自适应偏移操作或自适应环路滤波操作中的至少一个。在方法2200的一些实施例中,执行转换包括编码视频到比特流中。在方法2200的一些实施例中,执行转换包括从视频生成比特流,并且方法还包括将比特流存储在非暂时性计算机可读记录介质中。
在方法2200的一些实施例中,执行转换包括从比特流中解码视频。在一些实施例中,视频解码装置包括被配置为实现方法2200和相关实施例的操作的处理器。在一些实施例中,视频编码装置包括被配置为实现方法2200和相关实施例的操作的处理器。在一些实施例中,其上具有计算机指令的计算机程序产品,指令在被处理器执行时,使处理器实现方法2200和相关实施例的操作。在一些实施例中,存储有由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中,该方法包括:从视频的视频单元中生成比特流;其中,比特流符合格式规则,并且其中,格式规则规定,响应于视频单元是否或如何被分割成条带,指示是否跨条带边界执行环路滤波操作的语法元素被选择性地包括在比特流中。
在一些实施例中,非暂时性计算机可读存储介质存储有使处理器实现方法2200和相关实施例的操作的指令。在一些实施例中,一种比特流生成方法,包括:根据方法2200和相关实施例的操作生成视频的比特流,以及将比特流存储在计算机可读程序介质上。
图23是视频处理的示例方法(2300)的流程图。操作2302包括执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,并且其中,格式规则规定,在视频条带级别和/或在视频图片级别的比特流中指示关于工具对于转换的适用性的信息,并且其中,工具将亮度样点映射到特定值并且选择性地对色度样点的值应用缩放操作。
在方法2300的一些实施例中,格式规则规定,关于工具的适用性的信息包括是否启用工具的第一指示。在方法2300的一些实施例中,其中,格式规则规定,关于工具的适用性的信息包括参数的第二指示,并且其中,参数包括用于在视频图片级别的工具的自适应参数集(APS)的标识符,和/或指示是否在视频图片级别中启用色度残差缩放的值。在方法2300的一些实施例中,格式规则规定,在视频条带级别和视频图片级别中均指示关于工具的适用性的信息。
在方法2300的一些实施例中,格式规则规定,在视频条带级别和视频图片级别中均指示关于工具的适用性的信息,并且其中,包括在视频图片级别中的关于工具的适用性的先前信息被包括在视频条带级别中的关于工具的适用性的信息覆盖。
在方法2300的一些实施例中,格式规则规定,在视频条带级别或视频图片级别中指示关于工具的适用性的信息。在方法2300的一些实施例中,格式规则规定,在视频条带级别中指示关于工具的适用性的信息,以指示用于视频区域的当前条带的自适应参数集(APS)。在方法2300的一些实施例中,格式规则规定,比特流包括语法元素,语法元素在序列参数集(SPS)或在图片参数集(PPS)中,以指示是否在视频条带级别或视频图片级别中指示关于工具的适用性的信息。
在方法2300的一些实施例中,语法元素仅控制第一指示。在方法2300的一些实施例中,语法元素仅控制第二指示。在方法2300的一些实施例中,语法元素控制第一指示和第二指示。在方法2300的一些实施例中,格式规则规定,响应于不存在于图片标头中的信息,在具有默认值的图片标头的语法元素中指示关于工具的适用性的信息。在方法2300的一些实施例中,格式规则规定,响应于信息不存在于条带标头中,在具有默认值的条带标头的语法元素中指示关于工具的适用性的信息。在方法2300的一些实施例中,其中,格式规则规定,在条带标头的语法元素中指示关于工具的适用性的信息,其中,格式规则规定,语法元素具有在图片标头中指示关于工具的适用性的信息的对应语法元素的值,并且其中,格式规则规定,响应于信息不存在于条带标头中,语法元素具有对应语法元素的值。
在方法2300的一些实施例中,格式规则规定,响应于与参考多个APS的标识符的图片标头关联的条带,在图片标头中指示启用自适应参数集(APS)的工具的多个APS的标识符。在方法2300的一些实施例中,多个APS的标识符的列表的长度取决于在图片中的条带的数量。在方法2300的一些实施例中,格式规则规定,语法元素被包括在条带标头中,并且其中,语法元素指示从多个APS中的工具启用的APS,以用于当前条带。在方法2300的一些实施例中,当工具被启用时,在视频区域来自亮度分量的情况下,则执行视频区域的重塑域和原始域之间的样点的切换,或者其中,当被启用时,在视频区域来自色度分量的情况下,执行视频区域的色度残差的缩放。
图24是视频处理的示例方法(2400)的流程图。操作2402包括执行视频的视频区域和视频的比特流之间的转换,其中,转换符合尺寸规则,并且其中,尺寸规则规定,使用变换跳过(TS)编解码方案或者基于块的增量脉冲编解码调制(BDPCM)编解码方案编解码的视频区域的最大尺寸,或者用于根据视频区域的编解码特性的视频区域的变换块的最大尺寸。
在方法2400的一些实施例中,尺寸规则规定,视频区域的最大尺寸小于或等于编解码数块(CTB)的尺寸。在方法2400的一些实施例中,尺寸规则规定,用于亮度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大允许宽度和高度小于或等于CTB尺寸。在方法2400的一些实施例中,尺寸规则规定,用于色度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大允许宽度和高度小于或等于CTB尺寸除以subWidthC和/或CTB尺寸除以subHeightC,其中,subWidthC和subHeightC取决于视频的色度格式。在方法2400的一些实施例中,尺寸规则规定,用于色度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大允许宽度小于或等于CTB尺寸除以subWidthC和/或CTB尺寸除以subHeightC。
在方法2400的一些实施例中,尺寸规则规定,用于色度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大允许高度小于或等于CTB尺寸除以subWidthC和/或CTB尺寸除以subHeightC。在方法2400的一些实施例中,第一值等于log2_transform_skip_max_size_minus2 plus 2,其中,第一值小于或等于用于CtbLog2SizeY的第二值,并且其中,log2_transform_skip_max_size_minus2 plus 2等于用于TS编码方案或用于TS解码方案的最大块尺寸的log2。
在方法2400的一些实施例中,第一值描述用于log2_transform_skip_max_size_minus2的最大值等于用于CtbLog2SizeY的第二值减2,其中,log2_transform_skip_max_size_minus2 plus 2等于用于TS编码方案或用于TS解码方案的最大块尺寸的log2。在方法2400的一些实施例中,其中,尺寸规则规定,作为变换跳过方块的视频区域的最大尺寸是(CtbSizeY,1<<(log2_transform_skip_max_size_minus2+2))的最大值,其中,<<表示左移操作,其中,CtbSizeY是CTB尺寸,并且其中,log2_transform_skip_max_size_minus2 plus2等于用于TS编码方案或用于TS解码方案的最大块尺寸的log2。在方法2400的一些实施例中,尺寸规则规定,作为变换跳过方块的视频区域的最大尺寸是1<<Min(log2_transform_skip_max_size_minus2+2,CtbLog2SizeY),其中,<<表示左移操作,其中,CtbSizeY是CTB尺寸,并且其中,log2_transform_skip_max_size_minus2 plus 2等于用于TS编码方案或用于TS解码方案的最大块尺寸的log2。在方法2400的一些实施例中,尺寸规则规定,用于色度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大尺寸小于或等于用于色度块的最大变换块的尺寸。
在方法2400的一些实施例中,用于色度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大允许宽度和高度小于或等于用于亮度块的最大变换块的尺寸除以SubWidthC。在方法2400的一些实施例中,用于色度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大允许宽度小于或等于用于亮度块的最大变换块的尺寸除以SubWidthC。在方法2400的一些实施例中,用于色度块的用于TS编码或解码方案和/或用于BDPCM编码或解码方案的最大允许高度小于或等于用于亮度块的最大变换块的尺寸除以subHeightC。在方法2400的一些实施例中,尺寸规则规定,在比特流中用二进制语法元素指示作为变换跳过块的视频区域的最大尺寸。在方法2400的一些实施例中,尺寸规则规定,作为变换跳过块的视频区域的最大尺寸和/或最大允许变换块的尺寸大于或等于最小编解码块的尺寸。
图25是视频处理的示例方法(2500)的流程图。操作2502包括执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括最大允许变换块的尺寸。
在方法2500的一些实施例中,格式规则规定,最小允许变换块的尺寸大于或等于最小允许编解码块尺寸。在方法2500的一些实施例中,响应于最小允许编解码块尺寸等于64,包括在比特流中的sps_max_luma_transform_size_64_flag的值等于1。在方法2500的一些实施例中,响应于最小允许编解码块尺寸等于64,sps_max_luma_transform_size_64_flag的值不包括在比特流中,并且推断等于1。
图26是视频处理的示例方法(2600)的流程图。操作2602包括执行视频的视频区域和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括用于使用变换跳过(TS)方案或基于方块的增量脉冲编解码调制(BDPCM)方案进行编码或解码的视频区域的最大尺寸的指示。
在方法2600的一些实施例中,格式规则规定,视频区域的最大尺寸大于或等于最小允许编解码块尺寸。在方法2600的一些实施例中,格式规则规定,视频区域的最大尺寸小于或等于W,其中,W是整数。在方法2600的一些实施例中,W是32。在方法2600的一些实施例中,格式规则规定,视频区域的最大尺寸大于或等于最小允许编解码块尺寸,其中,格式规则规定,了视频区域的最大尺寸小于或等于W。在方法2600的一些实施例中,格式规则规定,当启用TS方案和/或BDPCM方案时,最小允许编解码块尺寸小于或等于X。在方法2600的一些实施例中,格式规则规定,当启用TS方案和/或BDPCM方案时,视频区域的最大尺寸大于或等于最小允许编解码块尺寸。
在方法2600的一些实施例中,格式规则规定,当启用TS方案时,最大尺寸的log2大于或等于最小亮度编解码块的尺寸的log2。在方法2600的一些实施例中,格式规则规定,视频区域的最大尺寸是最大尺寸或最小允许编解码块尺寸中的最大值。在方法2600的一些实施例中,其中,格式规则规定,视频区域的最大尺寸是第一值和第二值中的最小值,其中,第一值是整数W,并且其中,第二值是最大尺寸或最小允许编解码块尺寸中的最大值。在方法2600的一些实施例中,格式规则规定,当启用TS方案和/或BDPCM方案时,视频区域的最大尺寸是最大尺寸或最小允许编解码块尺寸中的最大值。在方法2600的一些实施例中,其中,格式规则规定,当启用TS方案和/或BDPCM方案时,视频区域的最大尺寸是第一值和第二值中的最小值,其中,第一值是整数W,并且其中,第二值是最大尺寸或最小允许编解码块尺寸中的最大值。
在方法2600的一些实施例中,格式规则规定,基于最小允许编解码块尺寸,视频区域的最大尺寸包括在比特流中。在方法2600的一些实施例中,格式规则规定,通过在比特流中包括通过视频区域的最大尺寸的log 2和最小允许编解码块尺寸的log 2之间的差来指示视频区域的最大尺寸。在方法2600的一些实施例中,格式规则规定:MaxTsSize=1<<(MinCbLog2SizeY+log2_diff_max_trasform_skip_min_coding_block),其中,<<表示左移操作,其中,MaxTsSize是视频区域的最大尺寸,其中,MinCbLog2SizeY是最小编解码单元尺寸的log 2,并且其中,log2_diff_max_trasform_skip_min_coding_block是比特流中视频区域的最大尺寸和最小允许编解码块尺寸之间的差的log2。
在方法2600的一些实施例中,格式规则规定:
MaxTsSize=min(W,1<<(MinCbLog2SizeY+log2_diff_max_trasform_skip_min_coding_block)),其中,<<表示左移操作,其中,W是整数,其中,MaxTsSize是视频区域的最大尺寸,其中,MinCbLog2SizeY是最小编解码单元尺寸的log 2,并且其中,log2_diff_max_trasform_skip_min_coding_block是比特流中视频区域的最大尺寸和最小允许编解码块尺寸之间的差的log2。
图27是视频处理的示例方法(2700)的流程图。操作2702包括根据格式规则执行视频的视频单元和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中包括指示启用或禁用变换跳过(TS)方案或基于方块的增量脉冲编解码调制(BDPCM)方案的字段。
在方法2700的一些实施例中,格式规则规定,响应于最小允许编解码块尺寸等于64,字段被推断等于0,并且不包括在比特流中。在方法2700的一些实施例中,格式规则规定,响应于最小允许编解码块尺大于TS编解码方案和/或BDPCM编解码方案的最大允许尺寸,字段被推断等于0,并且不包括在比特流中。
图28是视频处理的示例方法(2800)的流程图。操作2802包括根据格式规则执行视频的视频单元和视频的比特流之间的转换,其中,比特流符合格式规则,格式规则规定,在转换期间使用的最小允许编解码块尺寸控制是否和/或如何在比特流中的视频区域级别包括携带关于编解码工具的在转换中的适用性的信息的字段。
在方法2800的一些实施例中,视频区域级别对应于序列参数集或图片参数集或图片标头或条带标头。在方法2800的一些实施例中,格式规则规定,响应于最小允许编解码块尺寸大于整数T,用于编解码工具的字段被推断为不被使用或不被包括在比特流中。在方法2800的一些实施例中,格式规则规定,响应于最小允许编解码块尺寸大于整数T,用于编解码工具的字段指示编解码工具不被使用或不被包括在比特流中。在方法的一些实施例中2800,编解码工具包括组合帧间帧内预测(CIIP)工具。在方法2800的一些实施例中,编解码工具包括多变换选择(MTS)编解码工具。在方法2800的一些实施例中,编解码工具包括段块变换(SBT)编解码工具。在方法2800的一些实施例中,编解码工具包括对称运动矢量差(SMVD)编解码工具。在方法2800的一些实施例中,编解码工具包括双向光流(BDOF)编解码工具。在方法2800的一些实施例中,编解码工具包括仿射预测编解码工具。
在方法2800的一些实施例中,编解码工具包括光流预测细化(PROF)编解码工具。在方法2800的一些实施例中,编解码工具包括解码器侧运动矢量细化(DMVR)编解码工具。在方法2800的一些实施例中,编解码工具包括CU级权重双向预测(BCW)编解码工具。在方法2800的一些实施例中,编解码工具包括带有运动矢量差的Merge编解码(MMVD)工具。在方法2800的一些实施例中,编解码工具包括几何分割模式(GPM)编解码工具。在方法2800的一些实施例中,编解码工具包括块内复制(IBC)编解码工具。在方法2800的一些实施例中,编解码工具包括调色板编解码工具。在方法2800的一些实施例中,编解码工具包括自适应颜色变换(ACT)编解码工具。在方法2800的一些实施例中,编解码工具包括联合Cb-Cr残差编解码(JCCR)编解码工具。在方法2800的一些实施例中,编解码工具包括跨分量线性预测(CCLM)编解码工具。在方法2800的一些实施例中,编解码工具包括多参考线(MRL)编解码工具。在方法2800的一些实施例中,编解码工具包括基于矩阵的帧内预测(MIP)编解码工具在方法2800的一些实施例中,编解码工具包括子分割内预测(ISP)编解码工具。
图29是视频处理的示例方法(2900)的流程图。操作2902包括,对于视频的视频区域和视频的比特流之间的转换,由于对视频区域启用了双树编解码方案,确定用于视频的亮度分量和色度分量的划分方案具有不同的最小允许块尺寸。操作2904包括基于确定执行转换。
在方法2900的一些实施例中,划分方案包括二叉树划分。在方法2900的一些实施例中,其中,用于亮度分量的二叉树划分的第一最小允许块尺寸为MinBtSizeY=1<<MinBtLog2SizeY,其中,用于色度分量的二叉树划分的第二最小允许块尺寸为MinBtSizeC=1<<MinBtLog2SizeC,其中,<<表示左移操作,其中,MinBtSizeY是第一最小允许块尺寸,其中,MinBtLog2SizeY是MinBtSizeY的log2,其中,MinBtSizeC是第一最小允许块尺寸,其中,MinBtLog2SizeC是MinBtSizeC的log2,并且其中,MinBtLog2SizeY不等于MinBtLog2SizeC。在方法2900的一些实施例中,基于最小编解码单元尺寸而预测来信令通知MinBtLog2SizeY。在方法2900的一些实施例中,MinBtLog2SizeY和最小编解码单元尺寸的log2之间的差被包括在比特流中。在方法2900的一些实施例中,基于最小编解码单元尺寸而预测来信令通知MinBtLog2SizeC。
在方法2900的一些实施例中,MinBtLog2SizeC和最小编解码单元尺寸的log2之间的差被包括在比特流中。在方法2900的一些实施例中,划分方案包括三叉树划分。在方法2900的一些实施例中,最小允许编解码块尺寸MinCbSizeY等于1<<MinCbLog2SizeY,其中,<<表示左移操作,并且其中,MinCbLog2SizeY是最小编解码单元尺寸的log2。在方法2900的一些实施例中,其中,用于亮度分量的三叉树划分的第一最小允许块尺寸为MinTtSizeY=1<<MinTtLog2SizeY,其中,用于色度分量的三叉树划分的第二最小允许块尺寸为MinTtSizeC=1<<MinTtLog2SizeC,其中,<<表示左移操作,其中,MinTtSizeY是第一最小允许块尺寸,其中,MinTtLog2SizeY是MinTtSizeY的log2,其中,MinTtSizeC是第一最小允许块尺寸,其中,MinTtLog2SizeC是MinTtSizeC的log2,并且其中,MinTtLog2SizeY不等于MinTtLog2SizeC。
在方法2900的一些实施例中,基于最小编解码单元尺寸而预测来信令通知MinTtLog2SizeY。在方法2900的一些实施例中,MinTtLog2SizeY和最小编解码单元尺寸的log2之间的差被包括在比特流中。在方法2900的一些实施例中,基于最小编解码单元尺寸而预测来信令通知MinTtLog2SizeC。在方法2900的一些实施例中,MinTtLog2SizeC和最小编解码单元尺寸的log2之间的差被包括在比特流中。
图30是视频处理的示例方法(3000)的流程图。操作3002包括对于视频的视频区域和视频的比特流之间的转换,基于规则确定视频区域允许的基于子块的合并候选的最大数量。操作3004包括基于确定执行转换,其中,规则规定,在转换期间使用的基于子块的合并候选的最大数量可推导为第一变量和第二变量的和,其中,响应于仿射预测被禁用,第一变量等于零,并且其中,第二变量基于是否启用基于子块的时域运动矢量预测(sbTMVP)。
在方法3000的一些实施例中,第一变量表示允许仿射合并候选的数量。在方法3000的一些实施例中,第二变量设置为(sps_sbtmvp_enabled_flag&&ph_temporal_mvp_enable_flag)。在方法3000的一些实施例中,第一变量推导为K-S,其中S是语法元素信令通知的值,K是固定值。在方法3000的一些实施例中,其中,基于子块的合并候选的最大数量是MaxNumSubblockMergeCand,其中,第一变量是five_minus_max_num_affine_merge_cand,并且,MaxNumSubblockMergeCand=5-five_minus_max_num_affine_merge_cand+(sps_sbtmvp_enabled_flag&&ph_temporal_mvp_enable_flag)。在方法3000的一些实施例中,其中,基于子块的合并候选的最大数量是MaxNumSubblockMergeCand,其中,第一变量是four_minus_max_num_affine_merge_cand,并且其中,MaxNumSubblockMergeCand=4-four_minus_max_num_affine_merge_cand+(sps_sbtmvp_enabled_flag&&ph_temporal_mvp_enable_flag)。在方法3000的一些实施例中,其中,基于子块的合并候选的最大数量是MaxNumSubblockMergeCand,以及MaxNumSubblockMergeCand=Min(W,MaxNumSubblockMergeCand),其中,W是固定值。在方法3000的一些实施例中,在比特流中有条件地信令通知第一变量。在方法3000的一些实施例中,响应于sps_affine_enabled_flag等于1,在比特流中信令通知第一变量。在方法3000的一些实施例中,响应于第一变量不存在于比特流中,five_minus_max_num_affine_merge_cand推断为K。
图31是视频处理的示例方法(3100)的流程图。操作3102包括,通过符合处理规则执行视频的视频区域和视频区域的比特流之间的转换,其中,由于视频是4:2:2视频或4:4:4视频,处理规则适用于转换,其中,处理规则定义色度和亮度对齐以下一个或多个:(a)自适应环路滤波器(ALF)操作的虚拟边界和编解码树块(CTB)的底边界之间的像素行的数量;或者(b)用于ALF操作的虚拟边界和CTB的底边界之间的行的滤波器的滤波强度;或者(c)用于在同一行中填充亮度和色度样点的填充方法。
在方法3100的一些实施例中,处理规则规定,垂直位置和/或水平位置对齐用于ALF操作的色度分量和亮度分量之间的虚拟边界。在方法3100的一些实施例中,其中,处理规则规定,响应于用于亮度分量的虚拟边界的垂直位置(vbPosY)等于(CtbSizeY-S),用于色度分量的虚拟边界的垂直位置vbPosC等于(CtbSizeY-S)/SubHeightC。在方法3100的一些实施例中,处理规则规定,响应于用于亮度分量的虚拟边界的水平位置(vbPosY)等于(CtbSizeY-S),用于色度分量的虚拟边界的水平位置(vbPosC)等于(CtbSizeY-S)/SubWidthC。在方法3100的一些实施例中,其中,CtbSizeY是每个编解码树单元(CTU)的亮度CTB尺寸,其中,S是整数,其中,SubHeightC和/或SubWidthC的值为1或2。在方法3100的一些实施例中,处理规则规定,用于填充虚拟边界的垂直位置和/或水平位置附近的色度分量的K行和/或H列的填充方法与用于亮度分量的填充方法对齐,其中Yc是垂直或水平色度样点位置。在方法3100的一些实施例中,其中,Yc等于色度分量的虚拟边界的垂直或水平位置。
在方法3100的一些实施例中,其中,上方或左方的K个不可用行被填充,或者其中,虚拟边界的下方或右方的对应K个不可用行中的K行被填充,或者其中,虚拟边界的下方或右方的对应K个可用行中的K个行被填充。在方法3100的一些实施例中,其中,使用虚拟边界填充上方K个不可用行。在方法3100的一些实施例中,其中,第一行的样点位于虚拟边界的紧邻上方,其中,在第一行紧邻上方的第二行的样点被设置为等于第一行的样点,并且其中,在第一行上面两行的第三行的样点被设置为等于第一行的样点。在方法3100的一些实施例中,其中,使用虚拟边界填充K行。在方法3100的一些实施例中,其中,第一行的样点位于虚拟边界的紧邻下方,其中,在第一行紧邻下方的第二行的样点被设置为等于第一行的样点,并且其中,在第一行下面两行的第三行的样点被设置为等于第一行的样点。
在方法3100的一些实施例中,其中,下方或右方的K个不可用行被填充,或者其中,对应于虚拟边界的上方或左方的对应K个不可用行中的K个行被填充,或者其中,对应于虚拟边界的上方或左方的对应K个可用行中的K个行被填充。在方法3100的一些实施例中,其中,Yc等于用于色度分量的虚拟边界的垂直或水平位置减M,其中M是整数。在方法3100的一些实施例中,其中,下方或右方的K个不可用行被填充,并且其中,虚拟边界的上方或左方的对应K个不可用行中的K行被填充,或者其中,虚拟边界的上方或左方的对应K个可用行中的K个行被填充。在方法3100的一些实施例中,其中,响应于M等于1,使用虚拟边界填充下方K个不可用行。在方法3100的一些实施例中,其中,第一行的样点位于虚拟边界的紧邻下方,其中,在第一行紧邻下方的第二行的样点被设置为等于第一行的样点,并且其中,在第一行下面两行的第三行的样点被设置为等于第一行的样点。在方法3100的一些实施例中,其中,响应于M等于1,使用虚拟边界填充对应K个不可用行或对应K个可用行。在方法3100的一些实施例中,其中,第一行的样点位于虚拟边界的紧邻上方,其中,在第一行紧邻上方的第二行的样点被设置为等于第一行的样点,并且其中,在第一行上面两行的第三行的样点被设置为等于第一行的样点。
在方法3100的一些实施例中,其中,响应于M大于或等于2,使用虚拟边界上方的最下方行填充下方的K个不可用行。在方法3100的一些实施例中,其中,第一行样点位于虚拟边界上方两行的行,其中,位于虚拟边界紧邻下方第二行的样点等于来自第一行的样点。在方法3100的一些实施例中,其中,响应于M大于或等于2,使用在虚拟边界上方的最下方行的对应行填充对应K个不可用行或对应K个可用行。在方法3100的一些实施例中,其中,第一行样点位于虚拟边界上方两行的行,其中,位于第一行上方两行的第二行的样点等于来自第一行的样点。在方法3100的一些实施例中,Yc等于色度分量的虚拟边界的垂直或水平位置加N,其中N是整数。在方法3100的一些实施例中,其中,上方或左方的K个不可用行被填充,并且其中,虚拟边界的下方或右方的对应K个不可用行中的K行被填充,或者其中,虚拟边界的下方或右方的对应K个可用行中的K个行被填充。在方法3100的一些实施例中,其中,使用虚拟边界填充上方K个不可用行。
在方法3100的一些实施例中,其中,第一行的样点位于虚拟边界的下方两行,并且其中,位于虚拟边界紧邻上方的第二行的样点等于来自第一行的样点。在方法3100的一些实施例中,其中,使用虚拟边界填充对应K个不可用行或对应K个可用行。在方法3100的一些实施例中,其中,第一行样点位于虚拟边界下方两行,并且其中,位于第一行下方两行的第二行的样点等于来自第一行的样点。在方法3100的一些实施例中,其中,处理规则规定,用于虚拟边界的垂直位置或水平位置附近的色度分量的M行或N列的第一滤波强度与用于亮度分量的第二滤波强度对齐,其中,用于亮度分量的第二滤波强度与用于色度分量的第一滤波强度分别由alfShiftY和alfShiftC控制,并且其中,Yc是垂直或水平色度样点位置。在方法3100的一些实施例中,其中,当Yc==vbPosC–M时,alfShiftC=T1,当Yc!=vbPosC–M时,alfShiftC=T2,其中,vbPosC是用于色度分量的虚拟边界的水平位置。在方法3100的一些实施例中,T1=10,并且T2=7。在方法3100的一些实施例中,其中,当Yc==vbPosC+M(e.g.,M=0,1)时,alfShiftC=T1,当Yc!=vbPosC+M时,alfShiftC=T2,其中,vbPosC是用于色度分量的虚拟边界的水平位置。在方法3100的一些实施例中,T1=10,并且T2=7。
在方法2300-3100的一些实施例中,执行转换包括编码视频到比特流中。在方法2300-3100的一些实施例中,执行转换包括从视频生成比特流,并且方法还包括将比特流存储在非暂时性计算机可读记录介质中。在方法2300-3100的一些实施例中,执行转换包括从比特流解码视频。在一些实施例中,视频解码装置包括被配置为实现方法2300-3100和相关实施例的操作的处理器。在一些实施例中,视频编码装置包括被配置为实现方法2300-3100和相关实施例的操作的处理器。在一些实施例中,其上具有计算机指令的计算机程序产品,当指令由处理器执行时,使处理器实现方法2300-3100和相关实施例的操作。在一些实施例中,存储有由视频处理设备执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,该方法包括:从视频的视频区域生成比特流,其中比特流符合格式规则,格式规则规定,在比特流中在视频条带级别和/或在视频图片级别指示关于工具对于转换的适用性的信息,并且其中,工具将亮度样点映射到特定值并且选择性地对色度样点的值应用缩放操作。在一些实施例中,存储指令的非暂时性计算机可读存储介质使处理器实现方法2300-3100和相关实施例的操作。在一些实施例中,一种比特流生成方法,包括:根据方法2300-3100和相关实施例的操作生成视频的比特流,以及将比特流存储在计算机可读程序介质上。在一些实施例中,一种方法、设备和根据本文中公开的方法或描述的系统生成的比特流。
在本文中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示转换为对应的比特流表示期间应用,反之亦然。例如,如语法所定义的,当前视频块的比特流表示可以对应于在比特流内共位的或分布在不同位置的比特。例如,宏块可以根据变换和编解码的误差残差值进行编码,并且还可以在比特流中的标头和其他字段中使用比特。此外,如以上解决方案中所描述的,在转换过程中,解码器可以基于该确定在了解某些字段可能存在或不存在的情况下解析比特流。类似地,编码器可确定包括或不包括某些语法字段,并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。
本专利文档中描述的公开和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现,包括本说明书中所公开的结构及其结构等效体,或其中一个或多个的组合。本说明书中公开的内容和其他实施例可以实施为一个或多个计算机程序产品,即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本组件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动硬盘;磁光盘;以及CDROM和DVDROM盘。处理器和存储器可以由专用逻辑电路来补充,或合并到专用逻辑电路中。
虽然本专利文件包含许多细节,但不应将其解释为对任何发明或权利要求范围的限制,而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中移除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管附图中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (29)

1.一种视频处理方法,包括:
执行视频的视频单元和所述视频的比特流之间的转换,
其中,所述比特流符合格式规则,并且
其中,所述格式规则规定,响应于所述视频单元是否或如何被分割成条带,指示是否跨条带边界执行环路滤波操作的语法元素被选择性地包括在所述比特流中。
2.根据权利要求1所述的方法,其中,所述视频单元包括图片。
3.根据权利要求1所述的方法,其中,所述视频单元包括子图片。
4.根据权利要求1-3任一所述的方法,其中,所述语法元素在图片参数集中。
5.根据权利要求1所述的方法,其中,所述规则规定,响应于所述视频单元仅被分割成一个条带,所述语法元素不被包括在所述比特流中。
6.根据权利要求1所述的方法,其中,所述规则规定,响应于所述视频单元的每个子图片仅被分割成一个条带,所述语法元素不被包括在所述比特流中。
7.根据权利要求1所述的方法,其中,所述规则规定,响应于所述视频单元的每个子图片仅被分割成一个条带,所述语法元素被包括在所述比特流中。
8.根据权利要求7所述的方法,其中,所述规则规定,响应于规定每个子图片由有且仅有一个矩形条带组成的第一标志等于1,所述语法元素被包括在所述比特流中。
9.根据权利要求8所述的方法,其中,所述第一标志是single_slice_per_subpic_flag。
10.根据权利要求8所述的方法,其中,所述第一标志在图片参数集中。
11.根据权利要求1所述的方法,其中,所述规则规定,响应于所述视频单元包括被分割成非矩形形状的图片,所述语法元素被包括在所述比特流中。
12.根据权利要求11所述的方法,其中,所述规则规定,响应于规定每个图片采用格栅扫描条带模式的第二标志等于0,所述语法元素被包括在所述比特流中。
13.根据权利要求12所述的方法,其中,所述格栅扫描条带模式是非矩形条带模式。
14.根据权利要求12所述的方法,其中,所述第二标志是rect_slice_flag。
15.根据权利要求12所述的方法,其中,所述第二标志在图片参数集中。
16.根据权利要求1所述的方法,其中,所述规则规定,响应于所述视频单元包括被分割成矩形形状的图片且所述视频单元的条带的数量等于1,所述语法元素不被包括在所述比特流中。
17.根据权利要求1所述的方法,其中,所述规则规定,响应于所述比特流包括指示是否存在作为约束的每个图片一个条带的语法元素的零值,所述语法元素被包括在所述比特流中。
18.根据权利要求1所述的方法,其中,所述规则规定,响应于所述比特流包括指示是否存在作为约束的每个图片一个条带的语法元素的一值,所述语法元素被设置等于零并被包括在所述比特流中。
19.根据权利要求1-18任一所述的方法,其中,所述环路滤波操作包括去方块滤波操作、样点自适应偏移操作或自适应环路滤波操作中的至少一个。
20.根据权利要求1-19任一所述的方法,其中,所述执行所述转换包括将所述视频编码到所述比特流中。
21.根据权利要求1-19任一所述的方法,其中,所述执行所述转换包括从所述视频生成所述比特流,并且所述方法还包括将所述比特流存储在非暂时性计算机可读记录介质中。
22.根据权利要求1-19任一所述的方法,其中,所述执行所述转换包括从所述比特流中解码所述视频。
23.一种视频解码设备,包括被配置为实现根据权利要求1-22中一个或多个所述方法的处理器。
24.一种视频编码设备,包括被配置为实现根据权利要求1-22中一个或多个所述方法的处理器。
25.一种其上具有计算机指令的计算机程序产品,其中,所述指令在被处理器执行时,使所述处理器实现根据权利要求1-22中任一所述的方法。
26.一种非暂时性计算机可读记录介质,存储有由视频处理设备执行的方法生成的视频的比特流,其中,所述方法包括:
从所述视频的视频单元中生成所述比特流;
其中,所述比特流符合格式规则,并且
其中,所述格式规则规定,响应于所述视频单元是否或如何被分割成条带,指示是否跨条带边界执行环路滤波操作的语法元素被选择性地包括在所述比特流中。
27.一种其上存储有指令的非暂时性计算机可读存储介质,其中,所述指令使处理器实现根据权利要求1-22中任一所述的方法。
28.一种比特流生成方法,包括:
根据权利要求1-22任一所述的方法生成视频的比特流,以及
将所述比特流存储到计算机可读程序介质中。
29.方法、设备和根据本文件中公开的方法或描述的系统生成的比特流。
CN202180014774.8A 2020-02-14 2021-02-09 环路滤波和视频条带之间的相互作用 Pending CN115211126A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2020075216 2020-02-14
CNPCT/CN2020/075216 2020-02-14
PCT/CN2021/076255 WO2021160126A1 (en) 2020-02-14 2021-02-09 Interplay between in-loop filtering and video slices

Publications (1)

Publication Number Publication Date
CN115211126A true CN115211126A (zh) 2022-10-18

Family

ID=77292662

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202180014785.6A Pending CN115362682A (zh) 2020-02-14 2021-02-09 视频比特流中编解码信息的信令通知
CN202180014736.2A Pending CN115211108A (zh) 2020-02-14 2021-02-09 环路滤波和视频片之间的相互作用
CN202180014774.8A Pending CN115211126A (zh) 2020-02-14 2021-02-09 环路滤波和视频条带之间的相互作用

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202180014785.6A Pending CN115362682A (zh) 2020-02-14 2021-02-09 视频比特流中编解码信息的信令通知
CN202180014736.2A Pending CN115211108A (zh) 2020-02-14 2021-02-09 环路滤波和视频片之间的相互作用

Country Status (7)

Country Link
US (3) US11825123B2 (zh)
EP (2) EP4091329A4 (zh)
JP (2) JP7401689B2 (zh)
KR (2) KR20220130149A (zh)
CN (3) CN115362682A (zh)
BR (1) BR112022016130A2 (zh)
WO (3) WO2021160125A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR121127A1 (es) * 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de información de imagen de referencia en un flujo de bits de video
TWI761166B (zh) * 2020-04-01 2022-04-11 聯發科技股份有限公司 圖像和視訊編解碼中發信切片分割資訊之方法和裝置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101232780B1 (ko) * 2006-01-12 2013-09-03 (주)휴맥스 통합 코덱 장치 및 방법
WO2008123709A1 (en) * 2007-04-04 2008-10-16 Humax Co., Ltd. Bitstream decoding device and method having decoding solution
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9648317B2 (en) * 2012-01-30 2017-05-09 Qualcomm Incorporated Method of coding video and storing video content
WO2013144144A1 (en) * 2012-03-30 2013-10-03 Panasonic Corporation Syntax and semantics for adaptive loop filter and sample adaptive offset
US9706200B2 (en) * 2012-06-18 2017-07-11 Qualcomm Incorporated Unification of signaling lossless coding mode and pulse code modulation (PCM) mode in video coding
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US9936207B2 (en) 2013-10-14 2018-04-03 Qualcomm Incorporated Indication of parallel processing in video coding
US20160165238A1 (en) * 2014-12-09 2016-06-09 Vixs Systems Inc. Neighbor tile buffering for deblock filtering across tile boundaries
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
WO2019103126A1 (en) * 2017-11-22 2019-05-31 Sharp Kabushiki Kaisha Systems and methods for signaling tile structures for pictures of coded video
US10841602B2 (en) * 2018-07-16 2020-11-17 Tencent America LLC Hierarchical tiles
US11284114B2 (en) * 2019-04-23 2022-03-22 Qualcomm Incorporated Adaptive loop filter set index signaling
US11363307B2 (en) * 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
GB2590632B (en) * 2019-12-20 2023-07-26 Canon Kk Video coding and decoding
JP2023513788A (ja) 2020-02-14 2023-04-03 エルジー エレクトロニクス インコーポレイティド フィルタ利用可能情報を選択的にシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
AR121127A1 (es) * 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de información de imagen de referencia en un flujo de bits de video
WO2021197447A1 (en) * 2020-04-01 2021-10-07 Beijing Bytedance Network Technology Co., Ltd. Controlling quantization parameter delta signaling
US11503342B2 (en) * 2020-06-10 2022-11-15 Sharp Kabushiki Kaisha Systems and methods for signaling sequence parameter information in video coding

Also Published As

Publication number Publication date
EP4091329A1 (en) 2022-11-23
BR112022016130A2 (pt) 2022-10-04
EP4091329A4 (en) 2023-04-12
WO2021160126A1 (en) 2021-08-19
JP7401689B2 (ja) 2023-12-19
CN115211108A (zh) 2022-10-18
WO2021160128A1 (en) 2021-08-19
US11825123B2 (en) 2023-11-21
JP2023513710A (ja) 2023-04-03
WO2021160125A1 (en) 2021-08-19
US20220394250A1 (en) 2022-12-08
US20220394306A1 (en) 2022-12-08
EP4091321A1 (en) 2022-11-23
KR20220138052A (ko) 2022-10-12
JP7469488B2 (ja) 2024-04-16
US20240073457A1 (en) 2024-02-29
EP4091321A4 (en) 2023-04-12
KR20220130149A (ko) 2022-09-26
CN115362682A (zh) 2022-11-18
JP2023513708A (ja) 2023-04-03

Similar Documents

Publication Publication Date Title
US20230118260A1 (en) Subpicture dependent signaling in video bitstreams
US20240098260A1 (en) Sample Determination For Adaptive Loop Filtering
US20240048699A1 (en) Interplay between subpictures and in-loop filtering
CN114208174B (zh) 预测过程中的调色板模式编解码
CN114631313A (zh) 使用亮度差值的跨分量自适应环路滤波器
US20240129462A1 (en) Cross-component adaptive loop filter
US20240048735A1 (en) Cross-component adaptive loop filter
KR20220066897A (ko) 비디오 비트스트림에서의 서브픽처 시그널링을 위한 신택스
US11683488B2 (en) Adaptive loop filtering between different video units
US11825123B2 (en) Interplay between in-loop filtering and video tiles
CN115066899A (zh) 编解码视频的可分二次变换处理
RU2815441C2 (ru) Способ заполнения отсчетов при адаптивной контурной фильтрации
CN117882370A (zh) 视频编解码中的自适应环路滤波器的高级融合模式
CN117882371A (zh) 视频编解码中的自适应环路滤波器的融合模式
CN117813823A (zh) 视频编解码中自适应环路滤波器的改进融合模式
CN118120232A (zh) 视频编解码中的双边滤波
CN117597928A (zh) 视频编解码中的高级双边滤波器
CN115462085A (zh) 视频编解码中滤波的高级控制
CN117716690A (zh) 自适应双边滤波器的使用条件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination