CN114303383A - 帧内编解码中的子分割 - Google Patents

帧内编解码中的子分割 Download PDF

Info

Publication number
CN114303383A
CN114303383A CN202080061155.XA CN202080061155A CN114303383A CN 114303383 A CN114303383 A CN 114303383A CN 202080061155 A CN202080061155 A CN 202080061155A CN 114303383 A CN114303383 A CN 114303383A
Authority
CN
China
Prior art keywords
block
codec
transform
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080061155.XA
Other languages
English (en)
Other versions
CN114303383B (zh
Inventor
张凯
张莉
刘鸿彬
邓智玭
张娜
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202311686113.7A priority Critical patent/CN117676167A/zh
Publication of CN114303383A publication Critical patent/CN114303383A/zh
Application granted granted Critical
Publication of CN114303383B publication Critical patent/CN114303383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了与视频处理有关的方法、设备和系统。在一个示例方面，一种视频处理的方法包括：使用帧内子块分割(ISP)模式在视频的当前图片的块和视频的编解码表示之间执行转换。使用ISP模式基于当前图片中的样点，使用帧内预测处理为每个子分割确定预测。块被分割成多个子分割，多个子分割包括具有与块的左上角位置相同的左上角位置的第一子分割。

Description

帧内编解码中的子分割
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求2019年8月30日提交的国际专利申请No.PCT/CN2019/103762的优先权和权益。出于法律的所有目的，将前述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。
技术领域
该专利文件涉及视频编码和解码。
背景技术
尽管视频压缩取得了进步，但在互联网和其他数字通信网络中，数字视频仍占用最大带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。
发明内容
与数字视频编解码有关的设备、系统和方法，特别是与视频和图像编解码和解码有关的设备、系统和方法，其中帧内子分割模式用于视频块的编解码或解码。
在一个示例方面，公开了一种视频处理方法。该方法包括：使用帧内子块分割(ISP)模式在视频的当前图片的块和所述视频的编解码表示之间执行转换。使用所述ISP模式，基于所述当前图片中的样点，使用帧内预测处理为每个子分割确定预测。所述块被分割成多个子分割，所述多个子分割包括具有与所述块的左上角位置相同的左上角位置的第一子分割。
在另一个示例方面，公开了一种视频处理方法。该方法包括：对于视频的块和所述视频的编解码表示之间的转换，基于规则确定是否启用广角帧内预测模式映射。所述广角预测模式是参考样点和要预测样点相对于左上方向形成钝角的模式。所述规则指定在启用编解码工具以进行所述块的所述转换的情况下使用预测单元的维度进行确定。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了一种视频处理方法。该方法包括：在视频的视频区域的编解码单元和所述视频的编解码表示之间执行转换。所述编解码单元被分割为一个或多个分割，且使用通过所述一个或多个分割中的每个分割的帧内预测处理获得的量化残差信号来将所述编解码单元编码在所述编解码表示中。所述编解码表示包括指示用于量化的量化参数的语法元素。对于所述编解码单元，所述编解码表示最多包含一次所述语法元素，且指示所述量化参数的值与基于所述视频的先前处理的编解码单元的另一个量化值的差。
在另一个示例方面，公开了一种视频处理方法。该方法包括：对于包含一个或多个分割的视频块与使用帧内子块分割(ISP)模式的所述视频的编解码表示之间的转换，基于所述块的特性或所述ISP模式确定在编码期间是否跳过变换操作或者在解码期间是否跳过逆变换操作。使用所述ISP模式，基于当前图片中的样点，使用帧内预测处理对每个子分割确定预测。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了一种视频处理方法。该方法包括：对于包括一个或多个分割的视频块和所述视频的编解码表示之间的转换，基于是否将帧内子块分割(ISP)模式用于所述转换确定在所述转换期间使用的变换类型。使用所述ISP模式，基于当前图片中的样点、使用帧内预测处理为每个子分割确定预测。所述转换包括：在编码期间在编解码表示中编码之前应用变换，或者在重构所述块的样点值之前将所述变换的逆变换应用于从所述编解码表示解析的系数值。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了一种视频处理方法。该方法包括：对于包含一个或多个分割的视频块与所述视频的编解码表示之间的转换，基于是否对所述块应用无损编解码处理来确定帧内子块分割(ISP)模式的限制。使用所述ISP模式，基于当前图片中的样点，使用帧内预测处理对每个子分割确定预测。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了一种视频处理方法。该方法包括：根据规则执行视频的视频区域的编解码单元与所述视频的编解码表示之间的转换，其中，将所述编解码单元划分为多个变换单元。所述规则指定所述编解码单元的量化参数(QP)与所述多个变换单元中的一个或多个的量化参数之间的关系。
在另一个示例方面，公开了一种视频处理方法。该方法包括：对于视频区域和所述视频区域的编解码表示之间的转换，基于与边缘有关的变换单元的量化参数(QP)，确定是否和/或如何将去方块滤波器应用于边缘，其中，所述视频区域包括一个或多个编解码单元和一个或多个变换单元。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了一种视频处理方法。该方法包括：对于包括一个或多个子分割的视频单元与视频单元的编解码表示之间的转换，确定该转换是使用帧内子块分割模式；并基于该确定执行转换，使得帧内预测处理用于一个或多个子分割中的每一个的转换。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：在不使用视频块的编解码单元尺寸的情况下，基于编解码工具的适用性和/或视频块的预测单元的尺寸，来确定是否在视频块和视频块的编解码表示之间的转换期间使用广角帧内预测映射；以及基于确定结果执行转换。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：对于包括编解码单元的视频区域之间的转换，确定可适用于编解码单元的所有帧内子块分割和视频区域的编解码表示的转换的增量量化参数(增量QP)，其中编解码单元包括帧内子块分割；以及使用增量QP执行转换；其中，在编解码表示中为编解码单元信令通知增量QP。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：对于视频区域和视频区域的编解码表示之间的转换，基于视频区域中变换单元(TU)的QP来确定用于视频区域中的编解码单元(CU)的转换的量化参数(QP)；以及使用TU的QP和/或CU的QP执行转换。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：对于包括一个或多个编解码单元和一个或多个变换单元的视频区域之间的转换，基于边缘所属的变换单元，来确定是否将去方块滤波器应用于视频块的边缘以进行转换；以及基于确定执行转换。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：对于使用帧内子分割模式的视频块和视频块的编解码表示之间的转换，基于编解码块或预测块或变换块的维度来确定是否跳过了变换操作；以及基于确定执行转换。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：对于视频块和视频块的编解码表示之间的转换，基于是将帧内子分割模式还是无损编解码模式用于转换，来确定要应用的变换的类型；以及根据确定执行转换。
在另一个示例方面，公开了另一种视频处理方法。该方法包括：根据排他性规则在视频块和视频块的编解码表示之间执行转换，由于该排他性规则，将无损编解码模式用于转换或者将帧内子分割模式用于转换，其中编解码表示包括使用无损编解码模式或使用帧内子分割模式的指示。
在又一个代表性方面，上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。
在又一个代表性方面，公开了一种被配置为或可操作为执行上述方法的设备。该设备可以包括被编程为实现该方法的处理器。
在又一个代表性方面，视频解码器装置可以实现如本文所述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面以及特征。
附图说明
图1是示出帧内子分割的示例的框图。
图2是示出帧内子分割的示例的框图。
图3是用于视频处理的硬件平台的示例实现的框图。
图4是用于视频处理的示例方法的流程图。
图5是其中可以实现所公开的技术的示例视频处理系统的框图。
图6是根据本技术的用于视频处理的方法的流程图表示。
图7是根据本技术的用于视频处理的另一种方法的流程图表示。
图8是根据本技术的用于视频处理的另一种方法的流程图表示。
图9是根据本技术的用于视频处理的另一种方法的流程图表示。
图10是根据本技术的用于视频处理的另一种方法的流程图表示。
图11是根据本技术的用于视频处理的另一种方法的流程图表示。
图12是根据本技术的用于视频处理的另一种方法的流程图表示。
图13是根据本技术的用于视频处理的又一方法的流程图表示。
具体实施方式
本文档与视频编解码技术有关。具体而言，它涉及视频编解码中的帧内子分割预测。可以将其应用于诸如HEVC的现有视频/图像编解码标准，或者将被最终确定的标准(通用视频编解码)。它也可能适用于将来的视频编解码标准或视频编解码器。
所公开技术的实施例可以应用于现有的视频编解码标准(例如，HEVC、H.265)和将来的标准，以改善压缩性能。在本文档中使用节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限于相应节。
1.初步讨论
视频编解码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的VVC标准。
1.1帧内子分割(ISP)的示例实施例
在一些实施例中，如表1所示，ISP工具根据块尺寸维度将亮度帧内预测块垂直或水平地划分为2或4个子分割。图1和图2显示了这两种可能性的示例。图1示出了4×8和8×4块的划分的示例。图2示出了除4×8、8×4和4×4以外的所有块的划分的示例。并且所有子分割均满足具有至少16个样点的条件。
表1：取决于块尺寸的子分割数
块尺寸 子分割数
4×4 无划分
4×8和8×4 2
所有其他情况 4
对于这些子分割中的每个，通过对由编解码器发送的系数进行熵解码，然后对其进行逆量化和逆变换，来生成残差信号。然后，对该子分割进行帧内预测，并最终通过将残差信号与预测信号相加来获得相应的重构样点。因此，每个子分割的重构值将可用于生成下一个分割的预测，重复该处理，以此类推。所有子分割共享相同的帧内模式。
基于帧内模式和所利用的划分，使用两种不同类别的处理顺序，其被称为正常顺序和反向顺序。按照正常顺序，要处理的第一个子分割是包含CU左上样点的分割，然后继续向下(水平划分)或向右(垂直划分)。结果，用于生成子分割预测信号的参考样点仅位于行的左侧和上方。另一方面，反向处理顺序要么从包含CU左下样点的子分割开始，然后继续向上，要么从包含CU右上样点的子分割开始，然后继续向左。
与ISP相关的示例语法、语义和处理如下所示：
Figure BDA0003524413800000061
Figure BDA0003524413800000071
Figure BDA0003524413800000081
Figure BDA0003524413800000091
Figure BDA0003524413800000092
Figure BDA0003524413800000101
Figure BDA0003524413800000111
Figure BDA0003524413800000121
Figure BDA0003524413800000122
Figure BDA0003524413800000131
Figure BDA0003524413800000141
Figure BDA0003524413800000151
Figure BDA0003524413800000161
intra_subpartitions_mode_flag[x0][y0]等于1指定将当前帧内编解码单元分 割为NumIntraSubPartitions[x0][y0]个矩形变换块子分割。ntra_subpartitions_mode_ flag[x0][y0]等于0指定当前帧内编解码单元未被划分为矩形变换块子分割。
如果不存在intra_subpartitions_mode_flag[x0]][y0]，则推断其等于0。
intra_subpartitions_split_flag[x0]][y0]指定帧内子分割划分类型是水平还 是垂直。当不存在intra_subpartitions_split_flag[x0]][y0]时，可以如下推断：
-如果cbHeight大于MaxTbSizeY，则将intra_subpartitions_split_flag[x0]] [y0]推定为等于0。
–否则(cbWidth大于MaxTbSizeY)，则将intra_subpartitions_split_flag[x0]] [y0]推断为等于1。
变量IntraSubPartitionsSplitType指定用于当前亮度编解码块的划分类型，如 表7-16所示。IntraSubPartitionsSplitType的导出如下：
–如果intra_subpartitions_mode_flag[x0]][y0]等于0，则将 IntraSubPartitionsSplitType设置为0。
–否则，将IntraSubPartitionsSplitType设置为等于1+intra_subpartitions_ split_flag[x0][y0]。
表7-16–与IntraSubPartitionsSplitType的名称关联
<u>IntraSubPartitionsSplitType</u> <u>Name of IntraSubPartitionsSplitType</u>
<u>0</u> <u>ISP_NO_SPLIT</u>
<u>1</u> <u>ISP_HOR_SPLIT</u>
<u>2</u> <u>ISP_VER_SPLIT</u>
变量NumIntraSubPartitions指定帧内亮度编解码块被划分为的变换块子分割的 数量。NumIntraSubPartitions的导出如下：
–如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，则 NumIntraSubPartitions设置为等于1。
–否则，如果满足以下条件之一，则将NumIntraSubPartitions设置为等于2：
–cbWidth等于4，cbHeight等于8
–cbWidth等于8，cbHeight等于4。
–否则，将NumIntraSubPartitions设置为等于4。
8.4.5帧内块的解码处理
8.4.5.1帧内块的常规解码处理
此处理的输入是：
–指定相对于当前图片的左上样点的当前变换块的左上样点的样点位置(xTb0，yTb0)，
–变量nTbW，指定当前变换块的宽度，
–变量nTbH，指定当前变换块的高度，
–变量predModeIntra，指定帧内预测模式，
–变量cIdx，指定当前块的颜色分量。
此处理的输出是环路滤波之前的修改的重构图片。
最大变换块的宽度maxTbWidth和高度maxTbHeight的导出如下：
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC (8-41)
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC (8-42)
亮度样点位置的导出如下：
(xTbY,yTbY)＝(cIdx＝＝0)？(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC)(8-43)
根据maxTbSize，以下条件适用：
–如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，并且nTbW大于maxTbWidth或nTbH大于maxTbHeight，则适用以下有序步骤：
1.变量newTbW和newTbH的导出如下：
newTbW＝(nTbW>maxTbWidth)？(nTbW/2):nTbW (8-44)
newTbH＝(nTbH>maxTbHeight)？(nTbH/2):nTbH (8-45)
2.以位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
3.如果nTbW大于maxTbWidth，则以设置为等于(xTb0+newTbW，yTb0)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
4.如果nTbH大于maxTbHeight，则以设置为等于(xTb0，yTb0+newTbH)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
5.如果nTbW大于maxTbWidth并且nTbH大于maxTbHeight，则以设置为等于(xTb0+newTbW，yTb0+newTbH)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
–否则，适用以下有序步骤：
–变量nW、nH、nPbW、pbFactor、xPartInc和yPartInc的导出如下：
nW＝IntraSubPartitionsSplitType＝＝ISP_VER_SPLIT？
nTbW/NumIntraSubPartitions:nTbW (8-46)
nH＝IntraSubPartitionsSplitType＝＝ISP_HOR_SPLIT？
nTbH/NumIntraSubPartitions:nTbH (8-47)
xPartInc＝ISP_VER_SPLIT？1:0 (8-48)
yPartInc＝ISP_HOR_SPLIT？1:0 (8-49)
nPbW＝Max(4,nW) (8-50)
pbFactor＝nPbW/nW (8-51)
–变量xPartIdx和yPartIdx设置为等于0。
–对于i＝0..NumIntraSubPartitions-1，适用以下条件：
1.变量xPartIdx和yPartIdx更新如下：
xPartIdx＝xPartIdx+xPartInc (8-52)
yPartIdx＝yPartIdx+yPartInc (8-53)
xPartPbIdx＝xPartIdx％pbFactor (8-54)
2.当xPartPbIdx等于0时，以设置为等于(xTb0+nW＊xPartIdx，yTb0+nH＊ yPartIdx)的位置(xTbCmp，yTbCmp)、帧内预测模式predModeIntra、设置为等于nPbW和nH的 变换块宽度nTbW和高度nTbH、设置为等于nTbW和nTbH的编解码块宽度nCbW和高度nCbH和变 量cIdx用作输入，调用第8.4.5.2节中指定的帧内样点预测处理，并且输出为(nW)x(nH)阵 列resSamples。
3.以设置为等于(xTbY+nW*xPartIdx，yTbY+nH*yPartIdx)的亮度位置(xTbY，yTbY)、变量cIdx、设置为等于nW和nH的变换宽度nTbW和变换高度nTbH作为输入，调用第8.7.2节中指定的缩放和变换处理，并且输出为(nW)x(nH)阵列resSamples。
4.以设置为等于(xTb0+nW*xPartIdx，yTb0+nH*yPartIdx)的变换块位置(xTbComp，yTbComp)、设置为等于nW和nH的变换块宽度nTbW和变换块高度nTbH、变量cIdx、(nW)x(nH)阵列predSamples[x][y](其中x＝xPartPbIdx*nW..(xPartPbIdx+1)*nW-1,y＝0..nH-1)、以及(nW)x(nH)阵列resSamples作为输入，调用第8.7.5节中指定的颜色分量的图片重构处理，并且输出是在环路滤波之前的修改的重构图片。
8.4.5.2.5常规帧内样点预测
此处理的输入是：
–指定相对于当前图片的左上样点的当前变换块的左上样点的样点位置(xTbCmp，yTbCmp)，
–变量predModeIntra，指定帧内预测模式，
–变量nTbW，指定变换块的宽度，
–变量nTbH，指定变换块的高度，
–变量nCbW，指定编解码块的宽度，
–变量nCbH，指定编解码块的高度，
–变量cIdx，指定当前块的颜色分量。
此处理的输出是预测样点predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。
变量refW和refH的导出如下：
–如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT或cIdx不等于0，则适用 以下条件：
refW＝nTbW＊2 (8-118)
refH＝nTbH＊2 (8-119)
–否则(IntraSubPartitionsSplitType不等于ISP_NO_SPLIT且cIdx等于0)，适用 以下条件：
refW＝nCbW+nTbW (8-120)
refH＝nCbH+nTbH (8-121)
指定帧内预测参考线索引的变量refIdx导出如下：
refIdx＝(cIdx＝＝0)？IntraLumaRefLineIdx[xTbCmp][yTbCmp]:0(8-122)
将predModeIntra、nTbW、nTbH和cIdx作为输入并使用修改的predModeIntra作为输出，来调用第8.4.5.2.6节中指定的广角帧内预测模式映射处理。
变量refFilterFlag的导出如下：
–如果predModeIntra等于以下值之一：0，-14，-12，-10，-6，2，34，66，72，76，78，80，则将refFilterFlag设置为等于1。
–否则，将refFilterFlag设置为等于0。
对于参考样点p[x][y](其中x＝-1-refIdx，y＝-1-refIdx..refH-1)的生成，则适用以下有序步骤：
1.以样点位置(xTbCmp，yTbCmp)、帧内预测参考线索引refIdx、参考样点宽度refW、参考样点高度refH、颜色分量索引cIdx作为输入，并且以参考样点refUnfilt[x][y](其中x＝-1-refIdx,y＝-1-refIdx..refH-1且x＝-refIdx..refW-1,y＝-1–refIdx)作为输出，调用第8.4.5.2.7节中指定的参考样点可用性标记处理。
2.当至少一个样点refUnfilt[x][y](其中x＝-1-refIdx，y＝-1-refIdx..refH-1且x＝-refIdx..refW-1，y＝-1–refIdx)被标记为“不可用于帧内预测”，则以帧内预测参考线索引refIdx、参考样点宽度refW、参考样点高度refH、参考样点refUnfilt[x][y](其中x＝-1-refIdx,y＝-1-refIdx..refH-1且x＝-refIdx..refW-1,y＝-1–refIdx)、以及颜色分量索引cIdx作为输入，以修改后的参考样点refUnfilt[x][y](其中x＝-1-refIdx,y＝-1-refIdx..refH-1且x＝-refIdx..refW-1,y＝-1–refIdx)作为输出，调用第8.4.5.2.8节中指定的参考样点替换处理。
3.以帧内预测参考线索引refIdx、变换块宽度nTbW和高度nTbH、参考样点宽度refW、参考样点高度refH、参考滤波器标志refFilterFlag、未滤波的样点refUnfilt[x][y](其中x＝-1-refIdx,y＝-1-refIdx..refH–1且x＝-refIdx..refW-1,y＝-1–refIdx)、以及颜色分量索引cIdx作为输入，并以参考样点p[x][y](其中x＝-1-refIdx,y＝-1-refIdx..refH–1且x＝-refIdx..refW-1,y＝-1–refIdx)作为输出，调用第8.4.5.2.9节中指定的参考样点滤波处理滤波处理。
根据predModeIntra的帧内样点预测处理如下所示：
–如果predModeIntra等于INTRA_PLANAR，则以变换块宽度nTbW、变换块高度nTbH和参考样点阵列p作为输入，调用第8.4.5.2.10节中指定的相应帧内预测模式处理，并且输出是预测样点阵列predSamples。
–否则，如果predModeIntra等于INTRA_DC，则以变换块宽度nTbW、变换块高度nTbH、帧内预测参考线索引refIdx和参考样点阵列p作为输入，调用第8.4.5.2.11节中指定的相应帧内预测模式处理，并且输出是预测样点阵列predSamples。
–否则，如果predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM，则以帧内预测模式predModeIntra、设置为等于(xTbCmp，yTbCmp)的样点位置(xTbC，yTbC)、变换块宽度nTbW和高度nTbH、颜色分量索引cIdx和参考样点阵列p作为输入调用第8.4.5.2.13节中指定的相应帧内预测模式处理，并且输出是预测样点阵列predSamples。
–否则，以帧内预测模式predModeIntra、帧内预测参考线索引refIdx、变换块宽度nTbW、变换块高度nTbH、参考样点宽度refW、参考样点高度refH、编解码块宽度nCbW和高度nCbH、参考滤波器标志refFilterFlag、颜色分量索引cIdx和参考样点阵列p作为输入，调用第8.4.5.2.12节中指定的相应帧内预测模式处理，并且输出是预测样点阵列predSamples。
当满足以下所有条件时，将以帧内预测模式predModeIntra、变换块宽度nTbW、变换块高度nTbH、预测样点predSamples[x][y](其中x＝0..nTbW-1,y＝0..nTbH–1)、参考样点宽度refW、参考样点高度refH、参考样点p[x][y](其中x＝-1，y＝-1..refH-1和x＝0..refW-1，y＝-1)、以及并且颜色分量索引cIdx作为输入，调用第8.4.5.2.14节中指定的与位置有关的预测样点滤波处理，并且输出是修改后的预测样点阵列predSamples：
–nTbW大于或等于4且nTbH大于或等于4或cIdx不等于0
–refIdx等于0或cIdx不等于0
–BdpcmFlag[xTbCmp][xTbCmp]等于0
–满足以下条件之一：
–predModeIntra等于INTRA_PLANAR
–predModeIntra等于INTRA_DC
–predModeIntra小于或等于INTRA_ANGULAR18
–predModeIntra小于或等于INTRA_ANGULAR50
8.4.5.2.6广角帧内预测模式映射处理
此处理的输入是：
–变量predModeIntra，指定帧内预测模式，
–变量nTbW，指定变换块的宽度，
–变量nTbH，指定变换块的高度，
–变量cIdx，指定当前块的颜色分量。
此处理的输出是修改后的帧内预测模式predModeIntra。
此处理的输出是修改后的帧内预测模式predModeIntra。
变量nW和nH的导出如下：
–如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT或cIdx不等于0，则适用 以下条件：
nW＝nTbW (8-123)
nH＝nTbH (8-124)
–否则(IntraSubPartitionsSplitType不等于ISP_NO_SPLIT且cIdx等于0)，适用 以下条件：
nW＝nCbW (8-125)
nH＝nCbH (8-126)
变量whRatio设置为等于Abs(Log2(nW/nH))。
对于非正方形块(nW不等于nH)，将帧内预测模式predModeIntra修改如下：
–如果满足以下所有条件，则predModeIntra设置为等于(predModeIntra+65)。
–nW大于nH
–predModeIntra大于或等于2
–-predModeIntra小于(whRatio>1)？(8+2*whRatio):8
–否则，如果满足以下所有条件，则将predModeIntra设置为等于(predModeIntra-67)。
–nH大于nW
–predModeIntra小于或等于66
-predModeIntra是否大于(whRatio>1)？(60-2*whRatio):60
8.7.4缩放的变换系数的变换处理
8.7.4.1概述
此处理的输入是：
–指定当前亮度变换块的左上样点相对于当前图片的左上亮度样点的亮度位置(xTbY，yTbY)，
–变量nTbW，指定当前变换块的宽度，
–变量nTbH，指定当前变换块的高度，
–变量cIdx，指定当前块的颜色分量，
–缩放的变换系数的(nTbW)x(nTbH)阵列d[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。
此处理的输出是(nTbW)x(nTbH)阵列r[x][y]的残差样点，其中x＝0..nTbW-1，y＝0..nTbH-1。
当lfnst_idx[xTbY][yTbY]不等于0并且nTbW和nTbH都大于或等于4时，则适用以下条件：
–变量predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize和nonZeroSize的导出如下：
predModeIntra＝(cIdx＝＝0)？IntraPredModeY[xTbY][yTbY]:IntraPredModeC[xTbY][yTbY] (8-965)
nLfnstOutSize＝(nTbW>＝8&&nTbH>＝8)？48:16 (8-966)
log2LfnstSize＝(nTbW>＝8&&nTbH>＝8)？3:2 (8-967)
nLfnstSize＝1<<log2LfnstSize (8-968)
nonZeroSize＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？8:16(8-969)
–当intra_mip_flag[xTbComp][yTbComp]等于1并且cIdx等于0时，predModeIntra设置为等于INTRA_PLANAR。
–当predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM时，predModeIntra设置为等于IntraPredModeY[xTbY+nTbW/2][yTbY+nTbH/2]。
–以predModeIntra、nTbW、nTbH和cIdx作为输入，并以修改的predModeIntra作为输出，调用第8.4.5.2.6节中指定的广角帧内预测模式映射处理。
–列表u[x](其中x＝0..nonZeroSize-1)的值导出如下：
xC＝DiagScanOrder[2][2][x][0](8-970)
yC＝DiagScanOrder[2][2][x][1](8-971)
u[x]＝d[xC][yC] (8-972)
–以缩放的变换系数的输入长度nonZeroSize、设置为等于nLfnstOutSize变换输出长度nTrS、缩放的非零变换系数的列表u[x](其中x＝0..nonZeroSize–1)、用于LFNST集选择的帧内预测模式predModeIntra，以及所选LFNST集中用于变换选择的LFNST索引lfnst_idx[xTbY][yTbY]作为输入，并将列表v[x](其中x＝0..nLfnstOutSize–1)作为输出，调用第8.7.4.2节中指定的一维低频不可分变换处理。
–阵列x[x][y](其中x＝0..nLfnstSize-1，y＝0..nLfnstSize-1)的导出如下：
–如果predModeIntra小于或等于34，则适用以下条件：
d[x][y]＝(y<4)？v[x+(y<<log2LfnstSize)]:((x<4)？v[32+x+((y-4)<<2)]:d[x][y]) (8-973)
–否则，适用以下条件：
d[x][y]＝(x<4)？v[y+(x<<log2LfnstSize)]:((y<4)？v[32+y+((x-4)<<2)]:d[x][y]) (8-974)
变量implicitMtsEnabled的导出如下：
–如果sps_mts_enabled_flag等于1，并且满足以下条件之一，则将implicitMtsEnabled设置为等于1：
–IntraSubPartitionsSplitType不等于ISP_NO_SPLIT
–cu_sbt_flag等于1并且Max(nTbW，nTbH)小于或等于32
–sps_explicit_mts_intra_enabled_flag等于0、且CuPredMode[0][xTbY][yTbY]等于MODE_INTRA、且lfnst_idx
Figure BDA0003524413800000241
[y0]等于0、且intra_mip_flag[x0][y0]等于0
–否则，将implicitMtsEnabled设置为等于0。
指定水平变换内核的变量trTypeHor和指定垂直变换内核的变量trTypeVer导出如下：
–如果cIdx大于0，则将trTypeHor和trTypeVer设置为等于0。
–否则，如果implicitMtsEnabled等于1，则适用以下条件：
–如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT或sps_explicit_mts_ intra_enabled_flag等于0且CuPredMode[0][xTbY][yTbY]等于MODE_INTRA，则trTypeHor 和trTypeVer的导出如下：
trTypeHor＝(nTbW>＝4&&nTbW<＝16)？1:0 (8-975)
trTypeVer＝(nTbH>＝4&&nTbH<＝16)？1:0 (8-976)
–否则(cu_sbt_flag等于1)，根据cu_sbt_horizontal_flag和cu_sbt_pos_flag在表8-15中指定trTypeHor和trTypeVer。
–否则，根据tu_mts_idx
Figure BDA0003524413800000251
[yTbY]在表8-14中指定trTypeHor和trTypeVer。
变量nonZeroW和nonZeroH的导出如下：
–如果lfnst_idx[xTbY][yTbY]不等于0且nTbW大于或等于4并且nTbH大于或等于4，则适用以下条件：
nonZeroW＝(nTbW＝＝4||nTbH＝＝4)？4:8 (8-977)
nonZeroH＝(nTbW＝＝4||nTbH＝＝4)？4:8 (8-978)
–否则，适用以下条件：
nonZeroW＝Min(nTbW,(trTypeHor>0)？16:32) (8-979)
nonZeroH＝Min(nTbH,(trTypeVer>0)？16:32) (8-980)
残差样点的(nTbW)x(nTbH)阵列r导出如下：
1.当nTbH大于1时，通过以变换块的高度nTbH、缩放的变换系数的非零高度nonZeroH、列表d[x][y](其中y＝0..nonZeroH–1)、以及设置为等于trTypeVer的变换类型变量trType作为输入，并且输出为列表e[x][y](其中y＝0..nTbH–1)，为每列x＝0..nonZeroW–1调用第8.7.4.4节中指定的一维变换处理，来将每(垂直)列的缩放的变换系数d[x][y](其中x＝0..nonZeroW-1，y＝0..nonZeroH-1)变换为e[x][y](其中x＝0..nonZeroW-1，y＝0..nTbH-1)。
2.当nTbH和nTbW均大于1时，中间样点值g[x][y](其中x＝0..nonZeroW-1，y＝0..nTbH-1)的导出如下：
g[x][y]＝Clip3(CoeffMin,CoeffMax,(e[x][y]+64)>>7) (8-981)
3.当nTbW大于1时，通过以变换块的宽度nTbW、结果阵列g[x][y]的非零宽度nonZeroW、阵列g[x][y](其中x＝0..nonZeroW–1)、以及设置为等于trTypeHor的变换类型变量trType作为输入，并且输出为列表r[x][y](其中x＝0..nTbW–1)，为每行y＝0..nTbH-1调用8.7.4.4节中指定的一维变换处理，来将每(水平)行的结果阵列g[x][y](其中x＝0..nonZeroW-1,y＝0..nTbH-1)变换为r[x][y](其中x＝0..nTbW-1，y＝0..nTbH-1)。
4.当nTbW等于1时，将r[x][y]设置为等于e[x][y](其中x＝0..nTbW-1，y＝0..nTbH-1)。
表8-14–根据tu_mts_idx
Figure BDA0003524413800000261
[y]的trTypeHor和trTypeVer的规范
tu_mts_idx[x0][y0] 0 1 2 3 4
trTypeHor 0 1 2 1 2
trTypeVer 0 1 1 2 2
表8-15–根据cu_sbt_horizontal_flag和cu_sbt_pos_flag的trTypeHor和trTypeVer的规范
cu_sbt_horizontal_flag cu_sbt_pos_flag trTypeHor trTypeVer
0 0 2 1
0 1 1 1
1 0 1 2
1 1 1 1
2.通过本文档中提供的技术解决方案解决的技术问题示例。
以下列出了一些示例问题：
(1)在某些场景下，在为第一个TU调用帧内样点预测处理之前，将xPartIdx和yPartIdx增加xPardInc和yPartInc。因此，当应用ISP时，例如xPartInc或yPartInc不等于零，则不能适当地预测CU的第一部分。
(2)当应用ISP时，根据CU维度而不是TU维度来进行广角帧内预测模式映射。
(3)信令通知针对用ISP编解码的CU的增量QP。但是，可能会有延迟，即没有在ISP的第一个TU中信令通知增量QP。
(4)ISP编解码的块不允许进行变换跳过。
(5)根据当前块是否被ISP编解码来提取帧内预测参考样点。
(6)当应用ISP时，隐式变换选择方法不考虑TU不是预测单元的情况。
(7)去方块滤波器需要访问用于对覆盖边缘处的样点的编解码块进行编码/解码的QP。然而，当一个CU包含多个TU时(例如，当启用ISP时)，编解码块(例如，CU)的QP是没有定义的。
3.示例实施例和技术的列表
以下列表应被认为是解释常规概念的示例。这些项目不应狭义地解释。此外，这些项目可以任何方式组合。
在以下描述中，术语“ISP”可能不会狭义地解释。可以将一个CU划分为多个TU/PU的任何类型的工具也可以视为ISP。
1.使用ISP时，应对每个子分割(包括与当前CU左上位置相同的第一个子分割)应用帧内预测处理。
a.在一个示例中，可以在帧内预测处理和/或缩放/变换处理和/或重构处理之后更新在(VVC标准的)8.4.5.1节中定义的变量xPartIdx、yPartIdx和xPartPbIdx。
2.应用特定的编解码工具时，将根据预测单元维度而不是CU维度进行广角帧内预测模式映射。
a.可替代地，当应用特定的编解码工具时，不应用广角帧内预测。
i.在一个示例中，当应用特定的编解码工具时，不调用广角帧内预测映射。
ii.在一个示例中，当应用特定的编解码工具时，广角帧内预测映射是等同映射，例如，映射后，任何模式M保持为M。
b.在一个示例中，特定的编解码工具可以是ISP。
3.当应用ISP时，对整个CU只信令通知一次增量QP。
a.在一个示例中，可以在第一个TU中信令通知。
b.可替代地，当应用ISP时，总是在最后一个TU中信令通知QP。
c.可替代地，当应用ISP时，不信令通知增量QP。
d.在一个示例中，用特定的TU(第一个/最后一个)信令通知增量QP，无论增量QP是否包含非零系数(亮度块或亮度和色度块)。
i.可替代地，仅当增量QP包含非零系数(亮度块或亮度和色度块)时，才用特定的TU(第一个/最后一个)信令通知增量QP。
1)可替代地，此外，如果不存在非零系数，则将增量QP推断为0。
4.建议将CU的QP定义为与CU内的TU相关联的QP。
a.在一个示例中，CU的QP可以被定义为与CU中的第一个/最后一个TU相关联的QP。
b.可替代地，可以将CU的QP定义为加上当前CU中的不同TU的增量QP之前的QP。
c.可替代地，CU的QP可以被定义为从多个TU的QP应用了增量QP的函数(例如，平均)中导出的QP。
d.在一个示例中，如何应用去方块滤波器可以使用上面定义的CU的QP。
5.是否/如何应用去方块滤波器(例如，亮度/色度块边缘的决策)可取决于用于覆盖相应样点的变换块/变换单元而不是编解码单元的QP。
a.可替代地，当以ISP模式对一个块进行编解码时，可以修改CU的QP检查以检查TU的QP。
b.可替代地，当一个块大于VPDU/最大变换块尺寸时，可以修改CU的QP的检查以检查TU的QP。
6.当应用ISP时，可以使用变换跳过。
a.在一个示例中，当应用ISP时是否使用变换跳过可以取决于编解码块/预测块/变换块维度。
b.在一个示例中，当应用ISP时是否使用变换跳过可以取决于是否应用垂直或水平ISP。
7.无论当前块是否是ISP编解码的，都将提取相同的帧内预测参考样点。
a.在一个示例中，假设当前变换块的宽度和高度分别为W和H，则当对当前块进行ISP编解码时，将提取2*W上方临近样点和2*H左侧临近样点。
8.根据是否使用ISP，以不同的方式进行隐式变换选择。
a.在一个示例中，可以根据变换块宽度是否大于K(K是诸如1或2之类的整数)来选择水平变换和/或垂直变换。
9.可以根据变换块高度是否大于K(K是诸如1或2的整数)来选择水平变换和/或垂直变换。当应用无损编解码时，可能会在ISP编解码的块上限制特定的变换。
a.当应用无损编解码时，可能会在ISP编解码的块上限制4x4变换。
b.在一个示例中，当应用无损编解码时，可以将变换尺寸强制设为P×Q(诸如4×4)的变换尺寸限制应用于ISP编解码的块。
i.在一个示例中，如果通过ISP模式将M×N块垂直划分为四个M/4×N子分割，则对于每个子分割，可以推断出M/4×N块被划分为4×4变换块并执行变换和量化。
c.在一个示例中，当应用无损编解码时，可以将编解码块尺寸限制应用于ISP块。
i.在一个示例中，每个ISP子分割的宽度不得小于4。
ii.在一个示例中，每个ISP子分割的高度不得小于4。
d.在一个示例中，当应用无损编解码时，ISP划分标志(诸如intra_subpartitions_split_flag)可以取决于编解码块维度。
i.在一个示例中，可能不允许导致ISP子分割的宽度或高度小于4的划分方向(水平或垂直)。
ii.在一个示例中，对于8×16ISP编解码的块，可以将划分标志推断为水平划分，因此不信令通知和推断ISP划分标志(例如intra_subpartitions_split_flag)。
10.当应用无损编解码时，可能会禁用ISP。
a.可替代地，可以在ISP编解码的块中禁用无损编解码。
b.在一个示例中，当CU/CTU/VPDU/条带/图片/序列级变换-量化旁路启用标志为真时，当前视频单元(诸如当前CU/CTU/VPDU/条带/图片/序列)可能不允许使用ISP。
11.允许由ISP划分的所有TU都不具有非零系数。
a.允许所有由ISP划分的TU仅具有零系数。
b.可能对由ISP划分的所有TU信令通知Cbf标志。
4.附加示例实施例
在以下示例中，新添加的部分以粗体斜体带下划线的字体显示，并且删除的部分在[[]]之间指示。
4.1对帧内块的常规解码处理的示例修改
8.4.5.1帧内块的常规解码处理
此处理的输入是：
–指定相对于当前图片的左上样点的当前变换块的左上样点的样点位置(xTb0，yTb0)，
–变量nTbW，指定当前变换块的宽度，
–变量nTbH，指定当前变换块的高度，
–变量predModeIntra，指定帧内预测模式，
–变量cIdx，指定当前块的颜色分量。
此处理的输出是环路滤波之前的修改的重构图片。
最大变换块的宽度maxTbWidth和高度maxTbHeight的导出如下：
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC (8-41)
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC (8-42)
亮度样点位置的导出如下：
(xTbY,yTbY)＝(cIdx＝＝0)？(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC)(8-43)
根据maxTbSize，以下条件适用：
–如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，并且nTbW大于maxTbWidth或nTbH大于maxTbHeight，则适用以下有序步骤：
1.变量newTbW和newTbH的导出如下：
newTbW＝(nTbW>maxTbWidth)？(nTbW/2):nTbW (8-44)
newTbH＝(nTbH>maxTbHeight)？(nTbH/2):nTbH (8-45)
2.以位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
3.如果nTbW大于maxTbWidth，则以设置为等于(xTb0+newTbW，yTb0)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
4.如果nTbH大于maxTbHeight，则以设置为等于(xTb0，yTb0+newTbH)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
5.如果nTbW大于maxTbWidth并且nTbH大于maxTbHeight，则以设置为等于(xTb0+newTbW，yTb0+newTbH)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
–否则，适用以下有序步骤：
–变量nW、nH、nPbW、pbFactor、xPartInc和yPartInc的导出如下：
nW＝IntraSubPartitionsSplitType＝＝ISP_VER_SPLIT？
nTbW/NumIntraSubPartitions:nTbW (8-46)
nH＝IntraSubPartitionsSplitType＝＝ISP_HOR_SPLIT？
nTbH/NumIntraSubPartitions:nTbH (8-47)
xPartInc＝ISP_VER_SPLIT？1:0 (8-48)
yPartInc＝ISP_HOR_SPLIT？1:0 (8-49)
nPbW＝Max(4,nW) (8-50)
pbFactor＝nPbW/nW (8-51)
–变量xPartIdx和yPartIdx设置为等于0。
–对于i＝0..NumIntraSubPartitions-1，适用以下条件：
[[1.变量xPartIdx和yPartIdx更新如下：
xPartIdx＝xPartIdx+xPartInc (8-52)
yPartIdx＝yPartIdx+yPartInc (8-53)
xPartPbIdx＝xPartIdx％pbFactor (8-54)]]
1.当xPartPbIdx等于0时，以设置为等于(xTb0+nW*xPartIdx，yTb0+nH*yPartIdx)的位置(xTbCmp，yTbCmp)、帧内预测模式predModeIntra、设置为等于nPbW和nH的变换块宽度nTbW和高度nTbH、设置为等于nTbW和nTbH的编解码块宽度nCbW和高度nCbH和变量cIdx用作输入，调用第8.4.5.2节中指定的帧内样点预测处理，并且输出为(nW)x(nH)阵列resSamples。
2.以设置为等于(xTbY+nW*xPartIdx，yTbY+nH*yPartIdx)的亮度位置(xTbY，yTbY)、变量cIdx、设置为等于nW和nH的变换宽度nTbW和变换高度nTbH作为输入，调用第8.7.2节中指定的缩放和变换处理，并且输出为(nW)x(nH)阵列resSamples。
3.以设置为等于(xTb0+nW*xPartIdx，yTb0+nH*yPartIdx)的变换块位置(xTbComp，yTbComp)、设置为等于nW和nH的变换块宽度nTbW和变换块高度nTbH、变量cIdx、(nW)x(nH)阵列predSamples[x][y](其中x＝xPartPbIdx*nW..(xPartPbIdx+1)*nW-1,y＝0..nH-1)、以及(nW)x(nH)阵列resSamples作为输入，调用第8.7.5节中指定的颜色分量的图片重构处理，并且输出是在环路滤波之前的修改的重构图片。
4.变量xPartIdx、yPartIdx和xPartPbIdx更新如下：
xPartIdx＝xPartIdx+xPartInc
yPartIdx＝yPartIdx+yPartInc
xPartPbIdx＝xPartIdx％pbFactor
4.2对帧内块的广角帧内预测映射的示例修改
广角帧内预测模式映射处理
此处理的输入是：
–变量predModeIntra，指定帧内预测模式，
–变量nTbW，指定变换块的宽度，
–变量nTbH，指定变换块的高度，
–变量cIdx，指定当前块的颜色分量。
此处理的输出是修改后的帧内预测模式predModeIntra。
此处理的输出是修改后的帧内预测模式predModeIntra。
变量nW和nH的导出如下：
–[[如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT或cIdx不等于0，则适用以下条件：]]
nW＝nTbW (8-123)
nH＝nTbH (8-124)
–[[否则(IntraSubPartitionsSplitType不等于ISP_NO_SPLIT且cIdx等于0)，适用以下条件：
nW＝nCbW (8-125)
nH＝nCbH (8-126)]]
变量whRatio设置为等于Abs(Log2(nW/nH))。
对于非正方形块(nW不等于nH)，将帧内预测模式predModeIntra修改如下：
–如果满足以下所有条件，则predModeIntra设置为等于(predModeIntra+65)。
–nW大于nH
–predModeIntra大于或等于2
–-predModeIntra小于(whRatio>1)？(8+2*whRatio):8
–否则，如果满足以下所有条件，则将predModeIntra设置为等于(predModeIntra-67)。
–nH大于nW
–predModeIntra小于或等于66
-predModeIntra是否大于(whRatio>1)？(60-2*whRatio):60
8.7.4缩放的变换系数的变换处理
8.7.4.1概述
此处理的输入是：
–指定当前亮度变换块的左上样点相对于当前图片的左上亮度样点的亮度位置(xTbY，yTbY)，
–变量nTbW，指定当前变换块的宽度，
–变量nTbH，指定当前变换块的高度，
–变量cIdx，指定当前块的颜色分量，
–缩放的变换系数的(nTbW)x(nTbH)阵列d[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。
-变量nPW，其指定当前变换块的预测块的宽度。
-变量nPH，其指定当前变换块的预测块的高度。
此处理的输出是(nTbW)x(nTbH)阵列r[x][y]的残差样点，其中x＝0..nTbW-1，y＝0..nTbH-1。
当lfnst_idx[xTbY][yTbY]不等于0并且nTbW和nTbH都大于或等于4时，则适用以下条件：
–变量predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize和nonZeroSize的导出如下：
predModeIntra＝(cIdx＝＝0)？IntraPredModeY[xTbY][yTbY]:IntraPredModeC[xTbY][yTbY](8-965)
nLfnstOutSize＝(nTbW>＝8&&nTbH>＝8)？48:16 (8-966)
log2LfnstSize＝(nTbW>＝8&&nTbH>＝8)？3:2 (8-967)
nLfnstSize＝1<<log2LfnstSize (8-968)
nonZeroSize＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？8:16(8-969)
–当intra_mip_flag[xTbComp][yTbComp]等于1并且cIdx等于0时，predModeIntra设置为等于INTRA_PLANAR。
–当predModeIntra等于INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM时，predModeIntra设置为等于IntraPredModeY[xTbY+nTbW/2][yTbY+nTbH/2]。
–以predModeIntra、nPW、nPH和cIdx作为输入，并以修改的predModeIntra作为输出，调用第8.4.5.2.6节中指定的广角帧内预测模式映射处理。
-...
8.4.5.1帧内块的常规解码处理
此处理的输入是：
–指定相对于当前图片的左上样点的当前变换块的左上样点的样点位置(xTb0，yTb0)，
–变量nTbW，指定当前变换块的宽度，
–变量nTbH，指定当前变换块的高度，
–变量predModeIntra，指定帧内预测模式，
–变量cIdx，指定当前块的颜色分量。
此处理的输出是环路滤波之前的修改的重构图片。
最大变换块的宽度maxTbWidth和高度maxTbHeight的导出如下：
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC (8-41)
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC (8-42)
亮度样点位置的导出如下：
(xTbY,yTbY)＝(cIdx＝＝0)？(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC)(8-43)
根据maxTbSize，以下条件适用：
–如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，并且nTbW大于maxTbWidth或nTbH大于maxTbHeight，则适用以下有序步骤：
1.变量newTbW和newTbH的导出如下：
newTbW＝(nTbW>maxTbWidth)？(nTbW/2):nTbW (8-44)
newTbH＝(nTbH>maxTbHeight)？(nTbH/2):nTbH (8-45)
2.以位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
3.如果nTbW大于maxTbWidth，则以设置为等于(xTb0+newTbW，yTb0)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
4.如果nTbH大于maxTbHeight，则以设置为等于(xTb0，yTb0+newTbH)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
5.如果nTbW大于maxTbWidth并且nTbH大于maxTbHeight，则以设置为等于(xTb0+newTbW，yTb0+newTbH)的位置(xTb0，yTb0)、设置为等于newTbW的变换块宽度nTbW、设置为等于newTbH的高度nTbH、帧内预测模式predModeIntra和变量cIdx作为输入，调用本节中指定的帧内块的常规解码处理，并且输出是在环路滤波之前的修改的重构图片。
–否则，适用以下有序步骤：
–变量nW、nH、nPbW、pbFactor、xPartInc和yPartInc的导出如下：
nW＝IntraSubPartitionsSplitType＝＝ISP_VER_SPLIT？
nTbW/NumIntraSubPartitions:nTbW (8-46)
nH＝IntraSubPartitionsSplitType＝＝ISP_HOR_SPLIT？
nTbH/NumIntraSubPartitions:nTbH (8-47)
xPartInc＝ISP_VER_SPLIT？1:0 (8-48)
yPartInc＝ISP_HOR_SPLIT？1:0 (8-49)
nPbW＝Max(4,nW) (8-50)
pbFactor＝nPbW/nW (8-51)
–变量xPartIdx和yPartIdx设置为等于0。
–对于i＝0..NumIntraSubPartitions-1，适用以下条件：
[[1.变量xPartIdx和yPartIdx更新如下：
xPartIdx＝xPartIdx+xPartInc (8-52)
yPartIdx＝yPartIdx+yPartInc (8-53)
xPartPbIdx＝xPartIdx％pbFactor (8-54)]]
1.当xPartPbIdx等于0时，以设置为等于(xTb0+nW*xPartIdx，yTb0+nH*yPartIdx)的位置(xTbCmp，yTbCmp)、帧内预测模式predModeIntra、设置为等于nPbW和nH的变换块宽度nTbW和高度nTbH、设置为等于nTbW和nTbH的编解码块宽度nCbW和高度nCbH和变量cIdx用作输入，调用第8.4.5.2节中指定的帧内样点预测处理，并且输出为(nW)x(nH)阵列resSamples。
2.以设置为等于(xTbY+nW*xPartIdx，yTbY+nH*yPartIdx)的亮度位置(xTbY，yTbY)、变量cIdx、设置为等于nW和nH的变换宽度nTbW和变换高度nTbH作为输入，调用第8.7.2节中指定的缩放和变换处理，并且输出为(nW)x(nH)阵列resSamples。
3.以设置为等于(xTb0+nW*xPartIdx，yTb0+nH*yPartIdx)的变换块位置(xTbComp，yTbComp)、设置为等于nW和nH的变换块宽度nTbW和变换块高度nTbH、设置为等于 nPbW和nH预测块宽度nPW和预测块高度nPH、变量cIdx、(nW)x(nH)阵列predSamples[x][y](其中x＝xPartPbIdx*nW..(xPartPbIdx+1)*nW-1,y＝0..nH-1)、以及(nW)x(nH)阵列resSamples作为输入，调用第8.7.5节中指定的颜色分量的图片重构处理，并且输出是在环路滤波之前的修改的重构图片。
4.变量xPartIdx、yPartIdx和xPartPbIdx更新如下：
xPartIdx＝xPartIdx+xPartInc
yPartIdx＝yPartIdx+yPartInc
xPartPbIdx＝xPartIdx％pbFactor
4.3对增量QP的示例修改
Figure BDA0003524413800000361
Figure BDA0003524413800000371
Figure BDA0003524413800000381
Figure BDA0003524413800000391
4.4示例修改的去方块滤波器
8.8.3.6.1亮度块边缘的决策处理
此处理的输入是：
–图片样点阵列recPicture，
–指定当前编解码块的左上样点相对于当前图片的左上样点的位置(xCb，yCb)，
–指定当前块的左上样点相对于当前编解码块的左上样点的位置(xBl，yBl)，
–变量edgeType，指定是对垂直(EDGE_VER)还是水平(EDGE_HOR)边缘进行滤波，
–变量bS，指定边界滤波强度，
–变量maxFilterLengthP，指定最大滤波器长度，
–变量maxFilterLengthQ，指定最大滤波器长度。
此处理的输出是：
–包含决策的变量dE、dEp和dEq，
–修改后的滤波器长度变量maxFilterLengthP和maxFilterLengthQ，
–变量tC。
样点值pi,k和qj,k(其中i＝0..maxFilterLengthP,j＝0..maxFilterLengthQ且k＝0和3)导出如下：
–如果edgeType等于EDGE_VER，则适用以下条件：
qj,k＝recPictureL[xCb+xBl+j][yCb+yBl+k] (8-1066)
pi,k＝recPictureL[xCb+xBl-i-1][yCb+yBl+k] (8-1067)
–否则(edgeType等于EDGE_HOR)，适用以下条件：
qj,k＝recPicture[xCb+xBl+k][yCb+yBl+j] (8-1068)
pi,k＝recPicture[xCb+xBl+k][yCb+yBl-i-1] (8-1069)
变量qpOffset的导出如下：
–如果sps_ladf_enabled_flag等于1，则适用以下条件：
–重构的亮度水平的变量lumaLevel导出如下：
lumaLevel＝((p0,0+p0,3+q0,0+q0,3)>>2), (8-1070)
–将变量qpOffset设置为等于sps_ladf_lowest_interval_qp_offset，并进行如下修改：
Figure BDA0003524413800000401
–否则，将qpOffset设置为等于0。
将变量QpQ和QpP设置为等于变换[[编解码]]单元的QpY值，该变换[[编解码]]单元包括分别包含样点q0,0和p0,0的编解码块。
变量qP的导出如下：
qP＝((QpQ+QpP+1)>>1)+qpOffset (8-1072)
如在表8-18中的指定那样，基于如下导出的量化参数Q来确定变量β′的值：
Q＝Clip3(0,63,qP+(slice_beta_offset_div2<<1)) (8-1073)
其中slice_beta_offset_div2是包含样点q0,0的条带的语法元素slice_beta_offset_div2的值。
…
8.8.3.6.3色度块边缘的决策处理
仅当ChromaArrayType不等于0时，才调用此处理。
此处理的输入是：
–色度图像样点阵列recPicture，
–指定当前色度编解码块的左上样点相对于当前图片的左上色度样点的色度位置(xCb，yCb)，
–指定当前色度块的左上样点相对于当前色度编解码块的左上样点的色度位置(xBl，yBl)，
–变量edgeType，指定是对垂直(EDGE_VER)还是水平(EDGE_HOR)边缘进行滤波，
–变量cIdx，指定颜色分量索引，
–变量cQpPicOffset，指定图片级别色度量化参数偏移，
–变量bS，指定边界滤波强度，
–变量maxFilterLengthCbCr。
此处理的输出是：
–修改后的变量maxFilterLengthCbCr，
–变量tC。
变量maxK的导出如下：
–如果edgeType等于EDGE_VER，则适用以下条件：
maxK＝(SubHeightC＝＝1)？3:1 (8-1124)
–否则(edgeType等于EDGE_HOR)，适用以下条件：
maxK＝(SubWidthC＝＝1)？3:1 (8-1125)
pi和qi(其中i＝0..maxFilterLengthCbCr且k＝0..maxK)的值分别导出如下：
–如果edgeType等于EDGE_VER，则适用以下条件：
qi,k＝recPicture[xCb+xBl+i][yCb+yBl+k] (8-1126)
pi,k＝recPicture[xCb+xBl-i-1][yCb+yBl+k] (8-1127)
subSampleC＝SubHeightC (8-1128)
–否则(edgeType等于EDGE_HOR)，适用以下条件：
qi,k＝recPicture[xCb+xBl+k][yCb+yBl+i] (8-1129)
pi,k＝recPicture[xCb+xBl+k][yCb+yBl-i-1] (8-1130)
subSampleC＝SubWidthC (8-1131)
变量QpQ和QpP被设置为等于变换[[编解码]]单元的QpY值，该变换[[编解码]]单元包括分别包含样点q0,0和p0,0的编解码块。
变量QpC的导出如下：
qPi＝Clip3(0,63,((QpQ+QpP+1)>>1)+cQpPicOffset) (8-1132)
QpC＝ChromaQpTable[cIdx-1][qPi] (8-1133)
注意–变量cQpPicOffset根据所滤波的色度分量是Cb还是Cr分量来调整pps_cb_qp_offset或pps_cr_qp_offset的值。但是，为避免需要改变图片内的调整量，滤波处理不包括对slice_cb_qp_offset或slice_cr_qp_offset的值的调整，也没有(当cu_chroma_qp_offset_enabled_flag等于1时)对CuQpOffsetCb、CuQpOffsetCr或CuQpOffsetCbCr的值的调整。
如在表8-18中的指定那样，基于如下导出的量化参数Q来确定变量β′的值：
Q＝Clip3(0,63,QpC+(slice_beta_offset_div2<<1)) (8-1134)
其中slice_beta_offset_div2是包含样点q0,0的条带的语法元素slice_beta_offset_div2的值。
图3是视频处理装置300的框图。装置300可用于实现本文所述的一种或多种方法。装置300可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置300可以包括一个或多个处理器302、一个或多个存储器304和视频处理硬件306。处理器302可以被配置成实现本文档中描述的一个或多个方法。存储器304可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件306可用于在硬件电路中实现本文中描述的一些技术。在一些实施例中，硬件306可以至少部分位于处理器302中，例如图形协处理器。
在一些实施例中，以下解决方案可以被实现为优选解决方案。
以下解决方案可以与在先前节中列出的项目(例如，项目1)中描述的其他技术一起实施。
1.一种视频处理的方法(例如，图4中描绘的方法400)，包括：对于包括一个或多个子分割的视频单元与视频单元的编解码表示之间的转换，确定(402)该转换是使用帧内子块分割模式；并基于该确定执行(404)转换，使得帧内预测处理用于一个或多个子分割中的每一个的转换。
2.根据解决方案1的方法，其中，帧内预测处理包括在帧内预测处理结束时更新x分割索引变量和y分割索引变量。
以下解决方案可以与在先前节中列出的项目(例如，项目2)中描述的其他技术一起实施。
3.一种视频处理的方法，包括：在不使用视频块的编解码单元尺寸的情况下，基于编解码工具的适用性和/或视频块的预测单元的尺寸，来确定是否在视频块和视频块的编解码表示之间的转换期间使用广角帧内预测映射；以及基于确定结果执行转换。
4.根据解决方案3的方法，其中，执行确定使得由于编解码工具是特定的编解码工具而禁用广角帧内预测映射。
5.根据解决方案3的方法，其中，执行确定使得由于编解码工具是特定的编解码工具，从而广角帧内预测映射是等同映射。
6.根据解决方案4-5的方法，其中，所述特定编解码工具是帧内子分割工具。
以下解决方案可以与在先前节中列出的项目(例如，项目3)中描述的其他技术一起实施。
7.一种执行视频处理的方法，包括：对于包括编解码单元的视频区域之间的转换，确定可适用于编解码单元的所有帧内子块分割和视频区域的编解码表示的转换的增量量化参数(增量QP)，其中编解码单元包括帧内子块分割；以及使用增量QP执行转换；其中，在编解码表示中为编解码单元信令通知增量QP。
8.根据解决方案7的方法，其中，利用视频区域的第一个变换单元来信令通知增量QP。
9.根据解决方案7的方法，其中，利用视频区域的最后一个变换单元来信令通知增量QP。
10.根据解决方案7的方法，其中，通过在视频区域内具有预定位置的变换单元来信令通知增量QP。
以下解决方案可以与在先前节中列出的项目(例如，项目4)中描述的其他技术一起实施。
11.一种视频处理的方法，包括：对于视频区域和视频区域的编解码表示之间的转换，基于视频区域中变换单元(TU)的QP来确定用于视频区域中的编解码单元(CU)的转换的量化参数(QP)；以及使用TU的QP和/或CU的QP执行转换。
12.根据解决方案11的方法，其中，用于CU的QP被确定为等于作为视频区域的最后或第一个TU的TU的QP。
13.根据解决方案11-12中的任一项的方法，其中，确定CU的QP是在将增量QP添加到TU的QP之前的TU的QP。
14.根据解决方案11-13中的任一项所述的方法，其中，执行转换还包括：基于CU的QP，在转换期间将去方块滤波器选择性地应用于视频区域。
以下解决方案可以与在先前节中列出的项目(例如，项目5)中描述的其他技术一起实施。
15.一种视频处理的方法，包括：对于包括一个或多个编解码单元和一个或多个变换单元的视频区域之间的转换，基于边缘所属的变换单元，来确定是否将去方块滤波器应用于视频块的边缘以进行转换；以及基于确定执行转换。
16.根据解决方案15的方法，还包括：使用帧内子分割模式来进行视频块的转换，并且其中，通过检查变换单元的量化参数来执行基于变换单元的确定。
17.根据解决方案15的方法，其中，由于视频块的尺寸大于虚拟流水线数据单元的尺寸或最大变换块的尺寸和基数，所述确定包括：进一步基于所述边缘所属的编解码单元的量化参数来确定。
以下解决方案可以与在先前节中列出的项目(例如，项目6)中描述的其他技术一起实施。
18.一种视频处理的方法，包括：对于使用帧内子分割模式的视频块和视频块的编解码表示之间的转换，基于编解码块或预测块或变换块的维度来确定是否跳过了变换操作；以及基于确定执行转换。
19.根据解决方案18的方法，其中，帧内子分割模式是垂直帧内子分割模式。
20.根据解决方案18的方法，其中，帧内子分割模式是水平帧内子分割模式。
以下解决方案可以与在先前节中列出的项目(例如，项目7)中描述的其他技术一起实施。
21.根据解决方案1-20中任一项的方法，其中，使用帧内子分割模式的转换包括将2*W的上方临近样点和2*H的左侧临近样点用于WxH变换块尺寸的转换。
以下解决方案可以与在先前节中列出的项目(例如，项目8和9)中描述的其他技术一起实施。
22.一种视频处理的方法，包括：对于视频块和视频块的编解码表示之间的转换，基于是将帧内子分割模式还是无损编解码模式用于转换，来确定要应用的变换的类型；以及根据确定执行转换。
23.根据解决方案22的方法，其中，所述确定还使用变换块宽度来确定变换的类型。
24.根据解决方案22-23中的任一项所述的方法，其中，所述变换的类型是水平变换或垂直变换。
25.根据解决方案22-24中的任一项所述的方法，其中，在使用无损编解码模式的情况下，确定变换的类型包括确定使用4x4变换。
26.根据解决方案22-24中的任一项所述的方法，其中，在使用帧内子分割模式和无损编解码模式的情况下，所述确定包括：将变换的类型确定为PxQ变换，其中，P和/或Q为取决于视频块尺寸的整数。
以下解决方案可以与在先前节中列出的项目(例如，项目10)中描述的其他技术一起实施。
27.一种视频处理的方法，包括：根据排他性规则在视频块和视频块的编解码表示之间执行转换，由于该排他性规则，将无损编解码模式用于转换或者将帧内子分割模式用于转换，其中编解码表示包括使用无损编解码模式或使用帧内子分割模式的指示。
28.根据解决方案27的方法，其中，该排他性规则还定义，由于视频块属于编解码单元、或编解码树单元、或虚拟流水线数据单元、或条带、或图片、或为视频块启用的序列级旁路启用标记模式，禁用无损编解码模式。
以下解决方案可以与在先前节中列出的项目(例如，项目11)中描述的其他技术一起实施。
29.根据解决方案1-28中的任一项的方法，其中，由于在帧内子分割工具中的分割而被划分的给定变换单元被禁止具有全零系数。
30.根据解决方案1-29中任一项所述的方法，其中，所述转换包括将所述视频编解码为所述编解码表示。
31.根据解决方案1-29中任一项所述的方法，其中，所述转换包括对所述编解码表示进行解码以生成所述视频的像素值。
32.一种视频解码装置，包括处理器，该处理器被配置为实现解决方案1-31中的一个或多个的方法。
33.一种视频编解码装置，包括处理器，该处理器被配置为实现解决方案1-31中的一个或多个的方法。
34.一种其上存储有计算机代码的计算机程序产品，该代码在由处理器执行时使处理器实现解决方案1-31中任何一个所述的方法。
35.本文档中描述的方法、装置或系统。
在以上解决方案中，执行转换包括在编解码或解码操作期间使用先前决策步骤的结果来获得转换结果。
图5是示出了可在其中实现本文公开的各种技术的示例视频处理系统500的框图。各种实现可以包括系统500的部分或全部组件。系统500可以包括用于接收视频内容的输入502。视频内容可以原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以压缩或编解码格式接收。输入502可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统500可以包括编解码组件504，其可以实现本文中描述的各种编解码或译码方法。编解码组件504可以降低从输入502到编解码组件504的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件504的输出可以存储，或者通过由组件506表示的连接的通信来发送。组件508可以使用在输入502处接收的视频的存储或通信比特流(或编解码)表示来生成发送到显示接口510的像素值或可显示视频。从比特流表示生成用户可视视频的处理有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编解码器处使用编解码工具或操作，并且将由解码器执行相应的解码工具或反转编解码结果的操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。
图6是根据本技术的用于视频处理的方法600的流程图表示。方法600包括，在操作610处，使用帧内子块分割(ISP)模式在视频的当前图片的块和所述视频的编解码表示之间执行转换。使用所述ISP模式，基于所述当前图片中的样点，使用帧内预测处理为每个子分割确定预测。所述块被分割成多个子分割，所述多个子分割包括具有与所述块的左上角位置相同的左上角位置的第一子分割。在一些实施例中，在针对一个子分割调用所述重构处理之后，更新x分割索引变量和y分割索引变量。
图7是根据本技术的用于视频处理的方法700的流程图表示。方法700包括，在操作710处，对于视频的块和所述视频的编解码表示之间的转换，基于规则确定是否启用广角帧内预测模式映射。所述广角预测模式是参考样点和要预测样点相对于左上方向形成钝角的模式。所述规则指定在启用编解码工具以进行所述块的所述转换的情况下使用预测单元的维度进行确定。方法700还包括，在操作720处，基于所述确定执行所述转换。
在一些实施例中，在启用所述编解码工具以进行所述块的所述转换的情况下，不使用所述广角帧内预测模式映射。在一些实施例中，在启用所述编解码工具以进行所述块的所述转换的情况下，所述广角帧内预测映射是等同映射。在一些实施例中，所述编解码工具包括帧内子块分割(ISP)模式，在所述ISP中，基于所述当前图片中的样点，使用帧内预测处理来针对每个子分割确定预测。
图8是根据本技术的用于视频处理的方法800的流程图表示。方法800包括，在操作810处，在视频的视频区域的编解码单元和所述视频的编解码表示之间执行转换。所述编解码单元被分割为一个或多个分割，并且使用通过所述一个或多个分割中的每个分割的帧内预测处理获得的量化残差信号来将所述编解码单元编码在所述编解码表示中。所述编解码表示包括指示用于量化的量化参数的语法元素。对于所述编解码单元，所述编解码表示最多包含一次所述语法元素，以及所述语法元素指示所述量化参数的值与基于所述视频的先前处理的编解码单元的另一个量化值的差。
在一些实施例中，在使用基于所述一个或多个分割的帧内子块分割处理的情况下，在所述编解码表示中省略所述量化参数的值的差。在一些实施例中，通过所述视频区域的第一个变换单元来信令通知所述量化参数的值的差。在一些实施例中，通过所述视频区域的最后一个变换单元来信令通知所述量化参数的值的差。
在一些实施例中，无论特定变换单元是否包括非零系数，都通过所述特定变换单元来信令通知所述量化参数的值的差。在一些实施例中，在特定变换单元包括非零系数的情况下，通过所述特定变换单元来信令通知所述量化参数的值的差。在一些实施例中，在特定变换单元仅包括零系数的情况下，所述量化参数的值的差默认为0。在一些实施例中，所述特定变换单元包括所述视频区域的第一个变换单元或最后一个变换单元。
图9是根据本技术的用于视频处理的方法900的流程图表示。方法900包括，在操作910处，对于包含一个或多个分割的视频块与使用帧内子块分割(ISP)模式的所述视频的编解码表示之间的转换，基于所述块的特性或所述ISP模式确定在编码期间是否跳过变换操作或者在解码期间是否跳过逆变换操作。使用所述ISP模式，基于当前图片中的样点，使用帧内预测处理对每个子分割确定预测。方法900还包括，在操作920处，基于所述确定执行所述转换。
在一些实施例中，所述块的所述特性包括所述块的维度。在一些实施例中，所述块包括编解码块、预测块或变换块。在一些实施例中，所述ISP模式的特性包括应用所述ISP的方向，所述方向包括垂直方向或水平方向。在一些实施例中，无论是否使用所述ISP模式，都将相同的参考样点用于所述转换。在一些实施例中，所述块包括具有宽度W和高度H的变换块，并且其中将所述块上方的2×W个临近样点和所述块左侧的2×H个临近样点用于所述块的所述转换。
图10是根据本技术的用于视频处理的方法1000的流程图表示。方法1000包括，在操作1010处，对于包括一个或多个分割的视频块和所述视频的编解码表示之间的转换，基于是否将帧内子块分割(ISP)模式用于所述转换确定在所述转换期间使用的变换类型。使用所述ISP模式，基于当前图片中的样点、使用帧内预测处理为每个子分割确定预测。所述转换包括：在编码期间在编解码表示中编码之前应用变换，或者在重构所述块的样点值之前将所述变换的逆变换应用于从所述编解码表示解析的系数值。方法1000还包括，在操作1020处，基于所述确定执行所述转换。
在一些实施例中，所述变换的类型包括水平变换或垂直变换。在一些实施例中，所述确定还基于变换块宽度是否大于阈值K，K是1或2的整数。在一些实施例中，所述确定还基于变换块高度是否大于阈值K，K是1或2的整数。
图11是根据本技术的用于视频处理的方法1100的流程图表示。方法1100包括，在操作1110处，对于包含一个或多个分割的视频块与所述视频的编解码表示之间的转换，基于是否对所述块应用无损编解码处理来确定帧内子块分割(ISP)模式的限制。使用所述ISP模式，基于当前图片中的样点，使用帧内预测处理对每个子分割确定预测。方法1100还包括，在操作1120处，基于所述确定执行所述转换。
在一些实施例中，在将所述无损编解码模式应用于所述块的情况下，所述限制包括对使用所述ISP模式编解码的所述块实施变换尺寸限制。在一些实施例中，所述变换尺寸限制包括4×4变换尺寸。在一些实施例中，所述块的维度为M×N，包括四个分割，每个分割的维度为(M/4)×N，每个分割被划分为4×4个变换块，用于执行变换操作和/或量化操作。在一些实施例中，在将所述无损编解码模式应用于所述块的情况下，所述限制包括对使用所述ISP模式编解码的所述块实施编解码块尺寸限制。在一些实施例中，所述块包括一个或多个分割，并且其中，所述一个或多个分割中的每一个的宽度等于或大于4。在一些实施例中，所述块包括一个或多个分割，并且其中，所述一个或多个分割中的每一个分割的高度等于或大于4。
在一些实施例中，在将所述无损编解码模式应用于所述块的情况下，所述限制指定所述编解码表示中的语法元素的信令取决于单个分割的维度。所述语法元素指定将所述块划分为一个或多个分割的方向。在一些实施例中，在所述单个分割的宽度或高度小于4的情况下，不允许由所述语法元素指定的方向。在一些实施例中，在所述编解码表示中省略所述语法元素的信令，并且其中基于所述块的形状导出所述语法元素的值。
在一些实施例中，所述限制指定在将所述无损编解码处理应用于所述块的情况下，禁用所述ISP模式。在一些实施例中，所述限制包括在所述无损编解码处理未应用于所述块的情况下，启用所述ISP模式。在一些实施例中，在所述编解码表示中启用了变换量化旁路的语法标志指示在视频单元级别启用了所述无损编解码处理的情况下，针对所述视频单元禁用所述ISP模式。所述视频单元包括编解码单元、编解码树单元、虚拟流水线数据单元、条带、图片或序列。在一些实施例中，使用所述ISP模式确定的变换单元均不包括非零系数。在一些实施例中，使用所述ISP模式确定的所有变换单元仅包括零系数。在一些实施例中，在所述编解码表示中信令通知所有变换单元指示非零变换系数的语法标志。
图12是根据本技术的用于视频处理的方法1200的流程图表示。方法1200包括，在操作1210处，根据规则执行视频的视频区域的编解码单元与所述视频的编解码表示之间的转换。将所述编解码单元划分为多个变换单元。所述规则指定所述编解码单元的量化参数(QP)与所述多个变换单元中的一个或多个的量化参数之间的关系。
在一些实施例中，所述编解码单元的所述QP等于所述编解码单元的最后一个变换单元或第一个变换单元的QP。在一些实施例中，在加上量化参数值和基于所述视频的先前处理的编解码单元的另一个量化值的差之前，将所述编解码单元的所述QP确定为所述编解码单元内的至少一个变换单元的QP。在一些实施例中，所述编解码单元的所述QP是使用一个或多个变换单元的QP和所应用的至少一个增量QP的函数导出的，所述增量QP是量化参数值和基于所述视频的先前处理的编解码单元的另一个量化值的差。在一些实施例中，执行所述转换还包括：在所述转换期间，基于所述编解码单元的所述QP选择性地将去方块滤波器应用于所述编解码单元。
图13是根据本技术的用于视频处理的方法1300的流程图表示。方法1300包括，在操作1310处，对于视频区域和所述视频区域的编解码表示之间的转换，基于与边缘有关的变换单元的量化参数(QP)，确定是否和/或如何将去方块滤波器应用于边缘，所述视频区域包括一个或多个编解码单元和一个或多个变换单元。方法1300还包括，基于所述确定执行所述转换。
在一些实施例中，在将帧内子块分割处理用于所述视频区域的转换的情况下，使用所述变换单元的所述QP。在一些实施例中，在所述视频区域的尺寸大于虚拟流水线数据单元的尺寸或最大变换块尺寸的情况下，使用所述变换单元的所述QP来代替所述编解码单元的QP。
在一些实施例中，所述转换包括将所述视频编解码为所述编解码表示。在一些实施例中，所述转换包括对所述编解码表示进行解码以生成所述视频的像素值。
所公开技术的一些实施例包括：作出启用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被启用时，编解码器将在视频块的处理中使用或实现该工具或模式，但不一定基于该工具或模式的使用来修改产生的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知晓已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括：作出禁用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被禁用时，编解码器将不在将视频块转换到视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知晓未使用基于所述决策或确定而启用的视频处理工具或模式修改比特流的情况下来处理比特流。
本文中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效物，或者一个或多个的组合。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，例如在计算机可读介质上编解码以供数据处理设备执行或控制其操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质的组合，或者一个或多个它们的组合。术语“数据处理设备”包括用于处理数据的所有设备、装置和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外，设备还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编解码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标志语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，帧内硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对某些主题的某些实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以某些顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的某些顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (53)

1.一种视频处理方法，包括：
使用帧内子块分割(ISP)模式在视频的当前图片的块和所述视频的编解码表示之间执行转换，
其中，使用所述ISP模式，基于所述当前图片中的样点，使用帧内预测处理为每个子分割确定预测，并且
其中，所述块被分割成多个子分割，所述多个子分割包括具有与所述块的左上角位置相同的左上角位置的第一子分割。
2.根据权利要求1所述的方法，其中，在针对一个子分割调用重构处理之后，更新x分割索引变量和y分割索引变量。
3.一种视频处理方法，包括：
对于视频的块和所述视频的编解码表示之间的转换，基于规则确定是否启用广角帧内预测模式映射，
其中，所述广角预测模式是参考样点和要预测样点相对于左上方向形成钝角的模式，
其中，所述规则指定在启用编解码工具以进行所述块的所述转换的情况下使用预测单元的维度进行所述确定；以及
基于所述确定执行所述转换。
4.根据权利要求3所述的方法，其中，在启用所述编解码工具以进行所述块的所述转换的情况下，不使用所述广角帧内预测模式映射。
5.根据权利要求3所述的方法，其中，在启用所述编解码工具以进行所述块的所述转换的情况下，所述广角帧内预测映射是等同映射。
6.根据权利要求3至5中的任一项所述的方法，其中，所述编解码工具包括帧内子块分割(ISP)模式，在所述ISP中，基于所述当前图片中的样点，使用帧内预测处理来针对每个子分割确定预测。
7.一种视频处理方法，包括：
在视频的视频区域的编解码单元和所述视频的编解码表示之间执行转换，
其中，所述编解码单元被分割为一个或多个分割，
其中，使用通过所述一个或多个分割中的每个分割的帧内预测处理获得的量化残差信号来将所述编解码单元编码在所述编解码表示中；以及
其中，所述编解码表示包括指示用于量化的量化参数的语法元素；
其中，对于所述编解码单元，所述编解码表示最多包含一次所述语法元素，以及
其中，所述语法元素指示所述量化参数的值与基于所述视频的先前处理的编解码单元的另一个量化值的差。
8.根据权利要求7所述的方法，其中，在使用基于所述一个或多个分割的帧内子块分割处理的情况下，在所述编解码表示中省略所述量化参数的值的差。
9.根据权利要求7或8所述的方法，其中，通过所述视频区域的第一个变换单元来信令通知所述量化参数的值的差。
10.根据权利要求7或8所述的方法，其中，通过所述视频区域的最后一个变换单元来信令通知所述量化参数的值的差。
11.根据权利要求7至10中的任一项所述的方法，其中，无论特定变换单元是否包括非零系数，都通过所述特定变换单元来信令通知所述量化参数的值的差。
12.根据权利要求7至10中的任一项所述的方法，其中，在特定变换单元包括非零系数的情况下，通过所述特定变换单元来信令通知所述量化参数的值的差。
13.根据权利要求7至12中的任一项所述的方法，其中，在特定变换单元仅包括零系数的情况下，所述量化参数的值的差默认为0。
14.根据权利要求11至13中的任一项所述的方法，其中，所述特定变换单元包括所述视频区域的第一个变换单元或最后一个变换单元。
15.一种视频处理的方法，包括：
对于包含一个或多个分割的视频块与使用帧内子块分割(ISP)模式的所述视频的编解码表示之间的转换，基于所述块的特性或所述ISP模式确定在编码期间是否跳过变换操作或者在解码期间是否跳过逆变换操作，
其中，使用所述ISP模式，基于当前图片中的样点，使用帧内预测处理对每个子分割确定预测；以及
基于所述确定执行所述转换。
16.根据权利要求15所述的方法，其中，所述块的所述特性包括所述块的维度。
17.根据权利要求16所述的方法，其中，所述块包括编解码块、预测块或变换块。
18.根据权利要求15至17中的任一项所述的方法，其中，所述ISP模式的特性包括应用所述ISP的方向，所述方向包括垂直方向或水平方向。
19.根据权利要求1至18中的任一项所述的方法，其中，无论是否使用所述ISP模式，都将相同的参考样点用于所述转换。
20.根据权利要求1至19中的任一项所述的方法，其中，所述块包括具有宽度W和高度H的变换块，并且其中将所述块上方的2×W个临近样点和所述块左侧的2×H个临近样点用于所述块的所述转换。
21.一种视频处理方法，包括：
对于包括一个或多个分割的视频块和所述视频的编解码表示之间的转换，基于是否将帧内子块分割(ISP)模式用于所述转换确定在所述转换期间使用的变换类型，
其中，使用所述ISP模式，基于当前图片中的样点、使用帧内预测处理为每个子分割确定预测；以及
其中，所述转换包括：在编码期间在编解码表示中编码之前应用变换，或者在重构所述块的样点值之前将所述变换的逆变换应用于从所述编解码表示解析的系数值；以及
基于所述确定执行所述转换。
22.根据权利要求21所述的方法，其中，所述变换的类型包括水平变换或垂直变换。
23.根据权利要求21或22所述的方法，其中，所述确定还基于变换块宽度是否大于阈值K，K是1或2的整数。
24.根据权利要求21或22所述的方法，其中，所述确定还基于变换块高度是否大于阈值K，K是1或2的整数。
25.一种视频处理方法，包括：
对于包含一个或多个分割的视频块与所述视频的编解码表示之间的转换，基于是否对所述块应用无损编解码处理来确定帧内子块分割(ISP)模式的限制，
其中，使用所述ISP模式，基于当前图片中的样点，使用帧内预测处理对每个子分割确定预测；以及
基于所述确定执行所述转换。
26.根据权利要求25所述的方法，其中，在将所述无损编解码模式应用于所述块的情况下，所述限制包括对使用所述ISP模式编解码的所述块实施变换尺寸限制。
27.根据权利要求26所述的方法，其中，所述变换尺寸限制包括4×4变换尺寸。
28.根据权利要求27所述的方法，其中，所述块的维度为M×N，包括四个分割，每个分割的维度为(M/4)×N，并且其中，每个分割被划分为4×4个变换块，用于执行变换操作和/或量化操作。
29.根据权利要求25所述的方法，其中，在将所述无损编解码模式应用于所述块的情况下，所述限制包括对使用所述ISP模式编解码的所述块实施编解码块尺寸限制。
30.根据权利要求29所述的方法，其中，所述块包括一个或多个分割，并且其中，所述一个或多个分割中的每一个的宽度等于或大于4。
31.根据权利要求29所述的方法，其中，所述块包括一个或多个分割，并且其中，所述一个或多个分割中的每一个分割的高度等于或大于4。
32.根据权利要求25所述的方法，其中，在将所述无损编解码模式应用于所述块的情况下，所述限制指定所述编解码表示中的语法元素的信令取决于单个分割的维度，并且其中所述语法元素指定将所述块划分为一个或多个分割的方向。
33.根据权利要求32所述的方法，其中，在所述单个分割的宽度或高度小于4的情况下，不允许由所述语法元素指定的方向。
34.根据权利要求32所述的方法，其中，在所述编解码表示中省略所述语法元素的信令，并且其中基于所述块的形状导出所述语法元素的值。
35.根据权利要求25所述的方法，其中，所述限制指定在将所述无损编解码处理应用于所述块的情况下，禁用所述ISP模式。
36.根据权利要求25所述的方法，其中，所述限制包括在所述无损编解码处理未应用于所述块的情况下，启用所述ISP模式。
37.根据权利要求35或36所述的方法，其中，在所述编解码表示中启用了变换量化旁路的语法标志指示在视频单元级别启用了所述无损编解码处理的情况下，针对所述视频单元禁用所述ISP模式，其中，所述视频单元包括编解码单元、编解码树单元、虚拟流水线数据单元、条带、图片或序列。
38.根据权利要求1至37中任一项所述的方法，其中，使用所述ISP模式确定的变换单元均不包括非零系数。
39.根据权利要求1至38中任一项所述的方法，其中，使用所述ISP模式确定的所有变换单元仅包括零系数。
40.根据权利要求39所述的方法，其中，在所述编解码表示中信令通知所有变换单元指示非零变换系数的语法标志。
41.一种视频处理方法，包括：
根据规则执行视频的视频区域的编解码单元与所述视频的编解码表示之间的转换，其中，将所述编解码单元划分为多个变换单元，
其中，所述规则指定所述编解码单元的量化参数(QP)与所述多个变换单元中的一个或多个的量化参数之间的关系。
42.根据权利要求41所述的方法，其中，所述编解码单元的所述QP等于所述编解码单元的最后一个变换单元或第一个变换单元的QP。
43.根据权利要求41或42所述的方法，其中，在加上量化参数值和基于所述视频的先前处理的编解码单元的另一个量化值的差之前，将所述编解码单元的所述QP确定为所述编解码单元内的至少一个变换单元的QP。
44.根据权利要求41至43中任一项所述的方法，其中，所述编解码单元的所述QP是使用一个或多个变换单元的QP和所应用的至少一个增量QP的函数导出的，所述增量QP是量化参数值和基于所述视频的先前处理的编解码单元的另一个量化值的差。
45.根据权利要求41至44中任一项所述的方法，其中，执行所述转换还包括：
在所述转换期间，基于所述编解码单元的所述QP选择性地将去方块滤波器应用于所述编解码单元。
46.一种视频处理方法，包括：
对于视频区域和所述视频区域的编解码表示之间的转换，基于与边缘有关的变换单元的量化参数(QP)，确定是否和/或如何将去方块滤波器应用于所述边缘，其中，所述视频区域包括一个或多个编解码单元和一个或多个变换单元；以及
基于所述确定执行所述转换。
47.根据权利要求46所述的方法，其中，在将帧内子块分割处理用于所述视频区域的所述转换的情况下，使用所述变换单元的所述QP。
48.根据权利要求46或47所述的方法，其中，在所述视频区域的尺寸大于虚拟流水线数据单元的尺寸或最大变换块尺寸的情况下，使用所述变换单元的所述QP来代替所述编解码单元的QP。
49.根据权利要求1至48中任一项所述的方法，其中，所述转换包括将所述视频编码为所述编解码表示。
50.根据权利要求1至48中任一项所述的方法，其中，所述转换包括对所述编解码表示进行解码以生成所述视频的像素值。
51.一种视频处理装置，包括：处理器，被配置为实现权利要求1至50中的一项或多项所述的方法。
52.一种其上存储有计算机代码的计算机程序产品，该代码在由处理器执行时使处理器实现权利要求1至50中任一项所述的方法。
53.一种计算机可读介质，其存储根据权利要求1至50中任一项所述的编解码表示。
CN202080061155.XA 2019-08-30 2020-08-31 帧内编解码中的子分割 Active CN114303383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311686113.7A CN117676167A (zh) 2019-08-30 2020-08-31 帧内编解码中的子分割

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019103762 2019-08-30
CNPCT/CN2019/103762 2019-08-30
PCT/CN2020/112425 WO2021037258A1 (en) 2019-08-30 2020-08-31 Sub-partitioning in intra coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311686113.7A Division CN117676167A (zh) 2019-08-30 2020-08-31 帧内编解码中的子分割

Publications (2)

Publication Number Publication Date
CN114303383A true CN114303383A (zh) 2022-04-08
CN114303383B CN114303383B (zh) 2024-07-05

Family

ID=74684261

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311686113.7A Pending CN117676167A (zh) 2019-08-30 2020-08-31 帧内编解码中的子分割
CN202080061155.XA Active CN114303383B (zh) 2019-08-30 2020-08-31 帧内编解码中的子分割

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311686113.7A Pending CN117676167A (zh) 2019-08-30 2020-08-31 帧内编解码中的子分割

Country Status (5)

Country Link
US (2) US11924422B2 (zh)
JP (2) JP7381720B2 (zh)
KR (1) KR20220051340A (zh)
CN (2) CN117676167A (zh)
WO (1) WO2021037258A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005547A1 (ko) * 2022-06-29 2024-01-04 엘지전자 주식회사 Isp 모드에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2024145229A1 (en) * 2022-12-29 2024-07-04 Bytedance Inc. Method, apparatus, and medium for video processing
WO2024140853A1 (en) * 2022-12-30 2024-07-04 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009590A1 (ko) * 2017-07-03 2019-01-10 김기백 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치
US20190075328A1 (en) * 2016-03-16 2019-03-07 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
WO2019154936A1 (en) * 2018-02-09 2019-08-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partition-based intra coding concept

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2432703C2 (ru) 2007-04-17 2011-10-27 Нокиа Корпорейшн Масштабируемое видеокодирование с обратной связью
US20120189052A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
KR20150095808A (ko) 2012-12-14 2015-08-21 퀄컴 인코포레이티드 비대칭적 공간 해상도를 갖는 텍스처 및 심도 뷰 컴포넌트들 사이의 인사이드 뷰 모션 예측
US9615090B2 (en) 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9369708B2 (en) 2013-03-27 2016-06-14 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
CN106416254B (zh) 2015-02-06 2019-08-02 微软技术许可有限责任公司 在媒体编码期间跳过评估阶段
US11722677B2 (en) 2016-05-06 2023-08-08 Interdigital Madison Patent Holdings, Sas Method and system for decoder-side intra mode derivation for block-based video coding
US10666943B2 (en) * 2017-09-15 2020-05-26 Futurewei Technologies, Inc. Block partition structure in video compression
SG11202101799WA (en) * 2018-09-21 2021-03-30 Huawei Tech Co Ltd Apparatus and method for inverse quantization
WO2020167841A1 (en) * 2019-02-11 2020-08-20 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for intra sub-partition coding mode
MX2021011814A (es) * 2019-03-28 2021-11-12 Huawei Tech Co Ltd Método y aparato para intra alisado.
EP3723368A1 (en) * 2019-04-12 2020-10-14 InterDigital VC Holdings, Inc. Wide angle intra prediction with sub-partitions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190075328A1 (en) * 2016-03-16 2019-03-07 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
WO2019009590A1 (ko) * 2017-07-03 2019-01-10 김기백 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치
WO2019154936A1 (en) * 2018-02-09 2019-08-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partition-based intra coding concept

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DE-LUXAN-HERNANDEZ, SANTIAGO 等: "CE8-3.1: Enable Transform Skip in CUs using ISP", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, SE *
HEO, JIN 等: "CE3-related : Harmonization between WAIP and ISP", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, pages 1 - 4 *

Also Published As

Publication number Publication date
US20240129466A1 (en) 2024-04-18
WO2021037258A1 (en) 2021-03-04
CN117676167A (zh) 2024-03-08
CN114303383B (zh) 2024-07-05
JP7381720B2 (ja) 2023-11-15
US20220191490A1 (en) 2022-06-16
US11924422B2 (en) 2024-03-05
JP2022546395A (ja) 2022-11-04
JP2024010156A (ja) 2024-01-23
KR20220051340A (ko) 2022-04-26

Similar Documents

Publication Publication Date Title
CN113678453B (zh) 基于矩阵的帧内预测的上下文确定
CN113812162B (zh) 视频中的简化二次变换的上下文建模
CN113812155B (zh) 多种帧间编解码方法之间的交互
CN114641997B (zh) 基于颜色分量的语法信令通知和解析
CN113875233B (zh) 使用上采样的基于矩阵的帧内预测
CN114303383B (zh) 帧内编解码中的子分割
CN113728636A (zh) 编解码视频中二次变换的选择性使用
CN113785572A (zh) 使用多个参考滤波器的帧内视频编解码
CN114365490A (zh) 高精度图像和视频编解码的系数缩放
CN113826405B (zh) 多个颜色分量的变换量化旁路模式的使用
CN113728631B (zh) 帧内子块分割和多变换选择
CN113853787B (zh) 基于子块使用变换跳过模式
CN113966611B (zh) 视频编解码中的重要系数信令
CN117376550A (zh) 用于图像和视频编解码的高精度变换和量化
CN113812152A (zh) 帧内视频编解码的滤波器选择

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant