CN111294599A - 视频解码方法、视频编码方法及装置 - Google Patents

Abstract

本公开关于视频解码方法、视频编码方法及装置，属于视频编码和压缩技术领域，该视频解码方法包括：接收编码块的解码信息，解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和用于指示采用ISP模式对编码块进行重构的ISP标识，根据块尺寸信息、目标划分方向信息和配置的块尺寸信息的子块划分数量，对编码块进行子块划分，根据目标预测模式信息对编码块划分得到的子块进行预测，根据解码信息获取编码块的变换跳过标识，根据变换跳过标识和压缩后的误差数据确定各子块的预测误差，根据各子块的预测结果和预测误差解码编码块，这样，ISP模式和变换跳过方式可以结合使用，有利于提升ISP模式的编码效果。

Description

视频解码方法、视频编码方法及装置

本申请要求在2019年03月13日提交美国专利局、申请号为62/817,974、申请名称为“Improvements on Intra Sub-Partition Coding Mode”的美国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及视频编码和压缩技术领域，尤其涉及视频解码方法、视频编码方法及装置。

背景技术

在视频编码和压缩技术领域中，可以使用多种视频编码技术来压缩视频数据，并且，可以根据一种或多种视频编码标准来执行视频编码，其中，视频编码标准包括多功能视频编解码(Versatile Video Coding，VVC)、联合探索测试模型(Joint ExplorationModel，JEM)、高效率视频编码(High-Efficiency Video Coding，HEVC)(H.265/HEVC)、高级视频编解码(Advanced Video Coding，AVC)(H.264/AVC)、运动图像专家组(MovingPicture Expert Group，MPEG)编码等。视频编码技术的一个重要目标是在尽可能降低视频压缩率的同时最小化对视频质量的损伤。

第一版HEVC标准已于2013年10月完成，该版HEVC标准与上一代视频编码标准H.264/MPEG AVC相比，在提供等效的感知质量(perceptual quality)的前提下约节省50％的比特率，但有证据表明，利用附加的编码工具可以实现更高的编码效率。为了视频编码的标准化，视频编码专家组(Video Coding Experts Group，VCEG)和MPEG均开始新编码技术的探索工作。ITU-T VECG和ISO/IEC MPEG于2015年10月成立了一个联合视频探索组(JointVideo Exploration Team，JVET)，开始对可大幅提高编码效率的先进技术进行重大研究。JVET通过在HEVC测试模型(HM)之上集成多个附加编码工具，维护了一个叫做联合探索模型(Joint Exploration Model，JEM)的参考软件。

ITU-T和ISO/IEC于2017年10月发布了有关视频压缩效率超出HEVC的联合提案(Call For Proposal，CfP)。2018年4月，在第十届JVET会议上评估了23个CfP，结果表明压缩效率比HEVC高40％左右，基于此，JVET启动了对VVC新一代视频编码标准的新项目，并在同月建立了称为VVC测试模型(VTM)的一个参考软件代码库，用于演示VVC标准的参考实现方式。

VVC同HEVC一样建立在基于块的混合视频编码框架之上，图1给出了一种通用视频编码器的框图，该系统逐编码块(也叫编码单元(Coding Units，CU))处理输入的视频数据。在VTM-1.0中，一个CU可以多达128×128个像素，然而，与仅使用四叉树对块进行划分的HEVC不同，为了适应图像的局部特征，VVC使用四叉树/二叉树/三叉树来将编码树单元(Coding Tree Unit CTU)划分成CU。另外，VVC消除了HEVC中分区单元类型的概念，即，在VVC中不再存在CU、预测单元(Prediction Unit，PU)和变换单元(Transform Unit，TU)的分离，而是每个CU始终用作预测和变换的基本单位，无需再进一步划分。在多类型树结构中，先基于四叉树结构对CTU进行划分，然后，再基于二叉树结构和三叉树结构进一步划分每个四叉树叶子节点，如图2所示，存在五种分区类型：四元分区、水平二元分区、竖直二元分区、水平三元分区和竖直三元分区，其中，W表示CUT的宽，H表示CUT的高。在图1中，可以执行空域预测和/或时域预测，其中，空域预测(即帧内预测)是使用来自同一视频帧/切片中编码后的相邻块的采样(称为参考采样)的像素来预测当前视频块，以减少了视频帧中固有的空域冗余；时域预测(即帧间预测或运动补偿预测)是使用来自编码后的视频帧中的重构像素来预测当前视频块，以减少视频帧中固有的时域冗余。具体实施时，一个CU的时域预测信号通常需要发送一个或多个运动矢量(Motion Vector，MV)信号，其中，运动矢量用于指示当前CU与其时域参考块之间的运动增量和方向，并且，如果有多个参考图像，则额外发送一个参考图像的索引，该索引用于标识时域预测信号来自参考图像存储器中的哪个参考图像。在空域预测和/或时域预测之后，编码器中的模式判定模块可根据速率失真优化方法来选择最佳预测模式，然后，从当前CU中减去利用最佳预测模式得到的预测块，得到预测残差，再利用变换单元和量化单元去除预测残差之间的相关性，对量化的残差系数进行逆量化和逆变换以形成重构残差，然后，将重构残差添加回预测块从而形成当前CU的重构信号。在将重构后的CU放入参考图像存储器之前，还可以在重构后的CU上应用如去块滤波器、采样自适应偏移(Sample Adaptive Offset，SAO)滤波器和自适应环路滤波器(Adaptive In-LoopFilter，ALF)等环路滤波器。最后，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化后的残差系数发送给熵编码单元做进一步压缩和打包，得到最终的视频比特流。

图3给出了一种通用的视频解码器的框图。首先，在熵解码单元中对视频比特流进行熵解码，若编码模式是帧内编码，则预测信息被发送至空域预测单元以形成预测块，若编码模式是帧间编码，则预测信息被发送至时域预测单元以形成预测块，残余变换系数被发送至逆量化单元和逆变换单元以重构残余块，将预测块和残差块相加即可得到重构后的块。在将重构后的块存储在参考图像存储器中之前，还可以对其进行环路滤波。参考图像存储器中的重构视频即可用于驱动显示设备，也可用于预测视频块。

通常，在VVC中应用的基本帧内预测方案与HEVC的基本帧内预测方案保持相同，除了进一步扩展和/或改进了多个模块，例如帧内子划分(Intra Sub-Partition，ISP)模式、具有广角帧内方向的扩展帧内预测、位置自适应帧内联合预测(Position-DependentIntra Prediction Combination，PDPC)和4抽头帧内插值(4-Tap Intra Interpolation)。

相关技术中，ISP模式无法与变换跳过方式一起使用，也就是说，当使用ISP模式对视频帧进行重构时，一定会使用二维变换对ISP模式所带来的重构误差进行压缩处理。但发明人发现，二维变换可能不利于对包含锐利边缘对象(如字符的详细结构、锐利的程序窗口边界等)的视频帧进行编码，将二维变换应用于这类视频帧可能会是无效的，甚至是不能正确编码这类视频帧中的锐利边缘对象的，也就是说，ISP模式对视频帧的编码效果有待提高。

发明内容

本公开提供一种视频解码方法、视频编码方法及装置，以至少解决相关技术中存在的ISP模式对视频帧的编码效果有待提高的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频解码方法，包括：

接收编码块的解码信息，所述解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对编码块进行重构；

根据所述块尺寸信息、所述目标划分方向信息和配置的所述块尺寸信息的子块划分数量，对编码块进行子块划分；

根据所述目标预测模式信息，对所述编码块划分得到的子块进行预测；

根据所述解码信息，获取所述编码块的变换跳过标识；

根据所述变换跳过标识和所述压缩后的误差数据，确定各子块的预测误差；

根据各子块的预测结果和预测误差，解码所述编码块。

在一种可能的实施方式下，根据所述解码信息，获取所述编码块的变换跳过标识，包括：

从所述解码信息中获取变换跳过标识；

若获取到变换跳过标识，则根据获取到的变换跳过标识和约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识；

若未获取到变换跳过标识，则根据约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识。

在一种可能的实施方式下，根据获取到的变换跳过标识和约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识，包括：

若约定的所述编码块的误差压缩级别为编码块级别，则确定获取到的变换跳过标识为所述编码块的变换跳过标识；

若约定的所述编码块的误差压缩级别为子块级别，则根据配置的变换跳过标识的接收位置和所述编码块中子块之间的对应关系，确定所述编码块中子块的变换跳过标识。

在一种可能的实施方式下，还包括：

若仅确定出所述编码块中部分子块的变换跳过标识，则采用上下文自适应二进制算数编码CABAC方式确定所述编码块中未确定出变换跳过标识的每个子块的变换跳过标识。

在一种可能的实施方式下，根据约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识，包括：

采用上下文自适应二进制算数编码CABAC方式确定目标块的变换跳过标识，其中，当所述误差压缩级别为编码块级别时，所述目标块为所述编码块；当所述误差压缩级别为编码块的子块级别时，所述目标块为所述编码块中的每个子块。

根据本公开实施例的第二方面，提供一种视频编码方法，包括：

获取视频序列；

根据所述视频序列中编码块的块尺寸信息和配置的所述块尺寸信息的子块划分信息，对所述编码块进行子块划分，所述子块划分信息包括至少两种划分方向和每种划分方向上的子块划分数量；

根据配置的重构信息确定重构组合，所述重构信息至少包括预测模式和误差压缩方式，所述误差压缩方式至少包括变换跳过方式；

利用每种重构组合对所述编码块在各划分方向上的子块进行重构，根据每种重构组合在各划分方向上的重构性能确定目标重构组合；

根据所述目标重构组合，确定所述编码块的目标重构信息，所述目标重构信息至少包括目标划分方向信息、目标预测模式信息和压缩后的误差数据；

发送所述编码块的解码信息，所述解码信息至少包括所述块尺寸信息、所述目标划分方向信息、所述目标预测模式信息、所述压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对所述编码块进行重构。

在一种可能的实施方式下，若所述重构信息还包括变换跳过标识的熵编码方式，则所述目标重构信息还包括所述编码块的变换跳过标识的目标熵编码方式，以及在发送所述编码块的解码信息之前，还包括：

根据所述编码块的变换跳过标识的目标熵编码方式，判断是否需要发送所述编码块的变换跳过标识；

发送所述编码块的解码信息，包括：

根据判断结果发送所述编码块的解码信息。

在一种可能的实施方式下，根据所述编码块的变换跳过标识的目标熵编码方式，判断是否需要发送所述编码块的变换跳过标识，包括：

若任一目标块的变换跳过标识的目标熵编码方式是上下文自适应二进制算数编码CABAC方式，则确定不发送所述目标块的变换跳过标识；

若任一目标块的变换跳过标识的目标熵编码方式不是CABAC方式，则确定发送所述目标块的变换跳过标识；

其中，当约定的所述编码块的误差压缩级别为编码块级别时，目标块为所述编码块；当约定的所述编码块的误差压缩级别为子块级别时，目标块为所述编码块中的每个子块。

在一种可能的实施方式下，当确定发送所述编码块中子块的变换跳过标识时，所述解码信息中包括的所述编码块中各子块的变换跳过标识是根据配置的变换跳过标识的发送位置和所述编码块中子块之间的对应关系发送的。

在一种可能的实施方式下，所述解码信息中包括所述编码块中全部子块的变换跳过标识或者包括所述编码块中部分子块的变换跳过标识。

根据本公开实施例的第三方面，提供一种视频解码装置，包括：

接收模块，被配置为执行接收编码块的解码信息，所述解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对编码块进行重构；

划分模块，被配置为执行根据所述块尺寸信息、所述目标划分方向信息和配置的所述块尺寸信息的子块划分数量，对编码块进行子块划分；

预测模块，被配置为执行根据所述目标预测模式信息，对所述编码块划分得到的子块进行预测；

获取模块，被配置为执行根据所述解码信息，获取所述编码块的变换跳过标识；

确定模块，被配置为执行根据所述变换跳过标识和所述压缩后的误差数据，确定各子块的预测误差；

解码模块，被配置为执行根据各子块的预测结果和预测误差，解码所述编码块。

在一种可能的实施方式下，所述获取模块具体被配置为执行：

从所述解码信息中获取变换跳过标识；

若获取到变换跳过标识，则根据获取到的变换跳过标识和约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识；

若未获取到变换跳过标识，则根据约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识。

在一种可能的实施方式下，所述获取模块具体被配置为执行：

若约定的所述编码块的误差压缩级别为编码块级别，则确定获取到的变换跳过标识为所述编码块的变换跳过标识；

若约定的所述编码块的误差压缩级别为子块级别，则根据配置的变换跳过标识的接收位置和所述编码块中子块之间的对应关系，确定所述编码块中子块的变换跳过标识。

在一种可能的实施方式下，所述获取模块还被配置为执行：

若仅确定出所述编码块中部分子块的变换跳过标识，则采用上下文自适应二进制算数编码CABAC方式确定所述编码块中未确定出变换跳过标识的每个子块的变换跳过标识。

在一种可能的实施方式下，所述获取模块具体被配置为执行：

采用上下文自适应二进制算数编码CABAC方式确定目标块的变换跳过标识，其中，当所述误差压缩级别为编码块级别时，所述目标块为所述编码块；当所述误差压缩级别为编码块的子块级别时，所述目标块为所述编码块中的每个子块。

根据本公开实施例的第四方面，提供一种视频编码装置，包括：

获取模块，被配置为执行获取视频序列；

划分模块，被配置为执行根据所述视频序列中编码块的块尺寸信息和配置的所述块尺寸信息的子块划分信息，对所述编码块进行子块划分，所述子块划分信息包括至少两种划分方向和每种划分方向上的子块划分数量；

第一确定模块，被配置为执行根据配置的重构信息确定重构组合，所述重构信息至少包括预测模式和误差压缩方式，所述误差压缩方式至少包括变换跳过方式；

编码模块，被配置为执行利用每种重构组合对所述编码块在各划分方向上的子块进行重构，根据每种重构组合在各划分方向上的重构性能确定目标重构组合；

第二确定模块，被配置为执行根据所述目标重构组合，确定所述编码块的目标重构信息，所述目标重构信息至少包括目标划分方向信息、目标预测模式信息和压缩后的误差数据；

发送模块，被配置为执行发送所述编码块的解码信息，所述解码信息至少包括所述块尺寸信息、所述目标划分方向信息、所述目标预测模式信息、所述压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对所述编码块进行重构。

在一种可能的实施方式下，若所述重构信息还包括变换跳过标识的熵编码方式，则所述目标重构信息还包括所述编码块的变换跳过标识的目标熵编码方式，以及还包括判断模块：

所述判断模块，被配置为执行在发送所述编码块的解码信息之前，根据所述编码块的变换跳过标识的目标熵编码方式，判断是否需要发送所述编码块的变换跳过标识；

所述发送模块，具体被配置为执行根据判断结果发送所述编码块的解码信息。

在一种可能的实施方式下，所述判断模块具体被配置为执行：

若任一目标块的变换跳过标识的目标熵编码方式是上下文自适应二进制算数编码CABAC方式，则确定不发送所述目标块的变换跳过标识；

若任一目标块的变换跳过标识的目标熵编码方式不是CABAC方式，则确定发送所述目标块的变换跳过标识；

其中，当约定的所述编码块的误差压缩级别为编码块级别时，目标块为所述编码块；当约定的所述编码块的误差压缩级别为子块级别时，目标块为所述编码块中的每个子块。

在一种可能的实施方式下，当确定发送所述编码块中子块的变换跳过标识时，所述解码信息中包括的所述编码块中各子块的变换跳过标识是根据配置的变换跳过标识的发送位置和所述编码块中子块之间的对应关系发送的。

在一种可能的实施方式下，所述解码信息中包括所述编码块中全部子块的变换跳过标识或者包括所述编码块中部分子块的变换跳过标识。

根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一视频解码方法或视频编码方法。

根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述任一视频解码方法或视频编码方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，该程序产品在被计算机调用执行时，可以使得计算机执行上述任一视频解码方法或视频编码方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

接收编码块的解码信息，其中，解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和用于指示采用ISP模式对编码块进行重构的ISP标识，根据块尺寸信息、目标划分方向信息和配置的块尺寸信息的子块划分数量，对编码块进行子块划分，根据目标预测模式信息对编码块划分得到的子块进行预测，根据解码信息获取编码块的变换跳过标识，根据变换跳过标识和压缩后的误差数据，确定各子块的预测误差，进而根据各子块的预测结果和预测误差解码编码块，这样，ISP模式和变换跳过方式可以结合使用，有利于提升ISP模式对视频帧的编码效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种编码器的框图。

图2是根据一示例性实施例示出的五种分割类型的示意图。

图3是根据一示例性实施例示出的一种解码器的框图。

图4是根据一示例性实施例示出的一种帧内模式的示意图。

图5是根据一示例性实施例示出的一种编码块和参考行之间的位置关系示意图。

图6a是根据一示例性实施例示出的一种预测采样和参考采样之间的位置关系示意图。

图6b是根据一示例性实施例示出的又一种预测采样和参考采样之间的位置关系示意图。

图6c是根据一示例性实施例示出的再一种预测采样和参考采样之间的位置关系示意图。

图7是根据一示例性实施例示出的又再一种预测采样和参考采样之间的位置关系示意图。

图8a是根据一示例性实施例示出的一种对编码块进行划分的示意图。

图8b是根据一示例性实施例示出的又一种对编码块进行划分的示意图。

图8c是根据一示例性实施例示出的再一种对编码块进行划分的示意图。

图9a是根据一示例性实施例示出的常规的W*H编码块的有效帧内方向与参考采样的方位之间的关系示意图。

图9b是根据一示例性实施例示出的W*H的子块的有效帧内方向与参考采样的方位之间的关系示意图。

图10是根据一示例性实施例示出的当基于子块尺寸来启用/禁用广角帧内预测模式时，子块的有效帧内方向与参考采样的方位之间的关系示意图。

图11是根据一示例性实施例示出的一种不可用参考采样和替选参考采样之间的位置关系示意图。

图12是根据一示例性实施例示出的又一种不可用参考采样和替选参考采样之间的位置关系示意图。

图13是根据一示例性实施例示出的再一种不可用参考采样和替选参考采样之间的位置关系示意图。

图14是根据一示例性实施例示出的又再一种不可用参考采样和替选参考采样之间的位置关系示意图。

图15是根据一示例性实施例示出的一种视频解码方法的流程图。

图16是根据一示例性实施例示出的一种获取编码块的变换跳过标识的方法流程图。

图17是根据一示例性实施例示出的一种视频编码方法的流程图。

图18是根据一示例性实施例示出的又一种视频编码方法的流程图。

图19是根据一示例性实施例示出的一种编码块的划分方式示意图。

图20是根据一示例性实施例示出的又一种编码块的划分方式示意图。

图21是根据一示例性实施例示出的一种对编码块进行重构的过程示意图。

图22是根据一示例性实施例示出的又一种对编码块进行重构的过程示意图。

图23是根据一示例性实施例示出的一种视频解码装置的框图。

图24是根据一示例性实施例示出的一种视频编码装置的框图。

图25是根据一示例性实施例示出的一种用于实现视频解码或视频编码方法的电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例主要用于改进VVC标准中的现有ISP设计。在下文中，先简要地回顾VVC中与本公开实施例中所提出的技术紧密相关的其它编码工具如帧内预测和变换编码中的工具。

上下文自适应二进制算术编码(Context-adaptive Binary Arithmetic Coding，CABAC)。

CABAC是VVC等编码标准中使用的熵编码方式，CABAC基于算术编码进行了一些创新和更改以适应视频编码标准的需求，具有针对不同上下文的多种概率模型，CABAC首先将所有非二进制符号转换为二进制(也称为比特)，然后，对每个二进制选择要使用的概率模型，并优化概率估计，最后，利用算术编码来压缩数据。

具有广角帧内方向的帧内预测模式。

VVC同HEVC一样使用与当前CU相邻(上侧或左侧)的一组已解码采样来预测当前CU的采样，并且，为了捕获自然视频中存在的更精细的边缘方向(特别是对于高分辨率的视频内容，例如4K)，角度帧内模式(Angular Intra Mode)的数量从HEVC中的33种扩展至VVC中的93种，HEVC的平面模式(假定水平方向和竖直方向上表面的倾斜度均从边界逐渐变化)和直流(Direct Current，DC)模式(假定表面平坦)也适用于VVC标准。图4示出了VVC标准中定义的帧内模式的示意图，类似于HEVC中的帧内预测，VVC中的所有帧内模式(即平面、DC和角度方向利用当前编码块上方和左侧的一组相邻重构采样作为帧内预测的参考采样。图5示出了当前编码块和参考采样之间的位置关系示意图，在HEVC中，仅将离当前编码块最近的采样行/列(即图5中的行0)作为参考采样，而在VVC中，引入了多参考行(Multi ReferenceLine，MRL)，MRL使用两个附加行/列(即图5中的行1和行3)作为参考采样，并且，编码器可将所选参考行/列的索引发送给解码器。当选择的不是最近的参考行/列时，平面模式和DC模式将会从用于预测当前编码块的帧内模式列表中排除。假设选择的是最近的行/列，图6a-6c示出了VVC中预测采样和参考采样之间的位置关系示意图，由于应用四叉树/二叉树/三叉树划分当前编码块，所以除了正方形编码块之外，VVC中还存在矩形编码块，由于矩形编码块的宽和高不相等，因此，针对不同的块形状选择了各种角方向集，这也称为广角帧内预测。具体地，对正方形编码块和矩形编码块，除了平面模式和DC模式外，每种形状的编码块还支持93种角度方向中的65种角度方向，如表1所示。这种设计不仅可以有效地捕获视频中通常存在的方向结构(通过基于块形状自适应地选择角度方向)，而且，可以保证每个编码块都能够使用67种帧内模式(即平面、DC和65种角度模式)，为不同尺寸的编码块提供了一致的帧内模式的信令通知设计，因此，信令通知帧内模式的效率也比较高。

表1 VVC中不同形状的编码块选择的帧内预测的角度方向

位置自适应帧内联合预测。

实际应用中，帧内预测采样可以根据未经滤波的相邻参考采样集生成，也可以根据滤波后的相邻参考采样集生成，这可能在当前编码块与其领域之间的编码块边界引入不连续性。为了解决该问题，HEVC采用了边界滤波器。具体地，利用2抽头滤波器或基于梯度的平滑滤波器，将DC、水平(即模式18)和竖直(即模式50)预测模式的预测采样的第一行/列与未滤波的参考采样进行组合，从而实施边界滤波，其中，2抽头滤波器一般适用于DC模式，基于梯度的平滑滤波器一般适用于水平和竖直预测模式。

VVC中的PDPC工具通过采用帧内预测采样与未过滤的参考采样的加权组合来扩展上述思想。在当前的VVC工作草案中，针对以下帧内模式启用PDPC，而无需发信号：平面、DC、水平(即模式18)、竖直(即模式50)、接近于左下对角线方向的角方向(即帧内模式2，3，4，…，10)和接近右上对角线方向的角方向(即帧内模式58，59，60，…，66)。

参见图7，假设坐标(x，y)处的预测采样为pred(x,y)，则在进行PDPC之后其对应值为：

pred(x,y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+wTL)×

pred(x,y)+32)>>6； (1)

其中，R_-1,y表示位于当前采样位置(x，y)左侧的参考采样，wL表示R_-1,y的权重，R_x,-1表示位于当前采样位置(x，y)顶部的参考采样，wT表示R_x,-1的权重，R_-1,-1表示位于当前编码块左上角处的参考采样，wTL表示R_-1,-1的权重。

具体实施时，可根据预测模式和采样位置，自适应地选择等式(1)中的权重wL，wT和wTL，如下所述：

对于DC模式，

wT＝32>>((y<<1)>>shift)；

wL＝32>>((x<<1)>>shift)；

wTL＝(wL>>4)+(wT>>4)； (2)

对于平面模式，

wT＝32>>((y<<1)>>shift)；

wL＝32>>((x<<1)>>shift)；

wTL＝0； (3)

对于水平模式，

wT＝32>>((y<<1)>>shift)；

wL＝32>>((x<<1)>>shift)；

wTL＝wT； (4)

对于竖直模式，

wT＝32>>((y<<1)>>shift)；

wL＝32>>((x<<1)>>shift)；

wTL＝wL； (5)

对于左下对角方向，

wT＝16>>((y<<1)>>shift)；

wL＝16>>((x<<1)>>shift)；

wTL＝0； (6)

对于右上对角方向，

wT＝16>>((y<<1)>>shift)；

wL＝16>>((x<<1)>>shift)；

wTL＝0； (7)

其中，shift＝(log₂(W)–2+log₂(H)–2+2)>>2，W为当前编码块的宽，H为当前编码块的高。

多变换选择和形状自适应变换选择。

为了启用多变换选择(Multiple Transform Selection，MTS)工具，VVC除了引入HEVC中的DCT-II，还引入了DCT-VIII、DST-IV和DST-VII。在VVC中，通过在比特流中添加MTS标志来在编码块级别自适应地选择变换类型。具体地，当一个块的MTS标志等于0时，沿水平方向和竖直方向应用一对固定变换(如DCT-II)；当MTS标志等于1时，将为编码块发送两个附加标志，以指示每个方向的变换类型，其中，每个方向的变换类型为DCT-VIII或DST-VII。

另一方面，由于在VVC中引入基于四叉树/二叉树/三叉树的块划分结构，因此，帧内预测的残差分布与块形状高度相关。而当禁用MTS时(即编码块的MTS标志等于0)时，所有的编码块使用一种形状自适应变换选择方法，其中，根据当前编码块的宽和高隐式地启用DCT-II和DST-VII。具体地，对每个矩形编码块，在与该编码块短边相关的方向使用DST-VII，以及在与该编码块长边相关的方向使用DCT-II；对于每个正方形编码块，水平、竖直两个方向均使用DST-VII。

此外，为了避免在不同形状的编码块中引入新的变换类型，仅当一个编码块的较短边小于或等于16时才使用DST-VII；否则，始终使用DCT-II。表2示出了基于VVC中的形状自适应变换选择方法所启用的编码块的水平变换和竖直变换。

表2 VVC中编码块的形状自适应变换选择

帧内子划分模式。

传统的帧内模式仅利用与一个编码块相邻的参考采样来生成编码块中的预测采样，基于这种方法，预测采样和参考采样之间的空域相关性大致与预测采样和参考采样之间的距离成比例。因此，编码块内部采样(尤其是位于块的右下角的采样)的预测质量通常比靠近块边界的采样的预测质量要差。为了进一步提高帧内预测的质量，提出了短距离帧内预测(Short-Distance Intra Prediction，SDIP)，并在HEVC标准开发期间进行了深入研究。在SDIP中，将一个编码块水平地或竖直地划分为多个子块。通常，正方形块被划分为四个子块。例如，8×8块可以被分成四个2×8或四个8×2子块。这种基于子块的帧内预测的一种极端情况是所谓的基于行/列的预测。例如，对于W×H(宽×高)的编码块，可以将编码块分割为W×1的H个子块，也可以将编码块分割为1×H的W个子块，之后，每个子块(行/列)采用与常规编码块相同的方式进行编码(如图1所示)，即，它由可用的帧内模式之一进行预测，预测误差基于变换和量化来去相关之后发送给解码器。并且，一个子块(如行/列)中的重构采样用作下一子块的参考采样，重复上述过程，直到编码块内的所有子块都完成预测。此外，为了减少信令开销，一个编码块内的所有子块可以共享同一帧内模式。

利用SDIP，不同的子块可以提供不同的编码效率。通常，基于行的预测可以提供最佳的编码效率，因为它提供了不同子块之间的最短预测距离。但对于编解码器硬件实现而言，基于行的预测却具有最差的编码/解码吞吐量问题。考虑具有4×4子块的编码块与具有4×1或1×4子块的相同编码块，具有4×1或1×4子块的相同编码块仅是具有4×4子块的编码块的吞吐量的四分之一。

最近，VVC引入了子块预测(Sub-Partition Prediction，ISP)的视频编码工具。从概念上讲，ISP与SDIP非常相似。具体地，根据编码块的块尺寸，ISP可以沿水平方向将编码块划分为2或4个子块，也可以沿竖直方向将编码块划分为2或4个子块，且每个子块至少包含16个采样。图8a-图8c示出了不同尺寸的编码块的所有可能的子块划分情况。

此外，当前ISP设计中还包括以下主要方面，以处理ISP工具与VVC中其它编码工具的交互：

1、与广角帧内方向的交互：ISP与广角帧内方向组合。在当前方案中，根据一个原始编码块(即在进行子块划分之前的编码块)的块尺寸(如宽/高比)，确定是采用常规的帧内方向还是采用其对应的广角帧内方向。

2、与多参考行的交互：ISP无法与多参考行结合启用。在当前的VVC信令设计中，在信令通知MRL索引之后，信令通知ISP启用/禁用标志。当一个编码块具有一个非零MRL索引(即不使用最近的相邻采样)时，不信令通知ISP启用/禁用标志，而是直接推断ISP标志为0，即自动禁用编码块使用ISP模式，其中，ISP标志为0表示禁用ISP，ISP标志为1表示启用ISP。

3、与最可能模式的交互：与常规的帧内模式类似，一个ISP编码块的帧内模式通过最可能模式(Most Probable Mode，MPM)机制发送。然而，与常规的帧内模式相比，对ISP的MPM方法进行了以下修改：

1)每个ISP编码块仅启用包含在MPM列表中的帧内模式，且禁用所有的未在MPM列表中的其它帧内模式；

2)每个ISP编码块的MPM列表排除DC模式，并且，对水平方向优选考虑水平帧内模式，对竖直方向优选考虑竖直帧内模式。

4、与多变换选择的交互：ISP排他性地与MTS配合使用。当一个编码块使用ISP时，不必信令通知编码块的MTS标志而是始终将MTS标志推断为0，即MTS被禁用。然而，为了不一直使用DCT-II这一种变换，可根据ISP编码块的块尺寸将一组固定的核心变换(包括DST-VII和DCT-II)隐式地应用于ISP编码块。具体地，假设W和H是一个子块的宽度和高度，则可根据表3选择子块的帧内模式、水平变换和竖直变换。

表3子块选择帧内模式、水平变换和竖直变换的方法

尽管VVC中的ISP工具可以提高帧内预测效率，但仍可进一步改进其性能，并且，为了提高编解码器的硬件实现效率，还需要简化现有ISP的某些部分。具体地，在本公开实施例中已经确定了现有ISP设计中的以下问题。

1.为了最小化ISP的实现成本，在实际的编解码器设计中为ISP编码块最大程度地复用常规编码块的现有帧内预测模块(如参考采样访问、帧内采样预测等)更为合理。然而，当将ISP与广角帧内预测结合使用时，根据原始编码块而不是实际块(如子块)的块尺寸/形状，判断是否应当将原始帧内模式(即以编码块级别信号通知的帧内模式)替换为每个子块对应的广角帧内模式，这与常规ISP编码块不一致，因为常规ISP编码块基于自身的块尺寸在常规的帧内方向和广角帧内方向之间进行选择。可以肯定，这种不一致的设计可能导致硬件实现的以下复杂性问题。

首先，相同尺寸的块所支持的有效帧内方向的范围在ISP模式和常规ISP模式之间是不同的。

其次，对相同尺寸的块进行帧内预测的相邻参考采样在ISP模式和常规ISP模式之间是不同的。

此外，为了支持由当前ISP所定义的有效帧内方向，每个子块可能需要访问比相同尺寸但未由ISP模式编码的编码块更多的上方或左侧相邻参考采样。为了说明该问题，图9a-图9b比较了当用常规的帧内模式编码一个编码块时和当该编码块被编码为ISP模式的一个子块(假设从竖直方向将该编码块分割成两个子块)时，该编码块的有效帧内方向和使用的参考采样的范围的示意图。如图9a所示，当使用常规的帧内模式时，该编码块有效的角帧内方向的范围从模式2到模式66(即覆盖45°到-135°的角度范围)，为了支持这些方向，当预测该编码块时，需要访问该编码块上侧的2W+1个参考采样和左侧的2H+1个参考采样。但是，当如图9b所示，当使用ISP模式对该编码块进行编码时，由于父编码块的形状为扁平矩形，需要将广角帧内预测应用于该编码块，使得该编码块有效的角帧内方向的范围从模式8到模式72(即覆盖63.4°到-116.6°的角度范围)，为了支持这些方向，当预测该编码块时，需要访问该编码块上侧的3W+1个参考采样和左侧的3H/2+1个参考采样。也就是说，图9b与图9a相比需要从访问该编码块的相邻采样中多访问W个参考采样。

2、由于帧内预测的残差之间存在很强的相关性，所以当禁用MTS时，将DCT-II和DST-VII同时应用于帧内预测的编码块。然而，如表2和表3所示，常规的帧内模式编码的编码块和ISP模式编码的编码块利用不同的方法来选择DCT-II和DST-VII之间的最佳水平/竖直变换。实际上，最佳变换的选择取决于预测残差的实际分布，而预测残差的实际分布应当与编码块的块尺寸和编码块所应用的帧内模式高度相关，而不是取决于编码块是否应用ISP模式。再者，为所有编码块的变换选择统一的设计对ISP的硬件实现也更加有益。

3、MRL无法与ISP模式结合使用。当一个编码块的MRL索引不为零时，总是通过将ISP标志的值推断为零以禁用ISP模式。然而，MRL工具的增益主要来自以下两个方面：

1)由于在变换域中应用量化/去量化，因此，不同位置处的重构采样可能具有不同的重构质量，也就是说，最近的邻域可能不会始终是帧内预测的最佳参考采样；

2)在最近的邻域中可能存在编码噪声和遮挡，这可能会导致帧内预测采样的质量下降。

基于上述分析，对ISP模式禁用MRL似乎是不合理的，换句话说，当启用ISP和MRL的组合时，可以预期附加的编码增益。

4、如果ISP编码块中的子块尺寸属于1×N、N×1、2×N或N×2，则可能会存在实现上的问题。在ISP模式中，相邻子块的重构像素必须准备好以用于预测当前子块，也就是说，为了预测当前子块中的像素，必须等待相邻子块的重构循环完成，而当子块的宽和高相差比较大时，子块的重构延迟会比较突出，而重构延迟会降低VVC的吞吐量，从而影响ISP的编码性能。

5、ISP模式无法与变换跳过方式一起使用，也就是说，当使用ISP模式对视频帧进行重构时一定会使用二维变换对ISP模式所带来的重构误差进行压缩处理。但发明人发现，二维变换可能不利于对包含锐利边缘对象，如字符的详细结构、锐利的程序窗口边界等，的视频帧进行编码，将二维变换应用于这类视频帧的重构误差可能会是无效的，甚至是不能正确编码视频帧中的锐利边缘对象的。如果引入变换跳过方式，则可以提高ISP模式对这类视频帧的编码效果。然而，目前变换跳过方式不适于ISP模式，这可能会限制ISP模式对这类内容进行编码的可能性。换句话说，当启用ISP和变换跳过方式的组合时，可以预期会有额外的编码增益。

为了解决这些问题，本公开实施例提出了一些方法以进一步改进ISP编码效率，并简化现有的ISP设计以方便硬件实现。

基于子块尺寸启用/禁用ISP模式中的广角帧内方向。

在当前的VVC设计中，将广角帧内预测应用于ISP编码块，且根据整个编码块来判断是将原始帧内模式应用于一个子块还是将对应的广角帧内模式应用于一个子块，这样，不仅会使ISP编码块和常规编码块所支持的帧内方向范围不一致，而且可能增加编码块上侧邻域或左侧邻域的参考采样的数量。为此，在本公开的一个实施方式中，提出基于子块尺寸启用/禁用编码块的广角帧内模式。使用图9a-图9b中的相同示例，图10示出了当应用该方法时，一个子块的有效帧内方向和该子块使用的参考采样的示意图，从图10可以看出，在应用该方法之后，每个子块支持的帧内模式的范围从模式2到模式66(即从45°到-135°)，并且，帧内预测所需的参考采样包括来自上侧邻域的2W+1个参考采样和来自左侧邻域的2H+1个参考采样，这些统计数据与图9a中相同尺寸(即W×H)的一个常规编码块的统计数据相同，因此，该方法可以为编码块的广角帧内预测提供一种统一设计，而不管它们是否利用ISP模式进行编码。

另外，在当前的VTM-3.0中，最大编码块的宽度或高度为64，最小编码块的宽度或高度为4。相应地，一个编码块的纵横比可以为M：1或1：M，其中M可以是1、2、4、8、16、32和64。然而，在启用ISP模式后，一个子块的宽度或高度可以减小至一个采样，并且，1:64或64：1的纵横比也成为可能。因此，当基于子块尺寸启用/禁用ISP的广角帧内预测时，在定义用于ISP支持的广角帧内方向时应当引入一对纵横比，即64：1和1:64。为了实现这一点，需要在angTable[]和invAngTable[]中引入一个新元素，表4中的灰色元素是引入的新元素，其中，angTable[]和invAngTable[]定义了各种帧内角度的tan值和arctan值。

表4针对角帧内预测所修改的angTable[]和invAngTable[]

根据本公开的第二实施方式，不必在表4中添加新元素以处理具有1:64或64：1的新纵横比的子块的帧内预测，而是始终禁用SIP模式，换句话说，在解码器端，当得到的子块具有64∶1或1∶64的纵横比时，推断SIP模式为0(即禁用SIP模式)。

根据本公开的第三实施方式，不必在表4中添加新元素以处理具有新纵横比为1:64和/或64：1的子块的帧内预测，分别将用于纵横比为1:16和16：1的同一组帧内预测方向用于具有纵横比为1:64和64：1的子块。

统一编码块的变换选择。

在目前的VVC中，当禁用MTS时，常规ISP编码块(参见表2)和ISP编码块(参见表3)采用不同方法从DCT-II和DST-VII中选择最佳水平/竖直变换，这种方式可能是不合理的，因为对每个块/子块的帧内预测残差的统计分布应当独立于当前编码块是否使用ISP模式。为了实现统一设计，下面提出了两种方法来协调ISP编码块的变换选择和常规编码块的变换选择。

在一种可能的实施方式下，将常规编码块的变换选择方法(参见表2)扩展至ISP编码块。具体地，常规编码块的变换选择方法保持与表2中的现有设计相同，而ISP编码块的变换选择方法被修改为：当一个ISP编码块被划分成矩形的子块时，DST-VII适于每个子块的较短维度，DCT-II适于该子块的较长维度；当一个ISP编码块被划分成正方形的子块时，DST-VII适于水平方向和竖直方向。另外，为了避免引入新的变换尺寸，仅当子块的相应尺寸等于或小于16时才使用DST-VII(表2中相同的约束设计)。

在另一种可能的实施方式下，将ISP编码块的变换选择方法(参见表3)扩展至常规编码块。具体地，子块的变换选择方法与表3中的现有设计保持相同，并且，将常规编码块的变换选择修改为表3中，即，常规编码块也按照表3根据编码块的块尺寸选择帧内模式、水平变换和竖直变换。

在当前的VVC设计中，ISP模式不能与MTS模式结合地应用。具体地，当通过ISP模式对一个编码块进行编码时，不发送MTS的启用/禁用标志；而是始终MTS的标志推断为0，即禁用MTS。从概念上讲，ISP模式的增益主要来自以下两个原因。

首先，由于预测采样到参考采样之间的距离缩短，当启用ISP模式时，平均帧内预测相关性得到改进，因此，可提高帧内预测效率。

其次，由于子块的出现，编码器/解码器具有更大的自由度来应用各种尺寸的变换，这些变换可以更好地适应编码块内部的局部残差的特定特性。一般地，在将一个ISP编码块划分为多个子块后，每个子块具有更多机会来实现更小的预测残差。例如，一个子块的所有预测残差可能变为零，在这种情况下，仅需要在比特流中指示单个比特(即CBF＝0)以在解码器处重建残差，大大节省了信令开销。另一方面，MTS的增益来自对多个变换的自适应选择，以更好地压缩一个编码块的残差信息，因此，在ISP模式和MTS模式的增益之间应当没有强的重叠，即，通过启用ISP模式和MTS模式的组合，可以期望额外的编码增益。同时，对ISP编码块始终禁用MTS模式的设计与启用MTS模式的常规编码块的设计不一致，从促进编码器/解码器硬件实现的角度来看，更希望对ISP编码块和常规编码块提供一种一致的MTS设计。为了在实现统一设计的同时改进帧内编码性能，本公开提出针对ISP模式启用MTS模式。

在一种实施方式下，可以对一个ISP编码块发信号通知一对MTS水平/竖直变换(例如，通过语法元素通知MTS标志和MTS索引)，并且，信号通知编码块内的所有子块共享MTS变换。

在另一种实施方式下，每个子块选择自己的MTS变换。具体地，当一个编码块启用ISP模式时，为每个子块发送一个MTS标志，若MTS标志为零，则可对该子块隐式地使用变换选择(如表3)；若MTS标志为1，则可信号发送额外的语法元素(例如MTS索引)，以指示该子块沿水平方向和竖直方向的变换(如DCT-VIII、DST-IV和DST-VII)。

上述方法中，由于每个子块选择自己的MTS变换，需要在比特流中发送多个MTS启用/禁用标志，信令开销比较大。为了减少信令开销，在另一种实施方式下，可以对ISP编码块内的所有子块同时启用/禁用MTS模式，但在启用MTS模式时允许每个子块选择其自己的变换。比如，在编码块级别用信号发送一个MTS标志，当MTS标志为零时，可以按照表3选择所有子块的变换；当MTS标志为1时，可以信号发送每个子块的MTS索引，以指示该子块选择的变换。

协调ISP编码块和常规编码块的MPM生成方法。

与常规编码块相比，ISP编码块利用一种不同的方法来形成MPM列表，该列表中不包括DC模式，并且，根据已实施的分区方向，要么对某些相邻水平帧内模式进行优先级排序，要么对某些相邻竖直帧内模式帧进行优先级排序，这样，相应的编码益处可能受限。

在一种可能的实施方式下，本公开提出使用与常规编码块相同的MPM列表生成方法来生成ISP编码块的MPM列表。

在另一种可能的实施方式下，本公开对ISP编码块提供一种更高效的MPM列表生成方法。在保持ISP编码块与常规编码块的MPM列表生成方法不同的前提下，改进VVC中ISP编码块的MPM列表生成方法，以达到更好的编码效率。

具体地，当为ISP编码块生成MPM列表时，如果当前编码块被水平分区，则如图4中所示的从-14到18范围的帧内预测方向(平面的方向0和DC的方向1除外)被排除在选择之外，这种排除的原因在于这些预测方向不太可能在ISP模式下为水平分区的子块提供预测益处。同样地，当为ISP编码块生成MPM列表时，如果当前编码块被竖直地分区，则如图4所示的从50到80范围的帧内预测方向被排除在选择之外，这种排除的原因在于这些预测方向不太可能在ISP模式下为竖直分区的子块提供预测益处。

另外，当基于上述规则从ISP编码块的MPM列表中排除一些帧内预测方向时，如果MPM列表中的MPM不够6个，还可以添加一些其它帧内预测方向作为替代。

在一个示例中，如果排除的帧内预测方向存在对应的广角帧内预测方向，则可以将该广角帧内预测方向作为替代放入MPM列表中。在另一个示例中，可以将已经在MPM列表中的与帧内模式相邻的一些帧内预测方向作为替代放入MPM列表中。

ISP模式与MRL模式的组合。

在当前的VVC中，当使用的参考采样不是来自编码块的最近邻域(即MRL索引不为零)时，将ISP标志强制设置为零(即禁用ISP模式)，也就是说，不能将ISP模式和MRL模式应用于一个编码块中。然而，ISP模式的目的在于通过缩短预测采样与参考采样之间的距离来提升帧内预测效率，MRL模式的目的在于缓解最邻近采样中存在的编码噪声和遮挡对整体帧内编码性能的负面影响，这两种工具的编码优势之间几乎没有重叠，也就是说，两者结合的益处是可以预期的。为了进一步改进帧内预测的效率，本公开提出为一个编码块启同时ISP模式和MRL模式。

在一种实施方式下，可以在发送MRL索引之前或之后发送一个ISP标志，并且，MRL索引被同一ISP编码块中的所有子块共享，即所有子块将使用其各自的重建采样的第i行/列(如MRL索引所示)作为参考以生成帧内预测采样。

在另一种实施方式下，ISP编码块中的每个子块可以参考重建的相邻采样的不同行/列。具体地，在发送ISP标志之后信号通知MRL索引，如果ISP标志等于零(即未对编码块进行分区)，则发信号通知一个MRL索引，该MRL索引被用于确定整个编码块的参考采样；如果ISP标志等于1，则根据编码块中的子块数量发送多个MRL索引(每个索引对应一个子块)，以分别指示每个子块相应的参考采样的位置。

扩展ISP的参考采样。

在当前的ISP设计中，对ISP编码块中不位于首行首列的子块，当该子块的参考采样不可用时，使用最接近的可用参考采样进行替代，参见图11，当浅灰色区域的参考采样不可用(未完成预测)时，用箭头所指的一个参考采样对所有浅灰色区域的参考采样进行替代，这样，实际使用的参考采样的数量比较少，预测效果并不好。为了改进ISP的预测效果，本发公开提出使用不同的方案来为不可用的参考采样选择替选的参考采样。

在一种实施方式下，当前编码块的参考采样被用作那些不可用的参考采样的替选参考采样。如图12和13中所示，其中，每个不可用参考采样的替选参考采样是从角度帧内预测模式指示的当前编码块的参考采样中选择的。

需要说明的是，当生成替选参考采样时，由传统的帧内预测所使用的内插滤波器或参考采样平滑滤波器也可以在这里应用。此外，当预测模式是DC模式或平面模式时，不需要额外的过程来确定替选参考采样。

在另一种实施方式下，部署简单的复制以生成替选参考采样，如图14中所示。

具体实施时，本公开提出的ISP扩展采样生成方法(图12-图14所示)可以与本公开提出的其它ISP改进/简化方法自由组合。

在一个具体示例中，将ISP扩展采样生成方法与ISP广角帧内方向组合，即，根据子块尺寸确定是否启用/禁用广角帧内方向，并且，当启用这种组合时，由于非第一子块(编码块中不位于首行首列的子块)的不可用参考采样是从第一子块(编码块中位于首行首列的子块)的相邻参考采样生成的，第一子块可能需要更多的相邻参考采样，因为非第一子块所使用的替选参考采样的数量取决于子块对应的广角帧内方向，而子块对应的广角帧内方向根据子块尺寸而不是编码块尺寸确定。换句话说，这种设计可能会增加第一子块需要访问的参考采样的数量。

为了避免这种情况，在本公开的一种实施方式下，在子块的原始参考采样区域中填充最近的参考采样的值来生成那些附加参考。在另一种实施方式下，将一个非第一子块的帧内模式剪辑为最接近的帧内模式，该最接近的帧内模式不需要使用除第一子块之外的其它参考采样。

去除ISP模式中的一些子块。

在当前的VVC中，子块尺寸可以为1×N、N×1、2×N或N×2。为了预测当前的子块，必须先生成相邻子块中的重建像素，这种延迟会降低VVC的吞吐量。

在第一种实施方式下，当编码块划分以后的子块尺寸为1×N和/或2×N时，禁用编码块使用ISP模式。

在第二种实施方式下，当编码块划分以后的子块尺寸为1xN、2xN、Nx1和/或Nx2时，禁用编码块使用ISP模式。

在另一种实施方式下，当编码块划分以后的子块尺寸为1×N时，禁用编码块使用ISP模式。

在又一实施方式中，当编码块划分以后的子块尺寸为1×N和/或N×1时，禁用编码块使用ISP模式。

表5示出了编码块的块尺寸、子块尺寸和编码块的子块划分方向之间的关系，在此基础上，根据给定的禁用ISP模式的子块尺寸，可以确定禁用的编码块的块尺寸和子块划分方向。

比如，为了禁用1×N和2×N的子块，对于4×16、4×32、4×64、4×8、8×8、8×16、8×32和8×64尺寸的编码块，可以在竖直方向上禁用ISP模式。

表5编码块的块尺寸、子块尺寸和编码块的子块划分方向之间的关系

应用于ISP模式的变换跳过。

根据VVC设计，ISP编码块始终关闭变换跳过。如前面所分析的，从编码效率的角度来看这种机制可能是不合理的。

在本公开的一个示例中，一个ISP编码块发送一个变换跳过标识，此时，ISP编码块中的所有子块共享这一个变换跳过标识。也就是说，ISP编码块中的所有子块要么全部使用变换跳过，要么全部不使用变换跳过。

在本公开的又一示例中，ISP编码块中的每个子块都可以确定自己的变换跳过标识，并发送自己的变换跳过标识。也就是说，ISP编码块中有几个子块就会发送几个变换跳过标识。在这种情况下，为了获得更好的编码效率，可以利用CABAC推断ISP编码块中当前子块的变换跳过标识，即，当前子块的变换跳过标识取决于先前子块的变换跳过标识的值。

图15是根据一示例性实施例示出的一种视频解码方法的流程图，该方法的流程图包括以下步骤。

S1501：接收编码块的解码信息，其中，解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和ISP标识，ISP标识用于指示采用ISP模式对编码块进行重构。

S1502：根据块尺寸信息、目标划分方向信息和配置的块尺寸信息的子块划分数量，对编码块进行子块划分。

图8a-图8c示出了所有尺寸的编码块的子块划分信息，其中，划分方向包括水平方向和竖直方向，子块划分数量为2或4，并且，在各划分方向上都可以对编码块平均地进行划分，也就是说，在每种划分方向上对编码块进行划分后的子块的尺寸是相同的。

具体实施时，解码器根据目标划分方向信息可以确定编码块的划分方向，再结合编码块的块尺寸信息和配置的块尺寸信息的子块划分数量，即可在该划分方向上对编码块进行子块划分。

S1503：根据目标预测模式信息，对编码块划分得到的子块进行预测。

具体实施时，编码块中各子块的预测模式可以相同，也可以不同。当编码块中各子块的预测模式相同时，可以根据目标预测模式信息确定一种预测模式，进而采用该种预测模式对编码块划分得到的各子块分别进行预测；当编码块中各子块的预测模式不同时，可以根据目标预测模式信息为编码块中的每个子块确定一种预测模式，进而采用该种预测模式对编码块中的该子块进行预测。

S1504：根据解码信息，获取编码块的变换跳过标识。

具体实施时，可以按照图16所示的流程获取编码块的变换跳过标识，该流程包括以下步骤。

S1601a：从解码信息中获取变换跳过标识。

S1602a：判断是否获取到变换跳过标识，若是，则进入S1603a；若否，则进入S1604a。

S1603a：根据获取到的变换跳过标识和约定的编码块的误差压缩级别确定编码块的变换跳过标识。

具体实施时，若约定的编码块的误差压缩级别为编码块级别，则解码器仅会收到编码块的一个变换跳过标识，因此，可将获取到的变换跳过标识确定为编码块的变换跳过标识；若约定的编码块的误差压缩级别为子块级别，则解码器会收到编码块中至少一个子块的变换跳过标识，因此，可根据配置的变换跳过标识的接收位置和编码块中子块之间的对应关系，确定编码块中子块的变换跳过标识。

另外，当引入CABAC对编码块中各子块的变换跳过标识进行编码时，编码器可能会发送编码块中全部子块的变换跳过标识，也可能会发送编码块中部分子块的变换跳过标识。而当编码器仅发送编码块中部分子块的变换跳过标识时，解码器根据获取到的变换跳过标识仅能确定出编码块中部分子块的变换跳过标识。考虑到CABAC参考的是视频流中已有的变换跳过标识的取值，而解码器和编码器所参考的视频流是相同的，因此，在这种情况下，解码器同样可采用CABAC方式确定编码块中未确定出变换跳过标识的每个子块的变换跳过标识，且解码器所确定出的变换跳过标识的取值与编码器所确定出的变换跳过标识的取值是相同的，也就是说，解码器最终确定出的编码块中每个子块的变换跳过标识与编码器确定的该子块的变换跳过标识是相同的。

S1604a：根据约定的编码块的误差压缩级别确定编码块的变换跳过标识。

具体实施时，可采用CABAC方式确定目标块的变换跳过标识，其中，当约定的编码块的误差压缩级别为编码块级别时，目标块为编码块；当约定的编码块的误差压缩级别为编码块的子块级别时，目标块为编码块中的每个子块。

也就是说，当约定的编码块的误差压缩级别为编码块级别时，采用CABAC方式确定编码块的变换跳过标识；当约定的编码块的误差压缩级别为编码块的子块级别时，采用CABAC方式确定编码块中每个子块的变换跳过标识。需要说明的是，在这两种情况下，CABAC方式所参考的周边块是不同的。

S1505：根据变换跳过标识和压缩后的误差数据，确定各子块的预测误差。

具体实施时，当与编码器约定的误差压缩级别是编码块级别时，解码器会确定出编码块的变换跳过标识，若编码块的变换跳过标识表示不需要对压缩后的误差数据进行逆变换处理，则在对压缩后的误差数据进行逆量化处理后，可将逆量化处理后的数据确定为各子块的预测误差；若编码块的变换跳过标识表示需要对压缩后的误差数据进行逆变换处理，则在对压缩后的误差数据进行逆量化处理后，对逆量化处理后的数据再进行逆变换处理，将逆变换处理后的数据确定为各子块的预测误差。

而当与编码器约定的误差压缩级别是编码块的子块级别时，解码器会确定出编码块中每个子块的变换跳过标识，此时，可从压缩后的误差数据中分离出编码块中每个子块压缩后的误差数据，进一步地，若该子块的变换跳过标识表示不需要对该子块压缩后的误差数据进行逆变换处理，则在对该子块压缩后的误差数据进行逆量化处理后，可将逆量化处理后的数据确定为该子块的预测误差；若该子块的变换跳过标识表示需要对该子块压缩后的误差数据进行逆变换处理，则在对该子块压缩后的误差数据进行逆量化处理后，对逆量化处理后的数据再进行逆变换处理，将逆变换处理后的数据确定为该子块的预测误差。

S1506：根据各子块的预测结果和预测误差，解码编码块。

具体实施时，将编码块中每个子块的预测结果和该子块的预测误差相加，即可解码该子块，解码了编码块中的所有子块即完成了对编码块的解码。

需要说明的是，上述S1502-S1503与S1504-S1505之间没有严格的先后顺序关系。

图17是根据一示例性实施例示出的一种视频解码方法的流程图，该方法的流程图包括以下步骤。

S1701：获取视频序列。

S1702：根据视频序列中编码块的块尺寸信息和配置的块尺寸信息的子块划分信息，对编码块进行子块划分。

其中，每种块尺寸信息的子块划分信息包括至少两种划分方向和每种划分方向上的子块划分数量。

图8a-图8c示出了所有尺寸的编码块的子块划分信息，其中，划分方向为水平方向和竖直方向，子块划分数量为2或4，并且，在各划分方向上都可以对编码块进行平均划分，也就是说，在每种划分方向上对编码块进行划分后的子块尺寸是相同的。

S1703：根据配置的重构信息确定重构组合，其中，重构信息至少包括预测模式和误差压缩方式，且误差压缩方式至少包括变换跳过方式。

具体实施时，误差压缩方式至少包括变换跳过方式，其它误差压缩方式如水平方向采用DCT-II、垂直方向采用DCT-II，水平方向采用DST-VII、垂直方向采用DCT-II等，考虑变换跳过方式也就表示ISP模式可以和变换跳过方式结合使用。而且，每种重构组合至少包括一种预测模式和一种误差压缩方式。

S1704：利用每种重构组合对编码块在各划分方向上的子块进行重构，根据每种重构组合在各划分方向上的重构性能确定目标重构组合。

具体实施时，可利用每种重构组合中的预测模式对编码块在每种划分方向上的子块进行预测，根据预测结果和编码块的原始像素，确定该预测模式对编码块在该种划分方向上的子块的预测误差，进而利用该重构组合中的误差压缩方式对编码块在该种划分方向上的子块的预测误差进行压缩处理，根据配置的熵编码方式对压缩处理后的数据和预测相关信息(如预测模式)进行熵编码，最终得到一个比特流，根据该预测模式对编码块在该种划分方向上的子块的预测误差和比特流的位数，可以确定该重构组合在该种划分方向上的重构性能。

进一步地，可根据每种重构组合在各划分方向上的重构性能，确定目标重构组合。

比如，将重构性能最优的重构组合确定为目标重构组合。

S1705：根据目标重构组合，确定编码块的目标重构信息，其中，目标重构信息至少包括目标划分方向信息、目标预测模式信息和压缩后的误差数据。

具体实施时，目标重构组合对应一种划分方向，包含一种预测模式和一种误差压缩方式，并且，采用目标重构组合对编码块进行重构后会得到一种压缩后的误差数据，因此，根据目标重构组合，可确定编码块的目标划分方向信息、目标预测模式信息和压缩后的误差数据。

S1706：发送编码块的解码信息，其中，解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和ISP标识，标识用于指示采用ISP模式对编码块进行重构。

图18是根据一示例性实施例示出的一种视频解码方法的流程图，该方法的流程图包括以下步骤。

S1801：获取视频序列。

S1802：根据视频序列中编码块的块尺寸信息和配置的块尺寸信息的子块划分信息，对编码块进行子块划分。

S1803：根据配置的重构信息确定重构组合，其中，重构信息包括预测模式、误差压缩方式和变换跳过标识的熵编码方式，且误差压缩方式至少包括变换跳过方式。

具体实施时，误差压缩方式至少包括变换跳过方式，也就是说，ISP模式可以和变换跳过方式结合使用，变换跳过标识的熵编码方式至少包括CABAC方式，而且，每种重构组合至少包括一种预测模式、一种误差压缩方式和一种熵编码方式。

S1804：利用每种重构组合对编码块在各划分方向上的子块进行重构，根据每种重构组合在各划分方向上的重构性能确定目标重构组合。

具体实施时，可利用每种重构组合中的预测模式对编码块在每种划分方向上的子块进行预测，根据预测结果和编码块的原始像素，确定该预测模式对编码块在该种划分方向上的子块的预测误差，进而利用该重构组合中的误差压缩方式对编码块在该种划分方向上的子块的预测误差进行压缩处理，根据该重构组合中的熵编码方式对压缩处理后的数据和预测相关信息(如预测模式)进行熵编码，最终得到一个比特流，根据该预测模式对编码块在该种划分方向上的子块的预测误差和比特流的位数，可以确定该重构组合在该种划分方向上的重构性能。

S1805：根据目标重构组合，确定编码块的目标重构信息，其中，目标重构信息包括目标划分方向信息、目标预测模式信息、变换跳过标识的目标熵编码方式和压缩后的误差数据。

具体实施时，目标重构组合对应一种划分方向，包含一种预测模式、一种误差压缩方式和一种熵编码方式，并且，采用目标重构组合对编码块进行重构后会得到一种压缩后的误差数据，因此，根据目标重构组合，可确定编码块的目标划分方向信息、目标预测模式信息、变换跳过标识的目标熵编码方式和压缩后的误差数据。

S1806：根据编码块的变换跳过标识的目标熵编码方式，判断是否需要发送编码块的变换跳过标识。

具体实施时，若任一目标块的变换跳过标识的目标熵编码方式是CABAC方式，则确定不发送该目标块的变换跳过标识；若任一目标块的变换跳过标识的目标熵编码方式不是CABAC方式，则确定发送该目标块的变换跳过标识，其中，当约定的编码块的误差压缩级别为编码块级别时，目标块为编码块；当约定的编码块的误差压缩级别为子块级别时，目标块为编码块中的每个子块。

S1807：根据判断结果发送编码块的解码信息，其中，解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和ISP标识，标识用于指示采用ISP模式对编码块进行重构。

具体实施时，当确定发送编码块中子块的变换跳过标识时，解码信息中包括的编码块中各子块的变换跳过标识是根据配置的变换跳过标识的发送位置和编码块中子块之间的对应关系发送的。

并且，解码信息中可以包括编码块中全部子块的变换跳过标识，也可以仅包括编码块中部分子块的变换跳过标识。

本公开实施例中，当约定的编码块的误差压缩级别为编码块级别时，一个编码块只确定一个变换跳过标识，编码块中的各子块共享该变换跳过标识，并且，当不考虑CABAC时，编码器可以发送该变换跳过标识，即编码块的解码信息中会包含该变换跳过标识，当考虑CABAC时，编码器可以不发送该变换跳过标识，而由解码器同样采用CABAC来推断该变换跳过标识的取值。当约定的编码块的误差压缩级别为编码块的子块级别时，编码块中的每个子块都会有一个变换跳过标识，当不考虑CABAC时，编码器可以发送每个子块的变换跳过标识，即编码块的解码信息中会包含每个子块的变换跳过标识；当考虑CABAC时，编码器可以不发送或者仅发送部分子块的变换跳过标识，即编码块的解码信息中不包含变换跳过标识或者仅包含部分子块的变换跳过标识，之后，由解码器采用CABAC来推其余子块的变换跳过标识。

下面以长为8宽为4的编码块为例对本公开实施例进行说明。

具体实施时，在采用ISP模式对8*4的编码块进行编码时，有水平、垂直两种划分方向，并且，在水平方向上将编码块划分为2个4*4的子块：子块a和子块b，参见图19，在垂直方向上将编码块划分为2个8*2的子块：子块A和子块B，参见图20。

假设配置的重构信息有：两种预测模式：mode 1、mode 2；两种变换方式：transfer1、transfer 2，其中，transfer 2表示变换跳过方式。

在垂直方向上，以子块a为例，可分别用mode 1、mode 2对子块a进行预测，并根据预测结果确定当前预测模式对子块a的预测误差，记mode 1对子块a的预测误差为errora1，mode 2对子块a的预测误差为error a2。

同样的方法，可以得到mode 1对子块b的预测误差为error b1，mode 2对子块b的预测误差为error b2。

具体实施时，若编码块中各子块不共享预测模式，则可对一种划分方向上的各子块的所有预测误差进行组合，此时，共有error a1+error b1、error a1+error b2、errora2+error b1、error a2+error b2四种组合；若编码块中各子块共享预测模式，则可对一种划分方向上使用相同编码模式的子块的预测误差进行组合，此时，共有error a1+errorb1、error a2+error b2两种组合。

为了简化情况，后续假设编码块中的各子块共享一种预测模式。

在一种可能的实施方式下，与解码器约定的编码块的误差压缩级别为编码块级别，参见图21，此时，可根据error a1和error b1，确定mode 1对子块a的预测误差errorV1，之后，分别用transfer 1和transfer 2对error V1进行压缩，假设transfer 1压缩后最终得到的比特流为a1，transfer 2压缩后最终得到的比特流为a2，根据error V1和a1的位数，可以确定(mode 1，transfer 1)对子块a的重构成本cost V1，类似的方法可以确定(mode 1，transfer 2)对子块a的重构成本cost V2。

同样的方法可以确定(mode 2，transfer 1)对子块b的重构成本cost V3，(mode2，transfer 2)对子块b的重构成本cost V4。

类似地，可以确定(mode 1，transfer 1)对子块A的重构成本cost H5，(mode1，transfer 2)对子块A的重构成本cost H6，(mode 2，transfer 1)对子块B的重构成本costH7，(mode 2，transfer 2)对子块B的重构成本cost H8。

假设cost V1-cost V4、cost H5-cost H8中最小的为cost V2，则可将cost V2对应的(mode 1，transfer 2)确定为目标重构组合，根据目标重构组合确定编码块的目标重构信息，即将(mode 1，transfer 2)对应的垂直划分方向确定为编码块的目标划分方向，将mode 1确定为编码块的目标预测模式，将采用(mode 1，transfer 2)对编码块在垂直划分方向上进行重构时压缩后的误差数据，确定为编码块压缩后的误差数据，transfer 2表示变换跳过方式，则可确定编码块的变换跳过标识为“1”。

进一步地，发送编码块的解码信息，其中，解码信息至少包括编码块的块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和ISP标识，ISP标识用于指示采用ISP模式对编码块进行重构。

此外，当重构信息还包括变换跳过标识的熵编码方式时，目标重构信息还包括编码块的变换跳过标识的目标熵编码方式，若编码块的变换跳过标识的目标熵编码方式是CABAC方式，则确定不发送编码块的变换跳过标识，此时，编码块的解码信息中不包含编码块的变换跳过标识；若编码块的变换跳过标识的目标熵编码方式不是CABAC方式，则确定发送编码块的变换跳过标识，此时，编码块的解码信息中包含编码块的变换跳过标识。

在另一种可能的实施方式下，与解码器约定的编码块的误差压缩级别为编码块的子块级别，此时，可确定每种重构组合对编码块在每种划分方向上的每个子块的编码成本。

参见图22，假设(mode 1，transfer 1)对子块a的重构成本为cost Va1、对子块b的重构成本为cost Vb1，(mode 1，transfer 2)对子块a的重构成本为cost Va2、对子块b的重构成本为cost Vb2，(mode 2，transfer 1)对子块a的重构成本为cost Va3、对子块b的重构成本为cost Vb3，(mode 2，transfer 2)对子块a的重构成本为cost Va4、对子块b的重构成本为cost Vb4。

并假设(mode 1，transfer 1)对子块A的重构成本为cost HA1、对子块b的重构成本为cost HB1，(mode 1，transfer 2)对子块A的重构成本为cost HA2、对子块B的重构成本为cost HB2，(mode 2，transfer 1)对子块A的重构成本为cost HA3、对子块B的重构成本为cost HB3，(mode 2，transfer 2)对子块A的重构成本为cost HA4、对子块B的重构成本为cost HB4。

之后，可根据cost Va1-cost Va4，cost Vb1-cost Vb4确定编码块在垂直方向上的最小重构成本cost V(假设为cost Va1+cost Vb4)，根据cost HA1-cost HA4，cost HB1-cost HB4确定编码块在水平方向上的最小重构成本cost H(假设为cost HA1+cost HB4)，假设cost V和cost H中最小的为cost V，则可将cost V对应的(mode 1，transfer1)和(mode 2，transfer2)确定为目标重构组合。

之后，根据目标重构组合，确定编码块的目标重构信息，即将目标重构组合对应的垂直划分方向确定为编码块的目标划分方向，将mode 1确定为子块a的目标预测模式，transfer1不代表变换跳过方式，所以将子块a的变换跳过标识确定为“0”；将mode 2确定为子块b的目标预测模式，transfer2代表变换跳过方式，所以将子块b变换跳过标识确定为“1”，将采用目标重构组合对编码块在垂直划分方向上进行重构时的压缩后的误差数据，确定为编码块压缩后的误差数据。

进一步地，发送编码块的解码信息，其中，解码信息至少包括编码块的块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和ISP标识，ISP标识用于指示采用ISP模式对编码块进行重构。

此外，当重构信息还包括变换跳过标识的熵编码方式时，目标重构信息还包括编码块中每个子块的变换跳过标识的目标熵编码方式，若任一子块的变换跳过标识的目标熵编码方式是CABAC方式，则确定不发送该子块的变换跳过标识，此时，编码块的解码信息中不包含该子块的变换跳过标识；若任一子块的变换跳过标识的目标熵编码方式不是CABAC方式，则确定发送子块的变换跳过标识，此时，编码块的解码信息中包含该子块的变换跳过标识。

并且，当确定发送编码块中子块的变换跳过标识时，编码块的解码信息中可以包括编码块中全部子块的变换跳过标识，也可以仅包括编码块中部分子块的变换跳过标识。

相应地，解码器在接收到编码块的解码信息后，可以根据块尺寸信息、目标划分方向信息和配置的块尺寸信息的子块划分数量，对编码块进行子块划分，根据目标预测模式信息，对编码块划分得到的子块进行预测，并根据解码信息获取编码块的变换跳过标识，根据变换跳过标识和压缩后的误差数据，确定各子块的预测误差，进而根据各子块的预测结果和预测误差，解码编码块。

在一种可能的实施方式下，解码器从解码信息中获取到变换跳过标识，此时，可以根据获取到的变换跳过标识和约定的编码块的误差压缩级别确定编码块的变换跳过标识。

具体实施时，若约定的编码块的误差压缩级别为编码块级别，则确定获取到的变换跳过标识为编码块的变换跳过标识；若约定的编码块的误差压缩级别为子块级别，则根据配置的变换跳过标识的接收位置和编码块中子块之间的对应关系，确定编码块中子块的变换跳过标识。

另外，若仅确定出编码块中部分子块的变换跳过标识，还可采用CABAC方式确定编码块中未确定出变换跳过标识的每个子块的变换跳过标识。

在另一种可能的实施方式下，解码器从解码信息中未获取到变换跳过标识，此时，可以根据约定的编码块的误差压缩级别确定编码块的变换跳过标识。

具体实施时，可采用CABAC方式确定目标块的变换跳过标识，其中，当约定的编码块的误差压缩级别为编码块级别时，目标块为所述编码块；当约定的编码块的误差压缩级别为编码块的子块级别时，目标块为编码块中的每个子块。

当本公开实施例中提供的方法以软件或硬件或软硬件结合实现的时候，电子设备中可以包括多个功能模块，每个功能模块可以包括软件、硬件或其结合。

图23是根据一示例性实施例示出的一种视频解码方法、视频编码方法装置的框图，该装置包括接收模块2301，划分模块2302，预测模块2303，获取模块2304，确定模块2305和解码模块2306。

接收模块2301，被配置为执行接收编码块的解码信息，所述解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对编码块进行重构；

划分模块2302，被配置为执行根据所述块尺寸信息、所述目标划分方向信息和配置的所述块尺寸信息的子块划分数量，对编码块进行子块划分；

预测模块2303，被配置为执行根据所述目标预测模式信息，对所述编码块划分得到的子块进行预测；

获取模块2304，被配置为执行根据所述解码信息，获取所述编码块的变换跳过标识；

确定模块2305，被配置为执行根据所述变换跳过标识和所述压缩后的误差数据，确定各子块的预测误差；

解码模块2306，被配置为执行根据各子块的预测结果和预测误差，解码所述编码块。

在一种可能的实施方式下，所述获取模块2304具体被配置为执行：

从所述解码信息中获取变换跳过标识；

若获取到变换跳过标识，则根据获取到的变换跳过标识和约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识；

若未获取到变换跳过标识，则根据约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识。

在一种可能的实施方式下，所述获取模块2304具体被配置为执行：

若约定的所述编码块的误差压缩级别为编码块级别，则确定获取到的变换跳过标识为所述编码块的变换跳过标识；

若约定的所述编码块的误差压缩级别为子块级别，则根据配置的变换跳过标识的接收位置和所述编码块中子块之间的对应关系，确定所述编码块中子块的变换跳过标识。

在一种可能的实施方式下，所述获取模块2304还被配置为执行：

若仅确定出所述编码块中部分子块的变换跳过标识，则采用上下文自适应二进制算数编码CABAC方式确定所述编码块中未确定出变换跳过标识的每个子块的变换跳过标识。

在一种可能的实施方式下，所述获取模块2304具体被配置为执行：

采用上下文自适应二进制算数编码CABAC方式确定目标块的变换跳过标识，其中，当所述误差压缩级别为编码块级别时，所述目标块为所述编码块；当所述误差压缩级别为编码块的子块级别时，所述目标块为所述编码块中的每个子块。

图24是根据一示例性实施例示出的一种视频解码方法、视频编码方法装置的框图，该装置包括获取模块2401，划分模块2402，第一确定模块2403，编码模块2404，第二确定模块2405和发送模块2406。

获取模块2401，被配置为执行获取视频序列；

划分模块2402，被配置为执行根据所述视频序列中编码块的块尺寸信息和配置的所述块尺寸信息的子块划分信息，对所述编码块进行子块划分，所述子块划分信息包括至少两种划分方向和每种划分方向上的子块划分数量；

第一确定模块2403，被配置为执行根据配置的重构信息确定重构组合，所述重构信息至少包括预测模式和误差压缩方式，所述误差压缩方式至少包括变换跳过方式；

编码模块2404，被配置为执行利用每种重构组合对所述编码块在各划分方向上的子块进行重构，根据每种重构组合在各划分方向上的重构性能确定目标重构组合；

第二确定模块2405，被配置为执行根据所述目标重构组合，确定所述编码块的目标重构信息，所述目标重构信息至少包括目标划分方向信息、目标预测模式信息和压缩后的误差数据；

发送模块2406，被配置为执行发送所述编码块的解码信息，所述解码信息至少包括所述块尺寸信息、所述目标划分方向信息、所述目标预测模式信息、所述压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对所述编码块进行重构。

在一种可能的实施方式下，若所述重构信息还包括变换跳过标识的熵编码方式，则所述目标重构信息还包括所述编码块的变换跳过标识的目标熵编码方式，以及还包括判断模块2407：

所述判断模块2407，被配置为执行在发送所述编码块的解码信息之前，根据所述编码块的变换跳过标识的目标熵编码方式，判断是否需要发送所述编码块的变换跳过标识；

所述发送模块2406，具体被配置为执行根据判断结果发送所述编码块的解码信息。

在一种可能的实施方式下，所述判断模块2407具体被配置为执行：

若任一目标块的变换跳过标识的目标熵编码方式是上下文自适应二进制算数编码CABAC方式，则确定不发送所述目标块的变换跳过标识；

若任一目标块的变换跳过标识的目标熵编码方式不是CABAC方式，则确定发送所述目标块的变换跳过标识；

其中，当约定的所述编码块的误差压缩级别为编码块级别时，目标块为所述编码块；当约定的所述编码块的误差压缩级别为子块级别时，目标块为所述编码块中的每个子块。

在一种可能的实施方式下，当确定发送所述编码块中子块的变换跳过标识时，所述解码信息中包括的所述编码块中各子块的变换跳过标识是根据配置的变换跳过标识的发送位置和所述编码块中子块之间的对应关系发送的。

在一种可能的实施方式下，所述解码信息中包括所述编码块中全部子块的变换跳过标识或者包括所述编码块中部分子块的变换跳过标识。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

图25是根据一示例性实施例示出的一种电子设备的结构示意图，该电子设备包括收发器2501以及处理器2502等物理器件，其中，处理器2502可以是一个中央处理单元(central processing unit，CPU)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器2501用于电子设备和其他设备进行数据收发。

该电子设备还可以包括存储器2503用于存储处理器2502执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器2503可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器2503也可以是非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器2503是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器2503可以是上述存储器的组合。

本公开实施例中不限定上述处理器2502、存储器2503以及收发器2501之间的具体连接介质。本公开实施例在图25中仅以存储器2503、处理器2502以及收发器2501之间通过总线2504连接为例进行说明，总线在图25中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图25中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器2502可以是专用硬件或运行软件的处理器，当处理器2502可以运行软件时，处理器2502读取存储器2503存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的视频解码方法或视频编码方法。

本公开实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行前述实施例中涉及的视频解码方法或视频编码方法。

在一些可能的实施方式中，本公开提供的视频解码方法或视频编码方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行前述实施例中涉及的视频解码方法或视频编码方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本公开实施例中用于视频解码方法或视频编码方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种视频解码方法，其特征在于，包括：

接收编码块的解码信息，所述解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对编码块进行重构；

根据所述块尺寸信息、所述目标划分方向信息和配置的所述块尺寸信息的子块划分数量，对编码块进行子块划分；

根据所述目标预测模式信息，对所述编码块划分得到的子块进行预测；

根据所述解码信息，获取所述编码块的变换跳过标识；

根据所述变换跳过标识和所述压缩后的误差数据，确定各子块的预测误差；

根据各子块的预测结果和预测误差，解码所述编码块。

2.根据权利要求1所述的方法，其特征在于，根据所述解码信息，获取所述编码块的变换跳过标识，包括：

从所述解码信息中获取变换跳过标识；

若获取到变换跳过标识，则根据获取到的变换跳过标识和约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识；

若未获取到变换跳过标识，则根据约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识。

3.根据权利要求2所述的方法，其特征在于，根据获取到的变换跳过标识和约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识，包括：

若约定的所述编码块的误差压缩级别为编码块级别，则确定获取到的变换跳过标识为所述编码块的变换跳过标识；

若约定的所述编码块的误差压缩级别为子块级别，则根据配置的变换跳过标识的接收位置和所述编码块中子块之间的对应关系，确定所述编码块中子块的变换跳过标识。

4.根据权利要求3所述的方法，其特征在于，还包括：

若仅确定出所述编码块中部分子块的变换跳过标识，则采用上下文自适应二进制算数编码CABAC方式确定所述编码块中未确定出变换跳过标识的每个子块的变换跳过标识。

5.根据权利要求2所述的方法，其特征在于，根据约定的所述编码块的误差压缩级别确定所述编码块的变换跳过标识，包括：

采用上下文自适应二进制算数编码CABAC方式确定目标块的变换跳过标识，其中，当所述误差压缩级别为编码块级别时，所述目标块为所述编码块；当所述误差压缩级别为编码块的子块级别时，所述目标块为所述编码块中的每个子块。

6.一种视频编码方法，其特征在于，包括：

获取视频序列；

根据所述视频序列中编码块的块尺寸信息和配置的所述块尺寸信息的子块划分信息，对所述编码块进行子块划分，所述子块划分信息包括至少两种划分方向和每种划分方向上的子块划分数量；

根据配置的重构信息确定重构组合，所述重构信息至少包括预测模式和误差压缩方式，所述误差压缩方式至少包括变换跳过方式；

利用每种重构组合对所述编码块在各划分方向上的子块进行重构，根据每种重构组合在各划分方向上的重构性能确定目标重构组合；

根据所述目标重构组合，确定所述编码块的目标重构信息，所述目标重构信息至少包括目标划分方向信息、目标预测模式信息和压缩后的误差数据；

发送所述编码块的解码信息，所述解码信息至少包括所述块尺寸信息、所述目标划分方向信息、所述目标预测模式信息、所述压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对所述编码块进行重构。

7.一种视频解码装置，其特征在于，包括：

接收模块，被配置为执行接收编码块的解码信息，所述解码信息至少包括块尺寸信息、目标划分方向信息、目标预测模式信息、压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对编码块进行重构；

划分模块，被配置为执行根据所述块尺寸信息、所述目标划分方向信息和配置的所述块尺寸信息的子块划分数量，对编码块进行子块划分；

预测模块，被配置为执行根据所述目标预测模式信息，对所述编码块划分得到的子块进行预测；

获取模块，被配置为执行根据所述解码信息，获取所述编码块的变换跳过标识；

确定模块，被配置为执行根据所述变换跳过标识和所述压缩后的误差数据，确定各子块的预测误差；

解码模块，被配置为执行根据各子块的预测结果和预测误差，解码所述编码块。

8.一种视频编码装置，其特征在于，包括：

获取模块，被配置为执行获取视频序列；

划分模块，被配置为执行根据所述视频序列中编码块的块尺寸信息和配置的所述块尺寸信息的子块划分信息，对所述编码块进行子块划分，所述子块划分信息包括至少两种划分方向和每种划分方向上的子块划分数量；

第一确定模块，被配置为执行根据配置的重构信息确定重构组合，所述重构信息至少包括预测模式和误差压缩方式，所述误差压缩方式至少包括变换跳过方式；

编码模块，被配置为执行利用每种重构组合对所述编码块在各划分方向上的子块进行重构，根据每种重构组合在各划分方向上的重构性能确定目标重构组合；

第二确定模块，被配置为执行根据所述目标重构组合，确定所述编码块的目标重构信息，所述目标重构信息至少包括目标划分方向信息、目标预测模式信息和压缩后的误差数据；

发送模块，被配置为执行发送所述编码块的解码信息，所述解码信息至少包括所述块尺寸信息、所述目标划分方向信息、所述目标预测模式信息、所述压缩后的误差数据和帧内子划分ISP标识，所述ISP标识用于指示采用ISP模式对所述编码块进行重构。

9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，所述至少一个处理器能够执行如权利要求1-6中任一所述的方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-6中任一所述的方法。

Images