CN111567041B - 视频编码器和/或视频解码器中的变换选择 - Google Patents

视频编码器和/或视频解码器中的变换选择 Download PDF

Info

Publication number
CN111567041B
CN111567041B CN201980007567.2A CN201980007567A CN111567041B CN 111567041 B CN111567041 B CN 111567041B CN 201980007567 A CN201980007567 A CN 201980007567A CN 111567041 B CN111567041 B CN 111567041B
Authority
CN
China
Prior art keywords
determining
block
transform
directional pattern
reference block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980007567.2A
Other languages
English (en)
Other versions
CN111567041A (zh
Inventor
余若洋
张智
理卡尔德·肖伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN111567041A publication Critical patent/CN111567041A/zh
Application granted granted Critical
Publication of CN111567041B publication Critical patent/CN111567041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种为预测块选择变换集的过程。该过程可以在编码器和解码器这二者中使用。例如，该过程可以在编码器和解码器这二者中用于根据参考块来预测的预测块。在一些实施例中，预测块和参考块这二者都是帧内块。

Description

视频编码器和/或视频解码器中的变换选择
技术领域
本公开涉及视频编码和/或解码。
背景技术
本公开涉及视频序列的编码和/或解码，该视频序列由图片序列组成。
分量
视频序列的每个图片由一个或多个分量组成。每个分量都可被描述为样本值的二维矩形阵列。视频序列中的图片通常由三个分量组成：i)亮度分量(Y)，其中，样本值为亮度值；ii)第一色度分量(Cb)，其中，样本值为色度值；和iii)第二色度分量(Cr)，其中，样本值为色度值。
其他示例包括Y’Cb Cr、YUV和ICTCP。在ICTCP中，I是“强度亮度(intensity luma)”分量。对于本文档的其余部分，我们可以将任何亮度分量Y’、Y或I称为Y或简称为亮度。通常，色度分量的大小在各个维度上是亮度分量的大小的1/2。例如，HD图片的亮度分量的大小将为1920x1080，而色度分量将各自具有960x540的尺寸。分量有时也称为颜色分量。
块和单元
块是与图片的区域相对应的一个二维样本阵列，且单元由一个或多个块组成。在视频编码中，每个分量都被分割为块，并且经编码的视频比特流由一系列块组成。“变换块”是被应用了变换的块。“预测块”是被应用了单个预测模式的块。
在视频编码中，通常将图片分割为覆盖图片的特定区域(称为“图片区域”)的单元。每个单元由构成该图片区域的所有块组成，并且每个块完全属于一个单元。HEVC中的编码单元(CU)是单元的示例。
在HEVC中，一些解码过程在编码单元级别上完成，一些解码过程在预测块上完成，且一些解码过程在变换块上完成。
在HEVC中，存在两种类型的用于预测块的预测类型：帧内预测，其仅使用来自当前图片的先前经解码的样本的预测来进行预测；和帧间预测，其使用来自至少一个先前经解码的图片的预测。使用帧内预测所生成的预测块可被称为“帧内块”，并且使用帧间预测所生成的预测块可被称为“帧间块”。
在当前的通用视频编码(VVC)标准化开发中，CU可以隐式地被划分为多个变换块。然而，仅当CU大小具有比最大变换大小大的宽度或高度时，才会出现隐式的变换块。当CU预测类型是帧内预测时，向预测块应用相同的变换块隐式分割机制。当CU预测类型是帧内预测时，变换块的大小与预测块的大小相同。换言之，当CU预测类型是帧内预测时，变换和预测对相同的二维阵列进行操作。
帧内预测
在HEVC中，帧内预测基于来自相同图片的先前经解码的CU的样本来生成用于预测块的样本。这些样本被称为“参考样本”。当先前经解码的CU不可用时，根据最近的可用左下或右上参考样本来填充相应的参考样本。
在HEVC中，存在35种帧内预测模式：DC、平面和33个角度模式。这33个角度模式中的每一个角度模式都表示预定义的预测方向。然后，帧内预测遵循该方向，以基于与图片的邻近区域相对应的参考样本的空间外推来预测与图片的区域相对应的预测块的样本。
当前的VVC开发定义了被称为基准标记集(BMS)的工具集合。BMS由可能被包括在标准中的工具组成。BMS扩展了已有HEVC的帧内方向，以支持多达67种帧内预测模式。
残差、初级变换和量化
残差块由残差样本组成，这些残差样本是通过获取与图片的区域相对应的原始样本(“原始块”)和与图片的区域相对应的经预测的样本(即，针对图片的区域的经预测的块)之间的样本值差而获得的。通过使用空间核变换对残差块进行进一步处理，以产生经初级变换(经DCT/DST变换)的变换系数。变换是用于将残差块的信息解相关到频域中的过程。在HEVC中，空间核变换的类型包括DCT-II和4x4 DST-VII。空间核变换有时被称为初级变换。
然后，根据量化参数(QP)对得到的经初级变换(经DCT/DST变换)的变换系数(或简称为“变换系数”)进行量化，量化参数(QP)控制经量化的系数的精度。经量化的系数可被称为残差系数。高QP将导致系数的精度低，且从而导致残差块的保真度低。在视频比特流中用信号通知非零残差系数。然后，解码器接收非零残差系数，应用逆量化和逆变换以导出残差块。如果量化后所有残差系数均为0，则在视频比特流中用信号通知标志，因此解码器无需对该块应用逆量化和逆变换。
不可分离的次级变换(NSST)
NSST被应用于帧内块(即，当使用根据帧内预测生成的经预测的块来生成残差块时，应用NSST)。它是对变换系数进行运算的次级变换。在编码器侧，在前向核变换和量化之间应用前向NSST。在解码器侧，在解量化和逆核变换之间应用逆NSST。在当前的VVC中，仅对低频的经变换的系数应用NSST，即，左上4x4的经变换的系数。
BMS工具提高了变换过程的适应性，因为基于DCT/DST的变换无法完全对残差信号进行解相关，尤其是当存在强烈的有向信息时。
对于每个角度模式，定义了具有3种不同矩阵的NSST变换集。对于DC或平面模式，定义了具有2种不同矩阵的NSST变换集。在BMS中，为每个NSST变换集分配索引，该索引识别变换集。使用查找表来定义帧内预测模式与NSST变换集索引之间的映射。也就是说，查找表用于将帧内预测模式中的每一个帧内预测模式映射到变换集索引，由此将帧内预测模式中的每一个帧内预测模式映射到由帧内预测模式所被映射到的索引来识别的变换集。
跨分量预测
BMS包括跨分量线性模型(CCLM)预测模式。CCLM是一种针对色度分量的特殊帧内预测方法。通过使用以下线性模型，基于经重构的亮度样本来预测色度样本：pred_C(i，j)＝α·rec_L’(i，j)+β，其中，pred_C(i，j)表示CU中经预测的色度样本，且rec_L’(i，j)表示经下采样的经重构的亮度样本(在与亮度相比，色度具有降低的分辨率的情况下)。通过使预测块周围的邻近的经重构的亮度和色度样本之间的回归误差最小，来导出参数α和β。
发明内容
当CCLM被用于生成包括色度分量在内的特定预测块(即，色度分量预测块)时，当前解决方案使用帧内平面模式作为用于为特定预测块选择变换集(例如，NSST变换集)的入口一即，用于对通过变换残差块而生成的变换系数进行变换的变换集，该残差块是基于特定预测块来生成的。然而，所选择的变换集可能不太适合，因为在预测块中(例如，在色度分量中)可能存在有向图案。
为了克服该问题，本公开描述了一种用于为预测块选择变换集的经改进的过程。该过程可以在编码器和解码器这二者中使用。例如，该过程可以在编码器和解码器这二者中用于根据参考块来预测的预测块。在一些实施例中，预测块和参考块这二者都是帧内块。
在一个实施例(即，编码器实施例)中，该过程包括：确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块。该方法还包括：基于所确定的有向图案为预测块选择变换集(例如，NSST变换集)。该方法还包括：使用基于所确定的有向图案来选择的变换集，对根据预测块导出的变换数据(例如，根据预测块和原始块所导出的残差块，或者作为对残差块进行变换的结果而生成的变换系数)进行变换。
在另一实施例(即，解码器实施例)中，该过程包括：确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块。该过程还包括：基于所确定的有向图案为预测块选择逆变换集(例如，逆NSST变换集)。该过程还包括：使用基于所确定的有向图案来选择的逆变换集对数据(例如，解量化之后的变换系数块)进行逆变换。
在一些实施例中，参考块具有帧内预测模式，并且确定有向图案包括以下操作或由以下操作组成：确定参考块的帧内预测模式。在一些实施例中，该过程还包括：维护映射信息，该映射信息将特定帧内预测模式集合中包括的每个帧内预测模式映射到变换集索引，参考块的帧内预测模式被包括在所述特定帧内预测模式集合中，以及选择变换集或逆变换集包括：使用映射信息来识别参考块的帧内预测模式被映射到的变换集索引。
在一些实施例中，预测块属于色度颜色分量，且参考块属于亮度颜色分量。
在一些实施例中，该过程还包括：使用参考块和跨分量线性模型(CCLM)预测模式来生成预测块。
在一些实施例中，预测块属于颜色分量，且参考块属于相同的颜色分量。
在一些实施例中，该过程还包括：使用参考块和帧内块复制(IBC)工具来生成预测块。
在一些实施例中，确定有向图案包括以下步骤：定义具有两个或更多个帧内预测模式的集合，具有两个或更多个帧内预测模式的集合包括参考块的帧内预测模式和第二帧内预测模式；对于帧内预测模式集合中包括的每个帧内预测模式，生成临时块；以及使用所生成的临时块和预测块从帧内预测模式集合中选择帧内预测模式之一，其中，所选择的帧内预测模式表示有向图案，使得变换集是基于所选择的帧内预测模式来选择的。
在一些实施例中，编码过程还包括：确定满足条件集合，其中，使用基于所确定的有向图案来选择的变换集对数据进行变换是作为确定满足条件集合的结果来执行的。
在一些实施例中，解码过程还包括：确定满足条件集合，其中，使用基于所确定的有向图案来选择的变换集对数据进行变换是作为确定满足条件集合的结果来执行的。
在一些实施例中，确定满足条件集合包括：确定预测块的帧内预测模式；并且确定预测块的帧内预测模式满足一定条件(例如，高于第一阈值(T1)，其中，T1可以等于66)。
在一些实施例中，确定满足条件集合包括：确定使用CCLM来生成了预测块。
在一些实施例中，确定满足条件集合包括：确定参考块的非零变换系数的数量(N)；并且确定N满足一定条件(例如，N等于某个阈值(T2)或低于某个阈值(T2))。
在一些实施例中，确定满足条件集合包括：确定用于参考块的QP；并且确定QP满足一定条件(例如，QP等于某个阈值(T3)或高于某个阈值(T3))。
在一些实施例中，确定满足条件集合包括：确定从编码器接收的特定标志被设置为一定的值。因此，在一些实施例中，可以在视频比特流中用信号通知块级别标志。在这样的实施例中，仅当该标志被设置为1(或其他预定义值)时，参考块才被用于确定有向图案。
在一些实施例中，使用基于所确定的有向图案来选择的变换集对数据进行变换包括：使用所选择的变换集对残差块进行变换。
在一些实施例中，使用基于所确定的有向图案来选择的变换集对数据进行变换包括：使用初级变换单元对残差块进行变换以产生数据，并且使用所选择的变换集对数据进行变换。
附图说明
本文中所并入的并形成说明书一部分的附图示出了各种实施例。
图1示出了根据实施例的系统。
图2示出了将帧内预测模式映射到特定变换集索引的示例表。
图3示出了4x4块。
图4示出了根据一个实施例的过程。
图5示出了根据一个实施例的过程。
图6示出了根据一个实施例的过程。
图7是根据一个实施例的装置的框图。
图8示出了根据实施例的编码器的功能单元。
图9示出了根据实施例的编码器的功能单元。
具体实施方式
图1示出了根据示例实施例的系统100。系统100包括经由网络110(例如，互联网或其他网络)与解码器104通信的编码器102。
编码器102包括初级变换单元(PTU)111、次级变换单元(STU)112(例如，NSST单元)和量化单元(QU)113。如上所解释的，初级变换单元111可以实现空间核变换，空间核变换执行用于将残差块解相关到频域中(即，产生变换系数)的过程；次级变换单元112可被应用于帧内块并且可以对变换系数(即，初级变换单元111的输出)进行运算以产生将由量化单元113根据QP来进行量化的系数，QP控制经量化的系数的精度。类似地，解码器104包括解量化单元123、逆第二变换单元122和逆初级变换单元121。
如图1中进一步所示，编码器102和解码器104中的每一个可以包括选择器114、124，选择器114、124分别用于为预测块选择变换集(例如，初级变换集或次级变换集)或逆变换集。有利地，在一些场景中，选择器114、124使用来自参考块的信息来确定预测块中的有向图案(该参考块是预测预测块所根据的参考块)，然后基于所确定的有向图案来选择变换集(或逆变换)。在一些实施例中，预测块和参考块这二者都是帧内块。在一些实施例中，确定有向图案包括以下操作或由以下操作组成：变换选择器114、124确定参考块的帧内预测模式和/或参考块的经重构的样本值。
例如，在一个实施例中，选择器114通过确定用来生成预测块的参考块(即，预测块的参考块)的帧内预测模式来选择用于预测块的变换集，然后使用将帧内预测模式集合中包括的每个帧内预测模式映射到特定变换集(例如，映射到对变换集进行识别的变换集索引)的信息(例如，表)来选择所确定的帧内预测模式被映射到的变换集。
图2示出了将帧内预测模式0至66中的每一个映射到变换集索引的示例表。因此，例如，如果选择器114确定预测块的参考块的帧内预测模式为66，则选择器114将为预测块选择由变换集索引2来识别的变换集。换言之，在一个实施例中，使用所确定的有向图案为预测块选择变换集由以下操作组成：使用参考块的帧内预测模式作为选择变换集的入口。
然后，由初级变换单元111或次级变换单元112应用所选择的变换集，然后由初级逆变换单元121或次级逆变换单元122应用所选择的逆变换。该过程的优点是，在例如使用CCLM时，提供了对色度分量的残差信号的更好的解相关。
在一个实施例中，所选择的变换集是NSST变换集或任何其他方向相关的变换集。为预测块所选择的变换集可以用作对残差块进行运算的初级变换，该残差块是基于预测块和与预测块相对应的原始块来生成的，或者用作对变换系数进行运算的次级变换，这些变换系数是作为由初级变换单元对残差块进行变换的结果而产生的。该过程可被应用于单个颜色分量，或者被应用于所有颜色分量。颜色分量的示例是亮度、Cb和Cr。
在一些实施例中，预测块属于色度颜色分量，且参考块属于亮度颜色分量。一个示例是在使用CCLM模式时。在一些实施例中，预测块和参考块这二者都属于相同的颜色分量。一个示例是在使用HEVC的范围扩展中的帧内块复制(IBC)工具时。该工具通过参考相同图片或切片(slice)中先前经编码的块来创建预测块。优选地，当图片或切片为帧内时，应用该实施例。
在一些实施例中，使用来自参考块的信息来确定预测块中的有向图案包括：选择器114、124使用参考块的帧内预测模式和预测块这二者来选择帧内预测模式。然后，选择器114(124)使用所选择的帧内预测模式来直接选择变换集(逆变换集)。例如，当使用CCLM时，预测块的生成过程涉及：对所参考的亮度块的经重构的样本进行下采样和线性映射。
在一个实施例中，由选择器114(124)执行以下步骤以选择将被用于选择变换集(逆变换集)的帧内预测模式：
首先，定义帧内预测模式集合。该集合包括参考块的帧内预测模式(L_dir)，并且包括一些附加模式。附加模式可以包含与Ldir相邻的模式，其也可以包含非相邻的帧内预测模式DC或平面。
对于集合中包括的每个模式，选择器114、124使用来自预测块(P)的第一行和第一列的样本(假设大小为MxN)来预测P内的其余样本(大小为(M-1)x(N-1))。在图3中示出了示例。换言之，对于集合中包括的每个模式，使用帧内预测方法来生成(M-1)x(N-1)的临时块T。
生成块T之后，将T中的样本与P的相应样本进行比较。可以通过计算绝对差之和(SAD)来进行比较，如下所示。
Figure BDA0002572916140000091
选择给出最小SAD的帧内预测模式以表示有向图案(即，是被用于直接选择变换(逆变换)集的所选择的帧内预测模式)。
图4是示出了根据实施例的由编码器102执行的过程400的流程图。
过程400可以在步骤s402开始，其中，选择器114确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块。
在一些实施例中，确定有向图案包括以下操作或由以下操作组成：选择器114确定参考块的帧内预测模式。
在步骤s404，选择器114基于所确定的有向图案(例如，基于参考块的帧内预测模式)为预测块选择变换集。
在步骤s406，编码器102的变换单元(例如，初级变换单元111或次级变换单元112)使用基于所确定的有向图案为预测块选择的变换集对根据预测块导出的数据(例如，根据预测块和原始块导出的残差块，或者作为对根据预测块导出的残差块进行变换的结果而生成的残差系数)进行变换。例如，初级变换单元111使用所选择的变换集对残差块进行变换，或者次级变换单元112使用所选择的变换集对初级变换单元111的输出进行变换。
图5是示出了根据实施例的由解码器104执行的过程500的流程图。
过程500可以在步骤s502开始，其中，选择器124确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块。
在步骤S504，选择器124基于所确定的有向图案为预测块选择逆变换集(例如，NSST逆变换集)。
在步骤s506，解码器104的逆变换单元(例如，初级逆变换单元121或次级逆变换单元122)使用基于所确定的有向图案来选择的逆变换集对数据进行逆变换。例如，初级变换单元121使用所选择的逆变换集对次级变换单元122的输出进行逆变换，或者次级变换单元122使用所选择的逆变换集对解量化单元123的输出进行逆变换。
在一些实施例中，过程400和/或500还包括：维护映射信息(例如，表)，该映射信息将特定帧内预测模式(例如，模式0至66)集合中包括的每个帧内预测模式映射到对变换集进行识别的变换集索引。参考块的帧内预测模式被包括在特定帧内预测模式集合中，并且选择变换集(或逆变换集)包括：使用映射信息来识别参考块的帧内预测模式被映射到的变换集索引。
在一些实施例中，预测块属于色度颜色分量，且参考块属于亮度颜色分量。
在一些实施例中，过程还包括：使用参考块和跨分量线性模型(CCLM)预测模式来生成预测块。
在一些实施例中，预测块属于颜色分量，且参考块属于相同的颜色分量。
在一些实施例中，过程还包括：使用参考块和帧内块复制(IBC)工具来生成预测块。
在一些实施例中，确定有向图案包括：定义具有两个或更多个帧内预测模式的集合，该具有两个或更多个帧内预测模式的集合包括参考块的帧内预测模式和第二帧内预测模式；对于帧内预测模式集合中包括的每个帧内预测模式，生成临时块；以及使用所生成的临时块和预测块从帧内预测模式集合中选择帧内预测模式之一，其中，所选择的帧内预测模式表示有向图案，使得变换集是基于所选择的帧内预测模式来选择的。
如图6所示，在一些实施例中，过程400和500还包括：确定满足一个或多个条件的集合(分别参见步骤s610a和s601b)，其中，作为确定满足条件集合的结果，使用在步骤s404(s504)中选择的变换(逆变换)集对数据进行变换(逆变换)。也就是说，如果不满足条件集合，则将使用以常规方式选择的变换集(例如，基于预测块的帧内预测模式来选择的变换集)对数据进行变换(参见步骤s602a和s602b)。
在一些实施例中，确定满足条件集合包括：确定预测块的帧内预测模式；并且确定预测块的帧内预测模式满足特定条件(例如，高于第一阈值(T1)，其中，T1可以等于66)。
在一些实施例中，确定满足条件集合包括：确定使用CCLM来生成了预测块。
在一些实施例中，确定满足条件集合包括：确定参考块的非零变换系数的数量(N)；并且确定N满足一定条件(例如，N等于某个阈值(T2)或低于某个阈值(T2))。
在一些实施例中，确定满足条件集合包括：确定用于参考块的QP；并且确定QP满足一定条件(例如，QP等于某个阈值(T3)或高于某个阈值(T3))。
在一些实施例中，确定满足条件集合包括：确定从编码器接收的特定标志被设置为一定的值。
图7是根据一些实施例的用于实现编码器102或解码器104的装置701的框图。如图7所示，网络装置701可以包括：处理电路(PC)702，其可以包括一个或多个处理器(P)755(例如，一个或多个通用微处理器和/或一个或多个其他处理器，如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)，这些处理器可以共处于单个壳体或数据中心中，或者可以在地理位置上是分布式的；包括发射机(Tx)745和接收机(Rx)747在内的网络接口748，用于使装置701能够向连接到网络110(例如，网际协议(IP)网络)的其他节点发送数据并从连接到网络110的其他节点接收数据，网络接口748连接到网络110；以及本地存储单元(又称为“数据存储系统”)708，其可以包括一个或多个非易失性存储设备和/或一个或多个易失性存储设备。在PC 702包括可编程处理器的实施例中，可以提供计算机程序产品(CPP)741。CPP 741包括计算机可读介质(CRM)742，计算机可读介质(CRM)742存储包括计算机可读指令(CRI)744在内的计算机程序(CP)743。CRM 742可以是非暂时性计算机可读介质，例如，磁介质(例如，硬盘)、光介质、存储设备(例如，随机存取存储器、闪存)等。在一些实施例中，计算机程序743的CRI 744被配置为使得在由PC 702执行时，CRI使装置701执行本文描述的步骤(例如，本文中参考流程图来描述的步骤)。在其他实施例中，装置701可以被配置为在不需要代码的情况下执行本文描述的步骤。也即是说，例如，PC 702可以仅由一个或多个ASIC组成。因此，本文描述的实施例的特征可以以硬件和/或软件方式来实现。
本文描述的过程的优点在于：它们提供了对色度分量的残差信号的更好的解相关，尤其是在使用CCLM时。一个示例是当亮度和色度分量正在使用相同的CU分割时。该方法适用于通过CCLM来预测的色度分量。亮度帧内预测模式用于选择NSST变换集。参考是具有BMS设置的VVC。所有帧内配置的BD速率性能如下：
Figure BDA0002572916140000121
实施例
1、一种用于对包括多个图片在内的视频序列进行编码的方法，该方法包括：确定(s402)视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块；基于所确定的有向图案为预测块选择(s404)变换集(例如，NSST变换集)；以及使用(s406)基于所确定的有向图案为预测块选择的变换集，对根据预测块导出的变换数据(例如，根据预测块和原始块导出的残差块，或者作为对残差块进行变换的结果而生成的变换系数)进行变换。
2、一种用于对包括多个图片在内的视频序列进行解码的方法，该方法包括：确定(s502)视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块；基于所确定的有向图案为预测块选择(s504)逆变换集(例如，逆NSST变换集)；以及使用基于所确定的有向图案来选择的逆变换集对数据(例如，解量化之后的变换系数块)进行逆变换(s506)。
3、根据实施例1或2的方法，其中，参考块具有帧内预测模式，并且确定有向图案包括以下操作或由以下操作组成：确定参考块的帧内预测模式。
4、根据实施例3的方法，其中，该方法还包括：维护映射信息，该映射信息将特定帧内预测模式集合中包括的每个帧内预测模式映射到变换集索引，参考块的帧内预测模式被包括在特定帧内预测模式集合中，以及选择变换集或逆变换集包括：使用映射信息来识别参考块的帧内预测模式被映射到的变换集索引。
5、根据实施例1至4中任一项的方法，其中，预测块属于色度颜色分量，且参考块属于亮度颜色分量。
6、根据实施例5的方法，还包括：使用参考块和跨分量线性模型(CCLM)预测模式来生成预测块。
7、根据实施例1至4中任一项的方法，其中，预测块属于颜色分量，且参考块属于相同的颜色分量。
8、根据实施例7的方法，还包括：使用参考块和帧内块复制(IBC)工具来生成预测块。
9、根据实施例3至8中任一项的方法，其中，确定有向图案包括：定义具有两个或更多个帧内预测模式的集合，具有两个或更多个帧内预测模式的集合的集合包括参考块的帧内预测模式和第二帧内预测模式；对于帧内预测模式集合中包括的每个帧内预测模式，生成临时块；以及使用所生成的临时块和预测块从帧内预测模式集合中选择帧内预测模式之一，其中，所选择的帧内预测模式表示有向图案，使得变换集是基于所选择的帧内预测模式来选择的。
10、根据实施例1或3至9中任一项的方法，还包括：确定满足条件集合，其中，使用基于基于所确定的有向图案来选择的变换集对数据进行变换的步骤是作为确定满足条件集合的结果而执行的。
11、根据实施例2或3至9中任一项的方法，还包括：确定满足条件集合，其中，使用基于基于所确定的有向图案来选择的变换集对数据进行变换的步骤是作为确定满足条件集合的结果而执行的。
12、根据实施例10或11的方法，其中，确定满足条件集合包括：确定预测块的帧内预测模式；以及确定预测块的帧内预测模式满足一定条件(例如，高于第一阈值(T1)，其中，T1可以等于66)。
13、根据实施例10或11的方法，其中，确定满足条件集合包括：确定使用CCLM来生成了预测块。
14、根据实施例10至13中任一项的方法，其中，确定满足条件集合包括：确定参考块的非零变换系数的数量(N)；以及确定N满足一定条件(例如，N等于某一阈值(T2)或低于某一阈值(T2))。
15、根据实施例10至14中任一项的方法，其中，确定满足条件集合包括：确定用于参考块的QP；以及确定QP满足一定条件(例如，QP等于某个阈值(T3)，或高于某个阈值(T3))。
16、根据实施例11的方法，其中，确定满足条件集合包括：确定从编码器接收的特定标志被设置为一定的值。
17、根据实施例1的方法，其中，使用基于所确定的有向图案来选择的变换集对数据进行变换包括：使用所选择的变换集对残差块进行变换。
18、根据实施例1的方法，其中，使用基于所确定的有向图案来选择的变换集对数据进行变换包括：使用初级变换单元对残差块进行变换以产生数据；以及使用所选择的变换集对数据进行变换。
19、一种用于对包括多个图片在内的视频序列进行编码的编码器(102)，该编码器适于：确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块；基于所确定的有向图案为预测块选择变换集(例如，NSST变换集)；以及使用基于所确定的有向图案为预测块选择的变换集，对根据预测块导出的变换数据(例如，根据预测块和原始块导出的残差块，或者作为对残差块进行变换的结果而生成的变换系数)进行变换。
20、一种用于对包括多个图片在内的视频序列进行解码的解码器(104)，该解码器适于：确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块；基于所确定的有向图案为预测块选择逆变换集(例如，逆NSST变换集)；以及使用基于所确定的有向图案来选择的逆变换集对数据(例如，解量化之后的变换系数块)进行逆变换(s506)。
21、一种用于对包括多个图片在内的视频序列进行编码的编码器(800，参见图8)，该编码器包括：有向图案确定单元(802)，用于确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块；选择单元(804)，用于基于所确定的有向图案为预测块选择变换集(例如，NSST变换集)；以及变换单元(806)，用于使用由选择单元基于所确定的有向图案来选择的变换集，对根据预测块导出的数据(例如，根据预测块和原始块导出的残差块，或者作为对残差块进行变换的结果而生成的变换系数)进行变换。
22、一种用于对包括多个图片在内的视频序列进行解码的解码器(900，参见图9)，该解码器适于：有向图案确定单元(902)，用于确定视频序列中的图片之一的预测块中的有向图案，其中，该确定包括使用来自参考块的信息来确定有向图案，该参考块是生成预测块所根据的参考块；选择单元(904)，用于基于所确定的有向图案为预测块选择逆变换集(例如，逆NSST变换集)；以及变换单元(906)，用于使用由选择单元基于所确定的有向图案来选择的逆变换集，对数据(例如，解量化之后的变换系数块)进行逆变换(s506)。
尽管本文描述了各种实施例，但是应当理解：其仅以示例而非限制的方式提出。因此，本公开的宽度和范围不应当受到上述示例性实施例中任意一个的限制。此外，上述要素以其所有可能变型进行的任意组合都被包含在本公开中，除非本文另有指示或以其他方式和上下文明确冲突。
附加地，尽管上文描述并附图中示出的过程被示为一系列步骤，但其仅用于说明目的。因此，可以想到可增加一些步骤、可省略一些步骤、可重排步骤顺序、以及可并行执行一些步骤。

Claims (15)

1.一种用于对包括多个图片在内的视频序列进行编码的方法(400)，所述方法包括：
使用参考块和跨分量线性模型CCLM预测模式来生成所述视频序列中的图片之一的预测块；
确定(s402)所述预测块中的有向图案，其中，所述确定包括使用来自所述参考块的信息来确定所述有向图案；
基于所确定的有向图案为所述预测块选择(s404)变换集；以及
使用(s406)所选择的变换集，对根据所述预测块导出的数据进行变换，
其中，所述参考块是使用帧内预测模式来编码的，以及
其中，确定所述有向图案包括以下操作或由以下操作组成：确定所述帧内预测模式，
其中，所述预测块属于色度颜色分量，且所述参考块属于亮度颜色分量。
2.根据权利要求1所述的方法，其中：
所述方法还包括维护映射信息，所述映射信息将特定帧内预测模式集合中包括的每个帧内预测模式映射到变换集索引，
参考块的帧内预测模式被包括在所述特定帧内预测模式集合中，以及
选择所述变换集或逆变换集包括：使用所述映射信息来识别所述参考块的帧内预测模式被映射到的变换集索引。
3.根据权利要求1至2中任一项所述的方法，还包括：确定满足条件集合，其中，使用基于所确定的有向图案来选择的变换集对数据进行变换的步骤是作为确定满足所述条件集合的结果来执行的。
4.根据权利要求3所述的方法，其中，确定满足所述条件集合包括：
确定所述参考块的非零变换系数的数量N；以及
确定N满足一定条件。
5.根据权利要求3所述的方法，其中，确定满足所述条件集合包括：
确定用于所述参考块的QP；以及
确定所述QP满足一定条件。
6.根据权利要求1至2中任一项所述的方法，其中，使用基于所确定的有向图案来选择的变换集对数据进行变换包括：使用所选择的变换集对残差块进行变换。
7.根据权利要求1至2中任一项所述的方法，其中，使用基于所确定的有向图案来选择的变换集对数据进行变换包括：
使用初级变换单元对残差块进行变换以产生所述数据；以及
使用所选择的变换集对所述数据进行变换。
8.一种用于对包括多个图片在内的视频序列进行解码的方法(500)，所述方法包括：
使用参考块和跨分量线性模型CCLM预测模式来生成所述视频序列中的图片之一的预测块；
确定(s502)所述预测块中的有向图案，其中，所述确定包括使用来自所述参考块的信息来确定所述有向图案；
基于所确定的有向图案为所述预测块选择(s504)逆变换集；以及
使用基于所确定的有向图案来选择的逆变换集对数据进行逆变换(s506)，
其中，所述参考块是使用帧内预测模式来编码的，并且
其中，确定所述有向图案包括以下操作或由以下操作组成：确定所述帧内预测模式，
其中，所述预测块属于色度颜色分量，且所述参考块属于亮度颜色分量。
9.根据权利要求8所述的方法，其中：
所述方法还包括维护映射信息，所述映射信息将特定帧内预测模式集合中包括的每个帧内预测模式映射到变换集索引，
参考块的帧内预测模式被包括在所述特定帧内预测模式集合中，以及
选择所述变换集或逆变换集包括：使用所述映射信息来识别所述参考块的帧内预测模式被映射到的变换集索引。
10.根据权利要求8至9中任一项所述的方法，还包括：确定满足条件集合，其中，使用基于所确定的有向图案来选择的逆变换集对数据进行逆变换的步骤是作为确定满足所述条件集合的结果来执行的。
11.根据权利要求10所述的方法，其中，确定满足所述条件集合包括：
确定所述参考块的非零变换系数的数量N；以及
确定N满足一定条件。
12.根据权利要求10所述的方法，其中，确定满足所述条件集合包括：
确定用于所述参考块的QP；以及
确定所述QP满足一定条件。
13.根据权利要求10所述的方法，其中，确定满足所述条件集合包括：确定从编码器接收的特定标志被设置为一定的值。
14.根据权利要求8至9中任一项所述的方法，其中，使用基于所确定的有向图案来选择的逆变换集对数据进行逆变换包括：对解量化之后的系数块进行逆变换。
15.根据权利要求8至9中任一项所述的方法，其中，使用基于所确定的有向图案来选择的逆变换集对数据进行逆变换包括：
对系数块进行逆变换以产生所述数据；以及
使用所选择的逆变换集对所述数据进行逆变换。
CN201980007567.2A 2018-07-13 2019-07-10 视频编码器和/或视频解码器中的变换选择 Active CN111567041B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862697484P 2018-07-13 2018-07-13
US62/697,484 2018-07-13
PCT/EP2019/068548 WO2020011860A1 (en) 2018-07-13 2019-07-10 Transform selection in a video encoder and/or video decoder

Publications (2)

Publication Number Publication Date
CN111567041A CN111567041A (zh) 2020-08-21
CN111567041B true CN111567041B (zh) 2022-04-29

Family

ID=67439185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007567.2A Active CN111567041B (zh) 2018-07-13 2019-07-10 视频编码器和/或视频解码器中的变换选择

Country Status (14)

Country Link
US (4) US11218716B2 (zh)
EP (2) EP3707898B1 (zh)
JP (1) JP6934572B2 (zh)
KR (1) KR102226462B1 (zh)
CN (1) CN111567041B (zh)
BR (1) BR112020012295A2 (zh)
CA (1) CA3090207C (zh)
CL (1) CL2020001785A1 (zh)
DK (1) DK3707898T3 (zh)
ES (1) ES2864670T3 (zh)
MX (1) MX2020006114A (zh)
PH (1) PH12020551004A1 (zh)
PL (1) PL3707898T3 (zh)
WO (1) WO2020011860A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3707898B1 (en) 2018-07-13 2021-03-17 Telefonaktiebolaget LM Ericsson (publ) Transform selection in a video encoder and/or video decoder
KR20230003459A (ko) 2019-10-29 2023-01-05 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
AU2020376686B2 (en) 2019-10-29 2023-03-16 Lg Electronics Inc. Method for transform-based image coding and apparatus therefor
WO2021134635A1 (zh) * 2019-12-31 2021-07-08 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN117296325A (zh) * 2021-04-12 2023-12-26 Lg电子株式会社 用于设计低频不可分离变换的方法和设备
WO2024044404A1 (en) * 2022-08-26 2024-02-29 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices using intra block copy for video coding
US20240187620A1 (en) * 2022-10-20 2024-06-06 Tencent America LLC Transform selection through block matching

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994022108A1 (en) * 1993-03-23 1994-09-29 Zoran Corporation Rapid thumbnail image reconstruction of dct compressed image data
CN107211144A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 用于预测残差的增强型多重变换
CN107257456A (zh) * 2011-10-19 2017-10-17 株式会社Kt 解码视频信号的方法
CN108141596A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 用于视频译码的非可分离二次变换
CN109691101A (zh) * 2016-07-15 2019-04-26 高通股份有限公司 用于增强型多变换的查找表

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751478B2 (en) 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
BR112013033707A2 (pt) 2011-06-28 2017-06-27 Samsung Electronics Co Ltd método e aparelho de predição para componente de croma de imagem usando componente de luma de imagem
US8929455B2 (en) * 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
CN109218730B (zh) * 2012-01-19 2023-07-28 华为技术有限公司 用于lm帧内预测的参考像素缩减
BR112014025563B1 (pt) 2012-04-16 2023-12-05 Electronics And Telecommunications Research Institute Método para decodificar um sinal de vídeo
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US10623738B2 (en) * 2017-04-06 2020-04-14 Futurewei Technologies, Inc. Noise suppression filter
EP3707898B1 (en) 2018-07-13 2021-03-17 Telefonaktiebolaget LM Ericsson (publ) Transform selection in a video encoder and/or video decoder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994022108A1 (en) * 1993-03-23 1994-09-29 Zoran Corporation Rapid thumbnail image reconstruction of dct compressed image data
CN107257456A (zh) * 2011-10-19 2017-10-17 株式会社Kt 解码视频信号的方法
CN107211144A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 用于预测残差的增强型多重变换
CN108141596A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 用于视频译码的非可分离二次变换
CN109691101A (zh) * 2016-07-15 2019-04-26 高通股份有限公司 用于增强型多变换的查找表

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kai Zhang ; et al.Multi-model based cross-component linear model chroma intra-prediction for video coding.《2017 IEEE Visual Communications and Image Processing(VCIP)》.2018, *

Also Published As

Publication number Publication date
MX2020006114A (es) 2020-08-24
KR20200085917A (ko) 2020-07-15
US11218716B2 (en) 2022-01-04
CL2020001785A1 (es) 2020-10-09
EP3707898A1 (en) 2020-09-16
BR112020012295A2 (pt) 2020-11-24
ES2864670T3 (es) 2021-10-14
US20200186815A1 (en) 2020-06-11
US11627329B2 (en) 2023-04-11
CA3090207A1 (en) 2020-01-16
CA3090207C (en) 2022-03-15
EP3843395A1 (en) 2021-06-30
JP6934572B2 (ja) 2021-09-15
PL3707898T3 (pl) 2021-10-04
US20240214596A1 (en) 2024-06-27
WO2020011860A1 (en) 2020-01-16
JP2021513230A (ja) 2021-05-20
US11882302B2 (en) 2024-01-23
US20220078459A1 (en) 2022-03-10
US20230239486A1 (en) 2023-07-27
KR102226462B1 (ko) 2021-03-10
DK3707898T3 (da) 2021-05-03
PH12020551004A1 (en) 2021-09-06
CN111567041A (zh) 2020-08-21
EP3707898B1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN111567041B (zh) 视频编码器和/或视频解码器中的变换选择
CA3105023C (en) Intra-frame prediction method and device
CN108886613B (zh) 用于处理视频信号的方法和装置
CN116320496A (zh) 用于滤波的方法和装置
CN109716762B (zh) 用于处理视频信号的方法
CN109804624B (zh) 用于处理视频信号的方法和设备
US11979554B2 (en) Intra prediction-based video signal processing method and device
OA20149A (en) Transform selection in a video encoder and/or video decoder.
CN110944174B (zh) 小尺寸块的变换选择方法和装置
CN115462074A (zh) 经压缩的画中画信令

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032618

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant