CN114762328A - 利用差分调制的视频编码和解码 - Google Patents

利用差分调制的视频编码和解码 Download PDF

Info

Publication number
CN114762328A
CN114762328A CN202080076349.7A CN202080076349A CN114762328A CN 114762328 A CN114762328 A CN 114762328A CN 202080076349 A CN202080076349 A CN 202080076349A CN 114762328 A CN114762328 A CN 114762328A
Authority
CN
China
Prior art keywords
block
chroma
differential modulation
syntax element
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080076349.7A
Other languages
English (en)
Inventor
姜制远
朴胜煜
林和平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry Collaboration Foundation of Ewha University
Kia Corp
Original Assignee
Hyundai Motor Co
Industry Collaboration Foundation of Ewha University
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Industry Collaboration Foundation of Ewha University, Kia Corp filed Critical Hyundai Motor Co
Priority claimed from PCT/KR2020/017428 external-priority patent/WO2021112544A1/ko
Publication of CN114762328A publication Critical patent/CN114762328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及针对残差信号利用差分调制技术的视频编码和解码技术，以改善变换跳过模式下的压缩性能。差分调制技术能够应用于亮度分量和色度分量两者，只要色度格式不是单色的(即，不是chroma_format_idc等于0)。

Description

利用差分调制的视频编码和解码
技术领域
本发明涉及视频的编码和解码。更具体地，本发明涉及利用在变换跳过模式下执行的差分调制技术的视频编码和解码。
背景技术
由于视频数据量大于语音数据量或静止影像数据量，因此在不进行压缩处理的情况下存储或传输视频数据需要大量的硬件资源(包括存储器)。
相应地，在存储或传输视频数据时，通常利用编码器来压缩视频数据，以便于进行存储或传输。然后，解码器接收压缩的视频数据，且解压并再现视频数据。用于这种视频的压缩技术包括H.264/AVC和高效率视频编码(High Efficiency Video Coding，HEVC)，所述高效率视频编码(HEVC)比H.264/AVC的编码效率提高了大约40％。
然而，构成视频的图像的大小、分辨率和帧速率逐渐增加，并且因此，要编码的数据量也在增加，这就引起需要一种具有更好的编码效率并能够极大地改善图像质量的新压缩技术。
发明内容
技术问题
本发明涉及针对残差信号利用差分调制技术的视频编码和解码技术，以改善变换跳过模式下的压缩性能。
技术方案
本发明的一个方面提供了用于对从由多个图像组成的视频序列编码的比特流进行解码的方法。所述方法包括从比特流的序列参数集解码关于色度采样格式的信息和与残差信号的差分调制相关的高级别语法元素。本文中，高级别语法元素包括指示针对视频序列的残差信号是否允许差分调制的控制标志，以及关于允许差分调制的最大块尺寸的信息。所述方法进一步包括：当第一块满足由关于色度采样格式的信息和高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与当前要解码的第一块相对应的色度块的第一色度语法元素进行解码；以及响应于指示出已经将差分调制应用于色度块的第一色度语法元素，对指示应用于色度块的差分调制方向的第二色度语法元素进行解码。所述方法还进一步包括：从比特流确定色度块的差分调制的残差块；在由第二色度语法元素指示的差分调制方向上通过对差分调制的残差块进行差分解调来确定量化的残差值；对色度块的量化的残差值进行逆量化；生成色度块的预测的值；以及基于逆量化的残差值和预测的值来重构对应于第一块的色度块。
当(1)控制标志指示出针对视频序列允许差分调制，(2)通过将第一块的宽度除以由色度采样格式确定的水平缩放因子而获得的值小于或等于最大块尺寸，以及(3)通过将第一块的高度除以由色度采样格式确定的竖直缩放因子而获得的值小于或等于最大块尺寸时，由关于色度采样格式的信息和高级别语法元素定义的条件得到满足。
本发明的一个方面提供了用于对由多个图像组成的视频序列进行解码的装置。所述装置包括从比特流的序列参数集解码关于色度采样格式的信息和与残差信号的差分调制相关的高级别语法元素的装置。本文中，高级别语法元素包括指示针对视频序列的残差信号是否允许差分调制的控制标志，以及关于允许差分调制的最大块尺寸的信息。所述装置进一步包括：用于在当前要解码的第一块满足由关于色度采样格式的信息和高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与第一块相对应的色度块的第一色度语法元素进行解码的装置；以及用于响应于第一色度语法元素指示出已经将差分调制应用于色度块，对指示应用于色度块的差分调制方向的第二色度语法元素进行解码的装置。所述装置还进一步包括：用于从比特流确定色度块的差分调制的残差块的装置；以及用于在由第二色度语法元素指示的差分调制方向上，通过对差分调制的残差块进行差分解调来确定量化的残差值的装置。所述装置还进一步包括：用于对色度块的量化的残差值进行逆量化的装置；用于生成色度块的预测的值的装置；以及用于基于逆量化的残差值和预测的值来重构对应于第一块的色度块的装置。
本发明的一个方面提供了用于对由多个图像组成的视频序列进行编码的方法。所述方法包括在比特流的序列参数集中编码关于色度采样格式的信息和与残差信号的差分调制相关的高级别语法元素。本文中，高级别语法元素包括指示针对视频序列的残差信号是否允许差分调制的控制标志，以及关于允许差分调制的最大块尺寸的信息。所述方法还进一步包括：在当前要解码的第一块满足由关于色度采样格式的信息和高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与第一块相对应的色度块的第一色度语法元素进行编码；以及响应于第一色度语法元素指示出已经将差分调制应用于色度块，对指示应用于色度块的差分调制方向的第二色度语法元素进行编码。所述方法还进一步包括：生成色度块的预测的值；基于色度块的原始样本值和预测的值来确定色度块的残差块；通过对色度块的残差块进行量化来生成量化的残差值；在由第二色度语法元素指示的差分调制方向上，通过对量化的残差值进行差分调制来确定差分调制的残差值；以及对比特流中的差分调制的残差值进行编码。
附图说明
图1是能够实现本发明技术的视频编码装置的示例性框图。
图2是示出利用QTBTTT结构的块分割的示意图。
图3是示出多个帧内预测模式的示意图。
图4是能够实现本发明技术的视频解码装置的示例性框图。
图5a和图5b是用于描述根据本发明的差分调制技术的示例图。
图6是用于描述通过利用根据本发明实施方案的差分调制技术来编码视频序列的方法的流程图。
图7是用于描述利用根据本发明实施方案的差分调制技术来编码视频的块的方法的流程图。
图8是用于描述通过利用根据本发明实施方案的差分调制技术来解码视频序列的方法的流程图。
图9是用于描述利用根据本发明实施方案的差分调制技术来解码视频的块的方法的流程图。
具体实施方式
在下文中，将参考所附附图对本发明的一些实施方案进行详细描述。应当注意的是，在将附图标记分配给各个附图中的组成元件时，尽管元件在不同的附图中示出，但是相同的附图标记指示相同的元件。此外，在以下对本发明的描述中，将省略并入本文中的已知功能和配置的详细描述，以避免模糊本发明的主题。
图1是能够实现本发明技术的视频编码装置的示例性框图。在下文中，将参考图1来描述视频编码装置以及该装置的元件。
视频编码装置包括：图像分割器110、预测器120、减法器130、变换器140、量化器145、重组器150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波单元180和存储器190。
视频编码装置的每个元件可以以硬件或软件、或者硬件和软件的组合来实现。各个元件的功能可以实现为软件，并且微处理器可以实现为执行对应于各个元件的软件功能。
一个视频包括多个图像。每个图像分割为多个区域，并且对每个区域执行编码。例如，一个图像分割为一个或更多个瓦片(tile)和/或切片(slice)。这里，一个或更多个瓦片可以被定义为瓦片组。每个瓦片或切片分割为一个或更多个编码树单元(coding treeunit，CTU)。每个CTU通过树结构分割为一个或更多个编码单元(coding unit，CU)。应用于每个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成一个或更多个图像的所有块的信息被编码在图像参数集(Picture Parameter Set，PPS)或图像头中。此外，由多个图像组成的序列共同参考的信息被编码在序列参数集(Sequence Parameter Set，SPS)中。共同应用于一个瓦片或瓦片组的信息可以被编码为瓦片头或瓦片组头的语法。
图像分割器110确定编码树单元(CTU)的大小。关于CTU的大小(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被传输至视频解码装置。
图像分割器110将构成视频的每个图像分割为具有预定大小的多个CTU，然后利用树结构递归地分割CTU。在树结构中，叶节点用作编码单元(CU)，所述编码单元(CU)是编码的基本单元。
树结构可以是四叉树(QuadTree，QT)、二叉树(BinaryTree，BT)、三叉树(TernaryTree，TT)、或者由两个或更多个QT结构、BT结构和TT结构的组合而形成的结构，所述四叉树(QT)即节点(或父节点)被分割为相同大小的四个从节点(或子节点)，所述二叉树(BT)即节点被分割为两个从节点，所述三叉树(TT)即节点以1:2:1的比率被分割为三个从节点。例如，可以使用四叉树加二叉树(QuadTree plus BinaryTree，QTBT)结构，或者可以使用四叉树加二叉树三叉树(QuadTree plus BinaryTree TernaryTree，QTBTTT)结构。这里，BTTT可以统称为多类型树(multiple-type tree，MTT)。
图2示例性地示出QTBTTT分割树结构。如图2所示，CTU可以首先分割为QT结构。可以重复QT分割，直到分割块的大小达到QT中允许的叶节点的最小块尺寸MinQTSize。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码，并将其用信号通知给视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块尺寸(MaxBTSize)时，可以进一步将其分割为一个或更多个BT结构或TT结构。BT结构和/或TT结构可以具有多个分割方向。例如，可以存在两个方向，即，水平地分割节点的块的方向和竖直地分割块的方向。如图2所示，当MTT分割开始时，通过熵编码器155对指示节点是否被分割的第二标志(mtt_split_flag)、指示分割情况下的分割方向(竖直或水平)的标志、和/或指示分割类型(二叉或三叉)的标志进行编码，并将其用信号通知给视频解码装置。替选地，在对指示每个节点是否被分割为下层的4个节点的第一标志(QT_split_flag)进行编码之前，可以对指示节点是否被分割的CU分割标志(split_cu_flag)进行编码。当CU分割标志(split_cu_flag)的值指示出没有执行分割时，节点的块成为分割树结构中的叶节点，并用作编码单元(CU)，编码单元(CU)是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出执行分割时，视频编码装置开始以上述方式从第一标志起对标志进行编码。
当利用QTBT作为树结构的另一个示例时，可以存在两种分割类型，即将块水平地分割为相同大小的两个块的类型(即，对称水平分割)和将块竖直地分割为相同大小的两个块的类型(即，对称竖直分割)。由熵编码器155对指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码，并将其传输至视频解码装置。可以存在将节点的块分割为两个非对称块的额外类型。非对称分割类型可以包括以1:3的大小比率将块分割为两个矩形块的类型，或者对角线地分割节点的块的类型。
CU可以根据CTU的QTBT或QTBTTT分割而具有各种大小。在下文中，与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块被称为“当前块”。在采用QTBTTT分割时，当前块的形状可以是正方形或矩形。
预测器120对当前块进行预测以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
帧内预测器122利用在包括当前块的当前图像中位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3所示，多个帧内预测模式可以包括2种非方向模式和65种方向模式，2种非方向模式包括平面(planar)模式和直流(DC)模式。针对每种预测模式不同地定义要使用的相邻像素和等式。
帧内预测器122可以确定在对当前块进行编码时要使用的帧内预测模式。在一些示例中，帧内预测器122可以利用若干帧内预测模式来对当前块进行编码，并且从测试的模式中选择要使用的适当的帧内预测模式。例如，帧内预测器122可以利用若干测试的帧内预测模式的率失真(rate-distortion)分析来计算率失真值，并且可以在测试的模式中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122从多个帧内预测模式中选择一个帧内预测模式，并且利用根据选择的帧内预测模式确定的相邻像素(参考像素)和等式来预测当前块。由熵编码器155对关于选择的帧内预测模式的信息进行编码，并将其传输至视频解码装置。
帧间预测器124通过运动补偿来生成当前块的预测块。帧间预测器124在比当前图像更早已被编码和解码的参考图像中搜索与当前块最相似的块，并且利用搜索到的块来生成当前块的预测块。然后，帧间预测器生成与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应的运动矢量(motion vector)。通常，对亮度(luma)分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码器155对包括关于参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息进行编码，并将其传输至视频解码装置。帧间预测器124可以在参考图像或参考块上执行插值，以增加预测的准确性。也就是说，通过向包括两个整数像素的多个连续整数像素应用滤波器系数来在两个连续整数像素之间插置子像素。当执行搜索与插置的参考图像的当前块最相似的块的过程时，运动向量可以不表达为整数像素的精度，而表达为小数单位的精度。对要编码的目标区域的每个单元，例如，切片、瓦片、CTU或CU可以不同地设置运动矢量的精度或分辨率。
减法器130将当前块减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140可以变换残差块中的残差信号。残差块的二维尺寸可以用作执行变换的块大小的变换单元(在下文中为“TU”)。替选地，可以将残差块分区为多个子块，并且每个子块可以用作TU，以对相应子块内的残差信号进行变换。
变换器140可以将残差块分割为一个或更多个子块，并且对一个或更多个子块应用变换，从而将变换块的残差值从像素域变换到频域。在频域中，变换块被称为包含一个或更多个变换系数值的系数块或变换块。二维变换核可以用于变换，一维变换核可以分别用于水平变换和竖直变换。变换核可以基于离散余弦变换(DCT)、离散正弦变换(DST)等。
变换器140可以在水平方向和竖直方向上单独地变换残差块。对于变换，可以利用各种类型的变换函数或变换矩阵。例如，用于在水平方向和竖直方向上变换的一对变换函数可以被定义为多变换集(multiple transform set，MTS)。变换器140可以选择MTS中具有最佳变换效率的一个变换函数对，并且分别在水平方向和竖直方向上变换残差块。由熵编码器155对关于从MTS中选择的变换函数对的信息(mts_idx)进行编码，并将其用信号通知给视频解码装置。
量化器145利用量化参数对从变换器140输出的变换系数进行量化，并且将量化的变换系数输出到熵编码器155。对于一些块或帧，量化器145可以不经变换直接对相关残差块进行量化。量化器145可以根据变换块中的变换系数的位置来应用不同的量化系数(缩放值)。可以对量化系数矩阵(其应用于二维布置的量化的变换系数)进行编码，并且将其用信号通知给视频解码装置。
重组器150可以对量化的残差值的系数值进行重组。重组器150可以通过系数扫描(coefficient scanning)将2维系数阵列改变为1维系数序列。例如，重组器150可以利用锯齿形扫描(zig-zag scan)或对角线扫描(diagonal scan)从DC系数向高频区域中的系数对系数进行扫描，以输出1维系数序列。根据变换单元的大小和帧内预测模式，可以利用竖直扫描或水平扫描来代替锯齿形扫描，所述竖直扫描即在列方向上对二维系数阵列进行扫描，所述水平扫描即在行方向上对二维块形状的系数进行扫描。也就是说，可以根据变换单元的大小和帧内预测模式在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要使用的扫描模式。
熵编码器155利用诸如基于上下文的自适应二进制算术编码(Context-basedAdaptive Binary Arithmetic Code，CABAC)和指数哥伦布(exponential Golomb)的各种编码技术来对从重组器150输出的一维量化的变换系数进行编码，以生成比特流。
熵编码器155对与块分割相关的信息(例如，CTU大小、CU分割标志、QT分割标志、MTT分割类型和MTT分割方向)进行编码，使得视频解码装置可以以与视频编码装置相同的方式来分割块。另外，熵编码器155对关于指示当前块是由帧内预测进行编码还是由帧间预测进行编码的预测类型的信息进行编码，并且根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(关于参考图像索引和运动矢量的信息)进行编码。此外，熵编码器155对与量化相关的信息(也就是关于量化参数的信息和关于量化矩阵的信息)进行编码。
逆量化器160对从量化器145输出的量化的变换系数进行逆量化，以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空域，并且重构残差块。
加法器170将重构的残差块和由预测器120生成的预测块相加，以重构当前块。重构的当前块中的像素在执行后续块的帧内预测时用作参考像素。
环路滤波单元180对重构的像素进行滤波，以减少由于基于块的预测和变换/量化而产生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)和模糊伪影(blurring artifacts)。环路滤波单元180可以包括去块滤波器182、采样自适应偏移(SAO)滤波器184或自适应环路滤波器(ALF)186的一个或更多个。
去块滤波器182对重构的块之间的边界进行滤波，以去除由逐块编码/解码而引起的块伪影，并且SAO滤波器184对去块滤波的视频执行额外的滤波。SAO滤波器184是用于对由有损编码(lossy coding)引起的重构的像素与原始的像素之间的差进行补偿的滤波器，并且以将相对应的偏移和每个重构的像素相加的方式来执行滤波。ALF 186通过对目标像素和目标像素的相邻像素应用滤波器系数来对要滤波的目标像素执行滤波。ALF 186可以将包括在图像中的像素划分为预定组，然后确定要应用于相应组的一个滤波器，以对每个组差分地执行滤波。可以对关于要用于ALF的滤波器系数的信息进行编码，并且将其用信号通知给视频解码装置。
通过环路滤波单元180滤波的重构的块存储在存储器190中。一旦一个图像中的所有块被重构，重构的图像就可以用作后续要被编码的图像中的块的帧间预测的参考图像。
图4是能够实现本发明技术的视频解码装置的示例性功能框图。在下文中，将参考图4来描述视频解码装置和该装置的元件。
视频解码装置可以包括：熵解码器410、重组器415、逆量化器420、逆变换器430、预测器440、加法器450、环路滤波单元460和存储器470。
类似于图1的视频编码装置，视频解码装置的每个元件可以用硬件、软件、或硬件和软件的组合来实现。此外，每个元件的功能可以用软件来实现，并且微处理器可以实现为执行对应于每个元件的软件功能。
熵解码器410通过对由视频编码装置生成的比特流进行解码并提取与块分割相关的信息来确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息等。
熵解码器410从序列参数集(SPS)或图像参数集(PPS)中提取关于CTU大小的信息，确定CTU的大小，并且将图像分割为确定大小的CTU。然后，解码器将CTU确定为树结构的最高层(即，根节点)，并且提取关于CTU的分割信息，以利用树结构来分割CTU。
例如，当利用QTBTTT结构来分割CTU时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为子层的四个节点。对于与QT的叶节点相对应的节点，提取与MTT的分割相关的第二标志(MTT_split_flag)以及关于分割方向(竖直/水平)和/或分割类型(二叉/三叉)的信息，从而以MTT结构来分割相应的叶节点。由此，以BT或TT结构来递归地分割QT的叶节点下方的每个节点。
作为另一个示例，当利用QTBTTT结构来分割CTU时，可以提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割相应块时，可以提取第一标志(QT_split_flag)。在分割操作中，在零个或更多个递归QT分割之后，每个节点都可能发生零个或更多个递归MTT分割。例如，CTU可以直接经历MTT分割而不经历QT分割，或者仅经历QT分割多次。
作为另一个示例，当利用QTBT结构来分割CTU时，提取与QT分割相关的第一标志(QT_split_flag)，并且将每个节点分割为下层的四个节点。然后，提取指示是否以BT进一步分割与QT的叶节点相对应的节点的分割标志(split_flag)以及分割方向信息。
一旦通过树结构分割来确定要解码的当前块，熵解码器410就提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器410提取当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器410提取用于帧间预测信息(即，指示运动矢量和由该运动矢量参考的参考图像的信息)的语法元素。
熵解码器410还提取关于量化的当前块的变换系数的信息作为与量化相关的信息和关于残差信号的信息。
重组器415可以以由视频编码装置执行的系数扫描的相反顺序，将由熵解码器410进行熵解码的一维量化的变换系数的序列改变为2维系数阵列(即，块)。
逆量化器420利用量化参数对量化的变换系数进行逆量化。逆量化器420可以向布置为二维的量化的变换系数应用不同的量化系数(缩放值)。逆量化器420可以通过将来自视频编码装置的量化系数(缩放值)矩阵应用于量化的变换系数的2维阵列来执行逆量化。
逆变换器430将逆量化的变换系数从频域逆变换到空域，以重构残差信号，从而生成重构的当前块的残差块。另外，当应用MTS时，逆变换器430利用从视频编码装置用信号通知的MTS信息(mts_idx)来确定要分别在水平方向和竖直方向上应用的变换函数或变换矩阵，并且利用确定的变换函数在水平方向和竖直方向上对变换块中的变换系数进行逆变换。
预测器440可以包括帧内预测器442和帧间预测器444。在当前块的预测类型是帧内预测时，激活帧内预测器442，而在当前块的预测类型是帧间预测时，激活帧间预测器444。
帧内预测器442基于从熵解码器410提取的帧内预测模式的语法元素，在多个帧内预测模式中确定当前块的帧内预测模式，并且根据帧内预测模式，利用当前块周围的参考像素来预测当前块。
帧间预测器444利用从熵解码器410提取的帧内预测模式的语法元素来确定当前块的运动矢量和由运动矢量参考的参考图像，并且基于运动矢量和参考图像来预测当前块。
加法器450通过将从逆变换器输出的残差块与从帧间预测器或帧内预测器输出的预测块相加来重构当前块。在对后续要被解码的块进行帧内预测时，重构的当前块中的像素用作参考像素。
环路滤波单元460可以包括去块滤波器462、SAO滤波器464和ALF 466的至少一个。去块滤波器462对重构的块之间的边界进行去块滤波，以去除由逐块解码引起的块伪影。SAO滤波器464以在对相应偏移进行去块滤波之后添加重构的块的方式执行滤波，以便补偿由有损编码引起的重构的像素与原始的像素之间的差。ALF 466通过对目标像素和目标像素的相邻像素应用滤波器系数来对要滤波的目标像素执行滤波。ALF 466可以将图像中的像素划分为预定组，然后确定要应用于相应组的一个滤波器，以对每个组差分地执行滤波。基于关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。
通过环路滤波单元460滤波的重构的块存储在存储器470中。当一个图像中的所有块被重构时，重构的图像用作对后续要被编码的图像中的块进行帧间预测的参考图像。
一般而言，本发明的技术涉及将差分调制技术应用于以变换跳过模式编码的块的残差块。下面的描述基本上侧重于解码技术，也就是说，视频解码器的操作。编码技术的描述与全面描述的解码技术相反，因此对编码技术的描述进行了简化。
一般而言，视频编码装置将残差信号变换为频域中的变换系数，对变换系数进行编码，并将其用信号通知给视频解码装置。视频解码装置将变换系数逆变换为空域中的残差信号。然而，作为变换的结果而生成的大部分变换系数可能位于高频区域中，这取决于视频信号或残差信号的特性。在这种情况下，与在空域中直接地编码残差信号相比，对通过变换获得的频域中的变换系数进行编码可能会降低编码效率。
变换跳过(transform skip，TS)模式是对残差信号进行熵编码而无需将残差信号变换为频域中的信号的技术。也就是说，可以直接地对空域中的残差信号或量化的残差信号进行熵编码而无需变换到频域中。一般而言，变换跳过模式在编码性能上并不比离散余弦变换(DCT)更好。然而，由于具有高颜色对比度的图形元素的边界，特定类型的内容(例如，屏幕内容)可能在高频区域中包括许多残差。因此，变换跳过模式可能是有用的。
可以对作为变换的单位(块大小)的每个变换单元(TU)用信号通知是否应用变换跳过模式。也就是说，视频编码装置对针对每个变换单元指示是否应用变换跳过模式的信息，例如变换跳过标志(transform_skip_flag[x0][y0][cIdx])进行编码，并将其传输至视频解码装置。这里，(x0，y0)是当前图像内变换单元的左上方的位置，cIdx是用于指示颜色分量的指示符，其中值“0”代表亮度，值“1”代表色度的Cb，值“2”代表色度的Cr。
另一方面，可以在高级别语法结构(例如，SPS或PPS)中定义是否启用变换跳过模式。例如，视频编码装置将指示是否启用变换跳过模式的变换跳过启用标志(transform_skip_flag)编码为SPS的语法。如果不启用变换跳过模式(例如，transform_skip_enabled_flag＝0)，则不对相应序列内的每个变换单元的transform_skip_flag进行编码，并且对所有变换单元中的残差信号进行变换。如果比特流中不存在transform_skip_flag，则视频解码装置设置transform_skip_enabled_flag＝0，并且执行对接收到的残差信号(变换系数)的逆变换。另一方面，如果启用变换跳过模式(例如，transform_skip_enabled_flag＝1)，则可以对每个变换单元用信号通知指示是否应用变换跳过的transform_skip_flag。视频解码装置根据对应于变换单元的transform_skip_flag来执行或跳过变换单元的变换。
另一方面，可以将可适用变换跳过的变换单元的最大尺寸限制为MaxTsSize。最大尺寸MaxTsSize可以是指示允许变换跳过的最大变换单元的一侧的长度的标量值，并且可以是固定值，例如32或64。替选地，视频编码装置可以将指示可适用变换跳过模式的块的最大尺寸MaxTsSize的语法元素编码为高级别语法结构，例如，SPS或PPS，并且可以将语法元素传递至视频解码装置。例如，可以由序列参数集(SPS)中的语法元素log2_transform_skip_max_size_minus2来控制可适用变换跳过模式的块的最大尺寸MaxTsSize。在这种情况下，可适用变换跳过模式的块的最大尺寸(MaxTsSize)确定如下。
MaxTsSize＝1<<(log2_transform_skip_max_size_minus2+2)
宽度或高度大于MaxTsSize的变换单元内的残差信号总是在被变换为变换系数之后进行编码。也就是说，针对宽度或高度大于MaxTsSize的变换单元，不允许变换跳过。相应地，相对于宽度或高度大于MaxTsSize的变换单元，视频编码装置不对transform_skip_flag进行编码。如果在比特流中不存在transform_skip_flag，则视频解码装置将相应变换单元内的变换系数逆变换为残差信号。相反，相对于宽度和高度等于或小于MaxTsSize的变换单元，对transform_skip_flag进行编码。相应地，视频解码装置根据transform_skip_flag的值来确定是否执行逆变换。
上面已经描述了可适用变换跳过模式的块的最大尺寸(MaxTsSize)是与变换单元(块)的宽度和高度相比的标量值，但是本发明不限于此。也就是说，为了限制可适用变换跳过模式的块的大小，可以相对于可以允许变换跳过模式的每个变换单元的宽度和高度来单独地定义或确定最大尺寸。在这种情况下，可以用信号通知指示可以允许变换跳过模式的变换单元的最大宽度和最大高度的每个语法元素。
在这种情况下，与块的大小相关的变换跳过模式的禁用条件可以相对于块的宽度和高度进行不同的控制。也就是说，可以单独地控制可适用变换跳过模式的块的最大宽度(MaxTsSizeX)和最大高度(MaxTsSizeY)。由于采用了QTBTTT分区，这可能是有用的，因为块的形状可以是矩形也可以是正方形。
在其他实施方案中，这样的控制可以通过引入在SPS中用信号通知的语法元素log2_transform_skip_max_size_X_minus2和log2_transform_skip_max_size_Y_minus2来实现。在这种情况下，可适用变换跳过模式的块的最大宽度(MaxTsSizeX)和最大高度(MaxTsSizeY)如下确定。
MaxTsSizeX＝1<<(log2_transform_skip_max_size_X_minus2+2)
MaxTsSizeY＝1<<(log2_transform_skip_max_size_Y_minus2+2)
在其他一些实施方案中，视频编码器可以在SPS中用信号通知指示MaxTsSize的语法元素log2_transform_skip_max_size_minus2。视频解码器可以基于来自MaxTsSize的块的宽度(CbWidth)和高度(CbHeight)的比率来推导MaxTsSizeX和MaxTsSizeY。具体地，可以使用以下示例性方法。
(a)比例因子(S)推导如下。
S＝max(CbWidth，CbHeight)/min(CbWidth，CbHeight)
(b)在CbWidth和CbHeight中较大或相等的方向上通过应用MaxTsSize来确定是否应用变换跳过模式。
(c)在CbWidth和CbHeight中较小的方向上通过应用MaxTsSize来确定是否应用变换跳过模式。
在下文中，描述了能够改善以变换跳过模式编码的块的压缩性能的差分调制技术。
可以利用差分调制技术对通过帧内预测生成的残差信号进行编码。当与变换跳过模式一起使用时，差分调制技术可以通过减少用于熵编码的残差分量的总能量来提供进一步改善的压缩性能。下面将描述将差分调制应用于目标块的方法。这里，目标块可以是CU。替选地，目标块可以是TU。在下文中，为了便于说明，假设目标块是CU。
1.差分调制/解码过程
图5a和图5b是用于描述根据本发明的差分调制技术的示例图。
可以在水平方向或竖直方向上执行差分调制。如果执行水平方向(例如，图5a中所示)上的差分调制，则视频编码装置计算残差块内要编码的目标残差信号与残差块内目标残差信号的左侧的相邻残差信号之间的差值。此外，视频编码装置对差值而不是目标残差信号的值本身进行熵编码。在将水平方向差分调制技术应用于N×M(N和M是自然数)大小的块的残差信号ri，j之后，所得残差信号ri，j(0≤i<M-1，i为自然数)可以由等式1表示。也就是说，通过将位置(i，j)处的残差信号减去位置(i，j-1)处的残差信号来修改位置(i，j)处的残差信号。这里，(i，j)表示第i行和第j列。
[等式1]
Figure BDA0003622501070000121
这里，Q(r)表示量化的残差信号。差分调制可以应用于已经跳过变换的量化的残差信号。
如等式1所示，在水平方向差分调制的情况下，视频编码装置对残差信号
Figure BDA0003622501070000122
进行熵编码，然后将其传输至视频解码装置。可以对块的所有列顺序地执行水平方向上的差分调制。
另一方面，如果如图5b所示执行竖直方向上的差分调制，则视频编码装置计算残差块内要编码的目标残差信号与残差块内目标残差信号上方的相邻残差信号之间的差值。此外，视频编码装置对差值而不是目标残差信号的值本身进行熵编码。在将竖直方向上的差分调制技术应用于N×M(M和N是自然数)大小的块的残差信号ri，j之后，所得残差信号
Figure BDA0003622501070000123
(0≤j<N-1，j为自然数)可以由等式2表示。也就是说，通过将位置(i，j)处的残差信号减去位置(i-1，j)处的残差信号来修改位置(i，j)处的残差信号。这里，(i，j)表示第i行和第j列。
[等式2]
Figure BDA0003622501070000124
如等式2所示，在竖直方向差分调制的情况下，视频编码装置对残差信号
Figure BDA0003622501070000125
进行熵编码，然后将其传输至视频解码装置。可以对块的所有行顺序地执行竖直方向上的差分调制。
如果已经应用了水平方向上的差分调制技术，则视频解码装置如等式3所示重构残差信号。也就是说，视频解码装置通过水平方向上的差分调制的逆处理(在下文中，称为“差分解调”)来修改从比特流重构的残差块内的残差信号(即，差分调制的残差信号)。以这样的方式修改残差信号内要修改的目标残差信号，所述方式是将位于与目标残差信号相同行的目标残差信号的左侧的左侧残差信号与目标残差信号相加。
[等式3]
Figure BDA0003622501070000126
另一方面，如果已经应用了竖直方向上的差分调制技术，则视频解码装置如等式4所示重构残差信号。也就是说，视频解码装置基于竖直方向的差分调制来修改从比特流重构的残差块内的残差信号(即，差分调制的残差信号)。以这样的方式修改重构的残差块内要修改的目标残差信号，所述方式是将位于与目标残差信号相同列的目标残差信号上方的上方残差信号与目标残差信号相加。
[等式4]
Figure BDA0003622501070000131
对基于差分解调修改的残差信号进行逆量化，然后将其添加到预测像素。
视频编码装置将关于是否将差分调制应用于要编码的目标块的信息和差分调制的方向用信号发送至视频解码装置。这将在后面进行描述。
差分调制技术可以应用于通过帧内预测生成的残差信号。换句话说，如果确定将差分调制技术应用于目标块，则利用帧内预测来预测目标块。
可以从差分调制的方向来推导目标块的帧内预测模式。在其他实施方案中，目标块的帧内预测模式推断为与差分调制的方向相同。帧内预测的残差信号倾向于在帧内预测方向上具有相似的模式。相应地，如果在与帧内预测方向相同的方向上应用差分调制，则可以提高编码效率，这是因为残差信号之间的差值小。
相应地，对于应用差分调制的块，视频编码装置和视频解码装置的帧内预测器122和422将与差分调制的方向相同的方向上的帧内预测模式(例如，图3中的INTRA_ANGULAR18或INTRA_ANGULAR 50)设置为目标块的帧内预测模式。这意味着不需要用信号通知关于帧内预测模式的信息。通过根据差分调制的方向推断已经应用了差分调制的块的帧内预测模式，去除了对关于块的帧内预测模式的信息进行编码所需的比特。也就是说，通过根据差分调制的方向的语法推断帧内预测模式来减少传输的位的数量。
在其他的实施方案中，如果应用了差分调制，则当前块的帧内预测模式可以限制为仅使用在差分调制方向的阈值范围内的帧内预测模式。例如，如果应用水平方向上的差分调制，则仅允许所有帧内预测模式中的水平模式(图3中的INTRA_ANGULAR 18)和接近水平模式的预设数量的帧内预测模式作为目标块的帧内预测模式。如果应用竖直方向上的差分调制，则仅允许所有帧内预测模式中的竖直模式(图3中的INTRA_ANGULAR 50)和接近竖直模式的预设数量的帧内预测模式作为目标块的帧内预测模式。
相应地，由于从与差分调制方向相似的一些帧内预测模式中而不是从所有帧内预测模式中选择目标块的帧内预测模式，因此对目标块的帧内预测模式编码所需的位的数量可以减少。视频解码装置可以生成由在差分调制方向的阈值范围内的帧内预测模式组成的候选集，并且可以将候选集中的候选中由与从视频编码装置接收的帧内预测模式相关的信息指示的候选设置为目标块的帧内预测模式。
已经描述了差分调制技术仅应用于通过帧内预测而生成的残差信号，但是本发明不限于此，并且差分调制技术可以与帧间预测一起使用。
上述差分调制技术可以应用于目标块的亮度分量和色度分量两者。如果确定出差分调制技术应用于目标块，则差分调制技术可以应用于目标块的亮度分量的残差信号和色度分量的残差信号的每个。替选地，可以针对目标块的亮度分量和色度分量独立地确定是否应用差分编码技术。
在下文中，将描述用于控制差分调制技术的应用的方法。
2.高级别的差分调制的控制
差分调制可以根据内容的结构来提高或降低压缩性能。相对于不适合应用差分调制的视频序列，与块级别的差分调制相关的编码语法元素成为降低压缩性能的因素。相应地，优选的是以由多个图像组成的每个视频序列为单位来确定是否应用差分调制。
在一些实施方案中，视频编码装置将指示是否允许块级别的差分调制的差分调制启用标志编码为SPS。如上所述，差分调制与变换跳过模式一起应用。相应地，当SPS中的变换跳过启用标志指示出允许变换跳过(即，transform_skip_enabled_flag＝1)时，对指示是否允许差分调制的差分调制启用标志进行编码。当变换跳过启用标志指示出不允许变换跳过(即，transform_skip_enabled_flag＝0)时，不对差分调制启用标志进行编码。当在SPS中不存在差分调制启用标志时，视频解码装置将差分调制启用标志设置为0。也就是说，视频解码装置不对当前视频序列应用差分解调技术。
差分调制技术可以应用于亮度分量和色度分量两者，除非色度格式是单色的(即，除非chroma_format_idc＝0)。在其他的实施方案中，可以通过在SPS中用信号通知的差分调制启用标志来控制是否将差分调制技术应用于当前视频序列的亮度分量和色度分量两者。例如，当在SPS中用信号通知的差分调制启用标志指示出允许差分调制时，差分调制技术可以应用于当前视频序列的亮度分量和色度分量的每个。相反，当差分调制启用标志指示出不允许差分调制时，针对当前视频序列内的亮度分量和色度分量两者都不允许差分调制。
在其他的实施方案中，可以单独地控制是否对序列级别的亮度分量和色度分量的每个应用差分调制。这可以通过在SPS中对指示针对当前视频序列的亮度分量是否允许差分调制的第一差分调制启用标志和指示针对当前视频序列的色度分量是否允许差分调制的第二差分调制启用标志进行编码来实现。当变换跳过启用标志具有值“1”时，可以对第一和第二差分调制启用标志进行编码。
在下文中，描述了当通过前述高级别语法针对块级别的亮度分量和/或色度分量允许差分调制时控制是否应用块级别的差分调制的方法。
3.块级别的差分调制的控制
对目标块的差分调制由指示是否应用差分调制的第一语法元素和指示差分调制方向的第二语法元素控制。相对于目标块的亮度分量和色度分量，可以分别用信号通知用于控制差分调制的第一语法元素和第二语法元素。
如果针对当前视频序列(或属于该序列的图像)的亮度分量允许差分调制，则视频编码装置对指示是否将差分调制应用于目标块的亮度分量(在下文中，称为“亮度块”)的第一语法元素进行编码。当第一语法元素指示出将差分调制应用于亮度块时，视频编码装置对指示亮度块的差分调制方向的第二语法元素进行附加编码。
如上所述，差分调制是可以应用于以变换跳过模式编码的残差块的工具。当目标块的宽度和高度的每个大于变换跳过的最大块尺寸(MaxTsSize)时，除了变换跳过外，也不允许差分调制。相应地，当目标块的宽度和高度的每个大于变换跳过的最大块尺寸时，视频编码装置不对亮度块的第一语法元素和第二语法元素进行编码。相应地，用于亮度块的第一语法元素和第二语法元素不存在于比特流内，并且针对残差信号也不执行差分调制。
当目标块的宽度和高度的每个等于或小于最大块尺寸(MaxTsSize)时，视频解码装置从比特流提取第一语法元素并且确定是否已经将差分调制应用于与目标块相对应的亮度块。当第一语法元素指示出已经应用了差分调制时，视频解码装置通过从比特流提取第二语法元素来确定差分调制的方向。相反，当目标块的宽度或高度的至少一个大于最大块尺寸(MaxTsSize)时，视频解码装置不提取第一语法元素，并且将第一语法元素的值设置为指示没有应用差分调制的值。相应地，视频解码装置也不提取第二语法元素，并且不对亮度块执行差分解调。
另一方面，如果已经确定出针对视频序列的色度分量允许差分调制，则视频编码装置对指示是否将差分调制应用于目标块的色度分量(在下文中，称为“色度块”)的第一语法元素进行编码。当第一语法元素指示出将差分调制应用于色度块时，视频编码装置对指示色度块的差分调制方向的第二语法元素进行编码。
还需要用于将应用差分调制的色度块的大小限制在允许变换跳过的范围内的约束。特别地，在由QTBT或QTBTTT分区结构从CTU分区的目标块(CU)的情况下，目标块除了正方形形状之外还可以具有宽度和高度不同的矩形形状。相应地，需要通过考虑目标块形状的多样性来满足约束。
在一些实施方案中，可以利用变换跳过的最大块尺寸(MaxTsSize)和色度采样格式来检查是否满足这样的要求。视频序列的头(即，SPS)包括指示视频序列的色度采样格式的语法元素(chroma_format_idc)。色度采样格式、水平缩放因子(SubWidthC)和竖直缩放因子(SubHeightC)可以基于chroma_format_idc定义如下表1。
[表1]
chroma_format_idc 色度格式 SubWidthC SubHeightC
0 单色 1 1
1 4:2:0 2 2
2 4:2:2 2 1
3 4:4:4 1 1
为了将差分调制应用于色度块，需要满足这样的条件，所述条件即通过将目标块的宽度和高度分别除以基于色度格式确定的水平缩放因子(SubWidthC)和竖直缩放因子(SubHeightC)而获得的每个值需要小于或等于变换跳过的最大块尺寸(MaxTsSize)。相应地，当通过将目标块的宽度除以水平缩放因子(SubWidthC)而获得的值大于MaxTsSize或者通过将目标块的高度除以竖直缩放因子(SubHeightC)而获得的值大于MaxTsSize时，不将差分调制应用于色度块。视频编码装置仅在满足条件时对指示是否将差分调制应用于色度块的第一语法元素进行编码，并且基于第一语法元素对指示差分调制方向的第二语法元素进行编码。如果没有满足条件，则不对色度块的第一语法元素和第二语法元素进行编码。
如果满足这样的条件，所述条件即通过将目标块的宽度和高度分别除以基于色度格式确定的水平缩放因子(SubWidthC)和竖直缩放因子(SubHeightC)而获得的每个值小于或等于变换跳过的最大块尺寸(MaxTsSize)，则视频解码装置从比特流提取指示是否已经将差分调制应用于色度块的第一语法元素，并且确定是否已经将差分调制应用于与目标块相对应的亮度块。当第一语法元素指示出已经应用了差分调制时，视频解码装置通过从比特流提取第二语法元素来确定色度块的差分调制的方向。
相反，如果没有满足条件，则视频解码装置不提取第一语法元素，并且将第一语法元素的值设置为指示出没有应用差分调制的值。相应地，视频解码装置不提取第二语法元素，并且不对色度块执行差分解调。
在其他的实施方案中，可以通过用信号通知关于块(其中，变换跳过可以应用于色度块)的最大尺寸(MaxTsSizeC)的信息来检查是否满足这样的要求，所述要求即应用差分调制的色度块的尺寸需要限制在允许变换跳过的范围内。也就是说，关于色度块的最大尺寸(MaxTsSizeC)的信息可以与亮度块的最大尺寸(MaxTsSize)分开用信号通知。这样的信息可以被编码在高级别语法结构中，例如SPS、PPS或图像头。只有当目标块的宽度和高度等于或小于MaxTsSizeC时，视频编码装置才对色度块应用差分调制并且编码相关语法(即，色度块的第一语法元素和第二语法元素)。替选地，只有当通过将目标块的宽度和高度分别除以宽度缩放因子(SubWidthC)和高度缩放因子(SubHeightC)而获得的每个值等于或小于MaxTsSizeC时，视频编码装置才可以将差分调制应用于色度块并且编码相关语法(即，色度块的第一语法元素和第二语法元素)。
如上所述，如果已经应用了差分调制，则视频编码装置通过利用具有与差分调制方向相同的方向的帧内预测模式(图3中的INTRA_ANGULAR 18或INTRA_ANGULAR 50)来对目标块进行帧内预测，并且生成残差块，也就是目标块与预测块之间的差。在差分调制方向上执行差分调制之后，对残差块内的残差信号进行量化，然后进行熵编码。视频解码装置从比特流重构残差信号，并且通过在重构的残差信号的差分调制方向上执行差分解调来修改残差信号。对修改后的残差信号进行逆量化，然后将其与预测块相加。视频解码装置还通过利用与差分调制方向相同的帧内预测方向对目标块进行帧内预测来生成预测块。
在这种情况下，视频编码装置和视频解码装置可以通过相对于应用差分调制的目标块利用没有从目标块的上部块或左侧块的相邻块的边缘样本滤波的样本来对目标块执行帧内预测。利用滤波的样本可能会导致低频区域中的附加残余分量到残差块，因此不适用应用差分调制并因此以变换跳过模式编码的块。
如上所述，在一些实施方案中，允许变换跳过的最大变换单元的尺寸可以相对于宽度和高度来单独地定义。也就是说，可以定义允许变换跳过的变换单元的最大宽度(MaxTsSize_X)和最大高度(MaxTsSize_Y)的每个，并且可以在SPS或PPS中用信号通知关于所述最大宽度和最大高度的每个的信息。在这样的实施方案中，当满足这样的条件时，所述条件即目标块的宽度需要等于或小于最大宽度(MaxTsSize_X)并且目标块的高度需要等于或小于最大高度(MaxTsSize_Y)，可以应用差分调制。相应地，当满足条件时，视频编码装置对指示是否将差分调制应用于目标块的第一语法元素进行编码，并且根据第一语法元素对指示差分调制的方向的第二语法元素进行编码。当没有满足条件时，视频编码装置不对目标块应用差分调制。相应地，也不对第一语法元素和第二语法元素进行编码。只有当满足条件时，视频解码装置才从比特流提取指示是否将差分调制应用于目标块的第一语法元素，并且根据第一语法元素来提取指示差分调制的方向的第二语法元素。
上面已经描述了控制是否在高级别中允许差分调制的各种方法以及当在高级别中允许差分调制时控制是否在块级别中应用差分调制的各种方法。通过高级别的各种控制方法与块级别的各种控制方法的组合，可以控制视频序列的差分调制的使用。在下文中，对各种组合的一个示例性实施方案进行描述。
图6是用于描述通过利用根据本发明实施方案的差分调制技术来编码视频序列的方法的流程图。图7是用于描述利用根据本发明实施方案的差分调制技术来编码视频的块的方法的流程图。
视频编码装置在SPS中编码关于色度采样格式的信息和与残差信号的差分调制相关的高级别语法元素(S610)。在这种情况下，高级别语法元素包括指示针对视频序列的残差信号是否允许差分调制的控制标志。也就是说，亮度分量和色度分量两者的差分调制由控制标志来允许或限制。此外，高级别语法元素包括关于允许差分调制的最大块尺寸的信息。关于允许差分调制的最大块尺寸的信息可以是关于允许变换跳过的最大变换尺寸(例如，MaxTsSize)的信息，或者可以是单独设置用于控制差分调制的块大小(例如，Max_Hor_Size、Max_Ver_Size)。
当确定当前要编码的目标块时(S620)，对与目标块相对应的亮度块和色度块的每个执行编码处理。在图6中，S630至S650指示包括使用差分调制技术的亮度块的编码处理，S660至S680指示包括使用差分调制技术的色度块的编码处理。
首先描述亮度块。视频编码装置确认将差分调制应用于亮度块的条件(S630)。在这种情况下，亮度块的条件由高级别语法元素定义。如上所述，当满足以下条件时，可以应用亮度块的差分调制。
(1)控制标志需要指示出针对亮度分量和色度分量两者允许差分调制。
(2)对应于亮度块的目标块的宽度需要小于或等于最大块尺寸。
(3)对应于亮度块的目标块的高度需要小于或等于最大块尺寸。
当满足条件时，视频编码装置对指示是否将差分调制应用于亮度块的第一语法元素进行编码。此外，当第一语法元素指示出应用差分调制时，视频编码装置对指示亮度块的差分调制方向的第二语法元素进行编码(S640)。
如果将差分调制应用于亮度块，则视频编码装置通过利用变换跳过和差分调制来执行编码处理从而对亮度块进行编码(S650)。差分调制技术可以仅应用于帧内预测编码的块，并且可以不应用于帧间预测编码的块。相应地，视频编码装置可以在对帧内编码的亮度块的残差块进行编码时应用变换跳过和差分调制技术。
具体地，参考图7，视频编码装置将具有与由第二语法元素指示的差分调制方向相同的方向的方向性帧内预测模式设置为亮度块的帧内预测模式，并且通过利用帧内预测模式来生成亮度块的预测块(S710)。在这种情况下，视频编码装置可以通过利用没有从亮度块的上部块或左侧块的相邻亮度块的边缘样本滤波的样本来对应用差分调制的亮度块执行帧内预测。
此外，视频编码装置通过将亮度块的原始样本值减去预测块的预测的值来生成亮度块的残差值(S720)，并且对残差值进行量化(S730)。由于差分调制是在变换跳过模式下允许的工具，并且不执行针对残差值的块(即，残差块)的变换。
如参考等式1和等式2所描述的，视频编码装置在由第二语法元素指示的差分调制方向上对量化的残差块内的残差信号执行差分调制(S740)。视频编码装置对比特流中的亮度块的差分调制的残差值进行熵编码(S750)。
另一方面，参考图6中的S660至S680，视频编码装置对与目标块相对应的色度块执行与亮度块的处理类似的处理。然而，应用差分调制的条件与亮度块不同。在S660，除了高级别语法元素之外，还基于色度格式信息来定义将差分调制应用于色度块的条件，并且所述条件如下。
(1)控制标志需要指示出针对视频序列允许差分调制。
(2)通过将对应于色度块的目标块的宽度除以由色度采样格式确定的宽度缩放因子而获得的值小于或等于最大块尺寸。
(3)通过将对应于色度块的目标块的高度除以基于色度采样格式确定的高度缩放因子而获得的值小于或等于最大块尺寸。
当满足条件时，如下所述，执行与在S630至S650执行的处理基本相同的处理(S670至S680)。
视频编码装置对指示是否将差分调制应用于色度块的第一语法元素进行编码。此外，当第一语法元素指示出应用差分调制时，视频编码装置对指示色度块的差分调制方向的第二语法元素进行编码(S670)。
如果应用差分调制，则视频编码装置通过利用变换跳过和差分调制来执行编码处理从而对色度块进行编码(S680)。视频编码装置通过在对帧内编码的色度块的残差块进行编码时利用变换跳过和差分调制技术来对残差块进行编码。
再参考图7，如果将差分调制应用于色度块，则视频编码装置将具有与由第二语法元素指示的差分调制方向相同的方向的方向性帧内预测模式设置为色度块的帧内预测模式，并且通过利用设置的帧内预测模式来生成色度块的预测块(S710)。在这种情况下，视频编码装置可以通过利用没有从色度块的上部块或左侧块的相邻色度块的边缘样本滤波的样本来对色度块执行帧内预测。
此外，视频编码装置通过将色度块的原始样本值减去预测块的预测的值来生成色度块的残差值(S720)，并且对残差值进行量化(S730)。由于差分调制是在变换跳过模式下允许的工具，并且不执行针对残差值的块(即，残差块)的变换。
如参考等式1和等式2所描述的，视频编码装置在由第二语法元素指示的差分调制方向上对量化的残差块内的残差信号执行差分调制(S740)。视频编码装置对比特流中的色度块的差分调制的残差值进行熵编码(S750)。
图8是用于描述通过利用根据本发明实施方案的差分调制技术来解码视频序列的方法的流程图。图9是用于描述利用根据本发明实施方案的差分调制技术来解码视频的块的方法的流程图。
视频解码装置对关于色度采样格式的信息和与从视频编码装置接收的比特流内的来自SPS的残差信号的差分调制相关的高级别语法元素进行解码(S810)。
当确定要解码的目标块时(S820)，对与目标块相对应的亮度块和色度块的每个执行解码处理。在图8中，S830至S850指示包括使用差分调制技术的亮度块的解码处理，S860至S680指示包括使用差分调制技术的色度块的解码处理。
首先描述亮度块。视频解码装置确认是否满足允许对亮度块应用差分调制的条件(S830)。在这种情况下，亮度块的条件由高级别语法元素定义，并且所述条件与图6的S630描述的条件相同。
当满足条件时，视频解码装置从比特流解码指示是否将差分调制应用于亮度块的第一语法元素。此外，当第一语法元素指示出应用差分调制时，视频解码装置解码指示亮度块的差分调制方向的第二语法元素(S840)。
如果已经将差分调制应用于亮度块，则视频解码装置通过利用变换跳过和差分调制来执行解码处理从而解码亮度块(S850)。差分调制技术可以仅应用于帧内预测编码的块，并且可以不应用于帧间预测编码的块。相应地，视频解码装置在对帧内编码的亮度块的残差块进行解码时应用变换跳过和差分调制技术。
具体地，参考图9，视频解码装置通过从比特流重构亮度块的差分调制的残差样本来确定亮度块的差分调制的残差块(S910)。此外，视频解码装置通过在由第二语法元素指示的差分调制方向上对差分调制的残差块执行差分解调来确定量化的残差值(S920)。也就是说，如已经参考等式3和等式4所描述的，视频解码装置修改差分调制的残差块内的残差信号。此外，视频解码装置对修改后的残差块内的残差信号执行逆量化(S930)。在变换跳过模式下应用差分调制，因此跳过了逆量化之后的逆变换。
此外，视频解码装置通过对亮度块执行帧内预测来生成预测块(S940)。为此，视频解码装置将具有与由第二语法元素指示的差分调制方向相同的方向的方向性帧内预测模式设置为亮度块的帧内预测模式。相应地，不对关于亮度块的帧内预测模式的信息进行解码。在这种情况下，视频解码装置可以通过利用没有从亮度块的上部块或左侧块的相邻亮度块的边缘样本滤波的样本来对应用差分调制的亮度块执行帧内预测。步骤S940可以在S910至S930之前执行，也可以在S910至S930的任一步骤之后执行，或者与S910至S930并行执行。
最后，视频解码装置可以通过将逆量化的残差块与通过帧内预测生成的预测块相加来重构亮度块(S950)。
另一方面，参考图8的S860至S880，视频解码装置对与目标块相对应的色度块执行与亮度块的处理类似的处理。然而，对色度块应用差分调制的条件与对亮度块应用差分调制的条件不同。也就是说，在S860，除了高级别语法元素之外，还基于色度格式信息来定义将差分调制应用于色度块的条件，并且所述条件与在图6的S660所述的条件相同。
再参考图9，视频解码装置通过从比特流重构色度块的差分调制的残差样本来确定色度块的差分调制的残差块(S910)。此外，视频解码装置通过在由第二语法元素指示的差分调制方向上对差分调制的残差块执行差分解调来确定量化的残差值(S920)。也就是说，如已经参考等式3和等式4所描述的，视频解码装置修改差分调制的残差块内的残差信号。此外，视频解码装置对修改后的残差块内的残差信号执行逆量化(S930)。在变换跳过模式下应用差分调制，因此跳过了逆量化之后的逆变换。
此外，视频解码装置通过对色度块执行帧内预测来生成预测块(S940)。为此，视频解码装置将具有与由第二语法元素指示的差分调制方向相同的方向的方向性帧内预测模式设置为色度块的帧内预测模式。相应地，不对关于色度块的帧内预测模式的信息进行解码。在这种情况下，视频解码装置可以通过利用没有从色度块的上部块或左侧块的相邻色度块的边缘样本滤波的样本来对应用差分调制的色度块执行帧内预测。
最后，视频解码装置通过将逆量化的残差块与通过帧内预测生成的预测块相加来重构色度块(S950)。
应当理解的是，可以以许多不同的方式实现上述示例性实施方案。在一个或更多个示例中描述的功能可以实现为硬件、软件、固件或者以上的任何组合。本说明书中描述的功能组件被标记为单元，以便更特别地强调它们的潜在独立性实施。
另一方面，本发明中描述的各种方法或功能可以利用存储在非易失性记录介质中的指令来实现，所述指令可以由一个或更多个处理器来读取和执行。非易失性记录介质包括例如以计算机系统可读取的形式存储数据的所有类型的记录装置。例如，非易失性记录介质包括诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存驱动器、光学驱动器、磁性硬盘驱动器和固态驱动器(SSD)的存储介质。
尽管已经出于说明的目的描述了示例性实施方案，但是本领域技术人员将理解的是，在不脱离实施方案的思想和范围的情况下，各种修改和变化是可能的。为了简洁和清楚起见，已经描述了示例性实施方案。相应地，普通技术人员应当理解的是，实施方案的范围不受以上明确描述的实施方案限制，而是包括在权利要求书及其等同形式内。
相关申请的交叉引用
本申请要求2019年12月2日提交的韩国专利申请No.10-2019-0158563以及2020年12月2日提交的韩国专利申请No.10-2020-0166249的优先权，其全部内容通过引用结合于本文中。

Claims (20)

1.一种用于对从由多个图像组成的视频序列编码的比特流进行解码的方法，所述方法包括：
从比特流的序列参数集解码关于色度采样格式的信息和与残差信号的差分调制相关的高级别语法元素，其中，所述高级别语法元素包括指示针对视频序列的残差信号是否允许差分调制的控制标志以及关于允许差分调制的最大块尺寸的信息；
当第一块满足由关于色度采样格式的信息和高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与当前要解码的第一块相对应的色度块的第一色度语法元素进行解码；
响应于第一色度语法元素指示出已经将差分调制应用于色度块，对指示应用于色度块的差分调制方向的第二色度语法元素进行解码；
从比特流确定色度块的差分调制的残差块；
在由第二色度语法元素指示的差分调制方向上，通过对差分调制的残差块进行差分解调来确定量化的残差值；
对色度块的量化的残差值进行逆量化；
生成色度块的预测的值；以及
基于逆量化的残差值和预测的值来重构对应于第一块的色度块，
其中，由关于色度采样格式的信息和高级别语法元素定义的条件在以下情况得到满足：
(1)控制标志指示出针对视频序列允许差分调制，
(2)通过将第一块的宽度除以由色度采样格式确定的水平缩放因子而获得的值小于或等于最大块尺寸，以及
(3)通过将第一块的高度除以由色度采样格式确定的竖直缩放因子而获得的值小于或等于最大块尺寸。
2.根据权利要求1所述的方法，其中，生成色度块的预测的值包括：
将竖直预测模式和水平预测模式中具有与由第二色度语法元素指示的差分调制方向相同的方向的预测模式设置为色度块的帧内预测模式；以及
基于色度块的帧内预测模式来生成色度块的预测的值。
3.根据权利要求1所述的方法，其中，生成色度块的预测的值包括：
通过利用没有从色度块的上部块或左侧块的边缘样本滤波的样本，通过对色度块执行帧内预测来生成色度块的预测值。
4.根据权利要求1所述的方法，其中，确定量化的残差值包括：
当第二色度语法元素指示出差分调制方向是水平的时，以如下等式确定量化的残差值，
Figure FDA0003622501060000021
其中，Q(ri，j)是色度块内位置[i，j]处的量化的残差值，
Figure FDA0003622501060000022
是差分调制的残差块内位置[i，k]处的样本值，M是色度块的行数，N是色度块的列数。
5.根据权利要求1所述的方法，其中，确定量化的残差值包括，当第二色度语法元素指示出差分调制方向是竖直的时，以如下等式确定量化的残差值，
Figure FDA0003622501060000023
其中，Q(ri，j)是色度块内位置[i，j]处的量化的残差值，
Figure FDA0003622501060000024
是差分调制的残差块内位置[k，j]处的样本值，M是色度块的行数，N是色度块的列数。
6.根据权利要求1所述的方法，其中，关于允许差分调制的最大块尺寸的信息是关于允许变换跳过的最大变换尺寸的信息。
7.根据权利要求1所述的方法，进一步包括：
当第一块满足由高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与第一块相对应的亮度块的第一亮度语法元素进行解码；
响应于第一亮度语法元素指示出已经将差分调制应用于亮度块，对指示应用于亮度块的差分调制方向的第二亮度语法元素进行解码；
从比特流确定亮度块的差分调制的残差块；
在由第二亮度语法元素指示的差分调制方向上，通过对亮度块的差分调制的残差块进行差分解调来确定量化的残差值；
对亮度块的量化的残差值进行逆量化；
生成亮度块的预测的值；以及
基于逆量化的残差值和预测的值来重构对应于第一块的亮度块。
8.根据权利要求7所述的方法，其中，由高级别语法元素定义的条件在以下情况得到满足：
控制标志指示出针对视频序列允许差分调制，
第一块的宽度小于或等于最大块尺寸，以及
第一块的宽度小于或等于最大块尺寸。
9.根据权利要求7所述的方法，其中，在确定与邻近对应于第一块的亮度块的第二块相对应的亮度块的MPM列表时，将对应于第一块的亮度块的帧内预测模式设置为竖直预测模式和水平预测模式中具有与由第二亮度语法元素指示的差分调制方向相同的方向的预测模式。
10.一种用于对由多个图像组成的视频序列进行解码的装置，所述装置包括：
用于从比特流的序列参数集解码关于色度采样格式的信息和与残差信号的差分调制相关的高级别语法元素的装置，其中，所述高级别语法元素包括指示针对视频序列的残差信号是否允许差分调制的控制标志以及关于允许差分调制的最大块尺寸的信息；
用于在当前要解码的第一块满足由关于色度采样格式的信息和高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与第一块相对应的色度块的第一色度语法元素进行解码的装置；
用于响应于第一色度语法元素指示出已经将差分调制应用于色度块，对指示应用于色度块的差分调制方向的第二色度语法元素进行解码的装置；
用于从比特流确定色度块的差分调制的残差块的装置；
用于在由第二色度语法元素指示的差分调制方向上，通过对差分调制的残差块进行差分解调来确定量化的残差值的装置；
用于对色度块的量化的残差值进行逆量化的装置；
用于生成色度块的预测的值的装置；以及
用于基于逆量化的残差值和预测的值来重构对应于第一块的色度块的装置，
其中，由关于色度采样格式的信息和高级别语法元素定义的条件在以下情况得到满足：
(1)控制标志指示出针对视频序列允许差分调制，
(2)通过将第一块的宽度除以由色度采样格式确定的水平缩放因子而获得的值小于或等于最大块尺寸，以及
(3)通过将第一块的高度除以由色度采样格式确定的竖直缩放因子而获得的值小于或等于最大块尺寸。
11.根据权利要求10所述的装置，其中，用于生成色度块的预测的值的装置
将竖直预测模式和水平预测模式中具有与由第二色度语法元素指示的差分调制方向相同的方向的预测模式设置为色度块的帧内预测模式，以及
基于色度块的帧内预测模式来生成色度块的预测的值。
12.根据权利要求10所述的装置，其中，用于生成色度块的预测值的装置通过利用没有从色度块的上部块或左侧块的边缘样本滤波的样本，通过对色度块执行帧内预测来生成色度块的预测的值。
13.根据权利要求10所述的装置，其中，关于允许差分调制的最大块尺寸的信息是关于允许变换跳过的最大变换尺寸的信息。
14.根据权利要求10所述的装置，进一步包括：
用于当第一块满足由高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与第一块相对应的亮度块的第一亮度语法元素进行解码的装置；
用于响应于第一亮度语法元素指示出已经将差分调制应用于亮度块，对指示应用于亮度块的差分调制方向的第二亮度语法元素进行解码的装置；
用于从比特流确定亮度块的差分调制的残差块的装置；
用于在由第二亮度语法元素指示的差分调制方向上，通过对亮度块的差分调制的残差块进行差分解调来确定量化的残差值的装置；
用于对亮度块的量化的残差值进行逆量化的装置；
用于生成亮度块的预测的值的装置；以及
用于基于逆量化的残差值和预测的值来重构对应于第一块的亮度块的装置。
15.根据权利要求14所述的装置，其中，由高级别语法元素定义的条件在以下情况得到满足：
控制标志指示出针对视频序列允许差分调制，
第一块的宽度小于或等于最大块尺寸，以及
第一块的宽度小于或等于最大块尺寸。
16.根据权利要求14所述的装置，其中，在确定与邻近对应于第一块的亮度块的第二块相对应的亮度块的MPM列表时，将对应于第一块的亮度块的帧内预测模式设置为竖直预测模式和水平预测模式中具有与由第二亮度语法元素指示的差分调制方向相同的方向的预测模式。
17.一种用于对由多个图像组成的视频序列进行编码的方法，所述方法包括：
在比特流的序列参数集中对关于色度采样格式的信息和与残差信号的差分调制相关的高级别语法元素进行编码，其中，所述高级别语法元素包括指示针对视频序列的残差信号是否允许差分调制的控制标志以及关于允许差分调制的最大块尺寸的信息；
在当前要解码的第一块满足由关于色度采样格式的信息和高级别语法元素定义的条件时，对指示是否已经将差分调制应用于与第一块相对应的色度块的第一色度语法元素进行编码；
响应于第一色度语法元素指示出已经将差分调制应用于色度块，对指示应用于色度块的差分调制方向的第二色度语法元素进行编码；
生成色度块的预测的值；
基于色度块的原始样本值和预测的值来确定色度块的残差块；
通过对色度块的残差块进行量化来生成量化的残差值；
在由第二色度语法元素指示的差分调制方向上，通过对量化的残差值进行差分调制来确定差分调制的残差值；
对比特流中的差分调制的残差值进行编码，
其中，由关于色度采样格式的信息和高级别语法元素定义的条件在以下情况得到满足：
(1)控制标志指示出针对视频序列允许差分调制，
(2)通过将第一块的宽度除以由色度采样格式确定的水平缩放因子而获得的值小于或等于最大块尺寸，以及
(3)通过将第一块的高度除以由色度采样格式确定的竖直缩放因子而获得的值小于或等于最大块尺寸。
18.根据权利要求17所述的方法，其中，生成色度块的预测的值包括：
将竖直预测模式和水平预测模式中具有与由第二色度语法元素指示的差分调制方向相同的方向的预测模式设置为色度块的帧内预测模式；以及
基于色度块的帧内预测模式来生成色度块的预测的值。
19.根据权利要求17所述的方法，其中，生成色度块的预测的值包括：
通过利用没有从色度块的上部块或左侧块的边缘样本滤波的样本，通过对色度块执行帧内预测来生成色度块的预测的值。
20.根据权利要求17所述的方法，其中，关于允许差分调制的最大块尺寸的信息是关于允许变换跳过的最大变换尺寸的信息。
CN202080076349.7A 2019-12-02 2020-12-02 利用差分调制的视频编码和解码 Pending CN114762328A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20190158563 2019-12-02
KR10-2019-0158563 2019-12-02
PCT/KR2020/017428 WO2021112544A1 (ko) 2019-12-02 2020-12-02 차분 변조를 이용하는 비디오 부호화 및 복호화

Publications (1)

Publication Number Publication Date
CN114762328A true CN114762328A (zh) 2022-07-15

Family

ID=76378193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080076349.7A Pending CN114762328A (zh) 2019-12-02 2020-12-02 利用差分调制的视频编码和解码

Country Status (3)

Country Link
EP (1) EP4068777A4 (zh)
KR (1) KR20210069005A (zh)
CN (1) CN114762328A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075270A (zh) * 2013-03-25 2015-11-18 高通股份有限公司 在视频译码中停用正负号数据隐藏
CN105075272A (zh) * 2013-04-05 2015-11-18 高通股份有限公司 在基于调色板的视频译码中确定调色板索引
CN105556963A (zh) * 2013-10-14 2016-05-04 联发科技（新加坡）私人有限公司 用于hevc范围扩展的残差差分脉冲编码调制方法
US20180084284A1 (en) * 2016-09-22 2018-03-22 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
WO2019066384A1 (ko) * 2017-09-26 2019-04-04 삼성전자 주식회사 크로스-성분 예측에 의한 비디오 복호화 방법 및 장치, 크로스-성분 예측에 의한 비디오 부호화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075270A (zh) * 2013-03-25 2015-11-18 高通股份有限公司 在视频译码中停用正负号数据隐藏
CN105075272A (zh) * 2013-04-05 2015-11-18 高通股份有限公司 在基于调色板的视频译码中确定调色板索引
CN105556963A (zh) * 2013-10-14 2016-05-04 联发科技（新加坡）私人有限公司 用于hevc范围扩展的残差差分脉冲编码调制方法
US20180084284A1 (en) * 2016-09-22 2018-03-22 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
WO2019066384A1 (ko) * 2017-09-26 2019-04-04 삼성전자 주식회사 크로스-성분 예측에 의한 비디오 복호화 방법 및 장치, 크로스-성분 예측에 의한 비디오 부호화 방법 및 장치

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS，ET AL: "Versatile Video Coding (Draft 7)", 《JVET会议》, pages 20 *
GORDON CLARE, ET AL: "E8-4.1: BDPCM and Transform skip for Chroma", 《JVET会议》 *
JIANLE CHEN, ET AL: "Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7)", 《JVET会议》, pages 84 *
JIN HEO, ET AL: "Non-CE3 : Cleanup of intra reference sample filter selection", 《JVET会议》 *
SUNMI YOO， ET AL: "CE8-related : Improvements on BDPCM", 《JVET会议》, pages 1 - 3 *
TAKESHI TSUKUBA, ET AL: "AHG-18: BDPCM for Luma and Chroma in lossless coding", 《JVET会议》 *

Also Published As

Publication number Publication date
EP4068777A1 (en) 2022-10-05
KR20210069005A (ko) 2021-06-10
EP4068777A4 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
US20220191530A1 (en) Intra prediction method and device for predicting and dividing prediction unit into sub-units
US11973966B2 (en) Method and apparatus for efficiently coding residual blocks
US11917181B2 (en) Method and apparatus for intra-prediction coding of video data
EP4009632A1 (en) Method and device for intra prediction coding of video data
CN113892268A (zh) 基于预测模式估计的帧内预测装置和方法
CN113841397A (zh) 影像编码和解码方法及装置
KR20220071939A (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
CN113841403A (zh) 影像解码装置中使用的逆量化装置和方法
EP4068777A1 (en) Video encoding and decoding using differential modulation
US20220286686A1 (en) Video encoding and decoding using differential modulation
US20220286692A1 (en) Video encoding and decoding using differential encoding
US20230179762A1 (en) Video encoding and decoding using arbitrary block partitioning
EP4013058A1 (en) Video encoding and decoding using differential coding
US20240007620A1 (en) Image encoding and decoding method using adaptive alternative mode
US20220150470A1 (en) Method and apparatus for intra predictionbased on deriving prediction mode
RU2785384C1 (ru) Устройство декодирования изображения, использующее дифференциальное кодирование
US20230130958A1 (en) Video encoding and decoding using adaptive color transform
US20220417552A1 (en) Method and apparatus for inter-prediction of pictures with different resolutions
US20230283768A1 (en) Method for predicting quantization parameter used in a video encoding/decoding apparatus
US20240007623A1 (en) Block splitting structure for efficient prediction and transform, and method and appartus for video encoding and decoding using the same
CN116458160A (zh) 利用自适应替代模式的影像编码和解码方法
KR20230059135A (ko) 다양한 블록 분할 구조를 이용하는 비디오 코딩방법 및 장치
CN113892261A (zh) 利用差分编码的影像解码装置
KR20220118351A (ko) 인트라 예측 신호와 인터 예측 신호의 가중 합을 이용한 예측 블록을 생성하는 방법 및 이를 이용한 장치
KR20210091673A (ko) 적응적 색상 변환을 이용하는 비디오 부호화 및 복호화

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination