CN111213382B - 用于视频编码和解码中的自适应变换的方法和装置 - Google Patents

用于视频编码和解码中的自适应变换的方法和装置 Download PDF

Info

Publication number
CN111213382B
CN111213382B CN201880066596.1A CN201880066596A CN111213382B CN 111213382 B CN111213382 B CN 111213382B CN 201880066596 A CN201880066596 A CN 201880066596A CN 111213382 B CN111213382 B CN 111213382B
Authority
CN
China
Prior art keywords
transform
color component
block
phase shift
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880066596.1A
Other languages
English (en)
Other versions
CN111213382A (zh
Inventor
D.梭罗
J.贝盖恩特
F.哈瓦里
F.拉卡普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN111213382A publication Critical patent/CN111213382A/zh
Application granted granted Critical
Publication of CN111213382B publication Critical patent/CN111213382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

对于具有两个或更多个颜色分量的图片，要编码的块的第一颜色分量的预测残差可以用第一变换进行变换。第一颜色分量的变换系数可以经历量化、去量化和逆变换，以获得重构的预测残差。基于第一颜色分量的重构的预测残差，可以调整第一变换的变换基函数的相位，以改善变换后的信号的稀疏度。然后，剩余颜色分量的预测残差可以用调整后的变换进行变换。为了确定相移因子，第一颜色分量的重构的预测残差可以用第一变换进行变换，通过不同的候选相移因子来调整，并且可以为该块选择提供最小稀疏度量度的候选相移因子。

Description

用于视频编码和解码中的自适应变换的方法和装置
技术领域
本实施例总体上涉及一种用于视频编码和解码的方法和装置，并且更具体地，涉及一种用于利用自适应变换进行编码和解码的方法和装置。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空域和时域冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始块和预测块之间的差(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过与预测、变换、量化和熵编码相对应的逆过程来解码压缩数据。
发明内容
根据一般方面，提出了一种用于视频解码的方法，包括：访问图片的块的变换系数，所述块至少包括第一颜色分量和第二颜色分量；基于(1)所述块的所述第一颜色分量的所访问的变换系数和(2)第一变换，生成所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所生成的预测残差，确定相位因子；以及基于(1)所述块的所述第二颜色分量的所访问的变换系数和(2)第二变换，生成所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数。
根据另一个一般方面，提供了一种用于视频编码的方法，包括：访问图片的块的预测残差，所述图片至少包括第一颜色分量和第二颜色分量；基于第一变换，对所述块的所述第一颜色分量的所述预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所述变换系数，确定所述块的所述第一颜色分量的重构的预测残差；基于所述块的所述第一颜色分量的所述重构的预测残差，确定相位因子；基于第二变换，对所述块的所述第二颜色分量的所述预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数；以及对所述块的第一颜色分量和第二颜色分量的变换系数进行编码。
根据另一个一般方面，提供了一种用于视频解码的装置，至少包括一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：访问图片的块的变换系数，所述块至少包括第一颜色分量和第二颜色分量；基于(1)所述块的所述第一颜色分量的所访问的变换系数和(2)第一变换，生成所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所生成的预测残差，确定相位因子；以及基于(1)所述块的所述第二颜色分量的所访问的变换系数和(2)第二变换，生成所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数。
根据另一个一般方面，一种用于视频编码的装置，至少包括一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：访问图片的块的预测残差，所述图片至少包括第一颜色分量和第二颜色分量；基于第一变换，对所述块的所述第一颜色分量的所述预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所述变换系数，确定所述块的所述第一颜色分量的重构的预测残差；基于所述块的所述第一颜色分量的所述重构的预测残差，确定相位因子；基于第二变换，对所述块的所述第二颜色分量的所述预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数；以及对所述块的第一颜色分量和第二颜色分量的变换系数进行编码。
根据另一个一般方面，一种视频信号被格式化以包括图片的块的编码后的变换系数，所述块至少包括第一颜色分量和第二颜色分量，其中基于第一变换，对所述块的所述第一颜色分量的预测残差进行变换，以形成所述块的所述第一颜色分量的所述变换系数，所述第一变换至少对应于第一组变换基函数，其中，基于所述块的所述第一颜色分量的所述变换系数，形成所述块的所述第一颜色分量的重构的预测残差，其中，基于第二变换，对所述块的所述第二颜色分量的预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数，所述相位因子是基于所述块的所述第一颜色分量的所述重构的预测残差的。
所述相位因子可以基于稀疏度来确定，其中，所述稀疏度可以根据所述第一颜色分量的所述重构的预测残差来确定。在一个示例性实施例中，用多个候选变换对所述第一颜色分量的所述重构的预测残差进行变换，其中每个候选变换基于所述第一变换和多个候选相位因子中的候选相位因子，并且所确定的相位因子是从所述多个候选相位因子中选择的。具体地，基于来自所述多个候选变换中相应一个变换的变换系数来确定稀疏度，并且其中，与具有最小稀疏度的候选变换相对应的候选相位因子被确定为所述相位因子。
虽然稀疏度通常是基于非零系数的数量来量度的，但是这里，候选变换的稀疏度可以基于来自所述候选变换的超过阈值的变换系数的数量来量度。阈值可以基于对所述块进行量化的量化步长。
当亮度和色度分量对于所述块具有不同的尺寸时，在基于所述第一颜色分量确定所述相位因子之后，通过所述第一颜色分量和第二颜色分量之间的子采样率来缩放所确定的相位因子，以便用于所述第二颜色分量的变换。
当使用2D可分离变换时，所述第一变换可以对应于所述第一组变换基函数和第三组变换基函数，所述第二变换可以对应于所述第二组变换基函数和第四组变换基函数，其中，所确定的相位因子被用于调整所述第一组变换基函数中的所有基函数，以形成所述第二组变换基函数，并且，确定另一个相位因子并将其用于调整所述第三组变换基函数中的所有基函数，以形成所述第四组变换基函数。所述第一变换可以是DCT、DST、基于DCT的变换、基于DST的变换或KLT(Karhunen-Loeve变换)。至少考虑计算复杂性，对应于所述第二变换的变换矩阵的元素可以被转换成整数或者受到其他约束。
本实施例还提供了一种其上存储有用于根据上述方法编码或解码视频数据的指令的计算机可读存储介质。本实施例还提供了一种其上存储有根据上述方法生成的比特流的计算机可读存储介质。本实施例还提供了一种用于发送根据上述方法生成的比特流的方法和装置。本实施例还提供了一种计算机程序产品，包括用于执行上述方法的软件代码指令。
附图说明
图1示出了示例性HEVC(High Efficiency Video Coding，高效视频编码)视频编码器的框图。
图2示出了示例性HEVC视频解码器的框图。
图3示出了根据实施例的在编码器侧对变换基函数进行相位调整的示例性方法。
图4示出了根据实施例的在解码器侧对变换基函数进行相位调整的示例性方法。
图5示出了根据实施例的使用稀疏度标准来推导相移因子的示例性方法。
图6示出了在其中可以实施示例性实施例的各个方面的示例性系统的框图。
具体实施方式
图1示出了示例性HEVC编码器100。为了对具有一个或多个图片的视频序列进行编码，图片被分割成一个或多个条带，其中每个条带可以包括一个或多个条带分段。条带分段被组织成编码单元、预测单元和变换单元。
在本申请中，术语“重构的”和“解码的”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构的”被用于编码器侧，而“解码的”被用于解码器侧。
HEVC规范区分“块”和“单元”，其中“块”针对样点阵列中的特定区域(例如，亮度、Y)，并且“单元”包括所有编码的颜色分量(Y、Cb、Cr或单色)的共位块、语法元素和与块相关联的预测数据(例如，运动矢量)。
为了编码，图片被分割成具有可配置尺寸的正方形编码树块(coding treeblock，CTB)，并且连续的一组编码树块被分组到条带中。编码树单元(Coding Tree Unit，CTU)包含编码的颜色分量的CTB。CTB是分割成编码块(Coding Block，CB)的四叉树的根，并且编码块可以被分割成一个或多个预测块(Prediction Block，PB)，并且形成分割成变换块(Transform Block，TB)的四叉树的根。对应于编码块、预测块和变换块，编码单元(Coding Unit，CU)包括预测单元(Prediction Unit，PU)、以及变换单元(Transform Unit，TU)的树形结构集合，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可以被用于指CTU、CU、PU、TU、CB、PB和TB中的任何一种。此外，“块”还可以被用于指在264/AVC或其他视频编码标准中规定的宏块和分区，并且更一般地，指各种尺寸的数据阵列。
在示例性编码器100中，图片由编码器元件进行编码，如下所述。要编码的图片以CU为单位进行处理。使用帧内或帧间模式对每个CU进行编码。当以帧内模式对CU进行编码时，它执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个来对CU进行编码，并通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。
为了利用空域冗余，帧内模式下的CU是从相同条带内的重构的临近样点中预测的。当考虑当前CU的编码/解码时，因果临近CU已经被编码/解码。为了避免不匹配，编码器和解码器具有相同的预测。因此，编码器和解码器都使用来自重构/解码的临近因果CU的信息来形成对当前CU的预测。
在HEVC有一组35种帧内预测模式可用，包括平面(索引0)、DC(索引1)和33种角度预测模式(索引2-34)。从与当前块相邻的行和列中重构帧内预测参考。使用来自先前重构的块的可用样点，参考可以在水平和垂直方向上延伸超过块尺寸的两倍。当角度预测模式被用于帧内预测时，可以沿着角度预测模式所指示的方向复制参考样点。
对于帧间CU，对应的编码块被进一步分割成一个或多个预测块。帧间预测在PB级别上执行，并且对应的PU包含关于如何执行帧间预测的信息。运动信息(即运动矢量和参考图片索引)可以用两种方法来信令通知，即“合并(Merge)模式”和“高级运动矢量预测(AMVP)”。
在合并模式下，视频编码器或解码器基于已经编码的块来组建(assemble)候选列表，并且视频编码器信令通知候选列表中的候选之一的索引。在解码器侧，基于信令通知的候选来重构运动矢量(motion vector，MV)和参考图片索引。
在AMVP下，视频编码器或解码器基于从已经编码的块中确定的运动矢量来组建候选列表。视频编码器然后信令通知候选列表中的索引以识别运动矢量预量度(motionvector predictor，MVP)，并信令通知运动矢量差(motion vector difference，MVD)。在解码器侧，运动矢量(MV)被重构为MVP+MVD。应用的参考图片索引也以AMVP的PU语法显式地编码。
然后对预测残差进行变换(125)和量化(130)。HEVC支持4×4、8×8、16×16和32×32的变换块尺寸。核心变换矩阵的元素是通过近似缩放后的离散余弦变换(discretecosine transform，DCT)基函数推导出的。HEVC变换的设计考虑了诸如在矩阵条目被指定为整数值时限制变换计算的动态范围并最大化精度和正交性的接近度。为简单起见，仅指定了一个长度为32点的整数矩阵，并且子采样版本被用于其他尺寸。对于4×4的变换块尺寸，从离散正弦变换(discrete sine transform，DST)推导出的替代整数变换被应用于帧内预测模式的亮度残差块。
对量化后的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器也可以跳过变换，并在4×4TU的基础上对未变换的残差信号直接应用量化。编码器还可以绕过变换和量化，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接PCM编码中，不应用预测，并且编码单元样点被直接编码到比特流。
编码器对编码块进行解码，以便为进一步预测提供参考。对量化后的变换系数进行去量化(140)和逆变换(150)以对预测残差进行解码。通过组合(155)解码的预测残差和预测块，图像块被重构。将环内滤波器(165)应用于重构的图片，例如，以执行去块/SAO(采样自适应偏移)滤波以减少编码伪像。过滤后的图像存储在参考图片缓冲器(180)中。
图2示出了示例性HEVC视频解码器200的框图。在示例性解码器200中，如下所述，比特流由解码器元件进行解码。视频解码器200通常执行与图1中描述的编码过程相反的解码过程，其执行视频解码作为编码视频数据的一部分。
具体地，解码器的输入包括视频比特流，其可以由视频编码器100生成。首先对比特流进行熵解码(230)以获得变换系数、运动矢量和其他编码信息。对变换系数进行去量化(240)和逆变换(250)以对预测残差进行解码。通过组合(255)解码的预测残差和预测块，图像块被重构。预测块可以从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)。如上所述，AMVP和合并模式技术可以被用于推导运动补偿的运动矢量，其可以使用插值滤波器来计算参考块的亚整数样点的内插值。将环内滤波器(265)应用于重构的图像。过滤后的图像存储在参考图片缓冲器(280)中。
假设预测残差块可以由单个2D基函数表示，在DCT变换之后，变换系数将是稀疏的，因为该块只有一个非零DCT系数。量化之后，如果非零变换系数大于量化步长，则只需要对一个量化系数进行编码。
现在假设预测残差块在空域上被移位，则所得的变换系数可能不再是稀疏的，并且可能包含若干个DCT系数。我们称这种现象为“频率扩展”，即频谱能量被分解到更多的系数上。量化之后，如果一个以上的DCT系数大于量化步长，则我们可能需要对一个以上的非零系数进行编码，因此可能需要更多的比特用于编码。小的DCT系数可能被量化为0，这也可能发生，这意味着重构失真。应当注意，信号中的空域移位被反映为变换域中的相位差。因此，对于空域上移位的块，如果根据预测残差信号来调整基函数的相位，则可能只需要一个量化系数，从而节省了此特。
在下文中，使用DCT变换作为示例，我们描述了设计自适应变换的不同实施例。具体地，基于第一颜色分量的预测残差，我们可以调整另一个颜色分量的变换基函数的相位。这种技术可以应用于其他类型的变换。应当注意，变换的类型不限于基于三角变换的示例(例如，DCT、DST)，例如，该技术也可以被用于调整KLT。
在一个实施例中，我们考虑2D可分离DCT变换，并且我们根据给定的标准在每个方向(水平和垂直)上确定基函数的最佳相位。在这种情况下，基函数集合被分成水平和垂直变换矩阵CX和CY，其可以定义如下：
Figure BDA0002447858510000071
Figure BDA0002447858510000072
其中N×N是变换尺寸，cX(i，j)和cY(i，j)是变换矩阵cX和cY中的元素，并且变换矩阵中的行(例如，[cX(i，j)]，j＝1，...，N)是变换基函数。
前向变换可以表示为：
B＝[B(u，v)]N×N＝CX.b.CY (3)
其中b＝[b(i，j)]N×N是要变换的块，B是变换后的块，并且(u，v)是频域中系数的坐标。逆变换可以表示为：
b＝[b(i，j)]N×N＝CY.B.CX. (4)
在典型的视频编码器中，使用帧内或帧间预测通过用先前重构的内容近似当前块来减少冗余。预测过程输出当前块的预量度和预测残差块。预测残差块然后被变换成变换系数块，该变换系数块被量化并编码成比特流。应用变换矩阵cX和cY，预测残差块ber＝[ber(i，j)]N×N可以被变换成变换系数：
Ber＝[Ber(u，v)]N×N＝CX.ber.CY
可以对变换系数Ber进行量化。可以对量化后的变换系数进行去量化和逆变换以获得重构的预测残差：
berQ＝[berQ(i，j)]N×N＝CY.BerQ.CX
其中BerQ＝[BerQ(u，v)]N×N是当前块的去量化后的变换系数，并且berQ是重构的预测残差块。
为了提高压缩效率，我们可以调整变换基函数的相位。一个目标是调整变换基的相位，使得信号在变换域中变得最稀疏，即，变换后的信号是最稀疏的。对于N×N块尺寸的2D可分离DCT，CX由N个基函数组成，并且CY也由N个基函数组成。我们可以例如通过将CX中的每个基函数移位相移因子
Figure BDA0002447858510000085
并且将CY中的每个基函数移位相移因子
Figure BDA0002447858510000086
来适配基函数的相位。新的基函数可以表示为：
Cφx＝[cφx(i，j)]N×N且
Figure BDA0002447858510000081
Cφy＝[cφy(i，j)]N×N且
Figure BDA0002447858510000082
新的一组基函数
Figure BDA0002447858510000083
或
Figure BDA0002447858510000084
仍然是正交的。
图3示出了根据实施例的在编码器侧对变换基函数进行相位调整的示例性方法300。对于要编码的当前块，在步骤310，使用帧内或帧间预测来获得对该块的预测。在步骤315，计算预测残差，即当前块和预测块之间的差。
然后对第一分量的预测残差进行变换(320)，例如，使用如等式(3)中所述的DCT进行变换：
Figure BDA0002447858510000091
其中上标“c0”表示第一颜色分量。然后对变换的系数进行量化(325)。第一分量可以是亮度分量或其他分量。专用于块的第一分量的变换可以被预先定义，或者可以在编码器侧选择，并且使用语法元素向解码器侧指示。
然后对量化后的变换系数进行去量化(330)，并且对去量化后的变换系数
Figure BDA0002447858510000092
进行逆变换(330)以重构预测残差：
Figure BDA0002447858510000093
根据第一分量的解码的残差块
Figure BDA0002447858510000094
可以估计(340)相移因子
Figure BDA0002447858510000095
和
Figure BDA0002447858510000096
以便分别在水平和垂直方向上调整基函数：
Figure BDA0002447858510000097
Figure BDA0002447858510000098
如等式(5)和(6)所示，相移因子(
Figure BDA0002447858510000099
和
Figure BDA00024478585100000910
)可以以像素为单位来表示、整数或非整数。应当注意，相移因子可以具有无限的浮点精度，因为
Figure BDA00024478585100000911
和
Figure BDA00024478585100000912
被引入分析公式中以计算新的变换矩阵(
Figure BDA00024478585100000913
和
Figure BDA00024478585100000914
)，相移因子精度不限于像素、半像素或四分之一像素精度。给定方向(x或y)上的所有基函数都用相同的相移因子进行调整，以便保留DCT基函数的正交特性。例如，对于
Figure BDA00024478585100000915
中的所有基函数，
Figure BDA00024478585100000916
以及对于
Figure BDA00024478585100000917
中的所有基函数，
Figure BDA00024478585100000918
基函数可以被进一步调整，例如，以给定动态范围内的整数系数表示。变换矩阵中的元素
Figure BDA00024478585100000919
可以被缩放，并且在设计量化和归一化时应该考虑变换的范数。
块的剩余颜色分量的预测残差
Figure BDA00024478585100000920
可以基于调整后的变换基函数进行变换(350)：
Figure BDA00024478585100000921
然后，对剩余颜色分量的变换系数进行量化(355)并编码成比特流。对量化后的变换系数进行去量化和逆变换(360)，以重构剩余分量的预测残差。可以对去量化后的变换系数(
Figure BDA00024478585100000922
k＝1，2)执行逆变换，如下：
Figure BDA0002447858510000101
基于重构的预测残差(
Figure BDA0002447858510000102
k＝1，2)和预测块，可以重构当前块(370)。例如，使用熵编码器，可以将不同颜色分量的变换系数编码(380)成比特流。
通过对第一颜色分量使用已知变换，然后基于第一颜色分量的预测残差适配变换以用于其他颜色分量，可以改善其他颜色分量中的变换系数的稀疏度。通常，变换的自适应可以被视为预测阶段和变换阶段之间的协同作用的改进，这可能能够改进视频编码性能。自适应变换在编码器和解码器侧确定。
图4示出了根据实施例的在解码器侧对变换基函数进行相位调整的示例性方法400。方法400的输入可以是例如使用方法300生成的比特流。对于要解码的当前块，在步骤410，使用帧内或帧间预测来获得对当前块的预测。对变换系数进行解码(420)，然后进行去量化(430)。对第一颜色分量的去量化后的变换系数进行逆变换(440)以生成第一颜色分量的预测残差：
Figure BDA0002447858510000103
根据第一颜色分量的解码的残差块
Figure BDA0002447858510000104
可以估计(450)相移因子
Figure BDA0002447858510000105
和
Figure BDA0002447858510000106
以便调整基函数以用于对剩余残差颜色分量进行变换。为了正确解码比特流，在编码器和解码器侧应该使用相同的方法来估计相移因子。
对剩余颜色分量的去量化后的变换系数(
Figure BDA0002447858510000107
k＝1，2)进行逆变换(460)以生成剩余分量的预测残差。逆变换可以如下执行：
Figure BDA0002447858510000108
基于重构的预测残差(
Figure BDA0002447858510000109
k＝0，1，2)和预测块，可以重构当前块(470)。
应当注意，对于一些块，量化可以被跳过，例如，在无损编码模式中。在这种情况下，基于解码后的预测残差本身来适配变换。即，可以跳过方法300中的步骤325、330、355和360以及方法400中的步骤430中的量化和去量化。另外，在步骤330或440，逆变换将被应用于变换系数，而不是去量化后的变换系数。
在下文中，更详细地描述了估计相移因子
Figure BDA00024478585100001010
和
Figure BDA00024478585100001011
的不同方法。
相移因子确定
如前所述，通过调整变换基函数的相位，可以改善变换系数的稀疏度，从而提高压缩效率。通常，我们根据第一颜色分量的重构的预测残差块
Figure BDA00024478585100001012
来估计相移因子。基于不同的标准，开发了不同的方法。
在一个实施例中，稀疏度量度被用于估计相移因子。稀疏度量度通常基于非零系数的数量。这里，我们调整稀疏度量度以指示非零系数的数量大于给定阈值ε。阈值ε可以取决于用于对当前块的系数进行编码的编码器/解码器的量化步长(Qstep)(例如，ε＝Qstep)。
在一个示例中，稀疏度量度可以是：
Figure BDA0002447858510000111
其中
Figure BDA0002447858510000112
其中(x＞ε？1∶0)对应于
Figure BDA0002447858510000113
这里，重构的预测残差
Figure BDA0002447858510000114
将经过调整相位的变换。然后使用基于新变换的变换系数
Figure BDA0002447858510000115
来量度稀疏度标准。基于稀疏度标准
Figure BDA0002447858510000116
相移因子对
Figure BDA0002447858510000117
可以被估计为提供最小稀疏度量度的对：
Figure BDA0002447858510000118
在另一个实施例中，该标准可以是伪RDO(Rate Distortion Optimization，率失真优化)，其可能比基于等式(7)的方法更有效但更复杂：
Figure BDA0002447858510000119
其中
Figure BDA00024478585100001110
并且λ是拉格朗日因子，其可以是视频编码器中使用的量化步长的函数，诸如H.264和HEVC参考软件中使用的那些。
注意，这里
Figure BDA0002447858510000121
是从初始变换中的第一颜色分量的预测残差的解码块，并且
Figure BDA0002447858510000122
是使用调整后的转换的
Figure BDA0002447858510000123
的转换后的结果。在将阈值ε(等式(9))应用于
Figure BDA0002447858510000124
之后，可以对得到的
Figure BDA0002447858510000125
进行逆变换，以得到新的预测残差块
Figure BDA0002447858510000126
使用调整后的变换对
Figure BDA0002447858510000127
进行变换、用ε来取阈(thresholding)、随后进行逆变换的过程，紧密模拟剩余颜色分量的残差重构，因此失真项
Figure BDA0002447858510000128
作为像素域中块
Figure BDA0002447858510000129
和
Figure BDA00024478585100001210
之间平方差的和，可以从一个特定的调整后的变换中准确估计失真。因为设想最佳候选基函数降低高频能量，从而最小化失真项，其由稀疏度调节，如等式(9)所示，可以获得对应于接近
Figure BDA00024478585100001211
的块
Figure BDA00024478585100001212
的相移因子。因为一个块中的不同颜色分量通常在空间域中类似地移位，应用如上所述获得的相移因子也可以压缩另一个颜色分量中的变换系数的能量，因此可以提高压缩效率。
基于该标准，相移因子对
Figure BDA00024478585100001213
可以被估计为：
Figure BDA00024478585100001214
图5示出了根据实施例的使用稀疏度标准推导相移因子的示例性方法500。方法500可以在编码器或解码器侧实施。在初始化(510)时，可以初始化不同的参数。例如，阈值ε被设置，并且初始最小稀疏度量度(Lε，opt)被设置为大的数字。可以使用数值方法(520)来搜索相移因子
Figure BDA00024478585100001215
和
Figure BDA00024478585100001216
例如，以预定的像素步长，在每个方向上使用从0到N/2(或其他值)的迭代来搜索相移因子
Figure BDA00024478585100001217
和
Figure BDA00024478585100001218
像素步长的非限制性示例包括整数像素、半像素和四分之一像素精度。对于特定一对候选
Figure BDA00024478585100001219
计算(530)稀疏度量度(Lε)。如果当前稀疏度量度(Lε)小于(540)Lε，opt，则Lε，opt被Lε替代，并且
Figure BDA00024478585100001220
被分别设置(550)为当前
Figure BDA00024478585100001221
在搜索(560)结束时，获得相移因子
Figure BDA00024478585100001222
在一个示例中，所获得的
Figure BDA00024478585100001223
像素和
Figure BDA00024478585100001224
Figure BDA00024478585100001225
像素。使用其他标准的方法可以类似于方法500来执行。
在上面，我们描述了用于DCT变换的基函数的相位的适配。当编码器或解码器对第一颜色分量使用从DCT推导出的基于DCT的变换时，也可以调整其他分量的新的变换基函数。例如，如前所述，当设计变换基时，HEVC将在矩阵条目被指定为整数值时限制变换计算的动态范围并最大化精度和正交性的接近度。当HEVC核心变换被用于第一颜色分量时，如上所述，我们仍然可以基于对其它颜色分量的DCT变换来推导变换基函数的相移因子。然而，新的变换基将被进一步转换为以整数形式指定，并且还应用其他限制，如已经应用于第一颜色分量的变换的那些限制。除了如上所述的相移因子之外，可以使用其他相位因子来调整变换基函数。
当色度子采样被用于颜色格式时，第一颜色分量和另一颜色分量可以具有不同的块尺寸。在这种情况下，基于第一颜色分量确定的相移因子可以基于子采样率或者更一般地基于不同颜色分量的块尺寸之间的比率来缩放。例如，对于4:2:0YUV视频，如果第一分量是Y，则使用第一分量找到的相移因子
Figure BDA0002447858510000131
可以除以2，因为其余分量(U,V)是以2的比率进行子采样。在4:2:0视频的另一示例中，如果第一分量是U，则相移因子
Figure BDA0002447858510000132
被直接应用于V分量的基函数，因为U和V分量的尺寸相同，并且当应用于Y分量的基函数时，相移因子乘以2。
通过使用来自块的一个颜色分量的信息来适配用于块中的另一个颜色分量的变换，可以在编码器和解码器侧计算与变换相关联的参数，因此没有或者只有很少的附加元数据需要被发送以指示转换。为了正确解码比特流，编码器和解码器应该使用相同的自适应方案。例如，阈值参数(ε)、拉格朗日因子(λ)和第一分量指示符(即指示哪个颜色分量将被用作第一颜色分量的信号，该第一颜色分量被用作推导其他颜色分量的新的变换基函数的基础)在编码器和解码器处应该是相同的。这可以通过将值存储在编码器或解码器中来实现，或者在比特流中使用语法元素来信令通知信息。因为发送变换信息，特别是对于小块尺寸，是昂贵的，所以根据本实施例局部地(即在块级别)调整变换能够实现不同块尺寸的自适应变换，而不会引入大的信令开销。
上面描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
在本申请中使用各种数值，例如，视频格式使用三种颜色分量。应当注意，特定值是用于示例性目的，并且本实施例不限于这些特定值。
如上所述的适配变换的各种方法可以用于修改JVET(联合视频探索小组)或HEVC编码器和解码器的变换和逆变换模块(125、150、240)，如图1和图2所示。另外，量化和去量化模块(130、140、240)可以被调整以考虑变换矩阵的范数。然而，本实施例不限于JVET或HEVC，并且可以应用于其他标准、建议及其扩展。上述各种实施例可以单独使用或组合使用。当在其他应用中使用变换时，也可以应用相位调整，例如，在当使用例如单应性(homography)配准不好时，使用同一场景的多传感器(例如，可见光和红外)的环境中。
图6示出了在其中可以实施示例性实施例的各个方面的示例性系统的框图。系统600可以被实现为包括下面描述的各种组件的设备，并且被配置为执行上面描述的过程。这种设备的示例包括但不限于个人计算机、膝上型计算机、智能手机、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、联网的家用电器和服务器。系统600可以通信地耦合到其他类似的系统，并且经由通信信道耦合到显示器，如图6所示，并且如本领域技术人员所知，以实施上述示例性视频系统。
系统600可以包括至少一个处理器610，其被配置为执行加载在其中的、用于实施如上所讨论的各种过程的指令。处理器610可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统600还可以包括至少一个存储器620(例如，易失性存储器设备、非易失性存储器设备)。系统600可以另外包括存储设备620，该存储设备620可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备640可以包括内部存储设备、附加存储设备和/或网络可访问存储设备。系统600还可以包括编码器/解码器模块630，其被配置为处理数据以提供编码的视频或解码的视频。
编码器/解码器模块630表示可以包括在设备中以执行编码和/或解码功能的(多个)模块。如已知的，设备可以包括编码和解码模块中之一或者两者。此外，编码器/解码器模块630可以被实施为系统600的独立元件，或者可以作为本领域技术人员已知的硬件和软件的组合被结合在处理器610内。
要加载到处理器610上以执行上文所述的各种过程的程序代码可以存储在存储设备640中，并且随后加载到存储器620上以由处理器610执行。根据示例性实施例，处理器610、存储器620、存储设备640和编码器/解码器模块630中的一个或多个可以在执行上文讨论的过程期间存储各种项目中的一个或多个，包括但不限于输入视频、解码的视频、比特流、等式、公式、矩阵、变量、操作和操作逻辑。
系统600还可以包括通信接口650，其能够经由通信信道660与其他设备通信。通信接口650可以包括但不限于被配置为从通信信道660发送和接收数据的收发器。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质内实施。系统600的各种组件可以使用各种合适的连接(包括但不限于内部总线、线缆和印刷电路板)来连接或通信耦合在一起。
示例性实施例可以由处理器610实施的计算机软件或者由硬件或者由硬件和软件的组合来实现。作为非限制性示例，示例性实施例可以由一个或多个集成电路来实施。作为非限制性示例，存储器620可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实施，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器610可以是适合于技术环境的任何类型，并且可以涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
本文描述的实施方式可以以例如方法或过程、装置、软件程序、数据流或信号来实施。即使仅在单一实施方式形式的环境中讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其他形式来实施(例如，装置或程序)。装置可以用例如适当的硬件、软件和固件来实施。这些方法可以在例如诸如处理器的设备中实施，其通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如计算机、手机、便携式/个人数字助理(“PDA”)以及便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“实施例”或“一个实施方式”或“实施方式”以及它们的其他变型的引用，意味着结合该实施例描述的特定特征、结构、特性等被包括在至少一个实施例中。因此，出现在说明书各处的短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其他变型不一定都指同一实施例。
此外，本申请或其权利要求可以涉及“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器中检索信息中的一个或多个。
此外，本申请或其权利要求可以涉及“访问”各条信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器检索信息)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
此外，本申请或其权利要求可以涉及“接收”各条信息。与“访问”一样，接收是一个广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器检索信息)中的一个或多个。此外，“接收”通常以这样或那样的方式涉及在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间。
对于本领域技术人员来说明显的是，实施方式可以产生各种格式化以承载例如可以被存储或发送的信息的信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实施方式之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码和用编码的数据流调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来发送。该信号可以存储在处理器可读介质上。

Claims (20)

1.一种用于视频解码的方法，包括：
访问图片的块的第一颜色分量和第二颜色分量的量化变换系数；
对所述第一颜色分量和第二颜色分量的量化变换系数进行去量化；
通过使用第一变换对所述块的所述第一颜色分量的去量化的变换系数进行逆变换，获得所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的所获得的预测残差，确定相移因子；
通过使用第二变换对所述块的所述第二颜色分量的去量化的变换系数进行逆变换，获得所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相移因子来调整所述第一组变换基函数中的变换基函数，以形成所述第二组变换基函数中的相应变换基函数；以及
基于所述获得的预测残差和所述块的预测块重构所述块。
2.根据权利要求1所述的方法，其中，所述相移因子是基于稀疏度来确定的，所述稀疏度是根据所述第一颜色分量的重构的预测残差来确定的。
3.根据权利要求1所述的方法，其中，用多个候选变换对所述第一颜色分量的重构的预测残差进行变换，其中，每个候选变换基于所述第一变换和多个候选相移因子中的候选相移因子，并且所确定的相移因子是从所述多个候选相移因子中选择的。
4.根据权利要求3所述的方法，其中，基于来自所述多个候选变换中的相应变换的变换系数来确定稀疏度，并且其中，与具有最小稀疏度的候选变换相对应的候选相移因子被确定为所述相移因子。
5.根据权利要求1所述的方法，其中，通过第一颜色分量和第二颜色分量之间的子采样率来缩放所确定的相移因子。
6.一种用于视频编码的方法，包括：
访问图片的块的第一颜色分量和第二颜色分量的预测残差；
使用第一变换，对所述块的所述第一颜色分量的预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的变换系数，确定所述块的所述第一颜色分量的重构的预测残差；
基于所述块的所述第一颜色分量的重构的预测残差，确定相移因子；
使用第二变换，对所述块的所述第二颜色分量的预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相移因子来调整所述第一组变换基函数中的变换基函数，以形成所述第二组变换基函数中的相应变换基函数；以及
对所述块的第一颜色分量和第二颜色分量的变换系数进行编码。
7.根据权利要求6所述的方法，其中，所述相移因子是基于稀疏度来确定的，所述稀疏度是根据所述第一颜色分量的重构的预测残差来确定的。
8.根据权利要求6所述的方法，其中，用多个候选变换对所述第一颜色分量的重构的预测残差进行变换，其中，每个候选变换基于所述第一变换和多个候选相移因子中的候选相移因子，并且所确定的相移因子是从所述多个候选相移因子中选择的。
9.根据权利要求8所述的方法，其中，基于来自所述多个候选变换中的相应变换的变换系数来确定稀疏度，并且其中，与具有最小稀疏度的候选变换相对应的候选相移因子被确定为所述相移因子。
10.根据权利要求6所述的方法，其中，通过第一颜色分量和第二颜色分量之间的子采样率来缩放所确定的相移因子。
11.一种用于视频解码的装置，包括：
一个或多个处理器，其中，所述一个或多个处理器被配置为：
访问图片的块的第一颜色分量和第二颜色分量的量化变换系数；
对所述第一颜色分量和第二颜色分量的量化变换系数进行去量化；
通过使用第一变换对所述块的所述第一颜色分量的去量化的变换系数进行逆变换，获得所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的所获得的预测残差，确定相移因子；
通过使用第二变换对所述块的所述第二颜色分量的去量化的变换系数进行逆变换，获得所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相移因子来调整所述第一组变换基函数中的变换基函数，以形成所述第二组变换基函数中的相应变换基函数；以及
基于所述获得的预测残差和所述块的预测块重构所述块。
12.根据权利要求11所述的装置，其中，所述相移因子是基于稀疏度来确定的，所述稀疏度是根据所述第一颜色分量的重构的预测残差来确定的。
13.根据权利要求11所述的装置，其中，用多个候选变换对所述第一颜色分量的重构的预测残差进行变换，其中，每个候选变换基于所述第一变换和多个候选相移因子中的候选相移因子，并且所确定的相移因子是从所述多个候选相移因子中选择的。
14.根据权利要求13所述的装置，其中，基于来自所述多个候选变换中的相应变换的变换系数来确定稀疏度，并且其中，与具有最小稀疏度的候选变换相对应的候选相移因子被确定为所述相移因子。
15.根据权利要求11所述的装置，其中，通过第一颜色分量和第二颜色分量之间的子采样率来缩放所确定的相移因子。
16.一种用于视频编码的装置，包括：
一个或多个处理器，其中，所述一个或多个处理器被配置为：
访问图片的块的第一颜色分量和第二颜色分量的预测残差；
使用第一变换，对所述块的所述第一颜色分量的预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的变换系数，确定所述块的所述第一颜色分量的重构的预测残差；
基于所述块的所述第一颜色分量的重构的预测残差，确定相移因子；
使用第二变换，对所述块的所述第二颜色分量的预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相移因子来调整所述第一组变换基函数中的变换基函数，以形成所述第二组变换基函数中的相应变换基函数；以及
对所述块的第一颜色分量和第二颜色分量的变换系数进行编码。
17.根据权利要求16所述的装置，其中，所述相移因子是基于稀疏度来确定的，所述稀疏度是根据所述第一颜色分量的重构的预测残差来确定的。
18.根据权利要求16所述的装置，其中，用多个候选变换对所述第一颜色分量的重构的预测残差进行变换，其中，每个候选变换基于所述第一变换和多个候选相移因子中的候选相移因子，并且所确定的相移因子是从所述多个候选相移因子中选择的。
19.根据权利要求18所述的装置，其中，基于来自所述多个候选变换中的相应变换的变换系数来确定稀疏度，并且其中，与具有最小稀疏度的候选变换相对应的候选相移因子被确定为所述相移因子。
20.根据权利要求16所述的装置，其中，通过第一颜色分量和第二颜色分量之间的子采样率来缩放所确定的相移因子。
CN201880066596.1A 2017-10-12 2018-10-12 用于视频编码和解码中的自适应变换的方法和装置 Active CN111213382B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306382.7A EP3471418A1 (en) 2017-10-12 2017-10-12 Method and apparatus for adaptive transform in video encoding and decoding
EP17306382.7 2017-10-12
PCT/US2018/055623 WO2019075336A1 (en) 2017-10-12 2018-10-12 METHOD AND APPARATUS FOR ADAPTIVE TRANSFORMATION IN VIDEO ENCODING AND DECODING

Publications (2)

Publication Number Publication Date
CN111213382A CN111213382A (zh) 2020-05-29
CN111213382B true CN111213382B (zh) 2022-07-19

Family

ID=60143657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880066596.1A Active CN111213382B (zh) 2017-10-12 2018-10-12 用于视频编码和解码中的自适应变换的方法和装置

Country Status (4)

Country Link
US (1) US11375191B2 (zh)
EP (2) EP3471418A1 (zh)
CN (1) CN111213382B (zh)
WO (1) WO2019075336A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
WO2021061794A1 (en) * 2019-09-23 2021-04-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding in 4:4:4 chroma format
WO2021062771A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 颜色分量预测方法、编码器、解码器及计算机存储介质
JP7193679B2 (ja) * 2019-10-11 2022-12-20 ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド ４：４：４彩度フォーマットにおける映像符号化の方法、電子装置、非一時的なコンピュータ可読記憶媒体及びコンピュータプログラム
CN114501010B (zh) * 2020-10-28 2023-06-06 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2024049770A1 (en) * 2022-08-28 2024-03-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus for transform training and coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011002170A2 (ko) * 2009-07-02 2011-01-06 에스케이텔레콤 주식회사 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
CN102939760A (zh) * 2010-04-05 2013-02-20 三星电子株式会社 用于基于变换和反变换执行内插的方法和设备
CN103139563A (zh) * 2011-11-22 2013-06-05 汤姆森特许公司 编码和重构像素块的方法以及相应设备
CN103765884A (zh) * 2011-06-28 2014-04-30 三星电子株式会社 使用非对称插值滤波器的图像插值的方法及其设备
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106910B2 (en) 1999-10-01 2006-09-12 Intel Corporation Color video coding scheme
KR101266168B1 (ko) 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101362757B1 (ko) 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
CN103918265B (zh) 2011-11-07 2018-09-18 英特尔公司 跨通道残余预测
JP5753062B2 (ja) 2011-11-16 2015-07-22 Kddi株式会社 色コンポーネント間予測型画像符号化装置および復号装置
FR2990319A1 (fr) * 2012-11-29 2013-11-08 Thomson Licensing Procede de codage et de decodage d'un ensemble de blocs d'image et dispositifs correspondants

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011002170A2 (ko) * 2009-07-02 2011-01-06 에스케이텔레콤 주식회사 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
CN102939760A (zh) * 2010-04-05 2013-02-20 三星电子株式会社 用于基于变换和反变换执行内插的方法和设备
CN103765884A (zh) * 2011-06-28 2014-04-30 三星电子株式会社 使用非对称插值滤波器的图像插值的方法及其设备
CN103139563A (zh) * 2011-11-22 2013-06-05 汤姆森特许公司 编码和重构像素块的方法以及相应设备
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
CN105009168A (zh) * 2013-03-04 2015-10-28 富士胶片株式会社 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质

Also Published As

Publication number Publication date
US20200296369A1 (en) 2020-09-17
US11375191B2 (en) 2022-06-28
CN111213382A (zh) 2020-05-29
WO2019075336A1 (en) 2019-04-18
EP3471418A1 (en) 2019-04-17
EP3695608A1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
CN111213382B (zh) 用于视频编码和解码中的自适应变换的方法和装置
US10880564B2 (en) Transform selection for video coding
US20180376149A1 (en) Combination of inter-prediction and intra-prediction in video coding
CN111345040B (zh) 用于在视频编码和解码中生成量化矩阵的方法和装置
KR20190029526A (ko) 적응형 클리핑에 의한 비디오 코딩을 위한 방법 및 장치
US10939108B2 (en) Method and a device for image encoding and decoding
US11979554B2 (en) Intra prediction-based video signal processing method and device
JP2015156647A (ja) マッピングされた変換と走査モードとを使用するビデオコード化
IL229718A (en) Unified merge mode and status select mode Adjustable motion vector prediction
CN111194554B (zh) 基于照明补偿的视频编码和解码的方法和装置
US20120008686A1 (en) Motion compensation using vector quantized interpolation filters
CN110870316A (zh) 视频编码和解码中低复杂度双向帧内预测的方法和装置
CN114631311A (zh) 将同质语法与编码工具一起使用的方法和装置
US20120008687A1 (en) Video coding using vector quantized deblocking filters
CN111492658A (zh) 使用有效多个变换进行视频压缩的方法和装置
EP3706423A1 (en) Local illumination compensation for video encoding or decoding
US20240171763A1 (en) Position Dependent Reference Sample Smoothing
US20240179309A1 (en) Mode Dependent Intra Smoothing
CN117044213A (zh) 对非二元块的变换与量化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant