CN109076221A - 视频编码方法及其装置 - Google Patents

视频编码方法及其装置 Download PDF

Info

Publication number
CN109076221A
CN109076221A CN201780022287.XA CN201780022287A CN109076221A CN 109076221 A CN109076221 A CN 109076221A CN 201780022287 A CN201780022287 A CN 201780022287A CN 109076221 A CN109076221 A CN 109076221A
Authority
CN
China
Prior art keywords
color space
transformation
block
space component
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780022287.XA
Other languages
English (en)
Other versions
CN109076221B (zh
Inventor
黄晗
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
联发科技（新加坡）私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 联发科技（新加坡）私人有限公司 filed Critical 联发科技（新加坡）私人有限公司
Publication of CN109076221A publication Critical patent/CN109076221A/zh
Application granted granted Critical
Publication of CN109076221B publication Critical patent/CN109076221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明内容包含一种视频编码装置。其中，该视频编码装置包含处理电路，配置该处理电路接收第一区块以及第二区块，其中，该第一区块对应第一颜色空间分量，并且该第二区块对应第二颜色空间分量。配置该处理电路确定处理第一变换区块与第二变换区块的变换设定，其中，该第一变换区块与该第二变换区块分别对应该第一与第二区块。配置该处理电路生成与该第一颜色空间分量联合发信的第一语法元素集合，并且生成与该第二颜色空间分量联合发信的第二语法元素集合，其中，该第一语法元素集合指示用于处理该第一变换区块的第一变换设定；以及该第二语法元素集合指示用于处理该第二变换区块的第二变换设定。

Description

视频编码方法及其装置
相关引用
本申请要求于2016年4月6日提交的题为“SEPARATE CODING SECONDARYTRANSFORM SYNTAX ELEMENTS FOR DIFFERENT COLOR COMPONENTS”且申请号码为PCT/CN2016/078517的PCT申请以及于2017年4月5日提交的美国申请案15/479,974的优先权，本申请以引用方式包含上述申请。
技术领域
本发明有关于一种视频编码技术。更具体地，本发明涉及一种在视频编码系统中变换语法元素(syntax element)的方法。
背景技术
于此所述的背景内容是一般用以表示本发明的熟知技术与本案的前后关系。就于此背景部分叙述的发明人的工作而言，不应明示或暗示性地被自认为核驳本发明的先前技术，亦不适合作为申请时的先前技术。
许多视频编码标准将输入视频的图像帧分割为一个或多个编码树单元(CodingTree Unit，CTU)，并且每个CTU包含编码树区块(Coding Tree Block，CTB)，其中，该CTB分别对应预定颜色空间(color space)的各种颜色空间分量。在许多应用中，预定颜色空间可包含具有红分量(R)、绿分量(G)以及蓝分量(B)的RGB颜色空间，具有亮度分量(Y)、蓝差色度分量(Cb)以及红差色度分量(Cr)的YCbCr颜色空间，具有亮度分量(Y)、橙色分量(Co)以及绿色分量(Cg)的YCoCg颜色空间或其他类似颜色空间。
此外，可将每个CTB分割为一个或多个编码区块(Coding Block，CB)，并且每个CB可包含一个或多个预测区块(Prediction Block，PB)与一个或多个变换区块(TransformBlock，TB)。当编码CB的原始图像时，根据预定视频编码标准，可使用PB将CB的原始图像分割为待编码的预测部分，以及可使用TB将CB的原始图像分割为待编码的残差部分(即，预测误差)。当译码CB时，根据相同预定视频编码标准，可通过生成并结合CB的预测部分以及残差部分获取CB的重建图像。
发明内容
本发明方面提供一种视频编码装置。其中，该视频编码装置包含一处理电路，配置该处理电路接收与一第一区块以及一第二区块相关联的图像帧，其中，该第一区块对应一第一颜色空间分量，并且该第二区块对应一第二颜色空间分量。配置该处理电路对该第一区块的一第一残差部分以及该第二区块的一第二残差部分应用变换进程，以分别生成一第一变换区块与一第二变换区块，以及确定处理该第一变换区块与该第二变换区块的变换设定。配置该处理电路生成与该第一颜色空间分量联合发信的一第一语法元素集合，并且生成与该第二颜色空间分量联合发信的一第二语法元素集合，其中，该第一语法元素集合指示用于处理该第一变换区块的一第一变换设定；以及该第二语法元素集合指示用于处理该第二变换区块的一第二变换设定。进一步配置该处理电路生成用于输出之已编码视频数据，其中，该已编码视频数据报含该第一语法元素集合或者该第二语法元素集合。
在实施例中，已确定的该变换设定包含指示是否使用一次级变换进程处理该第一变换区块或该第二变换区块的信息。已确定的该第一变换设定包含指示第一候选变换矩阵或者一所选第一变换矩阵的信息，其中，该次级变换进程使用该所选第一变换矩阵处理该第一变换区块。已确定的该第二变换设定包含指示第二候选变换矩阵或者一所选第二变换矩阵的信息，其中，该次级变换进程使用该所选第二变换矩阵处理该第二变换区块。
在实施例中，进一步配置该处理电路确定该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。当确定该第二变换设定是与该第二颜色空间分量联合发信时，该处理电路确定该第二变换设定并且生成与该第二颜色空间分量联合发信的该第二语法元素集合。当确定该第二变换设定是与该第一颜色空间分量联合发信时，在不生成该第二语法元素集合情况下，该处理电路使用该第一变换设定作为该第二变换设定。
进一步配置该处理电路在该已编码视频数据中加入旗标。该旗标指示该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。
基于对应该第一颜色空间分量与该第二颜色空间分量的区块分割结构，进一步配置该处理电路确定该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。
此外，该第一颜色空间分量可对应亮度分量，并且该第二颜色空间分量可对应色度分量。另外，该第一颜色空间分量可对应第一色度分量，并且该第二颜色空间分量可对应第二色度分量。
本发明方面提供一种视频编码方法，包含接收与一第一区块以及一第二区块相关联之图像帧，其中，该第一区块对应一第一颜色空间分量，并且该第二区块对应一第二颜色空间分量。该方法包含对该第一区块的一第一残差部分以及该第二区块的一第二残差部分应用一变换进程，以分别生成一第一变换区块与一第二变换区块；确定处理该第一变换区块与该第二变换区块的变换设定；生成与该第一颜色空间分量联合发信的一第一语法元素集合；以及生成与该第二颜色空间分量联合发信的一第二语法元素集合。该第一语法元素集合可指示用于处理该第一变换区块的一第一变换设定，以及该第二语法元素集合指示用于处理该第二变换区块的一第二变换设定。该方法可进一步包含生成用于输出的一已编码视频数据，其中，该已编码视频数据报含该第一语法元素集合或者该第二语法元素集合。
本发明方面可进一步提供一种视频译码装置，包含：处理电路，配置该处理电路接收与一第一区块以及一第二区块相关联的一已编码视频数据，其中，该第一区块对应一第一颜色空间分量，并且该第二区块对应一第二颜色空间分量。配置该处理电路确定用于处理该第一区块的一第一残差部分与该第二区块的一第二残差部分的变换设定。确定该变换设定的步骤可包含：基于与该第一颜色空间分量联合发信的第一语法元素集合，确定用于重建该第一区块的该第一残差部分的一第一变换设定；以及基于与该第二颜色空间分量联合发信的一第二语法元素集合，确定用于重建该第二区块的该第二残差部分的一第二变换设定。配置该处理电路基于确定的该第一变换设定，生成一第一变换区块；基于确定的该第二变换设定，生成一第二变换区块；以及对该第一变换区块与该第二变换区块应用一反变换进程，以分别生成用于输出的该第一残差部分与该第二残差部分。
在实施例中，已确定的该变换设定包含指示是否使用一次级反变换进程生成该第一变换区块或该第二变换区块的信息。已确定的该第一变换设定包含指示第一候选变换矩阵或者一所选第一变换矩阵的信息，其中，该次级反变换进程使用该所选第一变换矩阵生成该第一变换区块。已确定的该第二变换设定包含指示第二候选变换矩阵或者一所选第二变换矩阵的信息，其中，该次级反变换进程使用该所选第二变换矩阵生成该第二变换区块。
进一步配置该处理电路确定该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。当确定该第二变换设定是与该第二颜色空间分量联合发信时，该处理电路基于该第二语法元素集合确定该第二变换设定。当确定该第二变换设定是与该第一颜色空间分量联合发信时，在不基于该第二语法元素集合确定该第二变换设定情况下，使用该第一变换设定作为该第二变换设定。
此外，进一步配置该处理电路从该已编码视频数据中提取旗标，其中，该旗标指示该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。
本发明方面进一步提供一种视频译码方法，包含：接收与一第一区块以及一第二区块相关联的一已编码视频数据，其中，该第一区块对应一第一颜色空间分量，并且该第二区块对应一第二颜色空间分量。该方法可确定用于处理该第一区块的一第一残差部分与该第二区块的一第二残差部分的变换设定，其中，确定该变换设定的步骤包含：基于与该第一颜色空间分量联合发信的一第一语法元素集合，确定用于重建该第一区块的该第一残差部分的一第一变换设定；以及基于与该第二颜色空间分量联合发信的一第二语法元素集合，确定用于重建该第二区块的该第二残差部分的一第二变换设定。该方法可进一步包含基于确定的该第一变换设定，生成一第一变换区块；基于确定的该第二变换设定，生成一第二变换区块；以及对该第一变换区块与该第二变换区块应用一反变换进程，以分别生成用于输出的该第一残差部分与该第二残差部分。
本发明方面进一步提供一种存储比特流的非易失性计算机可读媒介，该比特流包含：对应一图像帧的一第一区块与一第二区块的处于一压缩格式的一数据，其中，该第一区块对应一第一颜色空间分量，该第二区块对应一第二颜色空间分量。该第一区块与该第二区块的处于该压缩格式的该数据可包含：一第一语法元素集合，指示用于重建该第一区块的一第一残差部分的一第一变换设定；以及一第二语法元素集合，指示用于重建该第二区块的第二残差部分的一第二变换设定。
附图说明
图1是根据本发明实施例显示描述编码树单元(CTU)以及对应编码树区块(CTB)的示意图。
图2是根据本发明实施例显示视频编码系统的示例功能区块示意图。
图3是根据本发明实施例显示残差编码器与图2的视频编码系统中的基于分量变换估计器的示例功能区块图。
图4是根据本发明实施例显示残差译码器与图2的视频编码系统中的基于分量变换选择器的示例功能区块图。
图5A是根据本发明实施例显示使用残差编码器(例如，图3中的残差编码器)的示例编码进程流程图。
图5B是根据本发明实施例显示使用残差译码器(例如，图3中的残差编码器)的另一示例编码进程流程图。
图6A是根据本发明实施例显示使用残差译码器(例如，图4中的残差译码器)的示例译码进程流程图。
图6B是根据本发明实施例显示使用残差译码器(例如，图4中的残差译码器)的另一示例译码进程流程图。
具体实施方式
图1是根据本发明实施例显示描述编码树单元(CTU)110以及对应编码树区块(CTB)120、130、140的示意图。CTU 110可包含图像帧的图像区块，其中，使用预定颜色分量的多个颜色空间分量表示上述图像区块。预定颜色空间可为RBG、YUV、YCbCr或YCoCg颜色空间或者类似颜色空间。例如，可使用YCbCr颜色空间表示CTU 110的图像区块，其中，YCbCr颜色空间可包含亮度分量(Y)、蓝差色度分量(Cb)以及红差色度分量(Cr)。因此，可将CTU 110分割为三个CTB 120、130以及140，其中，每个CTB对应各自的颜色空间分量。例如，CTB 120可对应亮度分量，CTB 130可对应蓝差色度分量，以及CTB 140可对应红差色度分量。
可进一步将每个CTB 120、130、140分割为编码区块。例如，CTB 120可包含编码区块121-127；CTB 130可包含编码区块131-133；以及CTB 140可包含编码区块141-143。每个编码区块可包含预测部分以及残差部分，其中，可进一步将预测部分分割为一个或多个预测子，进一步将残差部分分割为一个或多个残差区块。另外，取决于所选颜色格式，CTB 120中的像素数量可与CTB 130或140中的像素数量不同。可使用四叉树分割结构或四叉树加二叉树(QTBT)分割结构实施CTB 120、CTB 130以及CTB 140的区块分割。在使用QTBT分割结构之示例中，在不进行进一步分割情况下，每个编码区块可对应预测部分与残差部分。
在本发明中，当两个编码区块对应原始图像区块中至少一个共同像素时，该两个编码区块是同位区块(collocated block)。对于当前CTB的当前区块，可通过使用当前区块的预定像素作为共同像素，确定另一CTB中的同位区块。在示例中，当前区块的预定像素可为左上角像素、中心像素、任意预定角像素或类似像素。
因为CTB 120与CTB 130、140具有不同的区块分割(即，区块分割结构不同)，所以CTB 120中用于编码/译码区块的变换设定，对于CTB 130或140中同位区块来说可不是最佳变换设定。另外，虽然CTB 130与140具有相同区块分割，由于CTB 130与140实际上对应不同颜色空间分量，所以CTB 130中用于编码/译码区块的变换设定，对于CTB 140中同位区块来说可不是最佳变换设定。因此，在示例中，对于所有同位区块的变换设定是相同的，并且可使用语法元素集合对其进行编码，其中，上述语法元素集合与所有颜色空间分量的一个代表颜色空间分量联合发信。另外，在示例中，单独确定两个同位区块的变换设定，并且可使用语法元素集合对其进行编码，其中，上述语法元素集合与各自颜色空间分量联合发信。
在示例中，用于编码/译码残差部分的语法元素与亮度分量联合发信，其中，该亮度分量作为所有颜色空间分量的代表颜色空间分量。因此，可在区块基础上确定并发信CTB120中用于编码/译码区块121-127的残差部分的语法元素集合。然而，当编码或译码CTB130中区块131-133的残差部分或者CTB 140中区块141-143的残差部分时，在不为CTB 130与CTB 140发信附加语法元素情况下，可使用CTB 120中对应同位区块的变换设定。
在示例中，可与亮度分量联合发信用于编码/译码残差部分的语法元素，其中，该亮度分量作为仅包含亮度分量的子集的代表颜色空间分量；以及与蓝差色度分量联合发信用于编码/译码残差部分的语法元素，其中，该蓝差色度分量作为包含蓝差色度分量与红差色度分量的子集的代表颜色空间分量。因此，可在区块基础上确定并发信CTB 120中用于编码/译码区块121-127的残差部分的语法元素集合。另外，可在区块基础上确定并发信CTB130中用于编码/译码区块131-133的残差部分的语法元素集合。当编码或译码CTB 140中区块141-143的残差部分时，在不为CTB 140发信附加语法元素情况下，可使用CTB 130中对应同位区块的变换设定。
在示例中，可与亮度分量联合发信用于编码/译码残差部分的语法元素，其中，该亮度分量作为仅包含亮度分量的子集的代表颜色空间分量；以及与蓝差色度分量联合发信用于编码/译码残差部分的语法元素，其中，该蓝差色度分量作为仅包含蓝差色度分量的子集的代表颜色空间分量；以及与红差色度分量联合发信用于编码/译码残差部分的语法元素，其中，该红差色度分量作为仅包含红差色度分量的子集的代表颜色空间分量。因此，可在区块基础上确定并发信CTB 120中用于编码/译码区块121-127的残差部分的语法元素集合。可在区块基础上确定并发信CTB 130中用于编码/译码区块131-133的残差部分的语法元素集合。另外，可在区块基础上确定并发信CTB 140中用于编码/译码区块141-143的残差部分的语法元素集合。
图2是根据本发明实施例显示视频编码系统200的示例功能区块示意图。视频编码系统200包含用于视频编码的处理电路(即，编码电路)210以及用于视频译码的处理电路(即，译码电路)230。编码电路210接收输入图像帧202作为输入数据，并且通过编码输入图像帧202生成已编码视频数据204。例如，已编码视频数据204可位于包含压缩格式下数据的比特流中，以及可存储在非易失性计算机可读媒介中。译码电路230接收已编码视频数据204作为输入数据，并且通过译码已编码视频数据204生成输出图像帧206。视频编码系统200可使用一个或多个视频编码装置进行实施，其中，该一个或多个视频编码装置可包含编码电路210、译码电路230或者上述两者。
可基于预定区块分割结构以及预定颜色空间，将每个输入图像帧202分割为编码区块，其中，预定颜色空间具有多个颜色空间分量。每个区块可对应预定颜色空间的一个颜色空间分量。例如，当输入图像帧使用YCbCr颜色空间时，图像帧中的待编码区块(或当前区块)可对应YCbCr颜色空间的亮度分量(Y)、蓝差色度分量(Cb)或红差色度分量(Cr)中的一个。
编码电路210可至少包含预测子估计器(predictor estimator)211、预测子生成器212、残差编码器214以及编码控制器216。预测子估计器211可分析输入图像帧202并且确定用于编码当前区块的预测信息。预测信息可指示预测类型，例如是否使用帧内预测、帧间预测或其他可用预测机制编码当前区块。预测信息也可包含使用特定预测机制生成当前区块预测部分的预测参数。预测子生成器212可基于预测子估计器211提供的预测信息，生成当前区块的预测部分。基于当前区块的预测部分与相应原始图像之间的差值，生成当前区块的残差部分。
残差编码器214可接收残差部分，并且将残差区块编码入已编码残差数据。编码控制器216可监视输入图像帧202的编码，包含从预测子估计器211接收预测信息，从残差编码器214接收已编码残差数据，基于预测信息、已编码残差数据以及其他编码信息生成已编码视频数据204，及/或控制预测子估计器211、预测子生成器212以及残差编码器214的操作。
对于编码当前区块的残差部分，编码控制器可将残差部分分割为一个或多个残差区块。残差编码器214可接收残差区块，通过对残差区块执行核心变换以及可选的次级变换生成输出变换区块，通过对输出变换区块执行量化进程生成量化区块，以及通过熵编码量化区块生成已编码残差数据。核心变换可将残差区块变换为核心变换区块，其为残差区块的频率域体现。在示例中，当旁路次级变换时，使用核心变换区块作为输出变换区块。次级变换可将核心变换区块变换为次级变换区块，其中，可调整核心变换区块的系数，以降低量化区块的复杂度。当应用次级变换时，使用次级变换区块作为输出变换区块。
编码控制器216可进一步包含基于分量变换估计器(component-based transformestimator)218。基于分量变换估计器218可确定变换设定，其中上述变换设定与残差编码器214执行的核心变换或次级变换相关，及/或确定是否通过残差编码器214应用次级变换。在示例中，可将颜色空间分量分组为颜色空间分量的至少两个子集，并且可与至少两个子集的至少两个代表颜色空间分量分别联合发信指示部分或整个变换设定的语法元素。因此，例如，编码电路210可接收对应第一颜色空间分量的第一区块以及对应第二颜色空间分量的第二区块，其中，可单独确定并且使用第一语法集合(与第一颜色空间分量联合发信)编码第一区块的变换设定；以及单独确定并且使用第二语法集合(与第二颜色空间分量联合发信)编码第二区块的变换设定。
在示例中，可与所有颜色空间分量的仅一个代表颜色空间分量联合发信所有指示变换设定的语法元素。在编码区块层，可发信或导出是否与所有颜色空间分量的一个颜色空间分量联合发信，或者与颜色空间分量的各自子集的至少两个颜色空间分量联合发信指示变换设定的语法元素。
在实作中，编码控制器216可接收输入帧202，其中，该输入帧202包含编码电路210待编码的当前区块。编码控制器216与预测子估计器211协作以确定编码当前区块的预测类型以及相应预测参数。预测子估计器211可将已确定预测类型与相应预测参数转发给编码控制器216与预测子生成器212。基于已确定预测类型与相应预测参数，预测子生成器212可生成当前区块的部分。基于当前区块的预测部分与原始图像之间的差值，生成当前区块的残差部分。基于分量变换估计器218可与残差编码器214协作以确定当前区块的变换设定。残差编码器214可根据变换设定编码残差部分，并且将已编码残差数据输出至编码控制器216。最后，基于预测类型、预测参数、变换设定、已编码残差数据以及相关控制信息，编码控制器216可生成已编码视频数据204。
基于分量变换估计器218可确定是否与所有颜色空间分量的一个代表颜色空间分量联合发信变换设定，或者是否与颜色空间分量的各自子集的至少两个代表颜色空间分量联合发信变换设定。在示例中，当对应两个颜色空间分量的区块分割结构相同时，基于分量变换估计器218可确定两个颜色空间分量的变换设定与一个代表颜色空间分量联合发信的。另外，当对应两个颜色空间分量的区块分割结构不同时，基于分量变换估计器218可确定两个颜色空间分量的变换设定与各自颜色空间分量联合发信的。
在示例中，基于分量变换估计器218可基于颜色空间分量的预定分组确定不同颜色空间分量之变换设定与不同的各自代表颜色空间分量联合发信的。例如，不管对应亮度分量与色度分量的区块分割结构相同或不同，亮度与色度分量可使用单独变换语法元素集合。另外，在示例中，不管对应第一色度分量与第二色度分量的区块分割结构相同或不同，第一与第二色度分量可使用单独变换语法元素集合。
此外，可基于颜色空间分量的不同分组发信执行核心变换与次级变换的变换设定。例如，当与颜色空间分量的各自子集的至少两个代表颜色空间分量联合发信执行次级变换的语法元素时，可确定并与所有颜色空间分量的仅一个代表颜色空间分量联合发信执行核心变换的语法元素。
另外，可将信息嵌入编码控制器216，明确使用专用旗标或者隐含不使用专用旗标，其中，该信息是关于指示变换设定的语法元素是与所有颜色空间分量的一个代表颜色空间分量联合发信，还是与颜色空间分量的各自子集的至少两个代表颜色空间分量联合发信。在示例中，编码控制器216可包含使用视频层、图像层、条带层(slice level)、图块层(tile level)或序列层语法元素之旗标。
当与所有颜色空间分量的一个代表颜色空间分量联合发信语法元素时，基于分量变换估计器218可与残差编码器214协作以确定当前区块的变换设定(其中，该当前区块对应代表颜色空间分量)，并且使用与代表颜色空间分量联合发信的语法元素编码变换设定。当当前区块不与代表颜色空间分量对应时，基于分量变换估计器218可使用同位区块的变换设定作为编码当前区块的变换设定，其中，该同位区块对应代表颜色空间分量。
当与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信语法元素时，基于分量变换估计器218可与残差编码器214协作，以确定当前区块的变换设定(其中，该当前区块对应其所属的颜色空间分量子集的代表颜色空间分量)，并且将变换设定编码入与代表颜色空间分量联合发信的语法元素集合中。当当前区块不对应任何代表颜色空间分量时，基于分量变换估计器218可使用同位区块的变换设定，其中，该同位区块对应当前区块所属的颜色空间分量子集的相应代表颜色空间分量。
编码电路210可进一步包含内存222与处理器224。可使用内存222存储程序指令、对应预测模式、预测参数、输入图像帧、已生成预测子、残差区块的信息及/或执行编码电路210的各种功能的中间数据。在示例中，内存222包含非易失性计算机可读媒介，例如，半导体或固态内存、随机存取内存(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适存储媒介。在实施例中，内存222包含上述所列的两种或多种非易失性计算机可读媒介。
处理器224电性耦接内存222，并且可配置该处理器224执行存储在内存222中的程序指令，以执行各种功能。处理器224可包含单一或多个处理核心。可通过硬件组件、执行程序指令的处理器224或者两者结合实施编码电路210的各个组件，例如，预测子估计器211、预测子生成器222、残差编码器214及/或编码控制器216。当然，处理器224也可执行程序指令以控制输入图像帧202的接收以及已编码视频数据204的输出。在示例中，处理器224可执行程序指令以实施不直接与编码输入图像帧202相关的功能。
此外，如图2所示，译码电路230可至少包含预测子生成器232、残差译码器234以及译码控制器236。预测子生成器232可基于已编码视频数据204提供的预测信息，在图像帧中生成待译码的区块(或当前区块)的预测部分。当前区块之预测部分可包含使用帧内预测生成的相关预测区块的一个或多个帧内预测子，或者使用帧间预测生成的相关预测区块的一个或多个帧间预测子。残差译码器234可基于已编码视频数据204提供的残差信息，生成当前区块的残差部分。当前区块的残差部分可包含对应各自变换区块的一个或多个已重建残差区块。译码控制器236可监视已编码视频数据204的译码操作，包含基于预测信息确定预测参数、将预测参数提供至预测子生成器232、基于残差信息确定残差参数、将残差参数提供至残差译码器234及/或控制预测子生成器232与残差译码器234的操作。
对于重建每个残差区块，残差译码器234可接收已编码残差数据、基于已编码残差数据生成输入变换残差区块以及通过对输入变换残差区块执行反核心变换以及可选的反次级变换，生成已重建残差区块，其中，该反核心变换以及可选的反次级变换对应用于编码当前区块的核心变换与次级变换的反操作。
译码控制器236可进一步包含基于分量变换选择器238。基于分量变换选择器238可确定与残差译码器234待执行的反核心变换或反次级变换相关的变换设定，及/或确定残差译码器234是否应用反次级变换。在示例中，可与至少两个预定颜色空间子集各自的至少两个代表颜色空间分量联合发信指示部分或全部变换设定的语法元素。在示例中，可与所有颜色空间分量的一个代表颜色空间分量联合发信所有指示变换设定的语法元素。可使用从已编码视频数据204提取的专用旗标或者不使用专用旗标推导，发信是否与所有颜色空间分量的一个颜色空间分量联合发信，还是与各自颜色空间分量子集的至少两个颜色空间分量联合发信指示变换设定的语法元素。
在实作中，译码控制器236可接收已编码视频数据204，其包含译码电路230待译码的当前区块的信息。译码控制器236可从已编码视频数据204中提取预测信息(包含预测类型以及相关预测参数)，以生成当前区块的预测部分。译码控制器236可从已编码视频数据204中提取已编码残差数据以及相应变换设定，以生成当前区块的残差部分。预测子生成器232可基于译码控制器236提供的预测信息，生成当前区块的预测部分。残差译码器234可基于译码控制器236的基于分量变换选择器238提供的已编码残差数据以及变换设定，生成当前区块的残差部分。最后，译码控制器236基于已译码当前区块，生成输出图像帧206，其中，该输出图像帧206是基于当前区块的已生成预测部分以及已重建残差部分生成的。
基于分量变换选择器238可基于已编码视频数据204中提供的语法元素，确定变换设定。基于分量变换选择器238可基于从已编码视频数据204中提取的专用旗标确定或者未使用专用旗标情况下获取，是否与所有颜色空间分量之一个代表颜色空间分量联合发信指示变换设定的语法元素，还是与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信指示变换设定的语法元素。在示例中，译码控制器236或基于分量变换选择器238可从视频层、图像层、条带层、图块层或序列层语法元素中提取旗标。
当与所有颜色空间分量的一个代表颜色空间分量联合发信语法元素时，基于分量变换选择器238可确定用于译码当前区块的变换设定(当前区块对应代表颜色空间分量)，并且将变换设定提供至残差译码器234。当当前区块未对应代表颜色空间分量时，基于分量变换选择器238可确定同位区块的变换设定，其中该同位区块对应代表颜色空间分量，用于译码当前区块。
当与颜色空间分量各自子集之至少两个代表颜色空间分量联合发信语法元素时，基于分量变换选择器238可确定用于译码当前区块的变换设定(当前区块对应代表颜色空间分量中的一个)，并且将变换设定提供至残差译码器234。当当前区块未对应任何代表颜色空间分量时，基于分量变换选择器238可确定同位区块的变换设定，其中该同位区块对应当前区块所属的颜色空间分量子集的一个代表颜色空间分量。
另外，基于颜色空间分量的不同组合，可发信执行核心变换以及次级变换的变换设定。例如，当与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信执行次级变换的语法元素时，可与所有颜色空间分量的仅一个代表颜色空间分量联合发信执行核心变换的语法元素。
译码电路230可进一步包含内存242与处理器244。可使用内存242存储程序指令、对应预测模式、预测参数、已编码视频数据、已重建帧、已生成预测子、残差区块的信息及/或执行译码电路230的各种功能之中间数据。在示例中，内存242包含非易失性计算机可读媒介，例如，半导体或固态内存、随机存取内存(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适存储媒介。在实施例中，内存242包含上述所列的两种或多种非易失性计算机可读媒介。
处理器224电性耦接内存242，并且可配置该处理器244执行存储在内存242中的程序指令，以执行各种功能。处理器244可包含单一或多个处理核心。可通过硬件组件、执行程序指令的处理器244或者两者结合实施译码电路230的各个组件，例如，预测子生成器232、残差译码器234及/或译码控制器236。当然，处理器244也可执行程序指令以控制已编码视频数据204的接收以及输出图像帧206的输出。在示例中，处理器244可执行程序指令以实施不直接与译码已编码视频数据204相关的功能。
此外，编码电路210与译码电路230可在相同电子装置中进行实施，并且可共享或重用编码电路210与译码电路230的各种组件。例如，也可将编码电路210中之内存222、处理器224以及预测子生成器212的一个或多个分别用作译码电路230中之内存242、处理器244以及预测子生成器232。
图3是根据本发明实施例显示残差编码器314与基于分量变换估计器318的示例功能区块图，例如，图2中视频编码系统200的残差编码器214以及基于分量变换估计器218。残差编码器314可接收残差区块342并且处理该残差区块342以输出已编码残差数据346。基于分量变换估计器318与残差编码器314协作，以确定编码残差区块342的变换设定，并且生成语法元素362以发信所确定变换设定。
残差编码器314包含核心变换模块352、次级变换模块354、量化模块356以及熵编码模块358。核心变换模块352可对残差区块342执行核心变换操作以输出核心变换区块372。次级变换模块354可对核心变换区块372执行次级变换操作以输出次级变换区块作为输出变换区块374。在示例中，可旁路次级变换模块354，并且核心变换区块372与输出变换区块374相同。量化模块356可对输出变换区块374执行量化操作，以输出量化区块376。最后，熵编码模块358可对量化区块376执行熵编码操作，以输出已编码残差数据346。
核心变换可将残差区块342从空间域变换至频率域。核心变换可为离散余弦变换(DCT)、离散正弦变换(DST)或者类似变换。因此，核心变换区块372是残差区块342的频率域表现。在许多应用中，虽然残差区块342的像素值可为随机分布，但核心变换区块374的系数会趋于在低频率聚集。如果旁路次级变换模块354，并且使用核心变换区块372作为输出变换区块374，则量化模块356可使用较低频率处的较高量化级以及使用较高频率处的较低量化级量化核心变换区块372。熵编码模块358可编码来自量化模块356的量化区块376，以输出已编码残差数据346。
如果启动次级变换模块354，则次级变换模块354可将核心变换区块372变换为次级变换区块，以作为输出变换区块374。与核心变换区块372相比，对应次级变换区块的系数可具有更好聚集分布、更多零系数、更多不重要系数、或者在量化后提升编码效率的任意分布。次级变换可为旋转变换(ROT)，其基于旋转核心变换区块372的旋转变换矩阵执行，其中，可从基于帧内预测模式确定的候选旋转变换矩阵中选择该旋转变换矩阵，用于编码残差区块342的预测子副本。此外，次级变换可为基于脱机训练变换矩阵执行的不可分次级变换(NSST)，其也可从基于帧内预测模式确定的候选旋转变换矩阵中选择该旋转变换矩阵，用于编码残差区块342的预测子副本。在示例中，可通过禁能或者使用单位矩阵(identitymatrix)执行次级变换，从而旁路次级变换模块354。
在实作中，核心变换模块352接收残差区块342。基于分量变换估计器318可为核心变换模块352提供核心变换设定，用于处理残差区块352，其中，该核心变换设定与核心变换类型相关。当残差区块342对应预定颜色空间的所有颜色空间分量或者颜色空间分量的各自子集的代表颜色空间分量时，基于分量变换估计器318可与核心变换模块352、次级变换模块354及/或量化模块356协作，以尝试不同核心变换设定，从而确定处理残差区块342的最终核心变换设定。当残差区块342未对应代表颜色空间分量时，基于分量变换估计器318可提供最终核心变换设定，其由对应所有颜色空间分量或者残差区块342所述子集的代表颜色空间分量的同位区块所确定。
在核心变换模块352基于分量变换估计器318提供的核心变换设定，处理残差区块342后，次级变换模块354从核心变换模块352接收核心变换区块372。基于分量变换估计器318可向次级变换模块354提供次级变换设定，以处理核心变换区块372，其中该次级变换设定与所选变换矩阵相关。当残差区块342对应预定颜色空间的所有颜色空间分量或者颜色空间分量的各自子集之代表颜色空间分量时，基于分量变换估计器318可与次级变换模块354及/或量化模块356协作，以尝试不同次级变换设定，从而确定用于处理核心变换区块372的最终次级变换设定。当残差区块342未对应代表颜色空间分量时，基于分量变换估计器318可提供最终次级变换设定，其由对应所有颜色空间分量或者残差区块342所属子集的代表颜色空间分量的同位区块所确定。当然，次级变换设定可包含旁路次级变换。
在次级变换模块354基于次级变换设定处理核心变换区块372后，其中，该次级变换设定由基于分量变换估计器318提供，量化模块356对来自次级变换模块354的输出变换区块374执行量化操作。量化模块356可向熵编码模块358输出量化区块376，其中，该熵编码模块358可将量化区块376编码入已编码残差数据346。当残差区块342对应预定颜色空间的所有颜色空间分量或者颜色空间分量的各自子集的代表颜色空间分量时，量化模块356可将量化区块376输出至基于分量变换估计器318，以进一步分析从而确定当前核心变换设定及/或当前次级变换设定是否是可接受的。
基于分量变换估计器318可接收残差区块342的预测子副本的预测信息，并且可至少基于预测子副本的帧内预测模式，确定候选核心变换设定及/或候选次级变换设定。当残差区块342对应预定颜色空间的所有颜色空间分量或者颜色空间分量的各自子集的代表颜色空间分量时，基于分量变换估计器318可与残差编码器314协作，以确定最终核心变换设定及/或最终次级变换设定，并且生成指示最终核心变换设定及/或最终次级变换设定的语法元素362，其中，将该语法元素362与各自代表颜色空间分量联合编码。在示例中，语法元素362可包含核心变换类型。在示例中，语法元素362可包含是否执行次级变换、次级变换类型、次级变换之候选变换矩阵及/或次级变换的所选变换矩阵。
此外，基于分量变换估计器318可生成专用旗标，其指示如何发信与各种颜色空间分量联合发信变换设定。在示例中，可与预定颜色空间的所有颜色空间分量的一个代表颜色空间分量联合发信变换设定。在示例中，可与预定颜色空间中颜色空间分量各自分集的至少两个代表颜色空间分量联合发信变换设定。使用视频层、图像层、条带层、图块层或序列层语法元素，可将旗标加入已编码视频数据中。
图4是根据本发明实施例显示残差译码器434与基于分量变换选择器438的示例功能区块图，例如，图2中视频编码系统200的残差译码器234以及基于分量变换选择器238。残差译码器434可接收已编码视频数据中提供的已编码残差数据446并且译码已编码残差数据446以输出已重建残差区块448。基于分量变换选择器438可接收已编码视频数据中提供的语法元素及/或预测信息，并且确定与提供变换设定至残差译码器434，用于译码已编码残差数据446。
残差译码器434包含熵译码模块452、反量化模块454、反次级变换模块456以及反核心变换模块458。熵译码模块452可通过对已编码残差数据46执行相应熵译码操作，倒转熵编码模块358执行的熵编码进程，以输出量化区块472。反量化模块454可通过对量化区块472执行相应反量化操作，倒转量化模块356执行之量化进程，以输出输入变换区块474。反次级变换模块456可通过对输入变换区块474执行相应反次级变换操作，倒转次级变换模块354执行的次级变换进程，以将其变为核心变换区块476。在示例中，相应次级变换可包含旁路次级变换进程。因此，也可旁路反次级变换模块456，并且输入变换区块474可与核心变换区块476相同。反核心变换模块458可通过对核心变换区块476执行相应反核心变换进程，倒转核心变换模块352执行的核心变换进程，以输出已重建残差区块448。
反核心变换操作可将核心变换区块476从频率域变换回空间域，其中，核心变换区块476是已重建残差区块448的频率域体现。反核心变换可为离散余弦反变换、离散正弦反变换或者类似反变换。如果启动反次级变换模块456，则反次级变换模块456可将输入变换区块474变换为核心变换区块476。反次级变换操作可为反ROT、反NSST或类似操作。在示例中，当启动反次级变换模块456时，仍将反次级变换设定为旁路或使用单位矩阵执行。
在实作中，基于分量变换选择器438可基于已编码视频提供的旗标确定或者在不使用旗标情况下导出，如何与各种颜色空间分量联合发信变换设定。在示例中，可与预定颜色空间中所有颜色空间分量的一个代表颜色空间分量联合发信变换设定。在示例中，可与预定颜色空间中颜色空间分量各自子集的至少两个代表颜色空间分量联合发信变换设定。使用视频层、图像层、条带层、图块层或序列层语法元素，可将旗标加入已编码视频数据中。
基于分量变换选择器438可进一步接收指示核心变换设定及/或次级变换设定的语法元素462，其中该语法元素462与单独颜色空间分量系联合的。基于分量变换选择器438可确定核心变换设定及/或次级变换设定，以译码语法元素462发信的已编码残差数据。在示例中，基于分量变换选择器438可接收待重建残差区块的预测子副本的预测信息，并且至少基于预测子副本的一个帧内预测模式，确定候选核心变换设定及/或候选次级变换设定。在示例中，语法元素462可包含核心变换类型。在示例中，语法元素462可包含是否执行次级变换、次级变换类型、次级变换的候选变换矩阵及/或次级变换之所选变换矩阵。
当已编码残差数据446所编码的残差区块对应预定颜色空间中所有颜色空间分量或者颜色空间分量单独子集的代表颜色空间分量时，如语法元素462所示，基于分量变换选择器438可确定核心变换设定及/或次级变换设定。当已编码残差数据446所编码的残差区块未对应代表颜色空间分量时，基于分量变换选择器438可提供同位区块已经确定的核心变换设定及/或次级变换设定，其中，该同位区块对应所有颜色空间分量或者残差区块所属的子集的代表颜色空间分量。
另外，在实作中，熵译码模块452可接收并译码已编码残差数据446至量化区块472。反量化模块454可处理来自熵译码模块452的量化区块472，并且输出输入变换区块474。反次级变换模块456可从基于分量变换选择器438接收次级变换设定，并且根据已接收的次级变换设定对输入变换区块474执行反次级变换操作以输出核心变换区块476。在示例中，次级变换设定可包含旁路反次级变换操作。最后，反核心变换模块458可从基于分量变换选择器438接收核心变换设定，并且根据已接收的核心变换设定，对核心变换区块476执行反核心变换操作，以输出已重建残差区块448。
图5A根据本发明实施例显示使用编码电路的示例编码进程500A的流程图，其中，该编码电路可例如图2中的编码电路210，其具有参考图3描述的残差编码器314。可以理解的是，可在图5A描述的进程500A之前、期间及/或的后执行附加操作。进程500A开始于S501并且进入S505。
在S505，接收与待编码的区块(即，当前区块)相关联的图像帧。例如，编码控制器216可接收输入图像帧202，其中，该输入图像帧202包含与当前区块相关联的原始区块图像。
在S510，确定编码当前区块的预测信息。在S510确定预测信息后，基于已确定的预测信息生成当前区块的预测部分，并且基于原始图像与当前区块预测部分之间的差值，生成当前区块的残差部分。例如，预测子估计器211可确定预测信息，其至少包含用于生成当前区块预测部分的预测类型、预测模式及/或预测参数。预测子生成器212可基于来自预测子估计器211的预测信息生成当前区块预测部分。编码控制器216可基于当前区块原始图像以及来自预测子生成器212的预测部分，生成当前区块的残差部分。
在本示例中，可与所有颜色空间分量的代表颜色空间分量联合发信用于执行核心变换进程的核心变换设定。因此，在S515，当当前区块是所有颜色空间分量的代表颜色空间分量时，确定用于执行核心变换进程的最终变换设定。例如，进一步参考图3所示，基于分量变换估计器218可与残差编码器214协作，以确定当前区块的最终核心变换设定。
在S520A，确定是否与所有颜色空间分量的代表颜色空间分量联合发信用于执行次级变换进程的次级变换设定，还是与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信用于执行次级变换进程的次级变换设定。如果与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信次级变换设定，则进程进入S525。如果与所有颜色空间分量的仅一个代表颜色空间分量联合发信次级变换设定，则进程进入S530。
在S525，确定当前区块是否对应当前区块所属相应子集的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S545。如果当前区块未对应代表颜色空间分量，则进程进入S535A。
另外，在S530，确定当前区块是否对应所有颜色空间分量的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S565。如果当前区块未对应代表颜色空间分量，则进程进入S535A。
在535A，使用所有颜色空间分量或者当前区块所属子集的代表颜色空间分量先前确定的次级变换设定，作为当前区块的次级变换设定。
在示例中，可使用基于分量变换估计器318执行S520A、S525、S530以及S535A。
在S545或S565，确定当前区块的最终次级变换设定。例如，基于分量变换估计器318可与次级变换模块354以及量化模块356协作，以确定当前区块的最终次级变换设定。在S545后，进程进入S550。在S565后，进程进入S570。
在S550或S570，生成指示当前区块核心变换设定与次级变换设定的语法元素。例如，基于分量变换估计器318可基于当前区块的已确定变换设定，生成语法元素集合。
在S535A、S550以及S570后，进程进入S580。在S580，基于S515、S535A、S545及/或S565确定的变换设定，编码当前区块。当当前区块对应代表颜色空间分量时，进一步基于S550或S570生成的语法元素集合，编码当前区块。例如，编码控制器216可基于变换设定及/或语法元素集合，编码当前区块。
在S580后，进程进入S599并结束。
图5B系根据本发明实施例显示使用编码电路的另一示例编码进程500B的流程图，其中，该编码电路可例如图2中的编码电路210，其具有参考图3描述的残差编码器314。可以理解的是，可在图5B描述的进程500B之前、期间及/或之后执行附加操作。另外，与图5A中组件相同或相似的图5B中的组件可使用相同参考编号，并且这里省略细节描述。
与进程500A相比，使用与所有颜色空间分量的一个代表颜色空间分量联合发信或者与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信的语法元素集合，提供进程500B中的核心变换设定。因此，在S510后，进程进入S520B，其对应图5A中的S520A。
在S520B，确定是否与所有颜色空间分量的代表颜色空间分量联合发信用于执行核心变换进程的变换设定，还是与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信用于执行核心变换进程的变换设定。如果与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信变换设定，则进程进入S525。如果与所有颜色空间分量的仅一个代表颜色空间分量联合发信变换设定，则进程进入S530。
在S525，确定当前区块是否对应当前区块所属相应子集的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S540。如果当前区块未对应代表颜色空间分量，则进程进入S535B。
另外，在S530，确定当前区块是否对应所有颜色空间分量的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S560。如果当前区块未对应代表颜色空间分量，则进程进入S535B。
在535B，使用所有颜色空间分量或者当前区块所属子集的代表颜色空间分量先前确定的核心变换设定与次级变换设定，作为当前区块的核心变换设定与次级变换设定。在S535B后，进程进入S580。
在S540或S560，确定当前区块之最终核心变换设定。例如，基于分量变换估计器318可与核心变换模块352以及量化模块356协作，以确定当前区块的最终核心变换设定。在S540后，进程进入S545。在S560后，进程进入S565。
在S535B、S540以及S560后，参考图5A所示的方式执行S545、S550、S565、S570以及S580，并且因此省略细节描述。
如图5A以及图5B所示，当编码对应第一颜色空间分量的第一区块以及对应第二颜色空间分量的第二区块时，可与第一颜色空间分量与第二颜色空间分量两者的第一颜色空间分量联合发信指示处理第一区块与第二区块的变换设定的语法元素，或者分别与第一颜色空间分量以及第二颜色空间分量联合发信指示处理第一区块与第二区块之变换设定之语法元素。在示例中，当分别与第一颜色空间分量以及第二颜色空间分量联合发信变换时，可分别确定处理第一变换区块与第二变换区块的变换设定。可生成指示第一区块的第一变换设定的第一语法元素集合并且与第一颜色空间分量联合发信。另外，可生成指示第二区块的第二变换设定的第二语法元素集合并且与第二颜色空间分量联合发信。可生成编码视频数据，以包含第一语法元素集合以及第二语法元素集合。
图6A是根据本发明实施例显示使用译码电路的示例译码进程600A的流程图，其中，该译码电路可例如图2中的译码电路230，其具有参考图4描述的残差译码器434。可以理解的是，可在图6A描述的进程600A之前、期间及/或之后执行附加操作。进程600A开始于S601并且进入S605。
在S605，接收与待译码的与区块(即，当前区块)相关联的已编码视频数据。例如，译码控制器236可接收已编码视频数据204，其中，该已编码视频数据204包含译码当前区块的信息。
在本示例中，与所有颜色空间分量的代表颜色空间分量联合发信用于执行核心变换进程的核心变换设定。因此，在S610，基于与所有颜色空间分量的代表颜色空间分量联合发信的语法元素集合，确定当前区块的核心变换设定。例如，当当前区块对应代表颜色空间分量时，基于分量变换选择器238可提取已编码视频数据204中提供的核心变换设定，并且使用同位区块先前识别的核心变换设定作为当前区块的核心变换设定，其中，该同位区块对应代表颜色空间分量。
在S615A，确定是否与所有颜色空间分量的代表颜色空间分量联合发信用于执行次级变换进程的次级变换设定，还是与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信用于执行次级变换进程的次级变换设定。如果与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信次级变换设定，则进程进入S620。如果与所有颜色空间分量的仅一个代表颜色空间分量联合发信次级变换设定，则进程进入S625。
在S620，确定当前区块是否对应当前区块所属相应子集的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S650。如果当前区块未对应代表颜色空间分量，则进程进入S630A。
另外，在S625，确定当前区块是否对应所有颜色空间分量的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S655。如果当前区块未对应代表颜色空间分量，则进程进入S630A。
在630A，使用所有颜色空间分量或者当前区块所属子集的代表颜色空间分量先前确定的次级变换设定，作为当前区块的次级变换设定。
在示例中，可使用基于分量变换选择器438执行S615A、S620、S625以及S630A。
在S650或S655，基于与颜色空间分量联合发信的语法集合，确定当前区块的次级变换设定，其中，当前区块对应该颜色空间分量。例如，基于分量变换选择器438可从当前区块的语法集合中确定次级变换设定。在S565、S655以及S630A后，进程进入S660。
在S660，基于确定的变换设定以及次级变换设定，生成当前区块的残差部分。例如，基于分量变换选择器238可向残差译码器234提供确定的核心变换设定以及次级变换设定。残差译码器234可基于确定的变换设定，生成当前区块的残差部分。
在S670，基于已重建残差部分，译码并输出当前区块的已重建图像。在S670后，进程进入S699并结束。
图6B是根据本发明实施例显示使用译码电路的示例译码进程600B的流程图，其中，该译码电路可例如图2中的译码电路230，其具有参考图4描述的残差译码器434。可以理解的是，可在图6B描述的进程600B之前、期间及/或之后执行附加操作。另外，与图6A中组件相同或相似的图6B中的组件可使用相同参考编号，并且这里省略细节描述。
与进程600A相比，使用与所有颜色空间分量的一个代表颜色空间分量联合发信或者与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信的语法元素集合，提供进程600B中的核心变换设定。因此，在S605后，进程进入S615B，其对应图6A中的S615A。
在S615B，确定是否与所有颜色空间分量的代表颜色空间分量联合发信用于执行核心变换与次级变换进程的变换设定，还是与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信用于执行核心变换与次级变换进程的变换设定。如果与颜色空间分量各自子集的至少两个代表颜色空间分量联合发信变换设定，则进程进入S620。如果与所有颜色空间分量的仅一个代表颜色空间分量联合发信变换设定，则进程进入S625。
在S620，确定当前区块是否对应当前区块所属相应子集的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S640。如果当前区块未对应代表颜色空间分量，则进程进入S630B。
另外，在S625，确定当前区块是否对应所有颜色空间分量的代表颜色空间分量。如果当前区块对应代表颜色空间分量，则进程进入S645。如果当前区块未对应代表颜色空间分量，则进程进入S630B。
在630B，使用所有颜色空间分量或者当前区块所属子集的代表颜色空间分量先前确定的核心变换设定与次级变换设定，作为当前区块的核心变换设定与次级变换设定。在S630B后，进程进入S660。
在S640或S640，基于与颜色空间分量联合发信的语法集合，确定当前区块的核心变换设定，其中，当前区块对应该颜色空间分量。例如，基于分量变换选择器438可从当前区块的语法集合中确定核心变换设定。在S640后，进程进入S650。在S645后，进程进入S655。
在S630B、S640以及S645后，参考图6A所示的方式执行S650、S655、S660以及S670，并且因此省略细节描述。
如图6A以及图6B所示，当译码已编码视频数据从而重建对应第一颜色空间分量的第一区块以及对应第二颜色空间分量的第二区块时，可与第一颜色空间分量与第二颜色空间分量两者的第一颜色空间分量联合发信指示处理第一区块与第二区块的变换设定之语法元素，或者分别与第一颜色空间分量以及第二颜色空间分量联合发信指示处理第一区块与第二区块的变换设定的语法元素。在示例中，当分别与第一颜色空间分量以及第二颜色空间分量联合发信变换时，可分别确定处理第一变换区块与第二变换区块的变换设定。基于与第一颜色空间分量联合发信的第一语法元素集合，确定第一区块的第一变换设定。另外，基于与第二颜色空间分量联合发信的第二语法元素集合，确定第二区块的第二变换设定。
虽然结合提到的特定实施例描述本发明的内容，但也可对示例进行替换、修改以及变形。因此，如前所述的实施例仅是为了描述并不对其进行限制。在不脱离上述权利要求的情况下实施上述改变。

Claims (21)

1.一种视频编码装置，其特征在于，包含：
处理电路，配置执行下列步骤：
接收与第一区块以及第二区块相关联的图像帧，其中，该第一区块对应第一颜色空间分量，并且该第二区块对应第二颜色空间分量；
对该第一区块的第一残差部分以及该第二区块的第二残差部分应用变换进程，以分别生成第一变换区块与第二变换区块；
确定处理该第一变换区块与该第二变换区块的变换设定；
生成与该第一颜色空间分量联合发信的第一语法元素集合，其中，该第一语法元素集合指示用于处理该第一变换区块的第一变换设定；
生成与该第二颜色空间分量联合发信的第二语法元素集合，其中，该第二语法元素集合指示用于处理该第二变换区块的第二变换设定；以及
生成用于输出的已编码视频数据，其中，该已编码视频数据包含该第一语法元素集合或者该第二语法元素集合。
2.如权利要求1所述的视频编码装置，其特征在于，已确定的该变换设定包含指示是否使用一次级变换进程处理该第一变换区块或该第二变换区块的一信息；已确定的该第一变换设定包含指示第一候选变换矩阵或者一所选第一变换矩阵的一信息，其中，该次级变换进程使用该所选第一变换矩阵处理该第一变换区块；以及已确定的该第二变换设定包含指示第二候选变换矩阵或者所选第二变换矩阵的一信息，其中，该次级变换进程使用该所选第二变换矩阵处理该第二变换区块。
3.如权利要求1所述的视频编码装置，其特征在于，进一步配置该处理电路执行下列步骤：
确定该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信；
当确定该第二变换设定是与该第二颜色空间分量联合发信时，确定该第二变换设定并且生成与该第二颜色空间分量联合发信的该第二语法元素集合；以及
当确定该第二变换设定是与该第一颜色空间分量联合发信时，在不生成该第二语法元素集合情况下，使用该第一变换设定作为该第二变换设定。
4.如权利要求3所述的视频编码装置，其特征在于，进一步配置该处理电路在该已编码视频数据中加入一旗标，其中，该旗标指示该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。
5.如权利要求4所述的视频编码装置，其特征在于，该处理电路进一步配置为使用视频层、图像层、条带层、图块层或序列层语法元素来包含该旗标。
6.如权利要求3所述的视频编码装置，其特征在于，基于对应该第一颜色空间分量与该第二颜色空间分量的区块分割结构，进一步配置该处理电路确定该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。
7.如权利要求6所述的视频编码装置，其特征在于，进一步配置该处理电路执行下列步骤：
当对应该第一颜色空间分量与该第二颜色空间分量的该区块分割结构相同时，确定该第二变换设定是与该第一颜色空间分量联合发信；以及
当对应该第一颜色空间分量与该第二颜色空间分量的该区块分割结构不同时，确定该第二变换设定是与该第二颜色空间分量联合发信。
8.如权利要求1所述的视频编码装置，其特征在于，该第一颜色空间分量对应亮度分量，且该第二颜色空间分量对应色度分量。
9.如权利要求1所述的视频编码装置，其特征在于，该第一颜色空间分量对应第一色度分量，且该第二颜色空间分量对应第二色度分量。
10.一种视频编码方法，其特征在于，包含：
接收与第一区块以及第二区块相关联的图像帧，其中，该第一区块对应第一颜色空间分量，并且该第二区块对应第二颜色空间分量；
对该第一区块的第一残差部分以及该第二区块的第二残差部分应用一变换进程，以分别生成第一变换区块与第二变换区块；
确定处理该第一变换区块与该第二变换区块的变换设定；
生成与该第一颜色空间分量联合发信的第一语法元素集合，其中，该第一语法元素集合指示用于处理该第一变换区块的第一变换设定；
生成与该第二颜色空间分量联合发信的第二语法元素集合，其中，该第二语法元素集合指示用于处理该第二变换区块的第二变换设定；以及
生成用于输出的已编码视频数据，其中，该已编码视频数据报含该第一语法元素集合或者该第二语法元素集合。
11.一种视频译码装置，其特征在于，包含：
处理电路，配置执行下列步骤：
接收与第一区块以及第二区块相关联的已编码视频数据，其中，该第一区块对应第一颜色空间分量，并且该第二区块对应第二颜色空间分量；
确定用于处理该第一区块的第一残差部分与该第二区块的第二残差部分的变换设定，其中，确定该变换设定的步骤包含：
基于与该第一颜色空间分量联合发信的第一语法元素集合，确定用于重建该第一区块的该第一残差部分的第一变换设定；以及
基于与该第二颜色空间分量联合发信的第二语法元素集合，确定用于重建该第二区块的该第二残差部分的第二变换设定；
基于确定的该第一变换设定，生成第一变换区块；
基于确定的该第二变换设定，生成第二变换区块；以及
对该第一变换区块与该第二变换区块应用反变换进程，以分别生成用于输出的该第一残差部分与该第二残差部分。
12.如权利要求11所述的视频译码装置，其特征在于，已确定的该变换设定包含指示是否使用一次级反变换进程生成该第一变换区块或该第二变换区块的一信息；已确定的该第一变换设定包含指示第一候选变换矩阵或者所选第一变换矩阵的一信息，其中，该次级反变换进程使用该所选第一变换矩阵生成该第一变换区块；以及已确定的该第二变换设定包含指示第二候选变换矩阵或者所选第二变换矩阵的一信息，其中，该次级反变换进程使用该所选第二变换矩阵生成该第二变换区块。
13.如权利要求11所述的视频译码装置，其特征在于，进一步配置该处理电路执行下列步骤：
确定该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信；
当确定该第二变换设定是与该第二颜色空间分量联合发信时，基于该第二语法元素集合，确定该第二变换设定；以及
当确定该第二变换设定是与该第一颜色空间分量联合发信时，在不基于该第二语法元素集合确定该第二变换设定情况下，使用该第一变换设定作为该第二变换设定。
14.如权利要求13所述的视频译码装置，其特征在于，进一步配置该处理电路从该已编码视频数据中提取一旗标，其中，该旗标指示该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。
15.如权利要求14所述的视频译码装置，其特征在于，该处理电路进一步配置为从视频层、图像层、条带层、图块层或序列层语法元素来提取该旗标。
16.如权利要求13所述的视频译码装置，其特征在于，进一步配置该处理电路导出该第二变换设定是与该第一颜色空间分量联合发信还是与该第二颜色空间分量联合发信。
17.如权利要求16所述的视频译码装置，其特征在于，进一步配置该处理电路执行下列步骤：
当对应该第一颜色空间分量与该第二颜色空间分量的区块分割结构相同时，确定该第二变换设定是与该第一颜色空间分量联合发信；以及
当对应该第一颜色空间分量与该第二颜色空间分量的该区块分割结构不同时，确定该第二变换设定是与该第二颜色空间分量联合发信。
18.如权利要求11所述的视频编码装置，其特征在于，该第一颜色空间分量对应亮度分量，且该第二颜色空间分量对应色度分量。
19.如权利要求11所述的视频编码装置，其特征在于，该第一颜色空间分量对应第一色度分量，且该第二颜色空间分量对应第二色度分量。
20.一种视频译码方法，其特征在于，包含：
接收与第一区块以及第二区块相关联的已编码视频数据，其中，该第一区块对应第一颜色空间分量，并且该第二区块对应第二颜色空间分量；
确定用于处理该第一区块的第一残差部分与该第二区块的第二残差部分的变换设定，其中，确定该变换设定的步骤包含：
基于与该第一颜色空间分量联合发信的第一语法元素集合，确定用于重建该第一区块的该第一残差部分的第一变换设定；以及
基于与该第二颜色空间分量联合发信的第二语法元素集合，确定用于重建该第二区块的该第二残差部分的第二变换设定；
基于确定的该第一变换设定，生成第一变换区块；
基于确定的该第二变换设定，生成第二变换区块；以及
对该第一变换区块与该第二变换区块应用反变换进程，以分别生成用于输出的该第一残差部分与该第二残差部分。
21.一种非易失性计算机可读媒介，其特征在于，用于存储一比特流，该比特流包含：
对应图像帧的第一区块与第二区块的处于一压缩格式的数据，其中，该第一区块对应第一颜色空间分量，该第二区块对应第二颜色空间分量，该第一区块与该第二区块的处于该压缩格式的该数据报含：
第一语法元素集合，指示用于重建该第一区块的第一残差部分的第一变换设定；以及
第二语法元素集合，指示用于重建该第二区块的第二残差部分的第二变换设定。
CN201780022287.XA 2016-04-06 2017-04-06 视频编码方法及其装置 Active CN109076221B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CNPCT/CN2016/078517 2016-04-06
PCT/CN2016/078517 WO2017173593A1 (en) 2016-04-06 2016-04-06 Separate coding secondary transform syntax elements for different color components
US15/479,974 US10666976B2 (en) 2016-04-06 2017-04-05 Method and apparatus of video coding
US15/479,974 2017-04-05
PCT/CN2017/079537 WO2017173997A1 (en) 2016-04-06 2017-04-06 Method and apparatus of video coding

Publications (2)

Publication Number Publication Date
CN109076221A true CN109076221A (zh) 2018-12-21
CN109076221B CN109076221B (zh) 2021-09-03

Family

ID=59998525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022287.XA Active CN109076221B (zh) 2016-04-06 2017-04-06 视频编码方法及其装置

Country Status (5)

Country Link
US (2) US10666976B2 (zh)
EP (2) EP3430805A4 (zh)
CN (1) CN109076221B (zh)
TW (1) TWI619375B (zh)
WO (2) WO2017173593A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021063270A1 (en) * 2019-10-04 2021-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Encoding and decoding method, apparatus and communication system
WO2021063418A1 (en) * 2019-10-05 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Level-based signaling of video coding tools
CN113347427A (zh) * 2019-06-21 2021-09-03 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及存储介质
CN113545059A (zh) * 2019-02-28 2021-10-22 三星电子株式会社 一种用于预测色度分量的视频编码和解码的方法及其装置
CN113812154A (zh) * 2019-05-10 2021-12-17 北京字节跳动网络技术有限公司 用于视频处理的多个二次变换矩阵
CN114430901A (zh) * 2019-09-20 2022-05-03 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
US11575901B2 (en) 2019-08-17 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
US11641464B2 (en) 2019-09-19 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
US11711547B2 (en) 2019-10-12 2023-07-25 Beijing Bytedance Network Technology Co., Ltd. Use and signaling of refining video coding tools
US11722660B2 (en) 2019-10-13 2023-08-08 Beijing Bytedance Network Technology Co., Ltd Interplay between reference picture resampling and video coding tools
US11743454B2 (en) 2019-09-19 2023-08-29 Beijing Bytedance Network Technology Co., Ltd Deriving reference sample positions in video coding
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
US12015795B2 (en) 2019-12-27 2024-06-18 Beijing Bytedance Network Technology Co., Ltd Signaling of slice types in video pictures headers
US12022060B2 (en) 2020-02-28 2024-06-25 Samsung Electronics Co., Ltd. Video encoding and decoding method for predicting chroma component, and video encoding and decoding device for predicting chroma component

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
WO2019009618A1 (ko) * 2017-07-04 2019-01-10 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
TWI777907B (zh) * 2017-07-13 2022-09-11 美商松下電器（美國）知識產權公司 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
WO2019117634A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 2차 변환에 기반한 영상 코딩 방법 및 그 장치
CN116320413A (zh) 2018-07-02 2023-06-23 Lg电子株式会社 对视频信号进行编解码的设备和发送图像的数据的设备
CN115037934B (zh) * 2018-09-02 2024-04-26 Lg电子株式会社 用于图像信号编码和解码的方法及计算机可读记录介质
EP4152748A1 (en) * 2018-09-02 2023-03-22 LG Electronics, Inc. Method and apparatus for processing image signal
WO2020050665A1 (ko) * 2018-09-05 2020-03-12 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
JP2022510120A (ja) 2018-12-07 2022-01-26 インターデジタル ヴイシー ホールディングス， インコーポレイテッド コード化ツールの組み合わせおよび制限の管理
CA3126304A1 (en) 2019-01-11 2020-07-16 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods using dct2 enabled high level flag
JP2020150338A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
JP7256293B2 (ja) 2019-04-23 2023-04-11 北京字節跳動網絡技術有限公司 符号化映像における二次変換の使用
CN114041287A (zh) 2019-06-21 2022-02-11 北京字节跳动网络技术有限公司 自适应环内颜色空间转换和其他视频编解码工具的选择性使用
AU2019232801A1 (en) * 2019-09-17 2021-04-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
WO2021088951A1 (en) 2019-11-07 2021-05-14 Beijing Bytedance Network Technology Co., Ltd. Quantization properties of adaptive in-loop color-space transform for video coding
US11616983B2 (en) 2020-05-05 2023-03-28 Tencent America LLC Joint component secondary transform
US11310529B2 (en) * 2020-05-27 2022-04-19 Tencent America LLC Mode-dependent joint component transform

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
CN103329523A (zh) * 2010-12-29 2013-09-25 高通股份有限公司 使用经映射变换和扫描模式的视频译码
CN103444177A (zh) * 2011-03-10 2013-12-11 高通股份有限公司 在视频译码中的变换
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
WO2015187978A1 (en) * 2014-06-04 2015-12-10 Qualcomm Incorporated Block adaptive color-space conversion coding
US20160088310A1 (en) * 2014-09-24 2016-03-24 Mstar Semiconductor, Inc. Video encoding apparatus and video decoding apparatus and encoding method and decoding method thereof
US20160100167A1 (en) * 2014-10-07 2016-04-07 Qualcomm Incorporated Qp derivation and offset for adaptive color transform in video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
TW201101800A (en) * 2009-06-22 2011-01-01 Novatek Microelectronics Corp Image processing apparatus and method thereof
KR20110045949A (ko) * 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
US9264713B2 (en) * 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9648318B2 (en) 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
CN104782125B (zh) * 2012-11-08 2019-03-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
US20140376611A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
US10271052B2 (en) * 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
GB2531004A (en) * 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103329523A (zh) * 2010-12-29 2013-09-25 高通股份有限公司 使用经映射变换和扫描模式的视频译码
CN103444177A (zh) * 2011-03-10 2013-12-11 高通股份有限公司 在视频译码中的变换
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
WO2015187978A1 (en) * 2014-06-04 2015-12-10 Qualcomm Incorporated Block adaptive color-space conversion coding
US20160088310A1 (en) * 2014-09-24 2016-03-24 Mstar Semiconductor, Inc. Video encoding apparatus and video decoding apparatus and encoding method and decoding method thereof
US20160100167A1 (en) * 2014-10-07 2016-04-07 Qualcomm Incorporated Qp derivation and offset for adaptive color transform in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
X. ZHAO, A. SAID, V. SEREGIN, M. KARCZEWICZ: "TU-level non-separable secondary transform", 《JVET 2ND MEETING: SAN DIEGO, USA, 20-26 FEBRUARY 2016》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545059A (zh) * 2019-02-28 2021-10-22 三星电子株式会社 一种用于预测色度分量的视频编码和解码的方法及其装置
US11622131B2 (en) 2019-05-10 2023-04-04 Beijing Bytedance Network Technology Co., Ltd. Luma based secondary transform matrix selection for video processing
CN113812154A (zh) * 2019-05-10 2021-12-17 北京字节跳动网络技术有限公司 用于视频处理的多个二次变换矩阵
CN113812154B (zh) * 2019-05-10 2023-01-10 北京字节跳动网络技术有限公司 用于视频处理的多个二次变换矩阵
US11575940B2 (en) 2019-05-10 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of reduced secondary transforms in video
US11611779B2 (en) 2019-05-10 2023-03-21 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
CN113347427A (zh) * 2019-06-21 2021-09-03 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及存储介质
US11882274B2 (en) 2019-08-03 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Position based mode derivation in reduced secondary transforms for video
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
US11968367B2 (en) 2019-08-17 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11575901B2 (en) 2019-08-17 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11743454B2 (en) 2019-09-19 2023-08-29 Beijing Bytedance Network Technology Co., Ltd Deriving reference sample positions in video coding
US11641464B2 (en) 2019-09-19 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
CN114430901A (zh) * 2019-09-20 2022-05-03 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
WO2021063270A1 (en) * 2019-10-04 2021-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Encoding and decoding method, apparatus and communication system
US11388407B2 (en) 2019-10-04 2022-07-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Encoding and decoding method, apparatus and communication system
US11785221B2 (en) 2019-10-04 2023-10-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Encoding and decoding method, apparatus and communication system
US11758196B2 (en) 2019-10-05 2023-09-12 Beijing Bytedance Network Technology Co., Ltd Downsampling filter type for chroma blending mask generation
US11611780B2 (en) 2019-10-05 2023-03-21 Beijing Bytedance Network Technology Co., Ltd. Level-based signaling of video coding tools
WO2021063418A1 (en) * 2019-10-05 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Level-based signaling of video coding tools
US11743504B2 (en) 2019-10-12 2023-08-29 Beijing Bytedance Network Technology Co., Ltd Prediction type signaling in video coding
US11711547B2 (en) 2019-10-12 2023-07-25 Beijing Bytedance Network Technology Co., Ltd. Use and signaling of refining video coding tools
US11722660B2 (en) 2019-10-13 2023-08-08 Beijing Bytedance Network Technology Co., Ltd Interplay between reference picture resampling and video coding tools
US12015795B2 (en) 2019-12-27 2024-06-18 Beijing Bytedance Network Technology Co., Ltd Signaling of slice types in video pictures headers
US12022060B2 (en) 2020-02-28 2024-06-25 Samsung Electronics Co., Ltd. Video encoding and decoding method for predicting chroma component, and video encoding and decoding device for predicting chroma component

Also Published As

Publication number Publication date
EP3430805A1 (en) 2019-01-23
EP4277268A2 (en) 2023-11-15
US11503337B2 (en) 2022-11-15
US20170295380A1 (en) 2017-10-12
TWI619375B (zh) 2018-03-21
WO2017173593A1 (en) 2017-10-12
WO2017173997A1 (en) 2017-10-12
EP4277268A3 (en) 2024-02-28
EP3430805A4 (en) 2019-12-11
US20200288172A1 (en) 2020-09-10
TW201743612A (zh) 2017-12-16
CN109076221B (zh) 2021-09-03
US10666976B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
CN109076221A (zh) 视频编码方法及其装置
CN104853209B (zh) 图像编码、解码方法及装置
CN105072442B (zh) 对视频数据进行解码的设备
CN103458243B (zh) 视频解码方法和设备
CN104768006B (zh) 用于确定运动矢量的设备
CN104837018B (zh) 对视频进行解码的方法
CN104641640B (zh) 用于用信号传输sao参数的视频编码方法和视频编码设备以及视频解码方法和视频解码设备
CN104902280B (zh) 视频解码设备
KR100966427B1 (ko) 화상 복호 장치 및 화상 복호 방법
CN108293139A (zh) 用于熵编码和熵解码的设备和方法
CN101416521B (zh) 图像编码/解码方法和设备
CN101496406B (zh) 图像编码/解码方法和设备
CN106797468A (zh) 高效视频编码(hevc)屏幕内容编码(scc)中改进的调色板模式
CN108965875A (zh) 视频解码设备
CN108848387A (zh) 推导参考预测模式值的方法
CN104471934A (zh) 对视频进行熵编码的方法和设备以及对视频进行熵解码的方法和设备
CN104159117B (zh) 一种hevc视频的信息隐藏方法
CN107431818A (zh) 用于先进色度处理的技术
CN113784124B (zh) 使用多种形状子块进行精细划分的块匹配编码和解码方法
CN105122804A (zh) 利用颜色位深缩放的视频压缩
CN103369317A (zh) 用于图像数据压缩的方法和装置
CN109996083B (zh) 帧内预测方法及装置
CN109819260A (zh) 基于多嵌入域融合的视频隐写方法和装置
CN108989819A (zh) 各模式采用各自相应色彩空间的数据压缩方法和装置
CA2614571C (en) A method for encoding images in a block-based manner employing block spatial prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220422

Address after: Hsinchu County, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Singapore City Huicheng Avenue Soras one of the third floor of the building

Patentee before: MediaTek (Singapore) Pte. Ltd.

TR01 Transfer of patent right