CN104221376B - 在视频编码系统中处理视频数据的方法和装置 - Google Patents

在视频编码系统中处理视频数据的方法和装置 Download PDF

Info

Publication number
CN104221376B
CN104221376B CN201380017887.9A CN201380017887A CN104221376B CN 104221376 B CN104221376 B CN 104221376B CN 201380017887 A CN201380017887 A CN 201380017887A CN 104221376 B CN104221376 B CN 104221376B
Authority
CN
China
Prior art keywords
unit
luminance
coding
video data
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380017887.9A
Other languages
English (en)
Other versions
CN104221376A (zh
Inventor
刘杉
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN104221376A publication Critical patent/CN104221376A/zh
Application granted granted Critical
Publication of CN104221376B publication Critical patent/CN104221376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭示一种用于具有YUV422或YUV444格式视频的视频数据处理方法和装置。在一个实施方式中，对于具有YUV422格式的2Nx2N亮度编码单元，变换处理分割对应于2Nx2N的亮度编码单元和Nx2N的色度编码单元的残差数据为正方形亮度和色度变换单元。通过对亮度编码单元和色度编码单元应用预测处理，产生与亮度和色度编码单元相关的残差数据。变换处理不依赖于与预测处理相关的预测区块尺寸和预测模式。在另一实施方式中，预测处理分割编码单元为两个预测区块。应用变换处理于对应于色度编码单元的色度残差数据，以形成一个或多个色度变换单元，其中变换处理依赖于编码的尺寸、预测区块尺寸、或编码单元尺寸和预测区块尺寸。

Description

在视频编码系统中处理视频数据的方法和装置
交叉引用
本发明主张在2012年04月12日提出的申请号为61/623,162、标题为“A new bigCU coding method for video coding in HEVC”的美国临时专利申请的优先权；主张在2012年09月26日提出的申请号为61/705,829、标题为“Coding,prediction and transformblock structure for video compression in YUV422format”的美国临时专利申请的优先权；以及主张在2012年10月31日提出的申请号为61/720,414、标题为“Coding,prediction and transform block structure for YUV 422format”的美国临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。
技术领域
本发明是有关于视频编码系统，特别是有关于一种具有YUV422/444子采样(subsampling)格式的视频编码区块、预测区块和变换区块的块结构的方法和装置。
背景技术
运动补偿是一种在视频序列中采用时间冗余(temporal redundancy)的有效的帧间编码(inter-frame coding)技术。运动补偿帧间编码已广泛用于各种国际视频编码标准。在各种编码标准中采用的运动估计通常为基于区块的技术，在此技术中确定每一个宏块(macroblock)或相似区块配置的运动信息(例如，编码模式和运动向量)。此外，也自适应地应用帧内编码(intra-coding)，在帧内编码中处理图片不需要参考其他图片。帧间预测(inter-predicted)或帧内预测(intra-predicted)残差通常通过变换、量化或熵编码等进一步处理来产生已压缩的视频比特流。在编码过程中，提出了编码伪影(codingartifact)，特别是在量化过程中。为了减轻编码伪影，对重建的视频应用额外的处理过程以提高在新的编码系统中的图片质量。通常在环内操作(in-loop operation)中配置额外的处理过程，以使得编码器和解码器得到相同的参考图片以获得改善的系统性能。
图1A为与高效率视频编码(High Efficiency Video Coding,以下简称为HEVC)系统相关的自适应帧间/。对于帧间预测来说，运动估计/运动补偿(在图1A中简称为ME/MC)112用于基于自其他图片的视频数据来提供预测数据。开关114选择帧内预测110的数据或帧间预测的数据并且已选择的预测数据(在图1A中也称为已预测的采样)被提供至加法器116，以形成预测误差，也称为残差。然后，通过变换118(在图1A中简称为T)以及紧接着的量化120(在图1A中简称为Q)来处理预测误差(即，残差)。然后通过熵编码器122来编码已变换和已量化的残差，以形成对应于已压缩视频数据的视频比特流。然后，将与变换系数相关的比特流和边信息(side information)(例如，运动、模式以及与图像区域相关的其他信息)一起封装。也可以熵编码边信息以降低需要的带宽。如图1A所示，相应地，与边信息相关的数据(在图1A中也称为最大编码单元信息)被提供至熵编码器122。当使用帧内预测模式时，在编码器端也要重建参考图片。因此，通过逆量化124(在图1A中简称为IQ)和逆变换126(在图1A中简称为IT)来处理已变换和已量化的残差，以恢复残差。然后，将残差在重建128(在图1A中简称为REC)处与预测数据136相加，以重建视频数据。已重建的视频数据可以存储于参考图片缓冲器134中并用于其他帧的预测。
如图1A所示，输入视频数据在编码系统中接受一系列的处理。由于这一系列的处理，来自重建128的重建视频数据可以遭受各种损伤(impairments)。相应地，为改善视频质量，在将已重建的视频数据存储于参考图片缓冲器134之前，将各种环内处理应用于已重建的视频数据。在开发的HEVC标准中，已开发解区块滤波器130(在图1A中简称为DF)和采样自适应偏移131(在图1A中简称为SAO)，来提高图片质量。环内滤波器信息可以包含于比特流中，以使得解码器可以适当地恢复需要的信息。因此，来自采样自适应偏移的环内滤波器信息(在图1A中也称为采样自适应偏移信息)被提供至熵编码器122，以便纳入比特流中。在图1A中，首先对重建的视频应用解区块滤波器130，然后对已解区块滤波处理的视频应用采样自适应偏移131。
与图1A中编码器对应的解码器如图1B所示。图1B为与HEVC编码系统相关的自适应帧间/帧内视频解码器的示意图。通过视频解码器142解码视频比特流，来恢复已变换和已量化的残差、采样自适应偏移/ALF(Adaptive loop filter，自适应回路滤波)信息和其他系统信息。在解码器侧，仅执行运动补偿113，而不是运动估计/运动补偿。解码处理相似于在编码器侧的重建环(reconstruction loop)。已重建的已变换和已量化的残差、采样自适应偏移/ALF信息和其他系统信息用于重建视频数据。通过解区块滤波器130和采样自适应偏移131来处理已重建的视频，以产生最终提高的已解码视频。
在HEVC系统中，通过灵活的区块(flexible block)(称为编码单元(coding unit,CU))代替H.264/AVC的固定尺寸的宏块。在编码单元中的像素共享相同的编码参数，以改善编码效率。编码单元可以开始于一个最大编码单元(largest CU,LCU，也称为在HEVC中的编码树单元(coded tree unit,CTU))。然后利用四叉树(quadtree)来分割初始编码单元。通常，编码系统利用率失真优化(Rate-Distortion Optimization,RDO)来确定编码单元是否被进一步分割。在通过四叉树分割编码单元之后，除非编码单元达到预先指定的最小编码单元尺寸，可以利用四叉树进一步分割由此产生的编码单元。相应地，图片的四叉树分割的集合形成可变尺寸编码单元，并且该集合组成分割地图(partition map)以用于处理输入图像的编码器。分割地图被传送至解码器，以使得可以执行相应地解码处理。在HEVC中，亮度分量(即，Y)的CTU尺寸可以达到64x64。编码单元尺寸通常称为2Nx2N。当通过四叉树分割编码单元时，将产生四个NxN编码单元。
除编码单元的概念之外，预测单元的概念也被引入HEVC中。一旦完成编码单元层次树(hierarchical tree)的分割，根据预测类型和预测单元分割，每一个叶编码单元(leaf CU)被进一步分割为预测单元。在HEVC中帧间/帧内预测处理应用于预测单元。对于每一个2Nx2N叶编码单元，选择分割尺寸来分割编码单元。当选择帧间模式时，2Nx2N预测单元可以被分割为2Nx2N、2NxN、或Nx2N的预测单元。当2Nx2N预测单元为帧内编码时，预测单元可以被分割为一个2Nx2N或四个NxN。
在HEVC标准中，完成编码配置(coding profile)，也称为主配置(Main Profile)，并且主配置仅支持YUV420色度子采样(chroma subsampling)格式中的彩色视频(colorvideo)。彩色视频包括多个颜色分量，并且亮度和色度形式的颜色分量通常用于视频编码领域中。在各种颜色分量格式中，YUV或YCrCb通常用于视频编码。YUV色度子采样格式对亮度分量(即，Y)应用全采样以及对色度分量(即，Cr或Cb)应用2:1水平子采样和2:1垂直子采样。图2为用于YUV420、YUV422和YUV444色度子采样格式的采样模式的示意图。如区块210所示的颜色采样区域(4像素x2行)用于YUV420色度子采样。对应的Y分量的全采样如区块211所示。对于每一个色度分量(即，Cr或Cb)，仅形成两个采样，如区块212所示的4x2颜色像素区域中的阴影区域1和阴影区域2所示。尽管YUV420格式广泛用于一般消费者应用，但是在一些维护消费者权益(pro-consumer)和专业的应用中，期望较高的颜色保真度(fidelity)并使用YUV422和YUV444格式。对于区块220所示的4x2颜色像素区域的YUV422色度子采样，Y分量221的采样与之前描述的YUV420色度子采样的对应的Y分量的采样相同。然而，对于色度分量，子采样形成2x2子采样模式(pattern)222。对于区块230所示的4x2颜色像素区域的YUV444色度子采样，Y分量231的采样与之前的采样相同。然而，对于色度分量，利用全采样(即，1:1子采样)来形成4x2子采样模式232。色度分量的采样位置可以与亮度采样对齐。然而，色度分量的采样位置也可以与亮度采样水平地、垂直地、或水平和垂直地存在偏移。
在HEVC主配置中，四叉树分割应用于变换区块，其中将变换过程应用于每一个编码单元并将编码单元尺寸作为初始变换单元尺寸。每一个变换单元可以通过四叉树分割。图3为编码单元的四叉树分割的示意图，其中通过利用残差四叉树的变换过程处理与一个叶编码单元相关的残差数据。区块310对应于最大编码树区块的四叉树分割，其中每一个正方形对应于一个叶编码单元。变换处理应用于与通过粗线区块312指示的编码单元相关的残差。CTB可以为64x64、32x32、16x16或8x8。初始变换单元320对应于选择的编码单元(即，区块312)的残差。初始变换单元320通过四叉树来分割，以形成下一级的变换单元330。变换单元330可以通过四叉树进一步分割，以形成变换单元340。HEVC的变换尺寸可以为32x32、16x16、8x8或4x4。当使用YUV422或YUV444格式时，需要用于所有这些色度子采样格式的视频编码工具和方案。举例来说，H.264/MPEG-4高级视频编码标准包括命名为保真度范围扩展(Fidelity Range Extensions,FRExt)的配置，该配置可以通过支持增加像素比特深度和较高的分辨率颜色格式(例如，YUV422和YUV444色度子采样)而具有较高质量的视频编码。因此，需要开发编码工具，例如，用于与HEVC编码系统的YUV422和YUV444色度子采样格式相关的编码单元、预测单元和变换单元的结构和分割方法。
发明内容
本发明揭示一种在视频编码系统中处理视频数据的方法和装置。其中，视频数据使用YUV422或YUV444色度子采样模式。在本发明的一个实施方式中，对于YUV422视频数据的2Nx2N的亮度编码单元和Nx2N的色度编码单元，变换处理分割对应于2Nx2N的亮度编码单元和Nx2N的色度编码单元的残差数据为正方形亮度变换单元和正方形色度变换单元。通过对亮度编码单元和色度编码单元应用预测处理，产生与亮度和色度编码单元相关的残差数据。变换处理不依赖于与预测处理相关的预测区块尺寸和预测模式。对于2Nx2N亮度编码单元，0级亮度变换单元尺寸为2Nx2N以及色度变换单元尺寸为NxN。0级2Nx2N亮度变换单元被分割为四个1级NxN亮度变换单元。1级NxN亮度变换单元可以进一步被分割为四个2级(N/2)x(N/2)亮度变换单元。0级NxN色度变换单元可与1级色度变换单元相同(即，尺寸为NxN)。1级NxN色度编码单元可被进一步分割为四个2级(N/2)x(N/2)色度变换单元。可选地，0级NxN色度变换单元可被进一步分割为四个1级(N/2)x(N/2)色度变换单元。1级(N/2)x(N/2)色度变换单元可被进一步分割为四个2级(N/4)x(N/4)色度变换单元。
在另一个实施方式中，对于YUV422视频数据的2Nx2N的亮度编码单元和Nx2N的色度编码单元，预测处理垂直或水平地分割编码单元为两个区块(即，两个预测单元)。变换处理分割对应于亮度预测单元的残差数据为一个或多个亮度变换单元，以及变换处理分割对应于色度预测单元的残差数据为一个或多个色度变换单元。通过对亮度编码单元和色度编码单元应用预测处理，产生与亮度编码单元和色度编码单元相关的残差数据。变换处理依赖于编码单元尺寸和与预测处理相关的预测区块尺寸，或依赖于编码单元尺寸或与预测处理相关的预测模式，其中编码单元尺寸与亮度编码单元、色度编码单元、或亮度编码单元和色度编码单元相关。对于2Nx2N亮度编码单元，当与亮度编码单元的预测处理相关的预测分割模式对应于2NxN、2NxnU、2NxnD、Nx2N、nLx2N或nRx2N时，变换处理强制0级亮度变换单元分割为更小的1级亮度变换单元。其中，通过利用预测分割模式的亮度编码单元的预测处理，产生与亮度预测单元相关的0级亮度变换单元。当亮度编码单元的预测分割模式对应于2NxN、2NxnU或2NxnD时，1级亮度变换单元尺寸为2Nx(N/2)以及1级色度变换单元尺寸为NxN。1级亮度变换单元可以被分割为四个具有尺寸为Nx(N/4)的2级亮度变换单元，以及1级色度变换单元被分割为四个具有尺寸为(N/2)x(N/2)或Nx(N/4)的2级色度变换单元。当亮度编码单元的预测分割模式对应于Nx2N、nLx2N或nRx2N时，1级亮度变换单元尺寸为(N/2)x2N以及1级色度变换单元尺寸为(N/2)x2N。1级亮度变换单元可被进一步分割为具有尺寸为(N/4)xN的2级亮度变换单元，以及1级色度变换单元可被进一步分割为具有尺寸为(N/4)xN的2级色度变换单元。
在又一实施方式中，当亮度编码单元的预测分割模式对应于2NxnU或2NxnD时，变换处理强制0级亮度变换单元分割为具有尺寸为2Nx(N/2)的1级亮度变换单元，并强制0级色度变换单元分割为具有尺寸为Nx(N/4)的1级色度变换单元。其中，通过利用预测分割模式的亮度编码单元的预测处理，产生与亮度预测单元相关的0级亮度变换单元。1级亮度变换单元可被分割为四个具有尺寸为Nx(N/4)的2级亮度变换单元，以及1级色度变换单元可以被分割为四个具有尺寸为(N/2)x(N/8)或(N/4)x(N/4)的2级色度变换单元。当亮度编码单元的预测分割模式对应于nLx2N或nRx2N时，变换处理强制0级亮度变换单元分割为具有尺寸为(N/2)x2N的1级亮度变换单元，并强制0级色度变换单元分割为具有尺寸为(N/4)xN的1级色度变换单元。其中，通过利用预测分割模式的亮度编码单元的预测处理，来产生与亮度预测单元相关的0级亮度变换单元。1级亮度变换单元被分割为具有尺寸为(N/4)xN的2级亮度变换单元，以及1级色度变换单元被分割为具有尺寸为(N/8)x(N/2)或(N/4)x(N/4)的2级色度变换单元。
用于指示是否分割亮度变换单元的第一标志和用于指示是否分割色度变换单元的第二标志可以包括于已压缩的视频数据中。其中，独立地确定第一标志和第二标志。在另一实施方式中，一个标志用于指示是否分割亮度和色度变换单元，该亮度和色度变换单元覆盖亮度和色度平面(plane)投影的相同区域。
附图说明
图1A为与HEVC编码系统相关的自适应帧间/帧内视频编码器的示意图。
图1B为与HEVC编码系统相关的自适应帧间/帧内视频解码器的示意图。
图2为用于YUV420、YUV422和YUV444色度子采样格式的采样模式的示意图。
图3为编码单元的四叉树分割的示意图，其中通过利用残差四叉树的变换过程处理与一个叶编码单元相关的残差数据。
图4为根据本发明实施方式的YUV422色度子采样格式的编码单元分割和变换过程的示意图，其中所有变换单元为正方形。
图5为根据本发明实施方式的YUV422色度子采样格式的编码单元分割和变换过程的示意图，其中所有变换单元为正方形。
图6为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被垂直分割为两个相等的预测单元。
图7为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被水平分割为两个相等的预测单元。
图8为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被垂直分割为两个不对称的预测单元。
图9为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被水平分割为两个不对称的预测单元。
图10为包括本发明实施方式的编码单元分割、预测过程和变换过程的视频编码系统的示范性流程图。
图11为包括本发明实施方式的编码单元分割、预测过程和变换过程的视频编码系统的另一示范性流程图。
具体实施方式
在HEVC中，引入编码单元、预测单元以及变换单元以改善压缩效率。在HEVC中，变换处理依赖于编码单元尺寸。YUV420格式的编码单元-变换单元之间的关系如表1所示。在HEVC中，允许最大变换的单元尺寸为32x32。因此，当编码单元尺寸为64x64时，不存在0级变换单元。另一方面，允许的最小变换单元尺寸为4x4。因此，不存在4x4色度编码单元的2级变换单元。
表1
在本发明中，揭示了新的编码单元-预测单元-变换单元结构以用于利用YUV422和YUV444色度子采样格式的视频数据的视频压缩。以下将在HEVC的内容中详述。然而，新的编码单元-预测单元-变换单元结构也可以用于其他视频编码系统。在一实施方式中，揭示了编码单元-预测单元-变换单元结构，以用于具有YUV444格式的视频数据。其中，在具有YUV420格式的HEVC压缩中，色度区块(即，Cb和Cr)利用与亮度区块(Y)相同的编码单元-预测单元-变换单元结构。
在另一实施方式中，YUV422压缩的编码单元-变换单元结构如表2所示。在此结构中，变换单元尺寸仅依赖编码单元尺寸，而不依赖预测单元尺寸。此外，仅允许正方形变换单元。在一个实施方式中，这些正方形变换单元利用正方形变换(例如，2维离散余弦变换(discrete cosine transform,DCT)和2维离散正弦变换(discrete sine transform,DST))。图4为根据本发明实施方式的YUV422色度子采样格式的编码单元分割和变换过程的示意图，其中所有变换单元为正方形。举例来说，如图4所示，当编码单元尺寸为2Nx2N时，包括2Nx2N亮度采样、Nx2N Cb(U)采样以及Nx2N Cr(V)采样。对于根(即，0级)变换处理(roottransform process)，0级亮度变换单元对应于2Nx2N亮度残差数据，而每一个Nx2N色度区块被垂直分割为两个NxN色度变换区块。NxN变换可以应用于两个色度变换区块中的每一个。在下一级(即，1级)变换过程中，图4中的示例描述了2Nx2N亮度变换单元被分割为四个NxN亮度变换单元，其中，上述分割与YUV420格式的视频数据的HEVC编码相同。然而，在下一级(即，1级)中的色度变换单元尺寸仍然与0级的色度变换单元尺寸相同。亮度区块的2级变换过程与在HEVC编码中用于YUV420格式的视频数据的变换过程相同，然而在1级中的每一个NxN色度变换单元可以利用四叉树进一步分割为4个色度变换单元。如图4所示，一个NxN色度区块被进一步分割为4个(N/2)x(N/2)色度区块。图5为根据本发明实施方式的YUV422色度子采样格式的编码单元分割和变换过程的示意图，其中所有变换单元为正方形。在此实施方式中，0级变换过程和图4描述的相同。然而，如图5所示，对于1级变换过程来说，在0级中的每一个NxN色度变换单元被进一步分割为4个(N/2)x(N/2)的变换单元。因此，如图5所示，与2Nx2N亮度编码单元相关的Nx2N Cb或Cr采样被分割为八个(N/2)x(N/2)色度变换单元。八个(N/2)x(N/2)色度变换单元中的每一个被进一步分割为4个(N/4)x(N/4)色度变换单元。如表2所示，在HEVC主配置中，对于亮度组分和色度组分，均允许最大变换尺寸为32x32、最小变换尺寸为4x4。用于HEVC主配置的变换单元尺寸限制也可以用于本发明。因此，当编码单元大于32x32时，对应的变换单元被自动地分割为具有尺寸为32x32或更小的下一级变换单元。并且，当变换单元尺寸为最小尺寸4x4(即，预定的最小变换单元尺寸)时，自动停止变换单元四叉树分割。
表2
如表3所示，在本发明的又一实施方式中，揭示了具有YUV422格式视频数据的视频压缩系统的编码单元-预测单元-变换单元结构。在此结构中，变换单元尺寸依赖于编码单元尺寸和预测单元尺寸。允许非正方形变换单元和变换。对于2Nx2N编码单元，若预测单元为正方形，即预测分割模式为2Nx2N或NxN，则变换单元结构与图4～图5和表2所示的相同。当预测单元为非正方形，即预测分割模式为2NxN、Nx2N、2NxnU、2NxnD、nLx2N或nRx2N，则变换单元结构如表3所示。2NxnU和2NxnD称为不对称垂直分割。其中，2NxnU对应于具有较窄上区块的分割，以及2NxnD对应于具有较窄下区块的分割。nLx2N和nRx2N称为不对称水平分割。其中，nLx2N对应于具有较窄左区块的分割，以及nRx2N对应于具有较窄右区块的分割。根据本发明的一实施方式，对于通过预测处理产生的正方形色度预测单元，对色度残差数据应用变换处理，以产生一个或多个第一正方形或矩形色度变换单元，该色度残差数据对应于正方形色度预测单元；以及对于通过预测处理产生的矩形色度预测单元，对色度残差数据应用该变换处理，以产生一个或多个第二正方形或矩形色度变换单元，该色度残差数据对应于该矩形色度预测单元。根据本发明的另一实施方式，当与亮度编码单元的预测处理相关的预测分割模式对应于2NxN、2NxnU、2NxnD、Nx2N、nLx2N或nRx2N时，变换处理强制0级亮度变换单元分割为更小的1级亮度变换单元；其中，通过利用预测分割模式的亮度编码单元的预测处理，产生与亮度预测单元相关的0级亮度变换单元。
表3
对于2Nx2N编码单元，若预测单元尺寸或分割模式为2NxN、2NxnU或2NxnD以及当使能非正方形变换单元和非正方形变换时，对应的根(即，0级)亮度变换单元被强制分割为下一级(即，1级)变换单元。1级亮度变换单元尺寸为2Nx(N/2)。其中，N为16或更小。当N为32时，通常严格限制变换单元尺寸，以使得其在水平和垂直方向上不会超过32。图6为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被垂直分割为两个相等的预测单元。如图6所示，对于1级亮度变换单元，每一个2NxN亮度预测单元包括两个亮度变换单元。通常强制1级色度变换单元尺寸为NxN。因此，如图6所示，每一个NxN色度预测单元对应于在一个1级的NxN色度变换单元。1级变换单元通常被进一步分割为下一级(即，2级)更小的变换单元。每一个具有尺寸为2Nx(N/2)的1级亮度变换单元可以进一步分割为四个Nx(N/4)亮度变换单元。有两个选择进一步分割1级色度变换单元。在一个实施方式中，NxN色度变换单元可以进一步分割为四个(N/2)x(N/2)色度变换单元。在另一个实施方式中，如图6所示，NxN色度变换单元可以进一步分割为四个Nx(N/4)色度变换单元。
图7为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被水平分割为两个相等的预测单元。如图7所示，对于2Nx2N编码单元，若预测单元尺寸或分割模式为Nx2N、nLx2N或nRx2N以及当使能非正方形变换时，根(即，0级)变换单元被强制分割为下一级(即，1级)变换单元。1级亮度变换单元尺寸为(N/2)x2N。其中，N为16或更小。当N为32时，通常严格限制变换单元尺寸，以使得其在水平和垂直方向上不会超过32。对于1级亮度变换单元，一个Nx2N亮度预测单元包括两个(N/2)x2N亮度变换单元。1级色度变换单元尺寸也可为(N/2)x2N以及一个(N/2)x2N色度预测单元对应于一个(N/2)x2N色度变换单元。1级变换单元被进一步分割为下一级(即，2级)更小的变换单元。每一个1级(N/2)x2N亮度变换单元被进一步分割为四个(N/4)xN亮度变换单元。如图7所示，每一个1级(N/2)x2N色度变换单元也可进一步被分割为四个(N/4)xN色度变换单元。
在本发明的又一实施方式中，揭示了如图4所示的具有YUV422格式视频数据的视频压缩系统的编码单元-预测单元-变换单元结构。根据此实施方式，变换单元尺寸依赖于编码单元尺寸和预测单元尺寸。允许非正方形变换单元和变换。对于2Nx2N编码单元，若预测分割是对称的，即预测分割模式对应于2Nx2N、2NxN、Nx2N或NxN，则变换单元结构与图6～图7和表3所示的相同。当预测分割是非对称的，即分割模式为2NxnU、2NxnD、nLx2N和nRx2N，变换单元结构如表4所示定义。根据本发明的一个实施方式，当亮度编码单元的预测分割模式对应于2NxnU或2NxnD时，变换处理强制0级亮度变换单元分割为具有尺寸为2Nx(N/2)的1级亮度变换单元，并强制0级色度变换单元分割为具有尺寸为Nx(N/4)的1级色度变换单元；其中，通过利用预测分割模式的亮度编码单元的该预测处理，产生与亮度预测单元相关的0级亮度变换单元。根据本发明的另一实施方式，当亮度编码单元的预测分割模式对应于nLx2N或nRx2N时，变换处理强制0级亮度变换单元分割为具有尺寸为(N/2)x2N的1级亮度变换单元，并强制0级色度变换单元分割为具有尺寸为(N/4)xN的1级色度变换单元；其中，通过利用预测分割模式的亮度编码单元的该预测处理，产生与亮度预测单元相关的0级亮度变换单元。
表4
对于2Nx2N编码单元，若预测单元尺寸或分割模式为2NxnU或2NxnD以及当使能非正方形变换时，根(即，0级)变换单元被强制分割为下一级(即，1级)变换单元。图8为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被垂直分割为两个不对称的预测单元。如图8所示，1级亮度变换单元尺寸为2Nx(N/2)以及1级色度变换单元尺寸为Nx(N/4)。1级变换单元可被进一步分割为下一级(即，2级)更小的变换单元。每一个1级亮度变换单元可以进一步分割为四个Nx(N/4)亮度变换单元。有两个选择进一步分割1级色度变换单元。在一个实施方式中，Nx(N/4)色度变换单元可以进一步分割为四个(N/2)x(N/8)色度变换单元。在另一个实施方式中，如图8所示，Nx(N/4)色度变换单元可以进一步分割为四个(N/4)x(N/4)色度变换单元。
对于2Nx2N编码单元，若预测单元尺寸或分割模式为nLx2N或nRx2N以及当使能非正方形变换时，根(即，0级)变换单元被强制分割为下一级(即，1级)变换单元。图9为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被水平分割为两个不对称的预测单元。如图9所示，1级亮度变换单元尺寸为(N/2)x2N以及1级色度变换单元尺寸为(N/4)xN。1级变换单元可被进一步分割为下一级(即，2级)更小的变换单元。有两个选择进一步分割1级色度变换单元。在一个实施方式中，(N/4)xN色度变换单元可以进一步分割为四个(N/8)x(N/2)色度变换单元。在另一个实施方式中，如图9所示，(N/4)xN色度变换单元可以进一步分割为四个(N/4)x(N/4)色度变换单元。
在Silcock等(“Extension of HM7to Support Additional Chroma Formats”,Doc.JCTVC-J0191,Joint Collaborative Team on Video Coding of ITU-T SG16 WP3and ISO/IEC JTC1/SC29/WG11,Stockholm,SE,2012.07)、Yuan等(“Asymmetric MotionPartition with OBMC and Non-Square TU”,Doc.JCTVC-E376,Joint CollaborativeTeam on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,Geneva,CH,2011.03)以及Yuan等(“CE2:Non-Square Quadtree Transform for symmetric motionpartitions”,Doc.JCTVC-F410,Joint Collaborative Team on Video Coding of ITU-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11,Torino,IT,2011.03)揭示的现有的编码单元-预测单元-变换单元结构中，色度变换单元通常覆盖与对应的亮度变换单元相同的像素区域。然而，根据本发明实施方式的利用YUV422格式的编码系统的色度变换单元不必覆盖与对应的亮度变换单元相同的像素区域。与此相反，根据本发明的色度变换单元更加对齐色度预测区块。
在HEVC中，一个标志split_flag用于Y、U和V分量以指示当前变换单元是否被分割为下一级更小的变换单元。换句话说，Y、U和V变换单元使用与现有方法相同的分割。在本发明的一个实施方式中，一个标志split_flag用于指定Y、U和V分量的变换单元分割，其相似于在HEVC中的分割。然而，因为标志控制投射于亮度和色度范围的相同区域，所以标志可以同时指示一个亮度变换区块分割和多于一个的色度变换区块分割。举例来说，如图5所示，在亮度和色度分量之间共享的标志指示从0级到1级的分割，以及在亮度和色度分量之间共享的另一个标志指示从1级到2级的分割。在本发明的另一实施方式中，使用分离的亮度分割标志和色度分割标志。其中，亮度分割标志split_flag_luma用于指示是否将亮度变换单元分割为下一级更小的亮度变换单元，以及另一个标志，例如色度分割标志split_flag_chroma，用于指示是否将色度(U和V)变换单元分割为下一级更小的变换单元。根据本发明的实施方式，如上所述，可以将分离的亮度分割标志和色度分割标志与编码单元-预测单元-变换单元结构一起使用。也可以将分离的亮度分割标志和色度分割标志与其他变换单元结构一起使用，例如现有的HEVC中的结构。根据本发明的实施方式，指示是否分割亮度变换单元和色度变换单元的标志包括于已压缩的视频数据中。
根据本发明实施方式的编码单元-预测单元-变换单元结构可以应用于帧间预测、帧内预测、或帧间预测和帧内预测。根据本发明实施方式的编码单元-预测单元-变换单元结构可以作为一个整体。即，使用根据本发明实施方式的所有级的编码单元-预测单元-变换单元结构。可选地，任意级编码单元-预测单元-变换单元结构可以与其他已知的编码单元-预测单元-变换单元结构结合使用。举例来说，当使用根据本发明实施方式的编码单元-预测单元-变换单元结构的1级或2级变换单元尺寸及/或变换单元分割时，可以使用在其他系统中定义的根级变换单元尺寸。在帧内预测的情况下，当多于一个变换单元属于相同的预测单元时，可以对变换单元进行像素预测处理。在图5所示的0级的示例中，尽管在NxN色度变换单元中的所有像素均使用相同的预测模式来预测，但是在顶部NxN色度变换单元中的色度像素可以用于在底部NxN色度变换单元中像素的预测。
图10为包括本发明实施方式的编码单元分割、预测过程和变换过程的视频编码系统的示范性流程图，其中视频数据使用YUV422或YUV444色度子采样模式。如步骤1010所示，接收与具有尺寸为2Nx2N的亮度编码单元相关的视频数据，并且N为正整数。与亮度编码单元相关的视频数据可以存储于多媒体(例如，系统中的RAM或DRAM)中。因此，与亮度编码单元相关的视频数据可以从多媒体中读回。也有可能直接从负责产生具有YUV422或YUV444格式的视频数据的另一个处理器(例如，中央处理器、控制器、或数据信号处理器)接收与亮度编码单元相关的视频数据。举例来说，处理器可以用于转换GRB视频为YUV422或YUV444格式。在此情况下，可以自处理器接收已处理的重建的像素。相似地，在步骤1020中，接收与具有尺寸为Nx2N或2Nx2N的色度编码单元相关的视频数据。其中，色度编码单元对应于与亮度编码单元相关的相同的像素区域。如步骤1030所示，通过对与亮度编码单元相关的视频数据应用预测处理，产生对应于亮度编码单元的亮度残差数据。预测可以对应于帧内预测或帧间预测。也可以确定预测过程是否分割预测区块以及怎样分割预测区块。相似地，如步骤1040所示，通过对与色度编码单元相关的视频数据应用预测处理过程，产生对应于色度编码单元的色度残差数据。如步骤1050所示，在产生残差数据之后，可以对亮度残差数据应用变换处理过程，以形成一个或多个亮度变换单元，该亮度残差数据对应于亮度编码单元。变换处理可以确定是否分割变换区域以及怎样分割一个变换区块。如步骤1060所示，可以对色度残差数据应用变换处理，以形成一个或多个色度变换单元，该色度残差数据对应于色度编码单元。其中，该变换处理不依赖于与预测处理过程相关的预测区块尺寸或预测模式，并限制色度变换单元的形状为正方形。在确定编码单元的变换区块之后，如步骤1070所示，通过应用两维变换至对应于每一个亮度变换单元的亮度残差数据，来产生每一个亮度变换单元的亮度变换系数；以及如步骤1080所示，通过应用两维变换至对应于每一个色度变换单元的色度残差数据，来产生每一个色度变换单元的色度变换系数。
图11为包括本发明实施方式的视频编码系统中的视频数据处理的另一示范性流程图，其中视频数据使用YUV422色度子采样模式。除了步骤1060由步骤1110代替之外，图11所示的流程图和图10所示的流程图相似。在步骤1110中，应用变换处理过程至对应于色度编码单元的色度残差数据，以形成一个或多个色度变换单元。其中，变换处理依赖于编码单元尺寸和与预测处理相关的预测区块尺寸，或者变换处理依赖于编码单元尺寸和与预测处理相关的预测模式，其中编码单元尺寸与亮度编码单元、色度编码单元、或亮度编码单元和色度编码单元相关。
图10和图11所示的示范性流程图仅用于解释的目的。本领域技术人员可以重新安排、组合步骤或分割步骤，以在不脱离本发明精神的前提下实现本发明。
根据本发明的一实施方式，提供一种在视频编码系统中处理视频数据的装置。该视频数据使用YUV422或YUV444色度子采样模式。在视频编码系统中处理视频数据的装置包括：用于接收与具有尺寸为2Nx2N的亮度编码单元相关的视频数据的装置，其中N为正整数；用于接收与具有尺寸为Nx2N或2Nx2N尺寸的色度编码单元相关的视频数据的装置，其中色度编码单元对应于与亮度编码单元相关的相同像素区域；用于通过对与亮度编码单元相关的视频数据应用预测处理来产生对应于亮度编码单元的亮度残差数据的装置；用于通过对与色度编码单元相关的视频数据应用预测处理来产生对应于色度编码单元的色度残差数据的装置；用于对亮度残差数据应用变换处理以形成一个或多个亮度变换单元的装置，亮度残差数据对应于亮度编码单元；用于对色度残差数据应用变换处理以形成一个或多个色度变换单元的装置，色度残差数据对应于色度编码单元；其中变换处理不依赖于与预测处理相关的预测区块尺寸或预测模式，以及限制色度变换单元的形状为正方形；用于通过应用两维变换至对应于每一个亮度变换单元的亮度残差数据以产生每一个亮度变换单元的亮度变换系数的装置；用于通过应用两维变换至对应于每一个色度变换单元的色度残差数据以产生每一个色度变换单元的色度变换系数的装置。
根据本发明的另一实施方式，提供一种在视频解码器中的视频数据区块的处理方法。视频数据使用YUV422或YUV444色度子采样模式。在视频解码器中的视频数据区块的处理方法包括：接收与具有尺寸为2Nx2N的亮度编码单元相关的每一个亮度变换单元的亮度变换系数，其中N为正整数；接收与具有尺寸为Nx2N或2Nx2N的色度编码单元相关的每一个色度变换单元的色度变换系数，其中色度编码单元对应于与亮度编码单元相关的相同像素区域；通过对每一个亮度变换单元的亮度变换系数应用逆两维变换，来产生每一个亮度变换单元的亮度残差区块，其中所有的亮度变换单元为正方形；通过对每一个色度变换单元的色度变换系数应用逆两维变换，来产生每一个色度变换单元的亮度残差区块，其中所有的色度变换单元为正方形；自于色度编码单元相关的色度变换单元的色度残差区块产生与色度编码单元相关的色度残差区块；以及对与色度编码单元相关的色度残差区块应用预测处理，以重建与色度编码单元相关的视频数据；其中，与色度编码单元相关的色度变换单元不依赖于与预测处理相关的预测区块尺寸和预测模式。
在提供特定应用及其需求的背景下，以上描述使得本领域技术人员能够实现本发明。本发明实施方式的各种修饰对于本领域技术人员来说是清楚的，以及在此定义的基本原理可以应用于其他实施方式中。因此，本发明并不限于以上描述的特定实施方式，而应涵盖与在此揭示的基本原理和新颖性特征一致的最广范围。在上述描述中，为提供对于本发明的全面理解，说明了各种特定细节。因此，本领域技术人员可以理解本发明是可以实现的。
以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital SignalProcessor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (13)

1.一种在视频编码系统中处理视频数据的方法，其特征在于，该视频数据使用YUV422色度子采样模式，该在视频编码系统中处理视频数据的方法包括：
接收与具有尺寸为2Nx2N的亮度编码单元相关的视频数据，其中N为正整数；
接收与具有尺寸为Nx2N尺寸的色度编码单元相关的视频数据，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；
通过对与该亮度编码单元相关的视频数据应用预测处理，来产生对应于该亮度编码单元的亮度残差数据；
通过对与该色度编码单元相关的视频数据应用预测处理，来产生对应于该色度编码单元的色度残差数据；
对该亮度残差数据应用变换处理，以形成一个或多个亮度变换单元，该亮度残差数据对应于该亮度编码单元；
对该色度残差数据应用变换处理，以垂直地形成两个NxN色度变换单元，该色度残差数据对应于该色度编码单元，其中，该色度变换单元的形状被限制为正方形，且所述两个NxN色度变换单元中的每一个使用四叉树被进一步分割为四个色度变换单元；
通过应用两维变换至对应于每一个亮度变换单元的亮度残差数据，以产生每一个亮度变换单元的亮度变换系数；以及
通过应用两维变换至对应于每一个色度变换单元的色度残差数据，以产生每一个色度变换单元的色度变换系数。
2.根据权利要求1所述的在视频编码系统中处理视频数据的方法，其特征在于，该色度变换单元尺寸依赖于该亮度编码单元尺寸、该色度编码单元尺寸、或该亮度编码单元尺寸和该色度编码单元尺寸。
3.根据权利要求1所述的在视频编码系统中处理视频数据的方法，其特征在于，0级亮度变换单元尺寸为2Nx2N，以及0级色度变换单元尺寸为NxN。
4.根据权利要求3所述的在视频编码系统中处理视频数据的方法，其特征在于，1级亮度变换单元尺寸为NxN，以及1级色度变换单元尺寸为NxN或(N/2)x(N/2)。
5.根据权利要求4所述的在视频编码系统中处理视频数据的方法，其特征在于，利用四叉树将该1级亮度变换单元或该1级色度变换单元分割为四个更小的正方形变换单元，直到达到预定的最小变换单元尺寸为止。
6.根据权利要求5所述的在视频编码系统中处理视频数据的方法，其特征在于，该预定的最小变换单元尺寸为4x4。
7.根据权利要求1所述的在视频编码系统中处理视频数据的方法，其特征在于，指示是否分割该亮度变换单元和该色度变换单元的标志包括于已压缩的视频数据中。
8.一种在视频编码系统中处理视频数据的方法，其特征在于，该视频数据使用YUV422色度子采样模式，该在视频编码系统中处理视频数据的方法包括：
接收与具有尺寸为2Nx2N的亮度编码单元相关的视频数据，其中N为正整数；
接收与具有尺寸为Nx2N尺寸的色度编码单元相关的视频数据，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；
通过对与该亮度编码单元相关的该视频数据应用预测处理，来产生对应于该亮度编码单元的亮度残差数据；
通过对与该色度编码单元相关的该视频数据应用预测处理，来产生对应于该色度编码单元的色度残差数据；
对该亮度残差数据应用变换处理，以形成一个或多个亮度变换单元，该亮度残差数据对应于该亮度编码单元；
对该色度残差数据应用变换处理，以垂直地形成两个色度变换单元，该色度残差数据对应于该色度编码单元，其中该变换处理依赖于编码单元尺寸和与该预测处理相关的预测区块尺寸、或依赖于编码单元尺寸和与该预测处理相关的预测模式，其中该编码单元尺寸于该亮度编码单元、该色度编码单元、或该亮度编码单元和该色度编码单元相关，其中，该色度变换单元的形状被限制为正方形；
通过应用第一两维变换至对应于每一个亮度变换单元的亮度残差数据，以产生每一个亮度变换单元的亮度变换系数；以及
通过应用第二两维变换至对应于每一个色度变换单元的色度残差数据，以产生每一个色度变换单元的色度变换系数。
9.根据权利要求8所述的在视频编码系统中处理视频数据的方法，其特征在于，对于通过预测处理产生的正方形色度预测单元，对该色度残差数据应用变换处理，以产生一个或多个第一正方形色度变换单元，该色度残差数据对应于该正方形色度预测单元；以及对于通过预测处理产生的矩形色度预测单元，对该色度残差数据应用该变换处理，以产生一个或多个第二正方形色度变换单元，该色度残差数据对应于该矩形色度预测单元。
10.根据权利要求8所述的在视频编码系统中处理视频数据的方法，其特征在于，当与该亮度编码单元的预测处理相关的预测分割模式对应于2NxN、2NxnU、2NxnD、Nx2N、nLx2N或nRx2N时，该变换处理强制0级亮度变换单元分割为更小的1级亮度变换单元；其中，通过利用该预测分割模式的该亮度编码单元的该预测处理，产生与亮度预测单元相关的0级亮度变换单元。
11.根据权利要求10所述的在视频编码系统中处理视频数据的方法，其特征在于，当该亮度编码单元的预测分割模式对应于2NxN、2NxnU或2NxnD时，1级亮度变换单元尺寸为2Nx(N/2)，以及1级色度变换单元尺寸为NxN。
12.一种在视频编码系统中处理视频数据的装置，其特征在于，该视频数据使用YUV422色度子采样模式，该在视频编码系统中处理视频数据的装置包括：
用于接收与具有尺寸为2Nx2N的亮度编码单元相关的视频数据的装置，其中N为正整数；
用于接收与具有尺寸为Nx2N尺寸的色度编码单元相关的视频数据的装置，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；
用于通过对与该亮度编码单元相关的该视频数据应用预测处理来产生对应于该亮度编码单元的亮度残差数据的装置；
用于通过对与该色度编码单元相关的该视频数据应用预测处理来产生对应于该色度编码单元的色度残差数据的装置；
用于对该亮度残差数据应用变换处理以形成一个或多个亮度变换单元的装置，该亮度残差数据对应于该亮度编码单元；
用于对该色度残差数据应用变换处理以垂直地形成两个NxN色度变换单元的装置，该色度残差数据对应于该色度编码单元；其中，该色度变换单元的形状被限制为正方形，且所述两个NxN色度变换单元中的每一个使用四叉树被进一步分割为四个色度变换单元；
用于通过应用两维变换至对应于每一个亮度变换单元的亮度残差数据以产生每一个亮度变换单元的亮度变换系数的装置；
用于通过应用两维变换至对应于每一个色度变换单元的色度残差数据以产生每一个色度变换单元的色度变换系数的装置。
13.一种在视频解码器中的视频数据区块的处理方法，其特征在于，该视频数据使用YUV422色度子采样模式，该在视频解码器中的视频数据区块的处理方法包括：
接收与具有尺寸为2Nx2N的亮度编码单元相关的每一个亮度变换单元的亮度变换系数，其中N为正整数；
接收与具有尺寸为Nx2N的色度编码单元相关的每一个色度变换单元的色度变换系数，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；
通过对每一个亮度变换单元的该亮度变换系数应用逆两维变换，来产生每一个亮度变换单元的亮度残差区块，其中所有的亮度变换单元为正方形；
通过对每一个色度变换单元的该色度变换系数应用逆两维变换，来产生每一个色度变换单元的亮度残差区块，其中所有的色度变换单元为正方形；
自于该色度编码单元相关的该色度变换单元的色度残差区块产生与该色度编码单元相关的色度残差区块，其中，所述Nx2N的色度编码单元被垂直分割为两个NxN色度变换单元，且所述两个NxN色度变换单元中的每一个使用四叉树被进一步分割为四个色度变换单元；以及
对与该色度编码单元相关的该色度残差区块应用预测处理，以重建与该色度编码单元相关的该视频数据；其中，与该色度编码单元相关的该色度变换单元不依赖于与该预测处理相关的预测区块尺寸和预测模式。
CN201380017887.9A 2012-04-12 2013-04-12 在视频编码系统中处理视频数据的方法和装置 Active CN104221376B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261623162P 2012-04-12 2012-04-12
US61/623,162 2012-04-12
US201261705829P 2012-09-26 2012-09-26
US61/705,829 2012-09-26
US201261720414P 2012-10-31 2012-10-31
US61/720,414 2012-10-31
PCT/CN2013/074132 WO2013152736A1 (en) 2012-04-12 2013-04-12 Method and apparatus for block partition of chroma subsampling formats

Publications (2)

Publication Number Publication Date
CN104221376A CN104221376A (zh) 2014-12-17
CN104221376B true CN104221376B (zh) 2017-08-29

Family

ID=49327122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380017887.9A Active CN104221376B (zh) 2012-04-12 2013-04-12 在视频编码系统中处理视频数据的方法和装置

Country Status (6)

Country Link
US (1) US10009612B2 (zh)
EP (1) EP2837186B1 (zh)
KR (1) KR101749297B1 (zh)
CN (1) CN104221376B (zh)
WO (1) WO2013152736A1 (zh)
ZA (1) ZA201405675B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667994B2 (en) * 2012-10-01 2017-05-30 Qualcomm Incorporated Intra-coding for 4:2:2 sample format in video coding
CN113784124B (zh) * 2014-01-01 2024-03-19 上海天荷电子信息有限公司 使用多种形状子块进行精细划分的块匹配编码和解码方法
US10506243B2 (en) 2014-03-06 2019-12-10 Samsung Electronics Co., Ltd. Image decoding method and device therefor, and image encoding method and device therefor
WO2016205999A1 (en) * 2015-06-23 2016-12-29 Mediatek Singapore Pte. Ltd. Adaptive coding group for image/video coding
EP4040789B1 (en) * 2016-02-11 2023-10-18 InterDigital VC Holdings, Inc. Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel
EP3449630A4 (en) * 2016-05-28 2019-11-27 MediaTek Inc. METHOD AND APPARATUS FOR CURRENT IMAGE REFERENCING FOR VIDEO CODING
US20190238863A1 (en) * 2016-10-04 2019-08-01 Lg Electronics Inc. Chroma component coding unit division method and device
KR20180039323A (ko) * 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
CN110063058B (zh) 2016-10-10 2022-12-27 三星电子株式会社 用于对图像进行编码/解码的方法和设备
WO2018070554A1 (ko) * 2016-10-10 2018-04-19 삼성전자 주식회사 루마 블록 및 크로마 블록을 부호화 또는 복호화하는 방법 및 장치
CN117041574A (zh) * 2016-10-28 2023-11-10 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
AU2017377490B2 (en) * 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
US20180288439A1 (en) * 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
KR20230124092A (ko) * 2017-03-31 2023-08-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법및 화상 복호 방법
CN114501005A (zh) * 2017-04-28 2022-05-13 夏普株式会社 图像解码装置以及图像编码装置
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
CN107509079B (zh) * 2017-08-16 2019-09-27 西安万像电子科技有限公司 文字块编码方法及装置
WO2019201203A1 (en) * 2018-04-16 2019-10-24 Mediatek Inc. Methods and apparatuses of video processing with overlapped block motion compensation in video coding systems
US11115660B2 (en) 2018-04-30 2021-09-07 Mediatek Inc. Method and apparatus of syntax interleaving for separate coding tree in video coding
US10645396B2 (en) 2018-06-04 2020-05-05 Tencent America LLC Method and apparatus for implicit transform splitting
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
AU2018233042B2 (en) * 2018-09-21 2024-06-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CN110944193B (zh) 2018-09-24 2023-08-11 北京字节跳动网络技术有限公司 视频编码和解码中的加权双向预测
WO2020094151A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
CN116962710A (zh) * 2018-12-15 2023-10-27 华为技术有限公司 图像重建方法和装置
WO2020156573A1 (en) * 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Condition-dependent unsymmetrical quad-tree partitioning
WO2020177118A1 (en) * 2019-03-07 2020-09-10 Alibaba Group Holding Limited Subsampled residual coding for video compression system
AU2019201649A1 (en) 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
AU2019201653A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
EP3989554A4 (en) 2019-06-19 2023-05-10 LG Electronics Inc. METHOD AND APPARATUS FOR PICTURE ENCODING AND DECODING FOR LIMITING THE PARTITION CONDITION OF A CHROMA BLOCK, AND METHOD FOR TRANSMITTING A BIT STREAM
WO2020256488A1 (ko) * 2019-06-19 2020-12-24 엘지전자 주식회사 크로마 블록의 크기를 제한하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP7321364B2 (ja) 2019-09-14 2023-08-04 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータ
JP7443509B2 (ja) * 2019-10-14 2024-03-05 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータの使用
US11546592B2 (en) * 2020-01-08 2023-01-03 Tencent America LLC Flexible block partitioning for chroma component
CN112995664B (zh) * 2021-04-20 2021-08-13 南京美乐威电子科技有限公司 图像采样格式转换方法、计算机可读存储介质和编码器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060123939A (ko) 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
US8379723B2 (en) * 2006-06-27 2013-02-19 Intel Corporation Chroma motion vector processing apparatus, system, and method
US8582656B2 (en) * 2007-04-13 2013-11-12 Apple Inc. Method and system for video encoding and decoding
CN101415121B (zh) 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
AU2007231799B8 (en) * 2007-10-31 2011-04-21 Canon Kabushiki Kaisha High-performance video transcoding method
CN100592796C (zh) 2008-04-15 2010-02-24 中国科学院计算技术研究所 一种视频编码器及其帧内预测模式选择方法
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
CN105611304B (zh) 2010-04-09 2019-06-11 Lg电子株式会社 处理视频数据的方法和装置
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE2 4.2: report on fixed TU depth for chroma;San Jose;《Joint Collaborative Team on Video Coding (JCT-VC)》;20120210;全文 *

Also Published As

Publication number Publication date
EP2837186B1 (en) 2018-08-22
US20150304662A1 (en) 2015-10-22
WO2013152736A1 (en) 2013-10-17
CN104221376A (zh) 2014-12-17
EP2837186A1 (en) 2015-02-18
ZA201405675B (en) 2015-12-23
EP2837186A4 (en) 2016-04-06
KR20140139562A (ko) 2014-12-05
US10009612B2 (en) 2018-06-26
KR101749297B1 (ko) 2017-06-21

Similar Documents

Publication Publication Date Title
CN104221376B (zh) 在视频编码系统中处理视频数据的方法和装置
KR101927387B1 (ko) 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR101952182B1 (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
CN104871537B (zh) 色彩间帧内预测的方法
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
EP3192263B1 (en) Improved palette mode in high efficiency video coding (hevc) screen content coding (scc)
KR101728285B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
TW201722156A (zh) 於視訊寫碼中用於非正方形轉換單元之轉換係數之修改
CN109716765A (zh) 用于视频译码中的帧内预测的经改进内插滤波器
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
CN105379270A (zh) 颜色分量间残余预测
CN105847843A (zh) 具有新颖的帧内预测解码多标准视频译码器
KR20160023729A (ko) 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
KR20170039176A (ko) 팔레트 모드 인코딩 및 디코딩 설계
CN105532007A (zh) 在视频译码中用于非亮度分量的自适应解块滤波
CN106063262A (zh) 3d视频译码中的增量dc残差译码的简化
CN104471943A (zh) 视频译码中的参数集
CN105794210A (zh) 用于运动边界处理的方法以及装置
KR20070026914A (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US11659209B2 (en) Video coding method and apparatus utilizing group of encoding units
CN107124915A (zh) 用于调色板模式译码的对角线副本
KR102076700B1 (ko) 비트스트림 분석 방법 및 장치
Chandrakant Kodpadi EVALUATION OF CODING TOOLS FOR SCREEN CONTENT IN HIGH EFFICIENCY VIDEO CODING

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160908

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: One of the third floor, Soras building, 1st Avenue, Singapore

Applicant before: Mediatek (Singapore) Pte. Ltd.

GR01 Patent grant
GR01 Patent grant