CN105637866A - 自适应色彩分量间残差预测 - Google Patents

自适应色彩分量间残差预测 Download PDF

Info

Publication number
CN105637866A
CN105637866A CN201480057330.2A CN201480057330A CN105637866A CN 105637866 A CN105637866 A CN 105637866A CN 201480057330 A CN201480057330 A CN 201480057330A CN 105637866 A CN105637866 A CN 105637866A
Authority
CN
China
Prior art keywords
residual sample
bit depth
lightness
depth
lightness residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480057330.2A
Other languages
English (en)
Other versions
CN105637866B (zh
Inventor
金佑植
瑞珍·雷克斯曼·乔许
濮伟
霍埃尔·索赖·罗哈斯
陈建乐
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105637866A publication Critical patent/CN105637866A/zh
Application granted granted Critical
Publication of CN105637866B publication Critical patent/CN105637866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于解码视频数据的装置包含经配置以存储视频数据的存储器，及至少一个处理器。所述至少一个处理器经配置以：确定视频数据块的明度残差样本的第一位深度；确定所述视频数据块的经预测色度残差样本的第二位深度；基于所述第一位深度及所述第二位深度而调整所述明度残差样本以产生位深度经调整的明度残差样本；基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定所述视频数据块的色度残差样本；及基于所述明度残差样本及所述色度残差样本而解码所述视频数据块。

Description

自适应色彩分量间残差预测
本申请案主张2013年10月28日申请的美国临时申请案61/896,580的优先权，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频译码技术，例如通过MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、高效率视频译码(HEVC)标准及此类标准的扩展(例如，可缩放视频译码(SVC)、多视图视频译码(MVC)和范围扩展)定义的标准中描述的技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码树单元(CTU)、译码单元(CU)和/或译码节点。视频块可包含明度块和色度块。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致待译码块的预测块。残差数据表示待译码原始块与预测块的间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残差数据编码的。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，可接着量化所述残差变换系数。经量化变换系数可经熵译码以实现甚至更多压缩。
发明内容
一般来说，本发明描述与使用具有不同位深度的分量对色彩空间的色彩分量间残差预测相关的技术。位深度是用于表示色彩空间的特定分量的位数目。视频译码器(即，视频编码器或视频解码器)可实施本发明的技术以在明度残差样本的位深度不同于色度残差样本的位深度时至少部分基于所述视频块的位深度经调整的明度残差样本来预测视频块的色度残差样本。
在一个实例中，根据本发明的技术，一种解码视频数据的方法包括：确定视频数据块的明度残差样本的第一位深度；确定视频数据块的经预测色度残差样本的第二位深度；基于所述第一位深度及所述第二位深度调整所述明度残差样本以产生位深度经调整的明度残差样本；基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定视频数据块的色度残差样本；及基于所述明度残差样本及所述色度残差样本而解码视频数据块。
在另一实例中，根据本发明的技术，一种用于编码视频数据的方法包括：确定视频数据块的明度残差样本的第一位深度；确定视频数据块的色度残差样本的第二位深度；基于所述第一位深度及所述第二位深度调整所述明度残差样本以产生位深度经调整的明度残差样本；基于所述位深度经调整的明度残差样本及所述色度残差样本而确定视频数据块的经预测色度残差样本；及基于明度残差样本及经预测色度残差样本而编码所述视频数据块。
在另一实例中，本发明的技术针对于一种视频解码器，其包括经配置以存储视频数据的存储器，及与存储器通信的至少一个处理器，且所述至少一个处理器经配置以：确定视频数据块的明度残差样本的第一位深度；确定视频数据块的经预测色度残差样本的第二位深度；基于所述第一位深度及所述第二位深度调整所述明度残差样本以产生位深度经调整的明度残差样本；基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定视频数据块的色度残差样本；及基于所述明度残差样本及所述色度残差样本而解码视频数据块。
在另一实例中，根据本发明的技术，一种用于编码视频的装置包括经配置以存储视频数据的存储器，及与存储器通信的至少一个处理器，且所述至少一个处理器经配置以：确定视频数据块的明度残差样本的第一位深度；确定视频数据块的色度残差样本的第二位深度；基于所述第一位深度及所述第二位深度调整所述明度残差样本以产生位深度经调整的明度残差样本；基于所述位深度经调整的明度残差样本及所述色度残差样本而确定视频数据块的经预测色度残差样本；及基于明度残差样本及经预测色度残差样本而编码所述视频数据块。
在另一实例中，根据本发明的技术，一种用于解码视频的装置包括：用于确定视频数据块的明度残差样本的第一位深度的装置；用于确定视频数据块的经预测色度残差样本的第二位深度的装置；用于基于所述第一位深度及所述第二位深度调整所述明度残差样本以产生位深度经调整的明度残差样本的装置；用于基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定视频数据块的色度残差样本的装置；及用于基于所述明度残差样本及所述色度残差样本而解码视频数据块的装置。
在另一实例中，根据本发明的技术，一种非暂时性计算机可读存储媒体具有存储在其上的指令，所述指令在被执行时致使至少一个处理器：确定视频数据块的明度残差样本的第一位深度；确定视频数据块的经预测色度残差样本的第二位深度；基于所述第一位深度及所述第二位深度调整所述明度残差样本以产生位深度经调整的明度残差样本；基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定视频数据块的色度残差样本；及基于所述明度残差样本及所述色度残差样本而解码视频数据块。
附图及以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。
附图说明
图1是根据本发明的一或多个方面的说明可执行自适应色彩分量间残差预测的技术的实例视频编码和解码系统的框图。
图2是根据本发明的一或多个方面的说明可执行自适应色彩分量间残差预测的技术的视频编码器的实例的框图。
图3是根据本发明的一或多个方面的说明可执行自适应色彩分量间残差预测的技术的视频解码器的实例的框图。
图4是根据本发明的一或多个方面的说明执行自适应色彩分量间残差预测的过程的实例的流程图。
图5是根据本发明的一或多个方面的说明执行自适应色彩分量间残差预测的过程的另一实例的流程图。
具体实施方式
视频译码器(即，视频编码器或解码器)一般经配置以对一般表示为图片序列的视频序列进行译码。通常，视频译码器使用基于块的译码技术对图片序列中的每一者进行译码。作为基于块的视频译码的部分，视频译码器将视频序列的每一图片划分为数据块。视频译码器个别地对块中的每一者进行译码(即，编码或解码)。对视频数据块进行编码一般涉及通过产生原始块的一或多个预测块以及对应于原始块与所述一或多个预测块之间的差的残差块来对原始数据块进行编码。具体来说，原始视频数据块包含由“样本”的一或多个通道组成的像素值的矩阵，且预测块包含其中的每一者也由预测性样本组成的经预测像素值的矩阵。残差块的每一样本指示预测块的样本与原始块的对应样本之间的像素值差。
用于视频数据块的预测技术一般分类为帧内预测及帧间预测。帧内预测(即，空间预测)一般涉及从同一图片内的相邻经先前译码块的像素值预测块。帧间预测大体上涉及从经先前译码图片中的经先前译码块的像素值预测块。
每一视频数据块的像素各自表示特定格式的色彩，称为“色彩表示”。不同视频译码标准可使用不同色彩表示用于视频数据块。作为一个实例，由视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)视频标准的主规范使用YCbCr色彩表示来表示视频数据块的像素。
YCbCr色彩表示一般参考其中视频数据的每一像素由色彩信息的三个分量或通道“Y”、“Cb”和“Cr”表示的色彩表示。Y通道表示特定像素的明度(即，光强度或亮度)数据。Cb和Cr分量分别是蓝差和红差色度，即“色度”分量。YCbCr常常用以表示经压缩视频数据中的色彩，因为Y、Cb和Cr分量中的每一者之间存在强去相关，意味着Y、Cb和Cr分量中的每一者之间存在极少的重复或冗余的数据。使用YCbCr色彩表示对视频数据进行译码因此在许多情况下提供良好压缩性能。
另外，许多视频译码技术利用称为“色度子取样”的技术来进一步改善色彩数据的压缩。具有YCbCr色彩表示的视频数据的色度子取样通过根据模式选择性地省略色度分量而减少经译码视频位流中用信号发送的色度值的数目。在经色度子取样视频数据的块中，所述块的每一像素一般存在明度值。然而，可仅针对块的像素中的一些用信号发送Cb和Cr分量，以使得色度分量相对于明度分量经子取样。
视频译码器(其可指代视频编码器或视频解码器)内插像素的Cb和Cr分量，其中Cb和Cr值针对经色度子取样像素块未显式地用信号发送。色度子取样良好起作用以减少色度数据量而不会在较均匀的像素块中引入失真。色度子取样良好起作用以表示具有广泛不同色度值的视频数据，且在那些情况中可引入大量失真。
作为对HEVC标准的扩展的HEVC范围扩展针对额外色彩表示(也被称作“色彩格式”)以及针对增加的色彩位深度对HEVC增加支持。HEVC范围扩展的一个最近草案是：“HEVC范围扩展文本规范：草案7(HEVCRangeExtensiontextspecification:Draft7)”(第17次会议，西班牙瓦伦西亚，2014年3月27日到4月4日，JCTVC-Q1005_v7，第242页)，且从http://phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v9.zip得到。色彩位深度是用以表示色彩表示的每一分量的位数目。对其它色彩格式的支持可包含针对编码和解码RGB视频数据源以及具有其它色彩表示且使用与HEVC主规范不同的色度子取样模式的视频数据的支持。被称作“HEVC工作草案10(HEVCWorkingDraft10)”或“WD10”的HEVC标准的最近草案在布洛斯(Bross)等人的文献JCTVC-L1003v34“高效率视频译码(HEVC)文本规范草案10(用于FDIS和最后呼叫)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞士日内瓦第12次会议，2013年1月14-23日)中描述，其可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下载。
如上所提到，由于色彩表示(也被称作色彩格式)的明度分量与两个色度分量之间的强色彩去相关，HEVC主规范使用YCbCr。然而，在一些情况下，Y、Cb及Cr分量之间可仍存在相关度。色彩表示的分量之间的相关可被称为交叉色彩分量相关或色彩分量间相关。
视频译码器可经配置以基于不同分量(例如，明度分量的样本)的值而预测一个分量(例如，色度分量的样本)的值。基于第二分量而预测来自第一分量的样本的过程被称作“色彩分量间预测”。视频译码器可基于第一分量与第二分量之间的相关度来预测第一分量的值。
例如，在一些实例中，视频编码器可通过增加或减小明度残差样本而调整明度残差样本的块以确定位深度经调整的明度残差样本的块。视频编码器接着可基于位深度经调整的明度残差样本及色度残差样本而确定色度残差样本的预测块。视频编码器接着可基于基于经预测色度残差样本及明度残差样本而编码视频数据块。
视频解码器可执行一般互逆的过程。视频解码器可调整明度残差样本，且可基于位深度经调整的明度残差样本及经预测色度残差样本而确定色度残差样本。视频解码器接着可基于色度残差样本及明度残差样本而解码视频块。
视频译码器可使用特定数目的位来表示每一色彩分量。视频译码器用于表示色彩通道的位的数目被称作色彩通道的“位深度”。在一些情况下，明度(Y)通道可具有比色度通道中的一者或两者更大的位深度(位数目)。在一些情况下，色度通道中的一者或两者可具有比明度通道更大的位深度。然而，在具有不同位深度的分量之间执行色彩分量间残差预测可导致不准确的预测。本发明的技术针对在分量具有不同位深度时提高分量间预测的准确度。
HEVC视频译码标准界定树状结构，其界定视频数据块。本发明的技术可应用于HEVC树状结构的多种不同分量。在HEVC中，视频译码器基于树状结构将经译码图片(也被称作“帧”)分割成块。此些块可被称为树块。在一些情况下，树块还可称为最大译码单元(LCU)。HEVC的树块可大致类似于例如H.264/AVC等先前视频译码标准的宏块。然而，不同于一些视频译码标准的宏块，树块不限于某一大小(例如，某一数目的像素)。树块可包含一或多个译码单元(CU)，其可递归地划分成子译码单元(子CU)。
每一CU可包含一或多个变换单元(TU)。每一TU可包含已经变换的残差数据。另外，每一CU可包含一或多个预测单元(PU)。PU包含与CU的预测模式相关的信息。本发明的技术可应用于块，例如LCU、CU、子CU、PU、TU、宏块、宏块分区、子宏块或其它类型的视频数据块中的一或多者。
在视频编码和解码期间，视频译码器可使用帧间或帧内预测确定预测性视频数据块。基于视频数据的预测块，视频译码器可确定残差视频数据块，其可包含预测块与例如编码器侧上的原始视频块的对应样本之间的差。在解码器侧上，残差视频数据块包含预测块与经输出用于显示的最终视频块的对应样本之间的差。确切地说，残差视频数据块可添加到预测块以重构原始视频数据块。
在视频解码期间，视频解码器可确定类似于待解码的当前块的预测块。PU可包含预测块，其可进一步包括明度和色度样本的预测块。视频解码器还可在经译码视频位流中接收包括经变换残差视频数据块的TU，例如经变换明度残差块和色度残差块。确切地说，TU可包含表示残差数据的变换系数。视频解码器可向变换系数应用反变换以重现数据的残差块。如上文所论述，残差视频数据块表示解码器输出以用于显示的块与预测块之间的差。为了重构用于输出的块，视频解码器可组合经反变换TU样本与对应PU样本。
在视频译码器结束解析且反变换任何变换系数块以获得残差明度和色度残差块之后，视频译码器可执行本发明的技术。在本发明中，明度残差样本块表示为：
resY。
视频解码器通过将明度残差块的变换系数的对应块反变换而可获得明度残差样本的块。视频解码器可使用此明度残差样本块来重构明度块。例如，视频解码器可将由明度残差样本提供的像素差值与对应的预测性明度像素样本进行组合以重构明度像素样本的块。
视频解码器可同样通过将色度残差块的变换系数的对应块反变换而获得色度残差样本的块。色度残差样本的块被标示为：
resC。
视频解码器可使用色度残差样本重构色度块。例如，视频解码器可将由色度残差样本提供的像素差值与对应预测性色度像素样本进行组合以重构色度像素样本的块。
本发明还引入经预测色度残差样本的块的概念，其被标示为：
resC'。
经预测色度残差样本可包含表示色度残差样本与明度残差样本的版本(例如，相对于明度残差样本使用比例因子缩放的版本，例如，如下文所描述)之间的差的残差样本。
一般来说，根据本发明的技术配置的视频编码器可确定及编码经预测色度残差样本。与编码色度残差样本相比，编码经预测色度残差样本可提供更好的位流译码效率。
为确定经预测色度残差样本，视频编码器可缩放及/或调整明度残差样本的块。为缩放明度样本，在一些实例中，视频编码器可确定指示明度残差样本的块与色度残差样本的块之间的相关度的比例因子。为调整明度残差样本，视频编码器可基于明度残差样本的位深度及色度残差样本的位深度而调整明度残差样本。
在一些实例中，视频编码器可首先使比例因子乘以明度残差样本的块以产生经缩放明度残差。视频编码器接着可基于色度样本的位深度及明度样本的位深度调整经缩放明度残差样本以产生位深度经调整的明度残差样本。在一些其它实例中，视频编码器可首先调整明度残差样本以产生位深度经调整的明度残差样本，且随后通过使位深度经调整的明度残差样本乘以比例因子而缩放位深度经调整的明度样本。
在一些实例中，视频编码器还可确定经缩放明度残差样本及色度残差样本的位深度是否不同。如果在所述位深度之间不存在差，那么视频编码器可不调整明度残差样本的值。
如果明度及色度位深度不同，那么视频编码器可调整(即，增加或减小)明度残差样本的值以产生位深度经调整的明度残差样本。视频编码器可基于明度残差样本的第一位深度及色度残差样本的第二位深度而增加或减小明度残差样本的值。例如，视频编码器可基于明度残差样本的第一位深度与色度残差样本的第二位深度之间的位深度差而调整明度残差样本的值。在一些实例中，为产生位深度经调整的明度残差样本，视频编码器可调整明度残差样本的值以匹配色度残差样本的位深度。
一旦视频编码器产生位深度经调整的明度残差样本，视频编码器可确定经预测色度残差样本。视频编码器可通过确定色度残差样本与对应的位深度经调整的明度残差样本之间的差而计算经预测色度残差样本。视频编码器接着可变换、量化及编码(例如，熵编码)经预测色度残差样本及(未经缩放及未经调整的)明度残差样本。视频编码器还可量化及熵编码应用到明度残差样本的比例因子(如果存在)。
根据本发明的技术配置的视频解码器可执行一般互逆的过程。作为一实例，视频解码器可接收明度残差样本的块及经预测色度样本的对应块。视频解码器可解量化及反变换明度残差样本的所述及经预测色度残差样本的块以解码样本的两个所接收块。视频解码器可缩放及/或调整经解码明度残差样本以确定位深度经调整的明度残差样本。
在一些实例中，视频解码器可基于比例因子而缩放明度残差样本，视频解码器可在经编码视频位流中接收所述比例因子。视频解码器可基于明度残差样本的第一位深度及经预测色度残差样本的第二位深度而调整明度残差样本以产生位深度经调整的明度残差样本。位深度调整可产生匹配经预测色度残差样本的位深度的位深度经调整的明度残差样本。
在一些实例中，视频解码器可缩放明度残差样本以产生经缩放明度残差样本，且随后调整经缩放明度残差样本以产生位深度经调整的明度残差样本。在一些实例中，视频解码器可调整预测性明度残差样本以产生位深度经调整的明度样本。视频解码器接着可缩放位深度经调整的明度残差样本以产生经缩放明度残差样本。如果在所述位深度之间不存在差，那么视频解码器可不调整明度残差样本的位深度。
视频解码器接着可基于位深度经调整的明度残差样本及经预测色度残差样本而确定视频数据块的色度残差样本的块。例如，视频解码器可将位深度经调整的明度残差样本与经预测色度残差样本进行组合以形成色度残差样本。视频解码器随后通过组合明度及色度样本的对应的预测块及残差块以形成样本的经重构块而重构原始块。
上文相对于产生位深度经调整的明度残差样本及基于位深度经调整的明度残差样本而确定色度残差样本所描述的过程可适用于两个色度分量(Cb及Cr)。而且，在各种实例中，块的色度分量(即，Cb及Cr)可具有不同的位深度。
图1是说明根据本发明的一或多个方面的可执行用于分量间残差预测的技术的实例视频编码和解码系统的框图。如图1中所示，系统10包含源装置12，所述源装置12提供经编码视频数据以在稍后时间由目的地装置14解码。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。
根据本发明的一或多个实例，源装置12的视频编码器20可经配置以确定视频数据块的明度残差样本的块，且确定视频数据块的色度残差样本的第二位深度。视频编码器20可进一步经配置以：基于第一位深度及第二位深度而调整明度残差样本以产生位深度经调整的明度残差样本；基于位深度经调整的明度残差样本及色度残差样本而确定视频数据块的经预测色度残差样本；及基于明度残差样本及经预测色度残差样本而编码视频数据块。
以互逆的方式，视频解码器30可经配置以确定视频数据块的明度残差样本的第一位深度，且确定视频数据块的经预测色度残差样本的第二位深度。视频解码器30可进一步经配置以：基于第一位深度及第二位深度而调整明度残差样本以产生位深度经调整的明度残差样本；基于位深度经调整的明度残差样本及经预测色度残差样本而确定视频数据块的色度残差样本；及基于明度残差样本及色度残差样本而解码视频数据块。
源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括多种多样的装置中的任一者，包含台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，并且(例如)经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
在一些实例中，输出接口22可将经编码数据输出到存储装置。类似地，输入接口28可从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储源装置12产生的经编码视频的另一中间存储装置。目的地装置14可(例如，经由流式传输或下载)从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、超文本传输协议(HTTP)流式传输服务器或本地磁盘驱动器。目的地装置14可通过标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或环境。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
图1的系统10仅是一个实例。用于色彩分量间残差预测的技术可由任何数字视频编码和/或解码装置执行。称为“编解码器”的视频编码器/解码器可一般执行本发明的技术中的一或多者。此外，视频预处理器可执行本发明的技术。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供传输到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可以包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。在一些实例中，视频源18产生基于计算机图形的数据作为源视频，或实况视频、所存档视频和计算机产生的视频的组合。在一些情况下，视频源18可为摄像机。在一些实例中，视频源18可为摄像机。在一些实例中，源装置12和目的地装置14可为所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可一般适用于视频译码，且可应用于无线和/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。输出接口22可将经编码视频信息输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可例如经由网络传输从源装置12接收经编码视频数据且将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
在图1的实例中，目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，其包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如阴极射线管(CRT)显示器、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20及视频解码器30可根据由视频译码联合合作小组(JCT-VC)开发的视频译码标准操作，所述视频译码标准例如是高效率视频译码(HEVC)标准以及HEVC范围扩展。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-TH.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-TH.263。
尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，则多路复用器-多路分用器单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器和解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件固件或其任何组合。当部分以软件实施本发明的技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含描述GOP中所包含的图片数目的GOP的标头中、图片中的一或多者的标头中或别处的语法数据。图片的每一切片可包含描述用于相应的切片的编码模式的切片语法数据。视频编码器20通常对包含在CU中和个别视频切片内的样本的视频块操作以便对视频数据进行编码。
HEVC标准指定视频帧或图片可划分成树块(即，最大译码单元(LCU)或“译码树单元”(CTU))的序列。树块可包含明度和/或色度样本。位流内的语法数据可界定LCU的大小，LCU是在像素数目方面的最大译码单元。在一些实例中，CTU中的每一者包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单个译码树块及用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。视频帧或图片可以被分割成一或多个切片。切片包含呈译码次序(例如，光栅扫描次序)的若干连续树块。
每一树块可根据四叉树分裂成一或多个译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果一个CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其表明对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可以递归地来定义，且可以取决于CU是否分裂成数个子CU。如果CU未进一步分裂，那么所述CU称为叶CU。
视频编码器20可对CTU的译码树块递归地执行四叉树分割以将译码树块划分为译码块，因此名称为“译码树单元”。译码块可以是样本的N×N块。在一些实例中，CU包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块及用于对所述译码块的样本进行译码的语法结构。
CU具有与H.264标准的宏块类似的目的，除了CU不具有大小区别。举例来说，树块可分裂成四个子节点(也称为子CU)，且每一子节点又可为父节点且可分裂成另外四个子节点。最终的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，还被称作叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，被称作最大CU深度，且还可定义译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”指代HEVC的背景下可进一步包含一或多个预测单元(PU)或变换单元(TU)的CU或其它标准的上下文中的相似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。
CU包含一或多个预测单元(PU)和一或多个变换单元(TU)。CU的大小对应可为正方形或矩形形状。CU的大小可介于8×8个像素至多达具有最大64×64个像素或更大的树块大小的范围内。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。CU可经分割以使得CU的PU可为非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形还是非正方形)块。CU的PU可以包括图片的亮度样本的预测块、色度样本的两个对应预测块，以及用于对预测块样本进行预测的语法结构。在单色图像或具有三个单独彩色平面的图片中，PU可包括单个预测块，及用以对预测块样本进行预测的语法结构。
变换块可为向其应用相同变换的样本的矩形块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。因此，对于以YCbCr色彩空间格式化的CU，CU的每一TU可具有明度变换块、Cb变换块和Cr变换块。TU的明度变换块可为CU的明度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可以是CU的Cr残差块的子块。在单色图像或具有三个单独彩色平面的图片中，TU可包括单个变换块，及用以对变换块样本进行变换的语法结构。TU可以是正方形或非正方形(例如，矩形)形状。换句话说，对应于TU的变换块可为正方形或非正方形形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，可使用被称为“残差四叉树”(RQT)的四叉树结构将对应于CU的残差样本再分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。在一些实例中，可使用帧内模式或帧间模式对PU进行编码。作为另一实例，当PU经帧间模式编码时，PU可以包含定义PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
如上文所指出，具有一或多个PU的叶CU也可包含一或多个TU。TU可以使用RQT(还被称作TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。随后，每一TU可进一步分裂为另外的若干子TU。当TU未进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一叶CU的叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残差值，以作为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的对应叶TU并置。在一些实例中，叶TU的最大大小可以对应于对应的叶CU的大小。
此外，叶CU的TU也可以与称为RQT的相应四叉树数据结构相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
PU和TU两者可含有(即，对应于)对应于与所述块相关联的色彩空间的通道中的每一者的样本的一或多个块。PU的块可包含预测块的样本，且TU的块可为包含对应于原始块与预测块之间的差的残差样本的块。
作为一实例，HEVC支持各种PU大小的预测。假设特定CU的大小为2N×2N，那么HEVC支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HEVC还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是将另一方向分割成25％和75％。CU的对应于25％分区的部分由“n”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”是指经水平分割的2N×2NCU，其中顶部为2N×0.5NPU，而底部为2N×1.5NPU。
在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块不需要一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M像素，其中M未必等于N。
在运动补偿(在本文献中别处描述)、帧内和/或帧间预测期间，视频编码器20及视频解码器30可经配置以执行色彩分量间残差预测。在分量间残差预测期间，视频编码器20可确定用以预测当前块的残差样本的预测性残差块。预测块可包括色度残差样本的块或明度残差样本的块。视频编码器20可基于第一分量(例如，明度)的样本与第二分量(例如，色度、Cb或Cr)的样本之间的相关度而利用第一分量的残差样本预测第二不同分量的残差样本。视频编码器20或视频解码器30可在确定色度分量的样本时利用原始明度残差信号或经重构明度残差信号。
在执行分量间预测时，视频编码器20或视频解码器30可基于明度残差样本的位深度及色度残差样本的位深度而调整明度残差样本以产生位深度经调整的明度残差样本。在一些实例中，视频编码器20或视频解码器30可将明度残差样本调整为匹配色度残差样本的位深度。在一些实例中，视频编码器20或视频解码器30可使用至少一个算术移位操作来调整明度残差样本。
作为调整过程的实例，如果经缩放明度残差样本的位深度小于色度残差样本的位深度，那么视频编码器20或视频解码器30可增加明度残差样本残差样本的值。视频编码器20或视频解码器30可增加明度残差样本的位深度以产生位深度经调整的明度残差样本。如果经缩放明度残差样本的位深度大于色度残差样本的位深度，那么视频编码器20或视频解码器30可减小明度残差样本的值。如果色度残差样本及明度残差样本的位深度相等，那么视频编码器20可不增加或减小明度残差样本的值。
视频编码器20或视频解码器30还可在调整明度残差样本之前或之后缩放明度残差样本。为缩放明度残差样本，视频编码器20可基于视频数据块的明度残差样本与视频数据块的色度残差样本之间的相关度而确定比例因子(α)。在一些实例中，视频编码器20可编码所述比例因子，且视频解码器30可在经编码视频位流中接收所述比例因子。视频编码器20或视频解码器30使明度残差样本或位深度经调整的明度残差样本乘以所述比例因子以产生经缩放明度残差样本。一旦视频编码器20或视频解码器30已缩放及/或位深度调整所述明度残差样本，视频编码器20或视频解码器30便可基于位深度经调整及/或经缩放的明度残差样本而确定色度残差样本。
在一些情况下，视频编码器20或视频解码器30可在缩放及/或调整明度残差样本的位深度时使位深度经调整及/或经缩放的明度残差样本的值饱和。为避免使明度残差值饱和，视频编码器20可将位深度经调整及/或经缩放的明度残差样本的值修剪在一范围内。在一些实例中，所述范围的最大值及最小值可基于变量。作为实例，视频编码器20或视频解码器30可根据以下等式修剪位深度经调整及/或经缩放的明度残差样本的值：
[-maxResy",(maxResY'-1)]，
其中maxResY'是指示位深度经调整及/或经缩放的明度残差样本的所要的范围的正及负范围界限的变量。
在一些情况下，用于表示明度残差样本中的每一者及色度残差样本的通道的位的数目(被称作位深度)可不相等。根据本发明的技术，在这些情况下，视频编码器20或视频解码器30可调整(即，增加或减小)明度残差样本的值以产生位深度经调整的明度残差样本。视频编码器20和视频解码器30可基于明度残差样本及色度残差样本的位深度而调整明度残差样本的值。例如，在一些实例中，视频编码器20或视频解码器30可将明度残差样本的位深度调整为匹配色度残差样本的位深度。在调整明度残差样本以产生位深度经调整的明度残差样本之后，在一些实例中，视频编码器20和视频解码器30可基于比例因子而缩放位深度经调整的明度残差样本。
在一些实例中，视频编码器20和视频解码器30可根据等式(1)计算色度残差位深度与经缩放明度残差位深度之间的差：
delta_bit_depth＝bitDepth_luma-bitDepth_chroma(1)。
在等式(1)中，delta_bit_depth是经缩放明度残差样本的位深度(bitDepth_luma)与色度残差样本的位深度(bitDepth_chroma)之间的以位为单位的差。
在实例中，在delta_bit_depth>0时(即，在明度位深度大于色度位深度)时，视频编码器20或视频解码器30可根据等式(2)通过减小明度残差样本的位深度而调整明度残差样本的位深度以产生位深度经调整的明度残差样本：
resY'＝sign(resY)*((|resY|+offset)>>delta_bit_depth)(2)。
在等式(2)中，resY是明度残差样本的块，resY'是位深度经调整的明度残差样本的块，且“>>”表示算术右移位操作。变量resY可表示原始明度残差信号或经重构明度残差信号。Sign(x)是在x是正值的情况下等于1且在x是负值的情况下等于-1的函数。变量“偏移”是视频编码器20可用于促进舍入的偏移变量。在一些实例中，视频编码器20和视频解码器30可将偏移设定为等于2(delta_bit_depth-1)，经受偏移>＝0的约束。等式(2)的操作：2(delta_bit_depth-1)可表示舍入操作。在一个实例中，视频编码器20或视频解码器30可将偏移设定为等于等于0。
在delta_bit_depth<0时的情况下，视频编码器20和视频解码器30可基于delta_bit_depth减小经缩放残差样本的值以产生resY'。在一个实例中，视频编码器20或视频解码器30可根据等式(3)计算位深度经调整的明度残差样本的块resY'：
resY'＝resY<<delta_bit_depth(3)，
其中“<<”表示算术左移位操作。
可有可能使resY'的值饱和。在一个实例中，resY'的值被修剪到范围[-maxResY',(maxResY'-1)]，其中maxResY'指示resY'的所要的范围。
在视频编码器20或视频解码器30确定位深度经调整的明度残差样本之后，视频编码器20和视频解码器30可缩放位深度经调整的明度残差样本以产生经缩放明度残差样本。在一些实例中，视频编码器20和视频解码器30可根据以下等式(4)调整明度残差样本：
resY”＝α*resY'(4)。
在等式(4)中，resY”表示经缩放明度残差样本，α是比例因子，且resY'表示位深度经调整的明度残差样本。
在以上实例中，视频编码器20和视频解码器30可基于明度残差样本的位深度及色度残差样本的位深度而调整明度残差样本，且随后例如根据等式(3)及(4)缩放位深度经调整的明度残差样本。在一些额外实例中，视频编码器20和视频解码器30可首先根据等式(5)缩放位深度：
resY'＝α*resY(5)，
其中resY表示明度残差样本，α是比例因子，且resY'表示经缩放明度残差样本。在缩放明度残差样本以产生经缩放明度残差样本之后，视频编码器20和视频解码器30接着可调整明度残差样本以产生位深度经调整的明度残差样本(在这些实例中被称作resY”)。在一些实例中，视频编码器20和视频解码器30可通过基于明度残差样本的位深度及色度残差样本的位深度将经缩放明度残差样本至少算术移位一次而调整经缩放明度残差样本。
在视频编码器20确定resY”之后，视频编码器20可从色度残差样本的对应块(被称作resC)减去resY”(其可表示经缩放及/或位深度经调整的明度残差样本)以产生色度残差样本的经预测块resC'。等式(6)进一步描述确定resC'的过程：
resC'＝resC-resY”(6)。
视频编码器20可变换、量化及熵编码明度残差样本的(未经缩放及未经调整的)块。视频编码器20还可变换、量化及熵编码经预测色度残差样本的块。
以一般互逆的方式，根据本发明的技术，视频解码器30可接收及解码视频数据块的明度残差样本及经预测色度残差样本。在一些实例中，视频解码器30可接收及解码比例因子。所接收的值中的每一者可被反量化及反变换。视频解码器30可解量化及反变换缩放因数、明度残差样本及/或经预测色度残差样本。
在一些实例中，视频解码器30可使用至少一个算术移位操作调整明度残差样本以产生位深度经调整的明度残差样本。视频解码器30接着可例如根据以上等式(4)缩放位深度经调整的明度残差样本。在一些其它实例中，视频解码器30可首先使比例因子乘以明度残差样本的块以产生经缩放明度残差样本的块resY'，如以上等式(5)中所描述，且随后使用至少一个算术移位操作调整明度残差样本以产生位深度经调整的明度残差样本。
视频编码器30可将经缩放及/或位深度经调整的明度残差样本的块与经预测色度残差样本的块进行组合以产生最终或经更新的色度残差样本的块。等式(7)描述视频解码器30可借以基于经缩放及/或位深度经调整的明度残差样本的块及经预测色度残差样本的块而确定色度残差样本的块的过程：
resC”'＝resC”+resY”(7)。
在等式7中，resC”'表示色度残差样本的块。变量resC”表示经预测色度残差样本的经反量化及反变换的块，且resY”是明度残差样本的经缩放及/或位深度经调整的块。
在一些实例中，不调整(即，右移位或左移位)经缩放明度残差样本的块，视频编码器20或解码器30可调整比例因子。例如，所述比例因子可具有以下可能的值中的一者：{-1,-0.5,-0.25,-0.125,0,0.125,0.25,0.5或1}。视频编码器20或视频解码器30可基于如上文相对于等式(1)所定义的delta_bit_depth变量的值而缩放(即，增加或减小)比例因子的值。
在一些实例中，视频编码器20或视频解码器30可计算α的经调整值(被称作α')。如果delta_bit_depth大于0，那么视频编码器20或视频解码器30可根据等式(8)计算α'：
α'＝sign(α)*(|α|>>delta_bit_depth)(8)。
如果delta_bit_depth小于0，那么视频编码器20或视频解码器30可根据等式(9)计算α'：
α'＝α<<delta_bit_depth(9)。
视频解码器30及视频编码器20接着可如上文所描述计算经缩放及/或位深度经调整的明度残差样本，然而，视频编码器20和视频解码器30可使用经调整的比例因子α'而不是α来缩放明度残差样本。
在一些实例中，视频编码器20或视频解码器30可通过使用至少一个算术移位操作而调整及缩放明度残差样本。在一个实例中，如果(α*resY)>0，那么视频编码器20或视频解码器30可根据等式(10)计算resY'：
resY'＝(*resY)>>3(10)。
在另一实例中，如果(α*resY)<0，那么视频编码器20和视频解码器30可根据等式(11)计算位深度经调整及/或经缩放的明度残差样本：
resY'＝-(|α*resY|>>3)(11)。
在各种实例10及11中，在一些实例中，α可具有值{-8,-4,-2,-1,0,1,2,4,8}。
在一些实例中，视频编码器20或视频解码器30可基于移位变量(被称作N)调整明度残差样本以产生位深度经调整的明度残差样本(例如，resY')。移位变量N可取决于位深度差。视频编码器20或视频解码器30可根据等式(12)计算N：
N＝(delta_bit_depth+3)(12)。
如果N等于0，那么视频编码器20或视频解码器30可计算位深度经调整及/或经缩放的明度残差样本，而不调整明度残差样本或缩放明度残差样本。如果N大于0，那么视频编码器20或视频解码器30可根据等式(13)计算resY'：
resY'＝sign(α*resY)*((|α*resY|+offset)>>N)(13)，
其中在x是正值的情况下sign(x)相等1，在x是负值的情况下等于-1，且其中偏移等于2(N-1)，如上文相对于等式(2)所描述。在一些实例中，偏移可等于0。
如果N<0，那么视频编码器20和视频解码器30可根据等式(14)计算位深度经调整及/或经缩放的明度残差样本：
resY'＝resY<<N(14)。
可有可能使位深度经调整及/或经缩放的明度残差样本的值饱和。在一个实例中，视频编码器20或视频解码器30可将位深度经调整及/或经缩放的明度残差样本的值修剪到范围[-maxResY',(maxResY'-1)]，其中maxResY'指示resY'的所要的范围。resY可为原始明度残差信号或经重构明度残差信号。随后，视频编码器20或视频解码器30可根据等式(15)基于明度残差样本的块而确定经预测色度残差样本：
resC'＝resC-resY'(15)。
视频编码器20可变换、量化及熵编码resC'。
在解码器侧处，视频解码器30可执行与经执行以产生位深度经调整及/或经缩放的明度残差样本相同的操作，但仅使用经重构明度残差信号。视频解码器30可根据等式(16)产生经重构色度信号：
resC”'＝resC”+resY'(16)，
其中resC”是色度的经反量化及反变换的信号。
在一些实例中，视频编码器20可经配置以用信号发送指示明度残差样本及色度残差样本的位深度中的差的值。以互逆的方式，视频解码器30可经配置以解码指示明度残差样本及色度残差样本的位深度中的差的值。在一些实例中，视频编码器20和视频解码器30可译码指示位深度差的值，即使所述值等于零也如此。在一些实例中，视频编码器20和视频解码器30可仅在指示位深度差的值不等于零的情况下译码所述值。
在一些实例中，视频编码器20和视频解码器30可不使用移位操作来增加或减小明度残差样本的值以产生经缩放及/或位深度经调整的明度残差样本。在一些实例中，视频编码器20和视频解码器30可使用比例因子且乘以比例因子而非使用移位操作来调整明度残差样本。
在一些实例中，视频编码器20和视频解码器30可使用预先界定的图通过将原始或经重构明度残差值的值映射到经缩放及/或位深度经调整的明度残差值而调整明度残差样本。视频编码器20可用信号发送所述图，视频解码器30可解码所述图，或可预先界定所述图。所述图可具有一或多个条目。
在使用CU的PU进行帧内预测译码或帧间预测译码之后，视频编码器20或视频解码器30可计算用于CU的TU的残差数据。PU可包括描述在空间域(也称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残差视频数据应用变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后变换域中的系数。残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20或视频解码器30可形成包含用于CU的残差数据的TU，且接着变换TU以生成用于CU的变换系数。换句话说，视频编码器20可将变换应用于TU的变换块以产生TU的变换系数块。视频解码器30可将反变换应用于TU的变换系数块以重构TU的变换块。
在应用变换(如果存在)以产生变换系数后，视频编码器20或视频解码器30可执行变换系数的量化。换句话说，视频编码器20可量化变换系数块的变换系数。视频解码器30可解量化变换系数块的变换系数。量化一般指代对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可以减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍入到m位值，其中n大于m。反量化(即，解量化)可增加系数中的一些或全部的位深度。
在量化之后，视频编码器20可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的后面。在一些实例中，视频编码器20或视频解码器30可利用预定义的扫描次序来扫描经量化的变换系数以产生可经熵编码的串行化向量。在其它实例中，视频编码器20或视频解码器30可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20或视频解码器30可以例如根据上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码一维向量。视频编码器还20也可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。可变长度译码(VLC)中的码字可经构造以使得相对较短码对应于更可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可例如实现优于针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指派到符号的上下文。
视频编码器20可例如在帧标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以对对应帧进行编码的编码/预测模式。
图2是根据本发明的一或多个方面的说明可执行自适应色彩分量间残差预测的技术的视频编码器的实例的框图。在图2的实例中，视频编码器20包含视频数据存储器41、模式选择单元40、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。为了视频块重构，视频编码器20还包含反量化单元58、反变换单元60，及求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以从经重构视频移除成块性假影。在需要时，解块滤波器将通常滤波求和器62的输出。除了解块滤波器外，还可使用额外滤波器(回路中或回路后)。为简洁起见未图示此些滤波器，但是必要时，此些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。在一些实例中，解块滤波器可用以产生明度样本的经滤波块以用于色彩分量间预测，如上文所描述。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器41中的视频数据。经解码图片缓冲器64可以是参考图片存储器，其存储用于由视频编码器20(例如)在帧内或帧间译码模式中对视频数据进行编码的参考视频数据。视频数据存储器41和经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器41和经解码图片缓冲器64可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可以划分成多个视频块。以此方式，视频编码器20可接收待编码视频帧内的当前视频块。
运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如以为每一视频数据块选择适当的译码模式。
求和器50可通过确定预测块的像素值与正译码的当前视频块的像素值之间的差而形成残差视频块。在一些实例中，求和器50可确定不确定或编码残差块。
分割单元48可基于前述译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可首先将帧或切片分割成LCU，并且基于速率-失真分析(例如，速率-失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可以包含一或多个PU和一或多个TU。
模式选择单元40可例如基于误差结果选择译码模式中的一者(帧内或帧间)，且可将所得的经帧内或帧间译码块提供到求和器50。求和器50可产生残差块数据。举例来说，求和器50可产生当前CU的残差块数据以使得残差块数据的每一样本等于当前CU的译码块中的样本与当前CU的PU的预测块的对应样本之间的差。求和器62可重构经编码块(即，译码块)以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供给熵编码单元56。
运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。换句话说，运动向量可指示PU的预测块与参考图片中的对应预测块之间的位移。预测块是被发现在像素差方面与待译码的块紧密匹配的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。
在一些实例中，视频编码器20可计算存储于经解码图片缓冲器64中的参考图片的子整数像素位置的值。换句话说，视频编码器20可使用将一或多个内插滤波器应用于一或多个参考图片的样本以产生PU的预测块中的样本。在一些实例中，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42可通过比较PU的位置与参考图片的预测块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储在经解码图片缓冲器64中的一或多个参考图片。如果运动估计单元42已计算运动向量，那么运动估计单元42可将计算的运动向量发送到熵编码单元56和运动补偿单元44。
运动补偿单元44可执行运动补偿。运动补偿可涉及基于由运动估计单元42针对PU确定的所述一或多个运动向量而获取或产生PU的一或多个预测块。再者，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻基于所述运动向量定位来自参考图片列表中的一者的图片的预测块。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。具体来说，帧内预测单元46可以确定用于对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独的编码编次期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所测试模式中选择适当的帧内预测模式来使用。
举例来说，帧内预测单元46可以使用速率-失真分析针对各种经测试帧内预测模式计算速率-失真值，并且从所述经测试帧内预测模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率-失真值。
在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。
在一些实例中，帧内预测单元46及/或运动补偿单元44可经配置以根据等式(2)确定明度残差样本及色度残差样本的位深度中的差。基于色度残差样本的位深度及明度残差样本的位深度，帧内预测单元46及/或运动补偿单元44可调整明度残差样本以产生位深度经调整的明度残差样本。帧内预测单元46及/或运动补偿单元44可在各种实例中根据等式(2)到(3)及(10)到(14)调整明度残差样本或经缩放的明度残差样本。
帧内预测单元46及/或运动补偿单元44可在一些实例中确定指示视频数据块的明度残差样本与视频数据块的色度残差样本之间的关系的比例因子。帧内预测单元46及/或运动补偿单元44可基于所述比例因子而计算经缩放的明度残差样本。帧内预测单元46及/或运动补偿单元44可基于明度残差块、比例因子及色度残差样本而确定经预测色度残差样本的块。
在各种替代实例中，帧内预测单元46及/或运动补偿单元44可基于所计算的位深度差而调整比例因子，如等式(8)到(9)中所描述。帧内预测单元46及/或运动补偿单元44还可基于移位变量N而计算明度残差样本，如等式(12)到(14)中所描述。
在一些实例中，帧内预测单元46及/或运动补偿单元44可经配置以使用查找表(LUT)调整明度残差样本。所述LUT的输出可为位深度经调整的明度残差样本。在各种实例中，可预先界定所述LUT，或帧内预测单元46及/或运动补偿单元44可自适应地确定所述LUT。
视频编码器20可通过确定来自模式选择单元40的预测数据(例如，预测块)与来自正译码原始视频块(例如，译码块)的数据之间的差而形成残差视频块。求和器50表示执行此差运算的一或多个组件。变换处理单元52可将变换应用于残差块，从而产生包括残差变换系数值的视频块(即，变换系数块)。举例来说，变换处理单元52可应用离散余弦变换(DCT)或概念上相似的变换以产生残差系数值。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用子波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域(例如，频域)。变换处理单元52可以将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可以减少与系数中的一些或全部相关联的位深度。可以通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。
视频编码器20可在经译码视频位流中对各种参数集进行编码。此些参数集可包含：图片参数集(PPS)，其可包含一或多个图片共同的语法元素；序列参数集，其可包含图片的一或多个序列共同的语法元素。
在量化之后，熵编码单元56对经量化的变换系数进行熵译码。换句话说，熵编码单元56可对表示经量化变换系数的语法元素进行熵编码。举例来说，熵编码单元56可以执行上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可以基于相邻块。在熵编码单元56的熵译码后，视频解码器30可将经编码位流发射到另一装置(例如，视频解码器30)或经存档以用于稍后发射或检索。
除对经量化变换系数进行熵译码之外，熵编码单元56还可经配置以对比例因子进行熵编码。在各种实例中，熵编码单元56可经配置以在CABAC译码器的绕过模式中将比例因子(α)值用信号发送为固定长度码。
在一些实例中，熵编码单元56可经配置以用信号发送将至少一个比例因子映射到至少一个经调整的比例因子的LUT。在一些实例中，熵编码单元56可对指示色度残差样本与明度残差样本之间的位深度差的值进行熵编码。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构残差块，例如以供稍后用作参考块。举例来说，反量化单元58可解量化变换系数块。反变换单元60可通过将反变换应用于经解量化变换系数块而重构TU的变换块。求和器62将经重构的残差块与运动补偿单元44所产生的运动补偿预测块相加，以产生经重构视频块以用于存储在经解码图片缓冲器64中。运动估计单元42和运动补偿单元44可使用经重构视频块作为参考块以对后续视频帧中的块进行帧间译码(即，帧间预测)。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残差块以计算子整数像素值用于运动估计。
运动估计单元42可确定视频编码器20可用来预测经帧间预测的一或多个PU的像素值的一或多个参考图片。运动估计单元42可将每一参考图片作为LTRP或短期参考图片用信号发送。运动估计单元42可将所述参考图片存储在经解码图片缓冲器64中，直到所述图片经标记为不用于参考为止。视频编码器20的模式选择单元40可编码包含用于一或多个参考图片的识别信息的各种语法元素。
以此方式，图2中的视频编码器20表示视频编码器的实例，其经配置以确定视频数据块的明度残差样本的块，且确定视频数据块的色度残差样本的第二位深度。视频编码器20可进一步经配置以：基于第一位深度及第二位深度而调整明度残差样本以产生位深度经调整的明度残差样本；基于位深度经调整的明度残差样本及色度残差样本而确定视频数据块的经预测色度残差样本；及基于明度残差样本及经预测色度残差样本而编码视频数据块。
图3是根据本发明的一或多个方面的说明可执行自适应色彩分量间残差预测的技术的视频解码器的实例的框图。在图3的实例中，视频解码器30包含视频数据存储器69、熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、经解码图片缓冲器82及求和器80。在一些实例中，视频解码器30可执行一般与相对于视频编码器20(图2)描述的编码遍次互逆的解码遍次。
视频数据存储器69可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器69中的视频数据可例如从计算机可读媒体16获得，例如从例如相机的本地视频源、经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而获得。视频数据存储器69可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可为参考图片存储器，其存储用于由视频解码器30例如在帧内或帧间译码模式中对视频数据进行解码的参考视频数据。视频数据存储器69和经解码图片缓冲器82可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器69和经解码图片缓冲器82可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器69可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70可将运动向量及其它语法元素转发到运动补偿单元72。
熵解码单元70可接收CU的语法数据，其可包含供用于如本发明中所描述的色彩分量间残差预测的一或多个比例因子α值。在一些实例中，视频解码器30可经配置以解码比例因子。在一些实例中，解码单元可经配置以解码移位值N，如上文所描述。
在一些实例中，熵解码单元70可经配置以解码含有至少一个条目的LUT。每一条目可将比例因子映射到经调整的比例因子。熵解码单元70还可经配置以解码指示色度残差样本的位深度与明度残差样本的位深度中的差的值。
除了接收比例因子α值及移位值之外，熵解码单元70可解码及解析各种参数集中的额外语法元素。此些参数集可包含：PPS，其可包含一或多个图片共同的语法元素；SPS，其可包含图片的一或多个序列共同的语法元素。
视频解码器30可基于存储在经解码图片缓冲器82中的参考图片(例如，使用默认建构技术)建构参考图片列表(列表0和列表1)。当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可产生当前视频切片的视频块的预测数据。帧内预测单元74可基于来自当前帧或图片的先前经解码块的用信号发送的帧内预测模式和数据而产生预测数据。当视频解码器30将视频帧的切片译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72可基于从熵解码单元70接收的运动向量和其它语法元素产生当前视频切片的视频块的预测块。运动补偿单元72可从参考图片列表中的一者内的参考图片中的一者产生预测块。
运动补偿单元72可使用运动向量和/或语法元素来预测确定当前视频切片的视频块的预测信息。在一些实例中，运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测信息。运动补偿单元72可使用所述预测信息产生正被解码的当前视频块的预测块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用于译码当前视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片切片)、切片的参考图片列表中的一或多者的构造信息、当前视频切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
当PU的运动向量具有子像素精度时，运动补偿单元72可将一或多个内插滤波器应用于参考图片的样本以产生PU的预测块。换句话说，运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用视频编码器20在视频块的编码期间使用的相同内插滤波器来计算参考块的子整数像素的经内插值。因此，在一些实例中，运动补偿单元72可从所接收的语法元素确定由视频编码器20使用的内插滤波器且可使用所述内插滤波器产生预测块。
反量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数反量化，即，解量化。反量化单元76还可将与自适应色彩分量间残差预测相关的一或多个参数反量化。在一些实例中，所述参数可包含比例因子(α)，及/或移位比例因子N。反量化过程可包含使用量化参数QPY以确定量化程度以及同样确定应当应用的反量化程度。视频解码器30可计算视频切片中的每一视频块的量化参数QPY。
反变换单元78可接收经解量化变换系数块。如果针对当前块跳过变换，那么反变换单元78可接收经解量化残差块。反变换单元78可使用反变换来变换所接收的块。在一些实例中，反变换(例如，反DCT、反整数变换，或概念上相似的反变换过程)到变换系数以便在像素域中产生残差块(例如，变换块)。反变换单元78可输出称为“经重构残差信号”的信号。
视频解码器30还可基于语法元素或其它信息确定当前块是经帧内预测的。如果当前视频块是经帧内预测的，那么帧内预测单元74可对当前块进行解码。帧内预测单元74可从与当前块的同一图片确定相邻预测块。帧内预测单元74可基于预测块产生变换系数块和/或残差块。
在运动补偿单元72或帧内预测单元74基于运动向量和其它语法元素产生当前视频块的变换系数块和/或残差块之后，视频解码器30通过组合来自反变换单元78的残差块与由运动补偿单元72产生的对应预测块而形成经解码视频块。求和器80表示可以执行此求和运算的一或多个组件。视需要，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。经解码图片缓冲器82存储给定帧或图片中的经解码视频块，视频解码器30可使用其用于后续运动补偿。经解码图片缓冲器82还可存储经解码视频以用于稍后呈现在显示器装置(例如，图1的显示器装置32)上。
运动补偿单元72及/或帧内预测单元74可基于明度残差块、比例因子及经预测色度残差样本而确定色度残差样本的块。运动补偿单元72及/或帧内预测单元74可在在一些实例中通过使用至少一个算术移位操作调整明度残差样本以产生位深度经调整的明度残差样本，例如，如上文相对于等式(2)到(3)及(8)到(14)所描述。在一些实例中，运动补偿单元72及/或帧内预测单元74可经配置以计算明度残差样本的位深度及经预测色度残差样本的位深度中的差。
运动补偿单元72及/或帧内预测单元74可基于比例因子α缩放位深度经调整的明度残差样本以产生经缩放的明度残差样本。作为一个实例，运动补偿单元72及/或帧内预测单元74可基于色度残差样本及经缩放的明度残差样本而确定经预测色度残差样本，如等式(7)中所描述。
在一些实例中，运动补偿单元72及/或帧内预测单元74可基于LUT(还被称作图)确定位深度经调整的明度残差信号。在一些实例中，运动补偿单元72及/或帧内预测单元74可预先界定或产生LUT。
在一些实例中，一旦视频解码器30产生经重构视频，视频解码器30便可输出经重构视频块作为经解码视频(例如，用于显示或存储)。以此方式，视频解码器30表示视频解码器的实例，所述视频解码器经配置以确定视频数据块的明度残差样本，且确定视频数据块的色度残差样本。
如上文所描述，在帧间预测期间，运动补偿单元72可确定视频解码器30可用来形成用于经解码的当前块的预测性视频块的一或多个参考图片。运动补偿单元72可基于经译码视频位流的指示参考图片是标记用于长期参考还是短期参考的语法元素而确定参考图片为长期参考图片还是短期参考图片。运动补偿单元72可将所述参考图片存储在经解码图片缓冲器82中，直到所述图片经标记为不用于参考为止。
根据本发明的技术，视频解码器30表示视频解码器的实例，其经配置以确定视频数据块的明度残差样本的第一位深度，且确定视频数据块的经预测色度残差样本的第二位深度。视频解码器30可进一步经配置以：基于第一位深度及第二位深度而调整明度残差样本以产生位深度经调整的明度残差样本；基于位深度经调整的明度残差样本及经预测色度残差样本而确定视频数据块的色度残差样本；及基于明度残差样本及色度残差样本而解码视频数据块。
图4是根据本发明的一或多个方面的说明用于执行自适应色彩分量间残差预测的过程的实例的流程图。仅出于说明的目的，图4的方法可由视频编码器执行，例如对应于图1和2的视频编码器20的视频编码器。
在图4的方法中，视频编码器20的运动补偿单元44可确定视频数据块的明度残差样本的第一位深度(180)，且确定视频数据块的色度残差样本的第二位深度(182)。运动补偿单元44及/或帧内预测单元46可基于所述第一位深度及所述第二位深度而调整明度残差样本以产生位深度经调整的明度残差样本(184)，且基于位深度经调整的明度残差样本及色度残差样本而确定视频数据块的经预测色度残差样本(186)。量化单元54及熵编码单元56可进一步经配置以基于明度残差样本及经预测色度残差样本而编码视频数据块(188)。
图5是根据本发明的一或多个方面的说明用于执行自适应色彩分量间残差预测的过程的另一实例的流程图。仅出于说明的目的，图5的方法可由视频编码器执行，例如对应于图1和3的视频解码器30的视频编码器。
在图5的方法中，视频解码器30可确定视频数据块的明度残差样本的第一位深度(200)，且确定视频数据块的经预测色度残差样本的第二位深度(202)。视频解码器30的运动补偿单元72及/或帧内预测单元74可进一步经配置以基于所述第一位深度及所述第二位深度而调整明度残差样本以产生位深度经调整的明度残差样本(204)，且基于位深度经调整的明度残差样本及经预测色度残差样本而确定视频数据块的色度残差样本(206)。视频解码器30的运动补偿单元72及/或帧内预测单元74可基于明度残差样本及色度残差样本而解码视频数据块(208)。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘使用激光以光学方式重现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但不必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (68)

1.一种解码视频数据的方法，所述方法包括：
确定视频数据块的明度残差样本的第一位深度；
确定所述视频数据块的经预测色度残差样本的第二位深度；
基于所述第一位深度及所述第二位深度而调整所述明度残差样本以产生位深度经调整的明度残差样本；
基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定所述视频数据块的色度残差样本；及
基于所述明度残差样本及所述色度残差样本而解码所述视频数据块。
2.根据权利要求1所述的方法，其中所述第一位深度不同于所述第二位深度，且其中调整所述明度残差样本包括将所述明度残差样本调整为匹配所述经预测色度残差样本的所述第二位深度。
3.根据权利要求1所述的方法，其中调整所述明度残差样本包括基于所述第一位深度及所述第二位深度对所述明度残差样本执行至少一个移位操作。
4.根据权利要求1所述的方法，其进一步包括确定所述明度残差样本的所述第一位深度与所述经预测色度残差样本的所述第二位深度之间的位深度差，其中调整所述明度残差样本包括基于所述位深度差对所述明度残差样本执行移位操作。
5.根据权利要求4所述的方法，其中对所述明度残差样本执行所述移位操作包括基于所述位深度差将所述明度残差样本算术移位。
6.根据权利要求4所述的方法，其中确定所述位深度差包括解码所述位深度差。
7.根据权利要求4所述的方法，其中，基于所述第一位深度大于所述第二位深度且所述位深度差大于零，调整所述明度残差样本包括将所述明度残差样本右移位所述位深度差。
8.根据权利要求4所述的方法，其中，基于所述第一位深度小于所述第二位深度且所述位深度差小于零，调整所述明度残差样本包括将所述明度残差样本左移位所述位深度差。
9.根据权利要求4所述的方法，其中，基于所述位深度差等于零，调整所述明度残差样本包括不调整所述视频数据块的所述明度残差样本。
10.根据权利要求1所述的方法，其中调整所述明度残差样本以产生所述位深度经调整的明度残差样本包括：
将所述位深度经调整的明度残差样本修剪在一范围内，其中所述范围的最大值是基于变量的正值，且其中所述范围的最小值是基于所述变量的负值。
11.根据权利要求1所述的方法，其中确定所述色度残差样本包括：
将所述经预测色度残差样本添加到所述位深度经调整的明度残差样本以确定所述色度残差样本。
12.根据权利要求1所述的方法，其中确定所述色度残差样本包括：
使所述位深度经调整的明度残差样本乘以比例因子以确定经缩放的明度残差样本；及
将所述经预测色度残差样本添加到所述经缩放的明度残差样本以确定所述色度残差样本。
13.根据权利要求12所述的方法，其进一步包括解码所述比例因子。
14.一种编码视频数据的方法，所述方法包括：
确定视频数据块的明度残差样本的第一位深度；
确定所述视频数据块的色度残差样本的第二位深度；
基于所述第一位深度及所述第二位深度而调整所述明度残差样本以产生位深度经调整的明度残差样本；
基于所述位深度经调整的明度残差样本及所述色度残差样本而确定所述视频数据块的色度残差样本；及
基于所述明度残差样本及经预测色度残差样本而编码所述视频数据块。
15.根据权利要求14所述的方法，其中所述第一位深度不同于所述第二位深度，且其中调整所述明度残差样本包括将所述明度残差样本调整为匹配所述色度残差样本的所述第二位深度。
16.根据权利要求14所述的方法，其中调整所述明度残差样本包括基于所述第一位深度及所述第二位深度对所述明度残差样本执行至少一个移位操作。
17.根据权利要求14所述的方法，其进一步包括确定所述明度残差样本的所述第一位深度与所述色度残差样本的所述第二位深度之间的位深度差，其中调整所述明度残差样本包括基于所述位深度差对所述明度残差样本执行移位操作。
18.根据权利要求17所述的方法，其中对所述明度残差样本执行所述移位操作包括基于所述位深度差将所述明度残差样本算术移位。
19.根据权利要求17所述的方法，其进一步包括编码所述位深度差。
20.根据权利要求17所述的方法，其中，基于所述第一位深度大于所述第二位深度且所述位深度差大于零，调整所述明度残差样本包括将所述明度残差样本右移位所述位深度差。
21.根据权利要求17所述的方法，其中，基于所述第一位深度小于所述第二位深度且所述位深度差小于零，调整所述明度残差样本包括将所述明度残差样本左移位所述位深度差。
22.根据权利要求17所述的方法，其中，基于所述位深度差等于零，调整所述明度残差样本包括不调整所述视频数据块的所述明度残差样本。
23.根据权利要求14所述的方法，其中调整所述明度残差样本以产生所述位深度经调整的明度残差样本包括：
将所述经缩放的明度残差样本修剪在一范围内，其中所述范围的最大值是基于变量的正值，且其中所述范围的最小值是基于所述变量的负值。
24.根据权利要求14所述的方法，其中确定所述经预测色度残差样本包括：
从所述位深度经调整的明度残差样本减去所述色度残差样本以确定所述经预测色度残差样本。
25.根据权利要求14所述的方法，其中确定所述经预测色度残差样本进一步包括：
使所述位深度经调整的明度残差样本乘以比例因子以产生经缩放的明度残差样本；及
从所述位深度经调整的明度残差样本减去所述色度残差样本以确定所述经预测色度残差样本。
26.根据权利要求25所述的方法，其进一步包括编码所述比例因子。
27.一种用于解码视频数据的装置，所述装置包括：
存储器，其经配置以存储视频数据；及
至少一个处理器，其与所述存储器通信且经配置以：
确定视频数据块的明度残差样本的第一位深度；
确定所述视频数据块的经预测色度残差样本的第二位深度；
基于所述第一位深度及所述第二位深度而调整所述明度残差样本以产生位深度经调整的明度残差样本；
基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定所述视频数据块的色度残差样本；及
基于所述明度残差样本及所述色度残差样本而解码所述视频数据块。
28.根据权利要求27所述的装置，其中所述第一位深度不同于所述第二位深度，且其中为了调整所述明度残差样本，所述至少一个处理器经配置以将所述明度残差样本调整为匹配所述经预测色度残差样本的所述第二位深度。
29.根据权利要求27所述的装置，其中为了调整所述明度残差样本，所述至少一个处理器经配置以基于所述第一位深度及所述第二位深度对所述明度残差样本执行至少一个移位操作。
30.根据权利要求27所述的装置，其中所述至少一个处理器进一步经配置以确定所述明度残差样本的所述第一位深度与所述经预测色度残差样本的所述第二位深度之间的位深度差，其中为了调整所述明度残差样本，所述至少一个处理器经配置以基于所述位深度差对所述明度残差样本执行移位操作。
31.根据权利要求30所述的装置，其中为了对所述明度残差样本执行所述移位操作，所述至少一个处理器进一步经配置以基于所述位深度差将所述明度残差样本算术移位。
32.根据权利要求30所述的装置，其中为确定所述位深度差，所述至少一个处理器经配置以解码所述位深度差。
33.根据权利要求30所述的装置，其中，基于所述第一位深度大于所述第二位深度且所述位深度差大于零，为了调整所述明度残差样本，所述至少一个处理器经配置以将所述明度残差样本右移位所述位深度差。
34.根据权利要求30所述的装置，其中，基于所述第一位深度小于所述第二位深度且所述位深度差小于零，为了调整所述明度残差样本，所述至少一个处理器经配置以将所述明度残差样本左移位所述位深度差。
35.根据权利要求30所述的装置，其中，基于所述位深度差等于零，为了调整所述明度残差样本，所述至少一个处理器经配置以不调整所述视频数据块的所述明度残差样本。
36.根据权利要求27所述的装置，其中为了调整所述明度残差样本以产生所述位深度经调整的明度残差样本，所述至少一个处理器经配置以：
将所述位深度经调整的明度残差样本修剪在一范围内，其中所述范围的最大值是基于变量的正值，且其中所述范围的最小值是基于所述变量的负值。
37.根据权利要求27所述的装置，其中为确定所述色度残差样本，所述至少一个处理器经配置以：
将所述经预测色度残差样本添加到所述位深度经调整的明度残差样本以确定所述色度残差样本。
38.根据权利要求27所述的装置，其中为了确定所述色度残差样本，所述至少一个处理器进一步经配置以：
使所述位深度经调整的明度残差样本乘以比例因子以确定经缩放的明度残差样本；及
将所述经预测色度残差样本添加到所述经缩放的明度残差样本以确定所述色度残差样本。
39.根据权利要求38所述的装置，其中所述至少一个处理器进一步经配置以解码所述比例因子。
40.一种用于编码视频的装置，所述装置包括：
存储器，其经配置以存储视频数据；及
至少一个处理器，其与所述存储器通信且经配置以：
确定视频数据块的明度残差样本的第一位深度；
确定所述视频数据块的色度残差样本的第二位深度；
基于所述第一位深度及所述第二位深度而调整所述明度残差样本以产生位深度经调整的明度残差样本；
基于所述位深度经调整的明度残差样本及所述色度残差样本而确定所述视频数据块的色度残差样本；及
基于所述明度残差样本及经预测色度残差样本而编码所述视频数据块。
41.根据权利要求40所述的装置，其中所述第一位深度不同于所述第二位深度，且其中为了调整所述明度残差样本，所述至少一个处理器经配置以将所述明度残差样本调整为匹配所述色度残差样本的所述第二位深度。
42.根据权利要求40所述的装置，其中为了调整所述明度残差样本，所述至少一个处理器经配置以基于所述第一位深度及所述第二位深度对所述明度残差样本执行至少一个移位操作。
43.根据权利要求40所述的装置，其中所述至少一个处理器进一步经配置以确定所述明度残差样本的所述第一位深度与所述色度残差样本的所述第二位深度之间的位深度差，其中为了调整所述明度残差样本，所述至少一个处理器经配置以基于所述位深度差对所述明度残差样本执行移位操作。
44.根据权利要求43所述的装置，其中为了对所述明度残差样本执行所述移位操作，所述至少一个处理器进一步经配置以基于所述位深度差将所述明度残差样本算术移位。
45.根据权利要求43所述的装置，其中所述至少一个处理器进一步经配置以编码所述位深度差。
46.根据权利要求43所述的装置，其中，基于所述第一位深度大于所述第二位深度且所述位深度差大于零，为了调整所述明度残差样本，所述至少一个处理器经配置以将所述明度残差样本右移位所述位深度差。
47.根据权利要求43所述的装置，其中，基于所述第一位深度小于所述第二位深度且所述位深度差小于零，为了调整所述明度残差样本，所述至少一个处理器经配置以将所述明度残差样本左移位所述位深度差。
48.根据权利要求43所述的装置，其中，基于所述位深度差等于零，为了调整所述明度残差样本，所述至少一个处理器经配置以不调整所述视频数据块的所述明度残差样本。
49.根据权利要求40所述的装置，其中为了调整所述明度残差样本以产生所述位深度经调整的明度残差样本，所述至少一个过程或经配置以：
将所述经缩放的明度残差样本修剪在一范围内，其中所述范围的最大值是基于变量的正值，且其中所述范围的最小值是基于所述变量的负值。
50.根据权利要求40所述的装置，其中为了确定所述经预测色度残差样本，所述至少一个处理器经配置以确定：
从所述位深度经调整的明度残差样本减去所述色度残差样本以确定所述经预测色度残差样本。
51.根据权利要求40所述的装置，其中为了确定所述经预测色度残差样本，所述至少一个处理器进一步经配置以：
使所述位深度经调整的明度残差样本乘以比例因子以产生经缩放的明度残差样本；及
从所述位深度经调整的明度残差样本减去所述色度残差样本以确定所述经预测色度残差样本。
52.根据权利要求51所述的方法，其中所述至少一个处理器进一步经配置以编码所述比例因子。
53.一种用于解码视频数据的装置，所述装置包括：
用于确定视频数据块的明度残差样本的第一位深度的装置；
用于确定所述视频数据块的经预测色度残差样本的第二位深度的装置；
用于基于所述第一位深度及所述第二位深度而调整所述明度残差样本以产生位深度经调整的明度残差样本的装置；
用于基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定所述视频数据块的色度残差样本的装置；及
用于基于所述明度残差样本及所述色度残差样本而解码所述视频数据块的装置。
54.根据权利要求53所述的装置，其中所述第一位深度不同于所述第二位深度，且其中所述用于调整所述明度残差样本的装置包括用于将所述明度残差样本调整为匹配所述经预测色度残差样本的所述第二位深度的装置。
55.根据权利要求53所述的方法，其中所述用于调整所述明度残差样本的装置包括用于基于所述第一位深度及所述第二位深度对所述明度残差样本执行至少一个移位操作的装置。
56.根据权利要求53所述的装置，其进一步包括用于确定所述明度残差样本的所述第一位深度与所述经预测色度残差样本的所述第二位深度之间的位深度差的装置，其中所述用于调整所述明度残差样本的装置包括用于基于所述位深度差对所述明度残差样本执行移位操作的装置。
57.根据权利要求56所述的装置，其中，基于所述第一位深度大于所述第二位深度且所述位深度差大于零，所述用于调整所述明度残差样本的装置包括用于将所述明度残差样本右移位所述位深度差的装置。
58.根据权利要求56所述的装置，其中，基于所述第一位深度小于所述第二位深度且所述位深度差小于零，所述用于调整所述明度残差样本的装置包括用于将所述明度残差样本左移位所述位深度差的装置。
59.根据权利要求53所述的装置，其中所述用于确定所述色度残差样本的装置包括：
用于将所述经预测色度残差样本添加到所述明度残差样本到所述位深度经调整的明度残差样本以确定所述色度残差样本的装置。
60.根据权利要求53所述的装置，其中所述用于确定所述色度残差样本的装置进一步包括：
用于使所述位深度经调整的明度残差样本乘以比例因子以确定经缩放的明度残差样本的装置；及
用于将所述经预测色度残差样本添加到所述经缩放的明度残差样本以确定所述色度残差样本的装置。
61.一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令在被执行时致使至少一个处理器：
确定视频数据块的明度残差样本的第一位深度；
确定所述视频数据块的经预测色度残差样本的第二位深度；
基于所述第一位深度及所述第二位深度而调整所述明度残差样本以产生位深度经调整的明度残差样本；
基于所述位深度经调整的明度残差样本及所述经预测色度残差样本而确定所述视频数据块的色度残差样本；及
基于所述明度残差样本及所述色度残差样本而解码所述视频数据块。
62.根据权利要求61所述的非暂时性计算机可读存储媒体，其中所述第一位深度不同于所述第二位深度，且其中所述致使所述至少一个过程调整所述明度残差样本的指令进一步致使所述至少一个处理器将所述明度残差样本调整为匹配所述经预测色度残差样本的所述第二位深度。
63.根据权利要求61所述的非暂时性计算机可读存储媒体，其中所述致使所述至少一个处理器调整所述明度残差样本的指令致使所述至少一个处理器基于所述第一位深度及所述第二位深度对所述明度残差样本执行至少一个移位操作。
64.根据权利要求61所述的非暂时性计算机可读存储媒体，其进一步包括致使所述至少一个处理器确定所述明度残差样本的所述第一位深度与所述经预测色度残差样本的所述第二位深度之间的位深度差的指令，其中所述致使所述至少一个处理器调整所述明度残差样本的指令进一步致使所述至少一个处理器基于所述位深度差对所述明度残差样本执行移位操作。
65.根据权利要求64所述的非暂时性计算机可读存储媒体，其中，基于所述第一位深度大于所述第二位深度且所述位深度差大于零，所述致使所述至少一个处理器调整所述明度残差样本的指令进一步致使所述至少一个处理器将所述明度残差样本右移位所述位深度差。
66.根据权利要求64所述的非暂时性计算机可读存储媒体，其中，基于所述第一位深度小于所述第二位深度且所述位深度差小于零，所述致使所述至少一个处理器调整所述明度残差样本的指令进一步致使所述至少一个处理器将所述明度残差样本左移位所述位深度差。
67.根据权利要求61所述的非暂时性计算机可读存储媒体，其中所述致使所述至少一个处理器确定所述色度残差样本的指令进一步致使所述至少一个处理器：
将所述经预测色度残差样本添加到所述明度残差样本到所述位深度经调整的明度残差样本以确定所述色度残差样本。
68.根据权利要求61所述的非暂时性计算机可读存储媒体，其中所述致使所述至少一个处理器确定所述色度残差样本的指令进一步致使所述至少一个处理器：
使所述位深度经调整的明度残差样本乘以比例因子以确定经缩放的明度残差样本；及
将所述经预测色度残差样本添加到所述经缩放的明度残差样本以确定所述色度残差样本。
CN201480057330.2A 2013-10-28 2014-10-28 自适应色彩分量间残差预测 Active CN105637866B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361896580P 2013-10-28 2013-10-28
US61/896,580 2013-10-28
US14/524,601 2014-10-27
US14/524,601 US9648332B2 (en) 2013-10-28 2014-10-27 Adaptive inter-color component residual prediction
PCT/US2014/062582 WO2015065979A1 (en) 2013-10-28 2014-10-28 Adaptive inter-color component residual prediction

Publications (2)

Publication Number Publication Date
CN105637866A true CN105637866A (zh) 2016-06-01
CN105637866B CN105637866B (zh) 2018-09-14

Family

ID=52995433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480057330.2A Active CN105637866B (zh) 2013-10-28 2014-10-28 自适应色彩分量间残差预测

Country Status (7)

Country Link
US (1) US9648332B2 (zh)
EP (1) EP3063939A1 (zh)
JP (2) JP6843615B2 (zh)
KR (1) KR102344229B1 (zh)
CN (1) CN105637866B (zh)
CA (1) CA2926506C (zh)
WO (1) WO2015065979A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850134A (zh) * 2013-12-27 2016-08-10 索尼公司 图像处理装置及方法
CN107205153A (zh) * 2017-04-13 2017-09-26 深圳市安健科技股份有限公司 视频编码方法及其系统
CN109644270A (zh) * 2016-08-29 2019-04-16 苹果公司 用于视频编码/解码系统的多维量化技术
CN109756737A (zh) * 2017-11-07 2019-05-14 华为技术有限公司 图像预测方法和装置
WO2020211868A1 (en) * 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Reduction of latency in cross component mode
US20210321140A1 (en) 2019-03-08 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
CN114430901A (zh) * 2019-09-20 2022-05-03 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
CN114731444A (zh) * 2019-09-27 2022-07-08 Sk电信有限公司 用于恢复色度块的残差块的方法及解码设备
US11463713B2 (en) 2019-05-08 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
US11533487B2 (en) 2019-07-07 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
US11659164B1 (en) 2019-04-23 2023-05-23 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
US12010333B2 (en) 2019-04-18 2024-06-11 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648330B2 (en) 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9648332B2 (en) * 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
WO2015100522A1 (en) * 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US10271052B2 (en) 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
RU2017101574A (ru) 2014-06-19 2018-07-19 Вид Скейл, Инк. Системы и способы для оптимизации параметра модели в основанном на трехмерном представлении отображении цветов
US10200700B2 (en) 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US10158836B2 (en) * 2015-01-30 2018-12-18 Qualcomm Incorporated Clipping for cross-component prediction and adaptive color transform for video coding
US10904580B2 (en) * 2016-05-28 2021-01-26 Mediatek Inc. Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
KR102601732B1 (ko) * 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
US20200045305A1 (en) * 2016-09-30 2020-02-06 Lg Electronics Inc. Picture processing method and apparatus for same
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
GB2576846A (en) 2017-04-21 2020-03-04 Zenimax Media Inc Systems and methods for game-generated motion vectors
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
WO2019121164A1 (en) * 2017-12-18 2019-06-27 Telefonaktiebolaget Lm Ericsson (Publ) De-blocking for video coding
CN113545064B (zh) * 2019-03-04 2024-05-10 阿里巴巴集团控股有限公司 用于处理视频内容的方法和装置及计算机可读存储介质
US11824637B2 (en) 2019-05-22 2023-11-21 At&T Intellectual Property I, L.P. Generating wireless reference signals in a different domain for transmission
US10886991B2 (en) * 2019-05-22 2021-01-05 At&T Intellectual Property I, L.P. Facilitating sparsity adaptive feedback in the delay doppler domain in advanced networks
US10979151B2 (en) 2019-05-22 2021-04-13 At&T Intellectual Property I, L.P. Multidimensional grid sampling for radio frequency power feedback
WO2020257785A1 (en) * 2019-06-20 2020-12-24 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
EP3987793A4 (en) * 2019-06-21 2023-07-19 Beijing Dajia Internet Information Technology Co., Ltd. PREDICTION DEPENDENT RESIDUAL SCALING METHODS AND DEVICES FOR VIDEO CODING
US11050530B2 (en) * 2019-06-27 2021-06-29 At&T Intellectual Property I, L.P. Generating wireless reference signals in a different domain for transmission with a collapsed time-frequency grid
WO2021037004A1 (en) 2019-08-23 2021-03-04 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for performing chroma deblocking for blocks which use joint chroma coding
WO2021086022A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 색상 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021195500A1 (en) * 2020-03-26 2021-09-30 Alibaba Group Holding Limited Method and apparatus for cross component filtering
US11838551B2 (en) * 2020-12-30 2023-12-05 Ofinno, Llc Adaptive block level bit-depth prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007768A (zh) * 2008-04-16 2011-04-06 弗朗霍夫应用科学研究促进协会 位深度可分级性
WO2013155662A1 (en) * 2012-04-16 2013-10-24 Mediatek Singapore Pte. Ltd. Methods and apparatuses of simplification for intra chroma lm mode

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616329B (zh) 2003-07-16 2013-01-02 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
EP1538844A3 (en) 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
US8385424B2 (en) * 2006-06-26 2013-02-26 Qualcomm Incorporated Reduction of errors during computation of inverse discrete cosine transform
JP2013505647A (ja) * 2009-09-22 2013-02-14 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US20140301447A1 (en) * 2013-04-08 2014-10-09 Research In Motion Limited Methods for reconstructing an encoded video at a bit-depth lower than at which it was encoded
US20140348240A1 (en) 2013-05-22 2014-11-27 Qualcomm Incorporated Video coding using sample prediction among color components
US20140376611A1 (en) 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
US9648330B2 (en) 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9648332B2 (en) * 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007768A (zh) * 2008-04-16 2011-04-06 弗朗霍夫应用科学研究促进协会 位深度可分级性
WO2013155662A1 (en) * 2012-04-16 2013-10-24 Mediatek Singapore Pte. Ltd. Methods and apparatuses of simplification for intra chroma lm mode

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID FLYNN: "Range Extensions Draft 4", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14.JCT-VC MEETING;2013-7-25-2013-8-2;VIENNA》 *
WEI PU: "Non-RCE1: Inter Color Component Residual Prediction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: VIENNA, AT, 25 JULY – 2 AUG. 2013》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623752B2 (en) 2013-12-27 2020-04-14 Sony Corporation Image processing apparatus and method
CN105850134A (zh) * 2013-12-27 2016-08-10 索尼公司 图像处理装置及方法
CN105850134B (zh) * 2013-12-27 2020-02-14 索尼公司 图像处理装置及方法
CN114222122A (zh) * 2016-08-29 2022-03-22 苹果公司 视频解码方法和解码器、存储介质
CN109644270A (zh) * 2016-08-29 2019-04-16 苹果公司 用于视频编码/解码系统的多维量化技术
US11539974B2 (en) 2016-08-29 2022-12-27 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
CN107205153B (zh) * 2017-04-13 2019-04-19 深圳市安健科技股份有限公司 视频编码方法及其系统
CN107205153A (zh) * 2017-04-13 2017-09-26 深圳市安健科技股份有限公司 视频编码方法及其系统
CN109756737B (zh) * 2017-11-07 2020-11-17 华为技术有限公司 图像预测方法和装置
WO2019091372A1 (zh) * 2017-11-07 2019-05-16 华为技术有限公司 图像预测方法和装置
CN109756737A (zh) * 2017-11-07 2019-05-14 华为技术有限公司 图像预测方法和装置
US11910020B2 (en) 2019-03-08 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Signaling of reshaping information in video processing
US20210321140A1 (en) 2019-03-08 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
US11616965B2 (en) 2019-04-18 2023-03-28 Beijing Bytedance Network Technology Co., Ltd. Restriction on applicability of cross component mode
CN113692742B (zh) * 2019-04-18 2023-10-27 北京字节跳动网络技术有限公司 视频编解码中的跨分量模式中的选择性使用
US12010333B2 (en) 2019-04-18 2024-06-11 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
US11463714B2 (en) 2019-04-18 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. Selective use of cross component mode in video coding
WO2020211868A1 (en) * 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Reduction of latency in cross component mode
CN113692742A (zh) * 2019-04-18 2021-11-23 北京字节跳动网络技术有限公司 视频编解码中的跨分量模式中的选择性使用
US11553194B2 (en) 2019-04-18 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
US11659164B1 (en) 2019-04-23 2023-05-23 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
US11750799B2 (en) 2019-04-23 2023-09-05 Beijing Bytedance Network Technology Co., Ltd Methods for cross component dependency reduction
US11463713B2 (en) 2019-05-08 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
US11533487B2 (en) 2019-07-07 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
CN114430901A (zh) * 2019-09-20 2022-05-03 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
CN114731444A (zh) * 2019-09-27 2022-07-08 Sk电信有限公司 用于恢复色度块的残差块的方法及解码设备
US12022082B2 (en) 2019-09-27 2024-06-25 Sk Telecom Co., Ltd. Method for reconstructing residual blocks of chroma blocks, and video decoding apparatus

Also Published As

Publication number Publication date
CN105637866B (zh) 2018-09-14
CA2926506A1 (en) 2015-05-07
EP3063939A1 (en) 2016-09-07
WO2015065979A1 (en) 2015-05-07
JP2016535490A (ja) 2016-11-10
CA2926506C (en) 2021-06-08
US20150117519A1 (en) 2015-04-30
US9648332B2 (en) 2017-05-09
JP2020191659A (ja) 2020-11-26
JP6843615B2 (ja) 2021-03-17
KR20160075556A (ko) 2016-06-29
KR102344229B1 (ko) 2021-12-27

Similar Documents

Publication Publication Date Title
CN105637866B (zh) 自适应色彩分量间残差预测
JP6734389B2 (ja) ビデオコーディングにおける非正方形ブロックのための予測パラメータの決定
CN106576171B (zh) 一种对视频数据进行编码、解码的方法以及装置
CN105379270B (zh) 颜色分量间残余预测
CN105308959B (zh) 用于视频译码的自适应颜色变换
CN105723707B (zh) 用于视频译码的色彩残差预测
US20180199062A1 (en) Intra prediction techniques for video coding
CN105493507B (zh) 用于帧内块复制的残余预测
CN106464917B (zh) 用信号表示用于位流分区的hrd参数
CN104272742B (zh) 加权预测参数译码
CN106664425A (zh) 视频译码中的跨分量预测
CN110100436A (zh) 使用导出色度模式译码视频数据
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN107660341A (zh) 切片级帧内块复制及其它视频译码改进
CN106464885A (zh) 块自适应颜色空间转换译码
CN110313182A (zh) 译码用于运动受约束图块集的识别符
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN106464904A (zh) 用于视频译码的帧内块复制块向量信令
CN103563378A (zh) 存储器高效的上下文建模
CN106664420A (zh) 用于帧内块复制的块向量译码
CN103597832A (zh) 用于使用相邻模式的视频译码的增强的帧内预测模式信令
CN104221381A (zh) 用于视频译码的波前并行处理
CN104704843A (zh) 视频性质的指示
CN104365106A (zh) 发信用于视频译码的长期参考图片的数据

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant