CN105379270B - 颜色分量间残余预测 - Google Patents

颜色分量间残余预测 Download PDF

Info

Publication number
CN105379270B
CN105379270B CN201480039034.XA CN201480039034A CN105379270B CN 105379270 B CN105379270 B CN 105379270B CN 201480039034 A CN201480039034 A CN 201480039034A CN 105379270 B CN105379270 B CN 105379270B
Authority
CN
China
Prior art keywords
sample
lightness
block
chroma residual
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480039034.XA
Other languages
English (en)
Other versions
CN105379270A (zh
Inventor
濮伟
金佑植
陈建乐
霍埃尔·索赖·罗哈斯
郭立威
庞超
瑞珍·雷克斯曼·乔许
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105379270A publication Critical patent/CN105379270A/zh
Application granted granted Critical
Publication of CN105379270B publication Critical patent/CN105379270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于对视频数据进行解码的装置，其包含经配置以存储视频数据的存储器和至少一个处理器。所述至少一个处理器可经配置以：确定视频数据块的明度残余样本；确定所述视频数据块的预测性色度残余样本；以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；以及基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本。

Description

颜色分量间残余预测
本申请案主张2013年7月15日申请的第61/846,581号美国专利申请案和2013年7月18日申请的第61/847,839号美国专利申请案的优先权，以上申请案中的每一者特此以引用的方式并入本文。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频译码技术，例如通过MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、高效率视频译码(HEVC)标准及此类标准的扩展(例如，可缩放视频译码(SVC)、多视图视频译码(MVC)和范围扩展)定义的标准中描述的技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码树单元(CTU)、译码单元(CU)和/或译码节点。视频块可包含明度块和色度块。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以将残余变换系数量化。经量化变换系数可经熵译码以实现甚至更多压缩。
发明内容
一般来说，本发明描述与颜色分量间残余预测相关的技术。所述技术可以用于至少部分地基于明度残余样本的块预测色度残余样本块。在一个实例中，本发明的技术可针对用于交叉颜色分量残余预测的技术。举例来说，本发明的技术可针对经配置以确定比例因数和明度残余样本块的编码器。所述视频编码器通过将所述比例因数与明度残余样本相乘而按比例缩放明度样本以产生经按比例缩放明度残余样本。所述视频编码器从色度残余样本块减去经按比例缩放明度残余样本以形成预测性残余样本。视频解码器可接收预测性色度残余样本块、明度残余样本和比例因数。所述视频解码器可按比例缩放明度残余样本以形成经按比例缩放明度残余样本。所述视频解码器还可将经按比例缩放明度残余样本与预测性色度残余样本相加以形成经更新色度残余样本块。视频译码器可使用经更新色度残余样本以确定所述块的最终像素样本。
在其它实例中，本发明可针对用于从第二不同通道的明度残余样本的对应块和色度残余样本的对应块确定第一通道的色度残余样本块的比例因数的技术。
在一个实例中，一种对视频数据进行解码的方法包含：确定视频数据块的明度残余样本；确定所述视频数据块的预测性色度残余样本；以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；以及基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本。
在另一实例中，一种对视频进行编码的方法包含：确定视频数据块的明度残余样本；确定所述视频数据块的色度残余样本；以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本；以及对所述预测性色度残余样本和所述明度残余样本进行编码。
在另一实例中，一种用于对视频数据进行解码的装置包含：存储器，其经配置以存储视频数据；以及至少一个处理器，其经配置以：确定视频数据块的明度残余样本；确定所述视频数据块的预测性色度残余样本；以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；以及基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本。
在另一实例中，一种用于对视频进行编码的装置包含：存储器，其经配置以存储视频数据；以及至少一个处理器，其经配置以：确定视频数据块的明度残余样本；确定所述视频数据块的色度残余样本；以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本；以及对所述预测性色度残余样本和所述明度残余样本进行编码。
在另一实例中，一种用于对视频进行解码的装置包含：用于确定视频数据块的明度残余样本的装置；用于确定所述视频数据块的预测性色度残余样本的装置；用于以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本的装置；以及用于基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本的装置。
在另一实例中，一种用于对视频进行编码的装置包含：用于确定视频数据块的明度残余样本的装置；用于确定所述视频数据块的色度残余样本的装置；用于以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本的装置；用于基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本的装置；以及用于对所述预测性色度残余样本和所述明度残余样本进行编码的装置。
在另一实例中，一种计算机可读媒体包含存储于其上的指令，所述指令当执行时致使至少一个处理器：确定视频数据块的明度残余样本；确定所述视频数据块的预测性色度残余样本；以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；以及基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本。
在另一实例中，一种计算机可读媒体包含存储于其上的指令，所述指令当执行时致使至少一个处理器：确定视频数据块的明度残余样本；确定所述视频数据块的色度残余样本；以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本；以及对所述预测性色度残余样本和所述明度残余样本进行编码。
在附图及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。
附图说明
图1是说明根据本发明的一或多个方面的可执行用于颜色分量间残余预测的技术的实例视频编码和解码系统的框图。
图2是说明根据本发明的一或多个方面的可执行用于颜色分量间残余预测的技术的视频编码器的实例的框图。
图3是说明根据本发明的一或多个方面的可执行用于颜色分量间残余预测的技术的视频解码器的实例的框图。
图4是说明根据本发明的一或多个方面的用于执行颜色分量间残余预测的过程的实例的流程图。
图5是说明根据本发明的一或多个方面的用于执行颜色分量间残余预测的过程的另一实例的流程图。
具体实施方式
视频译码器(即，视频编码器或解码器)大体上经配置以对大体上表示为图片序列的视频序列进行译码。通常，视频译码器使用基于块的译码技术对图片序列中的每一者进行译码。作为基于块的视频译码的部分，视频译码器将视频序列的每一图片划分为数据块。视频译码器个别地对块中的每一者进行译码(即，编码或解码)。对视频数据块进行编码大体上涉及通过产生原始块的一或多个预测性块以及对应于原始块与所述一或多个预测性块之间的差的残余块来对原始数据块进行编码。具体来说，原始视频数据块包含由“样本”的一或多个通道组成的像素值的矩阵，且预测性块包含其中的每一者也由预测性样本组成的经预测像素值的矩阵。残余块的每一样本指示预测性块的样本与原始块的对应样本之间的像素值差。
用于视频数据块的预测技术一般分类为帧内预测及帧间预测。帧内预测(即，空间预测)大体上涉及从同一图片内的相邻经先前译码块的像素值预测块。帧间预测大体上涉及从经先前译码图片中的经先前译码块的像素值预测块。
每一视频数据块的像素各自表示特定格式的颜色，称为“颜色表示”。不同视频译码标准可使用不同颜色表示用于视频数据块。作为一个实例，由视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)视频标准的主规范使用YCbCr颜色表示来表示视频数据块的像素。
YCbCr颜色表示大体上参考其中视频数据的每一像素由颜色信息的三个分量或通道“Y”、“Cb”和“Cr”表示的颜色表示。Y通道表示特定像素的明度(即，光强度或亮度)数据。Cb和Cr分量分别是蓝差和红差色度，即“色度”分量。YCbCr常常用以表示经压缩视频数据中的颜色，因为Y、Cb和Cr分量中的每一者之间存在强去相关，意味着Y、Cb和Cr分量中的每一者之间存在极少的重复或冗余的数据。使用YCbCr颜色表示对视频数据进行译码因此在许多情况下提供良好压缩性能。
另外，许多视频译码技术利用称为“色度子取样”的技术来进一步改善颜色数据的压缩。具有YCbCr颜色表示的视频数据的色度子取样通过根据模式选择性省略色度分量而减少经译码视频位流中用信号表示的色度值的数目。在经色度子取样视频数据的块中，所述块的每一像素大体上存在明度值。然而，可仅针对块的像素中的一些用信号表示Cb和Cr分量，以使得色度分量相对于明度分量经子取样。
视频译码器(其可指代视频编码器或视频解码器)内插像素的Cb和Cr分量，其中Cb和Cr值针对经色度子取样像素块未显式地用信号表示。色度子取样良好起作用以减少色度数据量而不会在较均匀的像素块中引入失真。色度子取样良好起作用以表示具有广泛不同色度值的视频数据，且在那些情况中可引入大量失真。
作为对HEVC标准的扩展的HEVC范围扩展针对额外颜色表示(也被称作“颜色格式”)以及针对增加的颜色位深度对HEVC增加支持。HEVC范围扩展的一个最近草案是：“HEVC范围扩展文本规范：草案7(HEVC Range Extension text specification:Draft 7)”(第17次会议，西班牙巴伦西亚，2014年3月27日到4月4日，JCTVC-Q1005_v7，第242页)，且从http://phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v9.zip可用。颜色位深度是用以表示颜色表示的每一分量的位数目。针对其它颜色格式的支持可包含针对编码和解码RGB视频数据源以及具有其它颜色表示且使用与HEVC主规范不同的色度子取样模式的视频数据的支持。被称作“HEVC工作草案10(HEVC WorkingDraft 10)”或“WD10”的HEVC标准的最近草案在布洛斯等人的文献JCTVC-L1003v34“高效率视频译码(HEVC)文本规范草案10(用于FDIS和最后呼叫)”(ITU-T SG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞士日内瓦第12次会议，2013年1月14-23日)中描述，其可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下载。
如上所提到，由于颜色表示(也被称作颜色格式)的明度分量与两个色度分量之间的强颜色去相关，HEVC主规范使用YCbCr。然而在许多情况下，Y、Cb和Cr分量之间仍可存在强相关。颜色表示的分量之间的相关可被称为交叉颜色分量相关或颜色分量间相关。
本发明的技术可利用残余域中的样本之间的相关。根据本发明的技术配置的视频译码器(即视频编码器或视频解码器)可经配置以从彼此对应的色度残余样本的块和明度残余样本的块的预测符确定色度残余样本的块。在一些实例中，色度残余值的经更新块可基于色度残余样本的块和明度残余样本的对应块的预测符而确定。可以比例因数和/或偏移修改明度残余样本的块。
本发明的技术可使得视频译码器能够使用用于色度残余样本和明度残余样本两者的同一位流剖析器基于明度残余样本形成色度残余样本，其可减轻原本与从明度样本预测色度样本相关联的同步问题。另外，本发明的技术可减少与基于明度样本预测色度样本相关联的带宽和要求。
本发明的一或多个实例可针对颜色分量间残余预测技术，其可利用YCbCr色度YCbCr 4:4:4和/或YCbCr 4:2:2色度子取样格式。然而，根据本发明的技术配置的视频译码器可使用本文所揭示的技术以与YCbCr 4:4:4相似的方式处理其它颜色格式的块，例如具有RGB颜色格式的块。
HEVC视频译码标准界定树状结构，其界定视频数据块。本发明的技术可应用于HEVC树状结构的多种不同分量。在HEVC中，视频译码器基于树状结构将经译码图片(也被称作“帧”)分成块。此些块可被称为树块。在一些情况下，树块还可称为最大译码单元(LCU)。HEVC的树块可大致类似于例如H.264/AVC等先前视频译码标准的宏块。然而，不同于一些视频译码标准的宏块，树块不限于某一大小(例如，某一数目的像素)。树块可包含一或多个译码单元(CU)，其可递归地划分成子译码单元(子CU)。
每一CU可包含一或多个变换单元(TU)。每一TU可包含已经变换的残余数据。另外，每一CU可包含一或多个预测单元(PU)。PU包含与CU的预测模式相关的信息。本发明的技术可应用于块，例如LCU、CU、子CU、PU、TU、宏块、宏块分区、子宏块或其它类型的视频数据块中的一或多者。
在视频编码和解码期间，视频译码器可使用帧间或帧内预测确定预测性视频数据块。基于预测性视频数据块，视频译码器可确定残余视频数据块，其在例如编码器侧上可包含预测性块与原始视频块的对应样本之间的差。在解码器侧上，残余视频数据块包含预测性块与经输出用于显示的最终视频块的对应样本之间的差。确切地说，残余视频数据块可添加到预测性块以重构原始视频数据块。
在视频解码期间，视频解码器可确定类似于待解码当前块的预测性块。PU可包含预测性块，其可进一步包括明度和色度样本的预测性块。视频解码器还可在经译码视频位流中接收包括经变换残余视频数据块的TU，例如经变换明度残余块和色度残余块。确切地说，TU可包含表示残余数据的变换系数。视频解码器可将逆变换应用于变换系数以再生残余数据块。如上文所论述，残余视频数据块表示解码器输出用于显示的块与预测性块之间的差。为了重构用于输出的块，视频解码器可组合经逆变换TU样本与对应PU样本。
在视频译码器结束剖析且逆变换任何变换系数块以获得明度残余和色度残余块之后，视频译码器可执行本发明的技术。在本发明中，明度残余样本块表示为：
RL(x,y)。
视频解码器通过逆变换明度残余块的变换系数的对应块可获得明度残余样本块。视频解码器可使用此明度残余样本块来重构明度块。举例来说，视频解码器可将由明度残余样本提供的像素差值与对应预测性明度像素样本求和以重构明度像素样本块。
视频解码器通过逆变换色度残余块的变换系数的对应块同样可获得色度残余样本块的预测符。色度残余样本的最终或经更新残余块表示为：
RC(x,y)。
视频解码器可使用此最终或经更新色度残余样本块来重构色度块。举例来说，视频解码器可将由色度残余样本的最终或经更新块提供的像素差值与对应预测性色度像素样本求和以重构色度像素样本的。
本发明还介绍色度残余样本的预测性块的概念，表示为：
RCp(x,y)。
色度残余样本的预测性块可包含表示最终或经更新色度残余样本与明度残余样本的版本之间的差的残余样本，所述版本例如以比例因数经按比例缩放和/或以相对于明度残余样本的偏移值偏移的版本，例如如以下方程式1到9中指示。
视频编码器可编码且视频解码器可解码明度残余值块和色度残余样本的预测性块以及一或多个按比例缩放或偏移值。视频解码器可基于色度残余样本的预测性块和明度残余样本块的版本确定最终或经更新色度残余样本块，所述版本例如明度残余样本块的经按比例缩放和/或偏移版本。
视频解码器可使用最终或经更新色度残余样本块来重构色度像素样本块。举例来说，视频解码器可将最终或经更新色度残余样本块与预测性色度像素样本块求和以重构色度像素样本块。视频编码器可通过从色度残余样本的原始块减去明度残余样本块的版本而确定且编码色度残余样本的预测性块，所述版本例如明度残余样本块的经按比例缩放或偏移版本。对于上述明度或色度样本块中的每一者，x和y表示指示图片中块相对于视频帧(也被称作图片)的左上角的像素位置的变量。
根据本发明的技术配置的视频编码器可经配置以确定用于视频数据的译码单元(CU)的一或多个译码块的比例因数。比例因数可指示CU的PU的明度残余块与色度残余块之间的相关。在一些实例中，视频编码器可利用比例因数以确定应用于明度残余块而产生经按比例缩放明度残余样本。视频编码器可从原始色度残余样本块减去经按比例缩放明度残余样本以产生预测性残余样本块。
视频编码器可在经译码视频位流中对比例因数以及色度残余样本的预测性块进行编码。对色度残余样本的预测性块、明度残余样本和比例因数进行编码可相对于对色度残余样本的原始块进行编码改善对色度残余样本进行译码的位流效率。
在互逆过程中，根据本发明的技术配置的视频解码器可在经译码视频位流中接收：比例因数，明度残余样本块，和CU的预测性色度残余样本块。在一些实例中，视频解码器可针对明度残余样本块的样本中的每一者相乘比例因数，且量化所得乘积以产生经量化明度残余样本。视频解码器可随后通过将得自按比例缩放和量化操作的经量化明度残余样本与预测性色度残余样本块求和或组合以产生经更新色度残余样本块而更新预测性色度残余样本块，所述经更新色度残余样本块可视为最终色度残余样本块。视频解码器可使用经更新色度残余样本块结合预测性色度像素样本以确定CU的最终像素值。视频解码器可在一些实例中接收用于不同色度分量的不同比例因数。
在一些实例中，视频译码器还可确定或接收偏移值。视频解码器可在经译码视频位流中接收所述偏移值且将所述偏移值添加到经按比例缩放明度残余样本和预测性色度残余样本以产生经更新色度残余样本。视频编码器可确定所述偏移值，且从色度残余样本块减去所述偏移值和经按比例缩放明度残余样本以确定预测性色度残余样本块。除比例因数、明度残余样本和预测性色度残余样本之外，视频编码器还可在经译码视频位流中对所述偏移值进行编码。
上文相对于确定比例因数、色度残余样本、经更新明度样本和经更新色度样本所述的过程可应用于两个色度分量(Cb和Cr)。即，当预测/确定每一色度分量时，视频译码器可使用同一过程，且可确定用于每一分量的不同比例因数。
图1是说明根据本发明的一或多个方面的可执行用于分量间残余预测的技术的实例视频编码和解码系统的框图。
如图1中所展示，系统10包含源装置12，其提供待在稍后时间由目的地装置14解码的经编码视频数据。具体地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
根据本发明的一或多个实例，源装置12的视频编码器20可经配置以确定视频数据块的明度残余样本，且确定视频数据块的预测性色度残余样本。视频编码器20可进一步经配置以用比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本，且基于预测性色度残余样本和经按比例缩放明度残余样本确定经更新色度残余样本。
以互逆方式，视频解码器30可经配置以确定视频数据块的明度残余样本，且确定视频数据块的色度残余样本。视频解码器30可进一步经配置以用比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本，基于色度残余样本和经按比例缩放明度残余样本确定视频数据块的预测性色度残余样本，且对预测性色度残余样本和明度残余样本进行编码。
源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码的视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可以从源装置12接收经编码视频数据，并且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码的视频数据并且生产容纳经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
在一些实例中，输出接口22可将经编码数据输出到存储装置。类似地，输入接口28可从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。目的地装置14可(例如，经由流式传输或下载)从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、超文本传送协议(HTTP)流式传输服务器或局部磁盘驱动器。目的地装置14可经由标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的传输可能是流式传输发射、下载发射或其组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如，空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
图1的系统10仅是一个实例。用于颜色分量间残余预测的技术可由任何数字视频编码和/或解码装置执行。称为“编解码器”的视频编码器/解码器可大体上执行本发明的技术中的一或多者。此外，视频预处理器可执行本发明的技术。源装置12和目的地装置14仅为此类译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射以(例如)用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如相机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。在一些实例中，视频源18产生基于计算机图形的数据作为源视频，或实况视频、所存档视频和计算机产生的视频的组合。在一些情况下，视频源18可为摄像机。在一些实例中，视频源18可为摄像机。在一些实例中，源装置12和目的地装置14可为所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。输出接口22可将经编码视频信息输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可以从源装置12接收经编码视频数据，并且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码的视频数据并且生产容纳经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
在图1的实例中，目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，其包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如阴极射线管(CRT)显示器、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20及视频解码器30可根据由视频译码联合合作小组(JCT-VC)开发的视频译码标准操作，所述视频译码标准例如高效率视频译码(HEVC)标准以及HEVC范围扩展。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频或视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分以软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的一部分。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)总体上包括一系列视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对包含在CU中和个别视频切片内的样本的视频块操作以便对视频数据进行编码。
HEVC标准指定视频帧或图片可划分成树块(即，最大译码单元(LCU)或“译码树单元”(CTU))的序列。树块可包含明度和/或色度样本。位流内的语法数据可界定LCU的大小，LCU是在像素数目方面的最大译码单元。在一些实例中，CTU中的每一者包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块及用于对所述译码树块的样本进行译码的语法结构。译码树块可以是样本的NxN块。视频帧或图片可被分割成一或多个切片。切片包含呈译码次序(例如，光栅扫描次序)的若干连续树块。
每一树块可根据四叉树分裂成一或多个译码单元(CU)。总的来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于所述树块。如果CU分裂成4个子CU，那么对应于CU的节点包含四个叶节点，其中页节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供用于对应的CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可递归地定义，且可取决于CU是否分裂成子CU。如果CU未进一步分裂，那么所述CU称为叶CU。
视频编码器20可对CTU的译码树块递归地执行四叉树分割以将译码树块划分为译码块，因此名称为“译码树单元”。译码块可以是样本的NxN块。在一些实例中，CU包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单个译码块及用于对所述译码块的样本进行译码的语法结构。
除了CU不具有大小区别以外，CU具有与H.264标准的宏块类似的目的。举例来说，树块可以分裂成四个子节点(还称为子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以定义树块可以分裂的最大次数(被称作最大CU深度)，并且还可定义译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”指代HEVC的上下文中可进一步包含一或多个预测单元(PU)或变换单元(TU)的CU或其它标准的上下文中的相似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。
CU包含一或多个预测单元(PU)和一或多个变换单元(TU)。CU的大小对应可为正方形或矩形形状。CU的大小范围可从8x8像素到具有最大64x64像素或更大的树块的大小。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有区别。CU可经分割以使得CU的PU可为非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。
视频编码器20可以将CU的译码块分割成一或多个预测块。预测块可以是应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的PU可包括图片的明度样本的预测块、图片的色度样本的两个对应的预测块，以及用以对预测块样本进行预测的语法结构。在单色图像或具有三个单独彩色平面的图片中，PU可包括单个预测块，及用以对预测块样本进行预测的语法结构。
变换块可以是应用相同变换的样本的矩形块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。因此，对于以YCbCr颜色空间格式化的CU，CU的每一TU可具有明度变换块、Cb变换块和Cr变换块。TU的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图像或具有三个单独彩色平面的图片中，TU可包括单个变换块，及用以对变换块样本进行变换的语法结构。TU可以是正方形或非正方形(例如，矩形)形状。换句话说，对应于TU的变换块可为正方形或非正方形形状。
作为一个实例，视频编码器20和解码器30可将本文所描述的颜色分量间残余预测技术限制于具有某一(最小)大小的块和/或CU。在像素样本数目方面不满足最小大小的块可不启用颜色分量间残余预测。要求块具有最小大小可减少与用信号表示用于颜色分量间残余预测的比例因数或其它信息相关联的信令开销。在一些实例中，视频编码器20和视频解码器30可要求当执行颜色间残余时将使用的色度块的最小大小为8x8样本或高于8x8样本。
HEVC标准允许根据TU进行的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
一般来说，PU表示对应于对应CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。在一些实例中，可使用帧内模式或帧间模式对PU进行编码。作为另一实例，当PU经帧间模式编码时，PU可包含定义用于PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
在如本发明的各种实例中所描述执行颜色分量间残余预测中，视频编码器20和视频解码器30可经配置以包含一或多个不同特征。
如上文所指出，具有一或多个PU的叶CU也可包含一或多个TU。TU可以使用RQT(还被称作TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。随后，每一TU可进一步分裂为另外的若干子TU。当TU未进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一叶CU的叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因而，TU可比PU大或小。对于帧内译码，PU可与相同CU的对应叶TU位于同一地点。在一些实例中，叶TU的最大大小可以对应于相对应的叶CU的大小。
此外，叶CU的TU也可以与称为RQT的相应四叉树数据结构相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点总体上对应于叶CU，而CU四叉树的根节点总体上对应于树块。未经分裂的RQT的TU被称作叶TU。一般来说，除非另有陈述，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
PU和TU两者可含有(即，对应于)对应于与所述块相关联的颜色空间的通道中的每一者的一或多个样本块。PU的块可包含预测性块的样本，且TU的块可为包含对应于原始块与预测性块之间的差的残余样本的块。
作为一实例，HEVC支持各种PU大小的预测。假设特定CU的大小为2Nx2N，那么HEVC支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HEVC还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％和75％。CU的对应于25％分割区的部分表示成“n”，接着是用“上”、“下”、“左”或“右”指示。因而，举例来说，“2NxnU”是指水平地分割的2Nx2N CU，其中上方有2Nx0.5N PU，而下方有2Nx1.5NPU。
在本发明中，“NxN”与“N乘N”可以互换使用以指依据垂直尺寸和水平尺寸的视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，NxN块总体上在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块未必需要在水平方向上具有与在垂直方向上相同数目个像素。举例来说，块可包括NxM像素，其中M未必等于N。
在运动补偿(在本文档中别处描述)、帧内和/或帧间预测期间，视频编码器20及视频解码器30可经配置以执行颜色分量间残余预测。在分量间残余预测期间，视频编码器20可确定用以预测当前块的残余样本的预测性残余块。预测性块可包括色度残余样本块。视频编码器20可进一步利用第一分量的残余样本以基于所述第一分量(例如，明度)与第二分量(例如，Cb或Cr)的样本之间的相关而产生第二不同分量的块的残余样本。
如果CU经帧内预测，那么与明度分量相比，CU的色度块可具有不同帧内预测模式。当明度和色度分量具有不同帧内预测模式时，其残余信号之间的相关是弱的。在一些实例中，视频编码器20及视频解码器30可仅在明度样本块和色度样本块具有相同帧内预测模式的情况下启用颜色分量间残余预测。经帧内译码CU可包含语法元素intra_chroma_pred_mode[x0][y0]，其可指示用于CU的帧内预测模式。
更确切地说，视频编码器20及视频解码器30可仅在块的色度和明度样本具有相同帧内预测方向(例如，相同角度帧内预测方向)的情况下启用分量间残余预测。类似地，视频编码器20及视频解码器30可基于块的色度样本和明度样本是否具有相同帧内预测模式或帧内预测方向而确定分量间残余预测是否针对特定块启用。在一些实例中，视频编码器20及视频解码器30可在intra_chroma_pred_mode[xCb][yCb]＝＝4的情况下启用颜色分量内残余预测，其指示CU的色度块使用角度帧内预测。
作为实例，视频编码器20可基于明度残余样本块与色度残余样本块之间的相关而确定比例因数(α)。视频编码器20可确定与等于零的比例因数相关联的速率失真成本。视频编码器20可随后确定比例因数候选者的列表，且从所述候选者列表选择比例因数值以使得块的选定的候选比例因数使块的平方误差最小化。视频编码器20可将所述平方误差计算为：(chroma_residuals-luma_residuals*α)2，其中chroma_residuals表示色度残余块，且luma_residuals表示明度残余块。视频编码器20可从所述列表选择等于零的比例因数或候选比例因数以使得所述选定零比例因数或列表比例因数使速率失真成本最小化。
在一些实例中，视频编码器20可从9个可能的候选比例因数选择比例因数：{-8,-4,-2,-1,0,1,2,4,8}，以使得所述选定比例因数使速率失真成本最小化。在帧内或帧间预测期间，视频编码器20可基于比例因数和明度残余样本块计算CU的色度残余样本的预测性块，且在经译码视频位流中用信号表示所述预测性块和比例因数。视频解码器30可对比例因数、预测性色度残余样本块和明度残余样本块进行解码，且可使用所述比例因数、预测性色度残余样本块和明度残余样本块确定经更新色度残余样本块。
在根据本发明的技术的一些实例中，视频编码器20可将比例因数乘以明度残余样本块以产生经按比例缩放明度残余样本块。视频编码器20可随后量化明残余度样本块以产生经量化且经按比例缩放明度残余样本块。视频编码器20可从色度残余样本块减去经量化明度残余块以产生预测性色度样本块。
以根据本发明的技术的大体上互逆方式，视频解码器30可接收所述比例因数、明度残余样本和预测性色度残余样本。视频解码器30可将比例因数乘以明度残余样本块以产生经按比例缩放明度残余样本块。视频解码器30可随后量化经按比例缩放明度残余样本块以产生经量化且经按比例缩放明度残余样本的经量化残余块。视频解码器30可将经量化且经按比例缩放明度残余样本的块添加到预测性色度残余样本块以产生最终或经更新色度残余样本块。
在其中CU具有YCbCr 4:4:4色度子取样格式的一些实例中，视频解码器30可如方程式1中计算经更新色度样本块：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N (1)，
其中Rc是经更新明度残余样本块，且Rcp是预测符色度残余样本块，α是比例因数，且RL是明度残余样本块。在此实例中，N是非负整数恒定参数，α是在位流中用信号表示的整数比例因数参数。视频解码器30可利用右移位运算(“>>”)来量化α，例如以确保所得偏移值是整数值，以及减少计算复杂性。视频解码器30还可应用其它量化方案以量化明度残余样本和比例因数的乘积。
在其中CU具有YCbCr 4:4:4色度子取样格式的一些实例中，根据本发明的技术配置的视频编码器20可应用与方程式1中描述的过程大体上互逆的过程以计算预测性色度残余样本块。举例来说，视频编码器20可根据方程式2计算色度残余预测性块：
RCp(x,y)＝RC(x,y)-(α·RL(x,y))＞＞N (2)，
其中方程式2的左侧的Rcp是色度样本的预测性残余块，且Rc是原始或经更新色度残余样本块。
在一些进一步实例中，视频编码器20可进一步经配置以计算偏移值且在经译码视频位流中对额外偏移值进行编码。视频编码器20可根据以下方程式(3)从色度残余样本块减去所述偏移值以计算预测性色度残余样本块：
RCp(x,y)＝RC(x,y)-b-(α·RL(x,y))＞＞N (3)，
其中b是偏移值。
在一些实例中，视频解码器30可当CU具有4:4:4色度子取样时执行大体上互逆过程。在这些实例中，视频解码器30可接收偏移值、比例因数、预测性色度残余样本块和所述块的明度残余样本。视频解码器30可根据以下方程式(4)基于前述所接收语法元素计算经更新色度残余样本：
RC(x,y)＝RCp(x,y)+b+(α·RL(x,y))＞＞N (4)。
在各种实例中，视频译码器可确定CU具有4:2:2色度子取样格式。对于具有4:2:2子取样格式的CU，每一对应Cb和Cr样本存在两个明度样本。在这些实例中，对于具有Ax A样本的分辨率的每一Cb或Cr TU块，存在具有(A/2)x A样本的分辨率的样本的明度TU块。
响应于确定CU具有4:2:2色度子取样格式，视频编码器20可根据以下方程式(5)计算预测性色度残余样本块(RCp)：
RCp(x,y)＝RC(x,y)-(α·RL(x＜＜1,y))＞＞N (5)。
以互逆方式，响应于确定CU具有4:2:2色度子取样格式，视频解码器30可根据以下方程式(6)计算经更新(最终)色度样本块：
RC(x,y)＝RCp(x,y)+(α·RL(x＜＜1,y))＞＞N (6)。
在方程式6的实例中，“<<”指示算术左移位运算。
在其中CU具有4:2:2色度子取样格式的一些实例中，视频译码器可经配置以利用明度残余样本的经滤波版本以产生经更新色度残余样本或经更新(最终)明度残余样本。更确切地说，在一些实例中，视频编码器20及视频解码器30可经配置以应用2分接头低通平滑滤波器以便产生经滤波残余块明度样本，但应理解视频编码器20或视频解码器30可利用其它滤波方案。在一些实例中，视频编码器20可经配置以根据以下方程式计算预测性色度残余样本：
RCp(x,y)＝RC(x,y)-(α·((RL(2x,y))+RL(2x+1,y))/2))＞＞N (7)。
以互逆方式，响应于确定CU具有4:2:2色度子取样格式，视频解码器30可根据以下方程式计算经更新(最终)色度样本：
RC(x,y)＝RCp(x,y)+(α·((RL(2x,y))+RL(2x+1,y))/2))＞＞N (8)。
在一些实例中，相邻块之间的比例因数α值可彼此相关。视频编码器20可能够基于比例因数之间的相关减少用信号表示比例因数α值的开销。在一些实例中，视频编码器20可确定第一块或CU的比例因数。视频编码器20可利用比例因数作为比例因数预测符，从其预测相邻于第一块的第二块的比例因数。
视频编码器20可仅用信号表示第二块的预测性比例因数与实际比例因数之间的差，其可减少用信号表示第二比例因数的信令开销。在一些情况下，视频编码器20可将比例因数预测符计算为多个相邻块的α值的平均。视频编码器20还可确定比例因数预测符为相对于当前块的左边相邻块的比例因数α值。
响应于确定CU具有YCbCr 4:2:2格式，视频编码器20及视频解码器30可导出CU的第一色度分量的比例因数，且可基于第一比例因数导出第二色度分量(例如，Cr)的第二比例因数。以此方式，具有YCbCr 4:2:2格式的两个相邻TU块可共享比例因数。
在其中CU具有4:2:2色度子取样格式(例如，YCbCr 4:2:2)的情况中，一个正方形明度经重构残余块L(x,y)分别对应于由C0(x,y)和C1(x,y)表示的两个正方形色度原始块。如果明度块的宽度和高度分别是X个和Y个样本，啊么所述两个正方形色度块具有尺寸(X/2)x(Y/2)。为了利用明度残余样本来预测或确定第一和第二色度残余样本块，视频编码器20或视频解码器30可将明度残余样本块下取样到(X/2)x Y样本的分辨率。在这些实例中，C0(x,y)和C1(x,y)的预测符分别表示为P0和P1。这些实例中的经预测色度残余样本块可分别表示为P0[C0(x,y)]和P1[C1(x,y)]。
视频编码器20和视频解码器30可根据以下方程式导出第一色度残余样本块的第一比例因数α0，且使用所述第一比例因数确定第二色度残余样本块的比例因数α1：
在以上方程式的实例中，视频编码器20及视频解码器30可计算所述两个块的底部块内的预测性色度残余块的差的总和。
在使用CU的PU进行帧内预测译码或帧间预测译码之后，视频编码器20或视频解码器30可计算用于CU的TU的残余数据。PU可包括描述在空间域(还称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用了变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)变换域中的系数。所述残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20或视频解码器30可形成包含用于CU的残余数据的TU，且接着变换TU以生成用于CU的变换系数。换句话说，视频编码器20可将变换应用于TU的变换块以产生TU的变换系数块。视频解码器30可将逆变换应用于TU的变换系数块以重构TU的变换块。
在应用变换(如果存在)以产生变换系数后，视频编码器20或视频解码器30可执行变换系数的量化。换句话说，视频编码器20可量化变换系数块的变换系数。视频解码器30可解量化变换系数块的变换系数。量化通常是指量化变换系数以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍入到m位值，其中n大于m。逆量化(即，解量化)可增加系数中的一些或全部的位深度。
在量化之后，视频编码器20可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(以及因此较低频率)系数放置在阵列的前面，且将较低能量(以及因此较高频率)系数放置在阵列的后面。在一些实例中，视频编码器20或视频解码器30可利用预定义的扫描次序来扫描经量化的变换系数以产生可经熵编码的串行化向量。在其它实例中，视频编码器20或视频解码器30可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20或视频解码器30可以例如根据上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码一维向量。视频编码器还20可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC，视频编码器20可向待传输的符号指派在上下文模型内的上下文。所述上下文可(例如)与符号的相邻值是否为非零有关。为执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。可变长度译码(VLC)中的码字可经构造使得相对较短码对应于更可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可例如实现优于对待发射的每一符号使用等长码字的位节省。概率确定可基于指派到符号的上下文。
视频编码器20可例如在帧标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于帧的语法数据和基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，且帧语法数据可指示用以对对应帧进行编码的编码/预测模式。
因此，视频编码器20表示视频译码器的实例，所述视频译码器经配置以确定视频数据块的明度残余样本，确定视频数据块的色度残余样本，且以比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本。视频编码器20可进一步经配置以基于色度残余样本和经按比例缩放明度残余样本确定视频数据块的预测性色度残余样本，且对所述预测性色度残余样本和明度残余样本进行编码。
视频解码器30表示视频的实例，其经配置以确定视频数据块的明度残余样本，且确定视频数据块的色度残余样本。视频解码器30可进一步经配置以用比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本，以比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本，且基于所述预测性色度残余样本和经按比例缩放明度残余样本确定经更新色度残余样本。
图2是说明根据本发明的一或多个方面的可执行用于颜色分量间残余预测的技术的视频编码器的实例的框图。
在图2的实例中，视频编码器20包含视频数据存储器41、模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图2中未图示)以对块边界进行滤波，从而从经重构视频移除成块假象。必要时，解块滤波器通常将对求和器62的输出进行滤波。除了去块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但在必要时，此类滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。在一些实例中，解块滤波器可用以产生经滤波明度样本块以用于颜色分量间预测，如上文所描述。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器41中的视频数据。参考图片存储器64可为存储参考视频数据供用于视频编码器20例如在帧内或帧间译码模式中编码视频数据的参考图片存储器。视频数据存储器41及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器41和参考图片存储器64可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。以此方式，视频编码器20可接收待编码视频帧内的当前视频块。
运动估计单元42及运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，以针对每一视频数据块选择适当的译码模式。
求和器50可通过确定预测性块的像素值与正译码的当前视频块的像素值之间的差而形成残余视频块。在一些实例中，求和器50可确定不确定或编码残余块。
分割单元48可基于前述译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可起初将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可例如基于误差结果选择译码模式中的一者(帧内或帧间)，且可将所得经帧内或帧间译码块提供到求和器50。求和器50可产生残余块数据。举例来说，求和器50可产生当前CU的残余块数据以使得残余块数据的每一样本等于当前CU的译码块中的样本与当前CU的PU的预测块的对应样本之间的差。求和器62可重构经编码块(即，译码块)以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可以高度集成，但出于概念目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。换句话说，运动向量可指示PU的预测块与参考图片中的对应预测性块之间的位移。预测性块为被发现在像素差方面与待译码的块(即，预测块)密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。
在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。换句话说，视频编码器20可使用将一或多个内插滤波器应用于一或多个参考图片的样本以产生PU的预测性块中的样本。在一些实例中，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42可通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。如果运动估计单元42已计算运动向量，那么运动估计单元42可将计算的运动向量发送到熵编码单元56和运动补偿单元44。
运动补偿单元44可执行运动补偿。运动补偿可涉及基于由运动估计单元42针对PU确定的所述一或多个运动向量获取或产生PU的一或多个预测性块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻基于所述运动向量定位来自参考图片列表中的一者的图片的预测性块。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44针对色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素供视频解码器30在解码视频切片的视频块时使用。
作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。确切地说，帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可例如在分开的编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所述测试模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试帧内预测模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式指数表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。
视频编码器20可通过确定来自模式选择单元40的预测数据(例如，预测性块)与来自正译码原始视频块(例如，译码块)的数据之间的差形成残余视频块。求和器50表示执行此差运算的一或多个组件。变换处理单元52可将变换应用于残余块，从而产生包括残余变换系数值的视频块(即，变换系数块)。举例来说，变换处理单元52可应用离散余弦变换(DCT)或概念上相似的变换以产生残余系数值。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可以执行所述扫描。
视频编码器20可在经译码视频位流中对各种参数集进行编码。此些参数集可包含：图片参数集(PPS)，其可包含一或多个图片共同的语法元素；序列参数集，其可包含图片的一或多个序列共同的语法元素。视频编码器20可在PPS或SPS中对指示颜色分量间预测是否针对SPS或PPS中的图片启用的旗标进行编码。
如果视频编码器在SPS或PPS中用信号表示指示颜色分量间残余预测经启用的旗标，那么视频编码器20可在SPS或PPS中的颜色分量间预测经启用的图片中的每一者的切片标头中对旗标进行编码。切片标头中经编码的旗标值可在切片标头中指示颜色分量间残余预测是否针对CU经启用。在一些实例中，切片标头中可存在单独的旗标，每一色度分量一个。在一些实例中，切片标头中可存在两个单独的旗标，每一色度分量一个。
视频编码器20还可在切片标头、SPS或PPS中用信号表示在颜色分量间残余预测中使用的比例因数值α。在一些实例中，视频编码器20及视频解码器30可在SPS或PPS中同意或可用信号表示可为映射的表。如果视频编码器20及视频解码器30同意一表，那么视频编码器20和视频解码器30可以相同方式建立或经配置以存储所述表。映射可包括对应于相应α值的一系列索引值。举例来说，如果编码器确定应使用三个不同比例因数值的表，例如{-2N,0,2N}，那么视频编码器20可选择且编码以下比例因数值的表：
α索引 α值
0 0
1 2N
2 -2N
表1：样本比例因数表
视频编码器20可选择具有不同表策略和比例因数分布的不同表以改善译码效率。为了对表的选定α进行译码，视频编码器20可用信号表示对应于比例因数值的索引值而不是用信号表示比例因数。举例来说，视频编码器20可以值的均匀分布或不均匀分布来选择和/或编码比例因数α值的表。在不均匀分布中，随着比例因数值增加，比例因数值可更集中于0周围，且可更稀疏地分布。
在一些实例中，视频编码器20及视频解码器30可以预定义方式自适应地选择比例因数α值的分布。在这些实例中，可存在对应于且指派给比例因数值的索引值。然而，比例因数值可取决于其它块的先前确定或经译码比例因数值而变化。
视频编码器20还可选择α值的范围而不是选择α值的映射。如果视频编码器20选择比例因数的范围而不是映射，那么视频编码器20可选择所述比例因数范围内的均匀或不均匀比例因数值集合。在一些实例中，视频编码器20可选择来自范围[0,7]的比例因数以使得视频编码器20可使用固定长度码直接对比例因数进行编码。选择范围[0,7]可使得视频编码器20能够用信号表示选定比例因数而无需对索引与比例因数值之间的映射进行译码，这可改善经译码视频位流的效率。在一些其它实例中，如果视频编码器20确定比例因数的不均匀范围，那么视频编码器20可利用比例因数的指数哥伦布(Exponential-Golomb)码或截断莱斯(Truncated-Rice)译码。视频编码器20还可经配置以利用使用已知范围的用于前缀和/或后缀的码字截断。
在一些实例中，视频编码器20及视频解码器30可使用预定义默认表。在此情况下，视频编码器20可不用信号表示信令因数的映射。视频编码器20可基于切片、SPS或PPS的颜色空间和/或色度格式确定默认表。举例来说，视频编码器20及视频解码器30可使用第一表用于具有YCbCr格式的CU，且使用第二不同表用于具有RGB格式的CU。另外，视频编码器20及视频解码器30可基于色度子取样格式确定默认表，例如用于4:4:4和4:2:2色度子取样的不同表。
视频编码器20可支持使用预定义默认表和显式地用信号表示的表的组合。为了指示哪一表类型(预定义对显式地用信号表示)应用于特定PPS、SPS、切片、CU等，视频编码器20可在PPS、SPS、切片、CU等中用信号表示旗标值。视频编码器20可在使用默认表的情况下将旗标设定为零，且在使用显式地用信号表示的映射的情况下将旗标设定为一，或反之亦然。
为了减少信令开销，视频编码器20可在每一切片标头中对“开/关”旗标语法元素进行编码。如果视频编码器20确定切片内的全部比例因数α值等于零，那么视频编码器20用信号表示等于零的旗标值。在此情况下，视频编码器20可不在切片主体内用信号表示额外位。另外，视频编码器20可正常用信号表示色度残余样本，而无需使用上述方程式(例如，方程式1)。如果视频编码器20确定切片中的一或多个比例因数值非零，那么视频编码器20可设定等于一的旗标值。
视频编码器20可例如基于从一或多个先前编码的图片或切片收集的统计数据自适应地设定指示一或多个比例因数是否非零的旗标值。所述统计数据可例如为例如切片、图片或图片集合中具有非零比例因数的先前经译码块的数目。如果具有非零比例因数的先前经译码块的数目小于预定义阈值，那么视频编码器20可针对当前切片将旗标值设定为零。在此情况下，视频编码器20可不确定比例因数，且可不根据上述方程式计算预测性色度残余样本。
在量化之后，熵编码单元56对经量化的变换系数进行熵译码。换句话说，熵编码单元56可对表示经量化变换系数的语法元素进行熵编码。举例来说，熵编码单元56可以执行上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在熵编码单元56的熵译码后，视频解码器30可将经编码位流发射到另一装置(例如，视频解码器30)或经存档以用于稍后发射或检索。
除对经量化变换系数进行熵译码之外，熵编码单元56还可经配置以对比例因数进行熵编码。在各种实例中，熵编码单元56可经配置以在CABAC译码器的绕过模式中将比例因数(α)值用信号表示为固定长度码。
在一些实例中，熵编码单元56可在绕过模式中使用除固定长度码外的二进制化对比例因数进行熵编码。此些其它二进制化可包含指数哥伦布码或莱斯哥伦布码。在这些实例中，熵编码单元56可使用CABAC中的上下文对所述二进制化的第一部分(即一元或截断一元部分)进行译码。熵编码单元56可经配置以在绕过模式中对第二(固定长度)部分进行编码。熵编码单元56还可经配置以将比例因数值用信号表示为截断一元码。在这些实例中，可使用CABAC中的上下文对所述码的第一二进位进行编码以便改善性能。熵编码单元56可进一步经配置以在绕过模式中对剩余二进位进行编码。
运动补偿单元72和/或帧内预测单元74可对用于经译码色度残余块的“开/关开关”进行译码作为旗标语法元素。所述块可为CTU、CU、PU或TU。如果所述旗标语法在“关”状态中，那么旗标值指示比例因数对于所述块等于零。如果旗标值等于一，那么旗标值指示所述块的比例因数非零，且视频编码器20已用信号表示比例因数值。在一些实例中，模式选择单元40可单独地用信号表示比例因数的正负号值和量值。
熵编码单元56可使用CABAC基于比例因数值的分布二进制化比例因数。举例来说，熵编码单元56可使用固定长度码二进制化比例因数。熵编码单元56可在与开/关开关语法元素相同的块层级(CTU、CU、PU或TU)用信号表示比例因数值。在一些实例中，熵编码单元56还可在较低信令层级用信号表示比例因数。举例来说，熵编码单元56在CU层级用信号表示开/关开关语法旗标，且如果旗标等于一，那么熵编码单元56可在CU的每一TU中用信号表示比例因数。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块，例如以供稍后用作参考块。举例来说，逆量化单元58可解量化变换系数块。逆变换单元60可通过将逆变换应用于经解量化变换系数块而重构TU的变换块。求和器62将经重构的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构的视频块以用于存储在参考图片存储器64中。运动估计单元42和运动补偿单元44可使用经重构视频块作为参考块以对后续视频帧中的块进行帧间译码(即，帧间预测)。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值用于运动估计。
运动估计单元42可确定视频编码器20可用来预测经帧间预测的一或多个PU的像素值的一或多个参考图片。运动估计单元42可将每一参考图片作为LTRP或短期参考图片用信号表示。运动估计单元42可在经解码图片缓冲器(DPB)(例如，参考图片存储器64)中存储参考图片直到所述图片被标记为不用于参考。视频编码器20的模式选择单元40可编码包含用于一或多个参考图片的识别信息的各种语法元素。
以此方式，图2中的视频编码器20表示视频编码器的实例，所述视频编码器经配置以确定视频数据块的明度残余样本，且确定视频数据块的预测性色度残余样本。视频编码器20可进一步经配置以用比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本，且基于预测性色度残余样本和经按比例缩放明度残余样本确定经更新色度残余样本。
图3是说明根据本发明的一或多个方面的可执行用于颜色分量间残余预测的技术的视频解码器的实例的框图。在图3的实例中，视频解码器30包含视频数据存储器69、熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82及求和器80。在一些实例中，视频解码器30可执行大体上与相对于视频编码器20(图2)描述的编码遍次互逆的解码遍次。
视频数据存储器69可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器69中的视频数据可例如从计算机可读媒体16获得，例如从例如相机的本地视频源、经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而获得。视频数据存储器69可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。参考图片存储器82可为存储参考视频数据供用于视频解码器30例如在帧内或帧间译码模式中解码视频数据的参考图片存储器。视频数据存储器69和参考图片存储器82可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器69和参考图片存储器82可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器69可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片的视频块及相关联语法元素和/或语法数据的视频块的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70可将运动向量及其它语法元素转发到运动补偿单元72。
熵解码单元70可接收CU的语法数据，其可包含供用于如本发明中所描述的颜色分量间残余预测的一或多个比例因数α值。视频解码器30可经配置以解码编码比例因数。在各种实例中，熵解码单元70可经配置以在绕过模式中解码比例因数(α)值作为固定长度码。在一些实例中，熵解码单元70可在绕过模式中使用除固定长度码外的二进制化对比例因数进行解码。此些其它二进制化可包含指数哥伦布码或莱斯哥伦布码。在这些实例中，熵解码单元70可使用CABAC中的上下文对所述二进制化的第一部分(即一元或截断一元部分)进行解码。熵解码单元70可经配置以在绕过模式中对第二(固定长度)部分进行熵解码。熵解码单元70还可经配置以对比例因数值进行熵解码作为截断一元码。在这些实例中，可使用CABAC中的上下文对所述码的第一二进位进行解码以便改善性能。熵解码单元70可进一步经配置以在绕过模式中对剩余二进位进行解码。
除接收比例因数α值之外，熵解码单元70还可解码且剖析各种参数集中的额外语法元素。此些参数集可包含：PPS，其可包含一或多个图片共同的语法元素；SPS，其可包含图片的一或多个序列共同的语法元素。视频解码器30可从PPS或SPS对指示颜色分量间预测是否针对所述SPS或PPS中的一或多个块启用的旗标进行解码。
如果熵解码单元70对指示颜色分量间预测经启用的旗标值进行解码，那么视频解码器30可对SPS或PPS中的颜色分量间残余预测经启用的图片中的每一者的切片标头中的旗标进行解码。从切片标头解码的旗标值可指示分量间预测是否针对切片中的CU启用。在一些实例中，切片标头中可存在单独的旗标，每一色度分量一个。在一些实例中，切片标头中可存在两个单独的旗标，每一色度分量一个。
熵解码单元70还可从SPS或PPS解码比例因数值α。在一些实例中，视频解码器30和视频编码器20已同意或可从视频编码器20接收用信号表示的表。所述经解码表可为SPS或PPS中的比例因数α值的映射。
熵解码单元70可对具有不同映射规则的不同表进行解码。举例来说，视频解码器30可以值的均匀分布或不均匀分布来选择和/或解码比例因数α值的表。在不均匀分布中，随着比例因数值增加，比例因数值可更集中于0周围，且可更稀疏地分布。
在一些实例中，视频解码器30可自适应地选择比例因数α值。在这些实例中，可存在对应于且指派给比例因数值的索引值。然而，比例因数值可取决于先前确定或经译码比例因数值而变化。
视频解码器30还可接收且熵解码单元70可解码α值的范围而不是接收α值的映射。如果视频解码器30接收比例因数的范围而不是映射，那么视频解码器30可利用所述范围内的比例因数值的均匀或不均匀集合。在一些实例中，如果视频解码器30利用所述范围内的比例因数值的均匀集合，那么熵解码单元70可使用固定长度对所述范围内的比例因数值进行熵译码。在一些其它实例中，如果视频解码器30利用所述范围内的比例因数值的不均匀集合，那么熵解码单元70可使用指数哥伦布或截断莱斯译码用于比例因数。另外，熵解码单元70还可基于指定范围截断前缀和/或后缀。
在一些实例中，视频解码器30可使用预定义默认表。在此情况下，视频解码器30可不接收比例因数的映射。视频解码器30可基于切片、SPS或PPS的颜色空间和/或色度格式确定默认表。例如视频解码器30可使用第一表用于具有YCbCr格式的CU，且使用第二不同表用于具有RGB格式的CU。
视频解码器30可基于在经译码视频位流中接收的语法数据使用预定义默认表和显式地用信号表示的表的组合。为了确定视频解码器30应使用哪一表类型(预定义对显式地用信号表示)用于特定PPS、SPS、切片、CU、块等，视频解码器30可接收且剖析PPS、SPS、切片、CU等中的旗标值。视频解码器30可在旗标值等于零的情况下使用默认表。视频解码器30可在旗标值等于一的情况下使用显式地用信号表示的映射。
在一些实例中，熵解码单元70可进一步在每一切片标头中对“开/关”旗标语法元素进行解码。如果熵解码单元70确定旗标值等于零，那么切片内的全部比例因数α值等于零。如果视频解码器30确定旗标等于一，那么视频解码器30可进一步确定切片中的一或多个比例因数值非零，且可解码所述切片内的块的比例因数α值。
熵解码单元70可从CTU、CU、PU或TU解码“开/关开关”。如果旗标语法在“关”状态中，那么运动补偿单元72和/或帧内预测单元74可确定旗标值指示比例因数对于所述块等于零。如果旗标值等于一，那么旗标值指示按所述块的比例缩放因数非零，且比例因数值存在于经译码视频位流中。在一些实例中，运动补偿单元72和/或帧内预测单元74可单独地对比例因数的正负号值和量值进行解码。
熵解码单元70可使用CABAC基于比例因数值的分布逆二进制化比例因数。举例来说，熵解码单元70可使用固定长度码逆二进制化比例因数。熵解码单元70可在与所述开/关开关语法元素相同的块层级(CTU、CU、PU或TU)对比例因数值进行解码。在一些实例中，熵解码单元70还可在较低信令层级对比例因数进行解码。举例来说，熵解码单元70可在CU层级解码译码所述开/关开关语法旗标，且如果旗标等于一，那么熵解码单元70可对CU的每一TU中的比例因数进行解码。
视频解码器30可基于存储在参考图片存储器82中的参考图片(例如，使用默认构造技术)构造参考图片列表(列表0和列表1)。当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可产生当前视频切片的视频块的预测数据。帧内预测单元74可基于来自当前帧或图片的先前经解码块的用信号表示的帧内预测模式和数据而产生预测数据。当视频解码器30将视频帧的切片译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72可基于从熵解码单元70接收的运动向量和其它语法元素产生当前视频切片的视频块的预测性块。运动补偿单元72可从参考图片列表中的一者内的参考图片中的一者产生预测性块。
运动补偿单元72可使用运动向量和/或语法元素来预测确定当前视频切片的视频块的预测信息。在一些实例中，运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测信息。运动补偿单元72可使用所述预测信息产生正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用于译码当前视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片切片)、切片的参考图片列表中的一或多者的构造信息、当前视频切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
当PU的运动向量具有子像素精度时，运动补偿单元72可将一或多个内插滤波器应用于参考图片的样本以产生PU的预测性块。换句话说，运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用视频编码器20在视频块的编码期间使用的相同内插滤波器来计算参考块的子整数像素的经内插值。因此，在一些实例中，运动补偿单元72可从所接收的语法元素确定由视频编码器20使用的内插滤波器且可使用所述内插滤波器产生预测性块。
逆量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数逆量化，即，解量化。逆量化过程可包含使用量化参数QPY以确定量化程度以及同样确定应当应用的逆量化程度。视频解码器30可计算视频切片中的每一视频块的量化参数QPY。
逆变换单元78可接收经解量化变换系数块。如果针对当前块跳过变换，那么逆变换单元78可接收经解量化残余块。逆变换单元78可使用逆变换变换所接收的块。在一些实例中，逆变换(例如，逆DCT、逆整数变换，或概念上相似的逆变换过程)到变换系数以便在像素域中产生残余块(例如，变换块)。逆变换单元78可输出称为“经重构残余信号”的信号。
视频解码器30还可基于语法元素或其它信息确定当前块是经帧内预测的。如果当前视频块是经帧内预测的，那么帧内预测单元74可对当前块进行解码。帧内预测单元74可从与当前块的同一图片确定相邻预测性块。帧内预测单元74可基于预测性块产生变换系数块和/或残余块。
在运动补偿单元72或帧内预测单元74基于运动向量和其它语法元素产生当前视频块的变换系数块和/或残余块之后，视频解码器30通过组合来自逆变换单元78的残余块与由运动补偿单元72产生的对应预测性块而形成经解码视频块。求和器80表示执行此加总运算的一或多个组件。如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假象。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改进视频质量。参考图片存储器82存储给定帧或图片中的经解码视频块，视频解码器30可使用其用于后续运动补偿。参考图片存储器82还可存储经解码视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
运动补偿单元72和/或帧内预测单元74可根据上述方程式1到9确定用于译码单元的一或多个块的一或多个比例因数。运动补偿单元72和/或帧内预测单元74可基于明度残余块、比例因数和预测性色度残余样本确定色度残余样本块。运动补偿单元72和/或帧内预测单元74还可经配置以基于语法元素确定比例因数。
运动补偿单元72和/或帧内预测单元74可经配置以基于相邻块的比例因数确定一或多个块的比例因数。举例来说，运动补偿单元72和/或帧内预测单元74可从相对于当前块的相邻块确定比例因数预测符。运动补偿单元72和/或帧内预测单元74可将当前块的所述值计算为比例因数差值和比例因数预测符的总和。比例因数预测符可为左边相邻块。比例因数预测符也可以为相对于当前块的多个相邻块的比例因数的平均值。
运动补偿单元72和/或帧内预测单元74可经配置以导出比例因数的正负号而无需视频编码器20在经译码视频位流中显式地用信号表示比例因数的正负号。举例来说，视频编码器20可在经译码视频位流中用信号表示明度样本的残余块的正负号。运动补偿单元72和/或帧内预测单元74可从明度样本的残余块的正负号中的任一者确定比例因数的正负号。在另一实例中，运动补偿单元72和/或帧内预测单元74可仅将比例因数值的正负号选择为明度残余样本块的两个正负号中的任一者的相反符号。在各种实例中，运动补偿单元72和/或帧内预测单元74可经配置以将比例因数的正负号限制于仅一个正负号值(例如，正或零)。
在一些实例中一旦视频解码器30产生经重构视频，视频解码器30便可输出经重构视频块作为经解码视频(例如，用于显示或存储)。以此方式，视频解码器30表示视频解码器的实例，所述视频解码器经配置以确定视频数据块的明度残余样本，且确定视频数据块的色度残余样本。视频解码器30可进一步经配置以用比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本，且基于预测性色度残余样本和经按比例缩放明度残余样本产生经更新色度残余样本。
如上文所描述，在帧间预测期间，运动补偿单元72可确定视频解码器30可用来形成用于经解码的当前块的预测性视频块的一或多个参考图片。运动补偿单元72可基于经译码视频位流的指示参考图片是标记用于长期参考还是短期参考的语法元素确定参考图片为长期参考图片还是短期参考图片。运动补偿单元72可在经解码图片缓冲器(DPB)(例如，参考图片存储器82)中存储参考图片直到所述参考图片被标记为不用于参考。
视频解码器30的运动补偿单元72可解码各种语法元素，包含用以形成用于当前解码块的预测性块的一或多个参考图片的识别信息。在解码经帧间预测的PU期间，运动补偿单元72可解码在作用中序列参数集中用信号表示的用于当前图片的一或多个LTRP的识别信息。运动补偿单元72还可解码当前图片的切片标头或当前图片的图片参数集中用于预测当前图片的一或多个短期参考图片的识别信息。
图4是说明根据本发明的一或多个方面的用于执行颜色分量间残余预测的过程的实例的流程图。仅出于说明的目的，图4的方法可由视频编码器执行，例如对应于图1和2的视频编码器20的视频编码器。
在图4的方法中，视频编码器20的运动补偿单元44可确定视频数据块的明度残余样本(180)，且确定视频数据块的色度残余样本(182)。视频编码器20的变换处理单元52可进一步经配置以用比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本(184)，且基于色度残余样本和所述经按比例缩放明度残余样本确定视频数据块的预测性色度残余样本(186)。此外，视频编码器20的熵编码单元56可对预测性色度残余样本和明度残余样本进行编码(188)。
在一些实例中，量化单元52可进一步经配置以量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度样本。为了确定预测性色度残余样本，变换处理单元52可从色度残余样本减去经量化且经按比例缩放明度残余样本以产生预测性色度残余样本。熵编码单元56可经配置以在一些实例中对指示经编码视频位流中的比例因数的信息进行编码。
在一些实例中，如果块具有YCbCr 4:4:4格式，那么为了确定预测性色度残余样本，运动补偿单元44可进一步经配置以确定：
RCp(x,y)＝RC(x,y)-(α·RL(x,y))＞＞N
其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中N是非负整数恒定参数。
在一些实例中，为了确定预测性色度残余样本，运动补偿单元44可经配置以确定偏移值，且从色度残余样本减去所述偏移值。为了确定预测性色度残余样本，运动补偿单元44可进一步经配置以确定：
RCp(x,y)＝RC(x,y)-b-(α·RL(x,y))＞＞N，其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中b是偏移值，其中N是非负整数恒定参数，且其中块具有YCbCr 4:4:4格式。
在一些实例中，帧内预测单元46可经配置以响应于确定视频块的色度残余样本和视频块的明度残余样本具有相同帧内预测方向，确定预测性色度残余样本。
在各种实例中，为了确定预测性色度残余样本，运动补偿单元44可经配置以确定：
RCp(x,y)＝RC(x,y)-(α·RL(x＜＜1,y))＞＞N
其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中N是非负整数恒定参数，且其中块具有YCbCr 4:2:2色度子取样。
在各种实例中，为了确定预测性色度残余样本，运动补偿单元44可经配置以确定：
RCp(x,y)＝RC(x,y)-(α·((RL(2x,y))+RL(2x+1,y))/2))＞＞N
其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中N是非负整数恒定参数，且其中块具有YCbCr 4:2:2色度子取样。
在一些实例中，运动估计单元42可经配置以确定比例因数。为了确定比例因数，运动估计单元42可经配置以在第一语法元素中用信号表示比例因数的正负号，且在第二语法元素中用信号表示比例因数的量值。
在一些实例中，为了确定比例因数，运动估计单元42可经配置以在切片标头中用信号表示指示比例因数是否等于零的语法元素。响应于用信号表示比例因数不等于零，熵编码单元56可在由以下各项组成的群组中的至少一者中用信号表示指示比例因数是否等于零的语法元素：预测性色度残余样本块的译码树单元(CTU)、译码单元(CU)、预测单元(PU)和变换单元(TU)。
现将描述根据本发明的技术和根据图4的方法。视频编码器20可执行以下实例。
在一些实例中，确定比例因数可包括从由以下各项组成的群组中的一者选择比例因数：未用信号表示的默认比例因数映射表，和用信号表示的比例因数映射表。
在一些实例中，用信号表示的比例因数映射表是在由经译码视频位流的图片参数集(PPS)和序列参数集(SPS)组成的群组中的至少一者中用信号表示。
在一些实例中，默认比例因数映射表可根据由以下各项组成的群组中的至少一者界定：与CU相关联的颜色空间和CU的色度格式。
在一些实例中，默认比例因数映射表包括多个默认比例因数映射表，且其中选择比例因数包括从所述用信号表示的比例因数映射表或所述多个默认比例因数映射表中的一者选择比例因数。
在一些实例中，所述默认比例因数映射表和用信号表示的映射表中的至少一者符合比例因数的均匀分布。
在一些实例中，所述默认比例因数映射表和用信号表示的比例因数映射表中的至少一者符合比例因数的不均匀分布。
在一些实例中，图4的方法可进一步包括基于先前所确定的比例因数自适应地确定用信号表示的比例因数映射表的比例因数的分布。
在一些实例中，图4的确定比例因数的方法进一步可包括：基于色度样本的残余块的样本的正负号和明度残余块的样本的正负号确定比例因数的正负号。
在一些实例中，图4的方法可进一步包括：对所述比例因数进行熵编码。
在一些实例中，对所述比例因数进行熵编码可包括在绕过模式中使用固定长度上下文自适应二进制算术译码(CABAC)码对所述比例因数进行熵编码。
在一些实例中，其中所述比例因数可根据由以下各项组成的群组中的至少一者二进制化：指数哥伦布码和莱斯哥伦布码，其中对所述比例因数进行熵编码包括：使用CABAC上下文对所述比例因数的二进制化的一元部分进行CABAC编码；以及使用CABAC绕过模式对所述比例因数的固定长度部分进行CABAC编码。
在一些实例中，所述比例因数是使用截断一元码译码的，其中对所述比例因数进行熵编码包括：使用CABAC上下文对截断一元码的至少一个第一二进位进行CABAC编码；以及使用CABAC绕过模式对所述截断一元码的至少一个剩余二进位进行熵编码。
在一些实例中，确定比例因数可进一步包括：在切片标头中用信号表示指示所述比例因数是否等于零的语法元素；以及响应于用信号表示所述比例因数不等于零：
在由以下各项组成的群组中的至少一者中用信号表示指示所述比例因数是否等于零的语法元素：预测性色度残余样本块的译码树单元(CTU)、译码单元(CU)、预测单元(PU)和变换单元(TU)。
在一些实例中，可在指示所述比例因数是否等于零的语法元素的CTU、CU、PU和TU中的至少一者中用信号表示比例因数。在一些实例中，可在指示所述比例因数是否等于零的语法元素的CTU、CU、PU和TU中的不同至少一者中用信号表示比例因数。
在一些实例中，确定所述比例因数进一步包括：基于色度残余块的样本的总和和明度残余块的样本的总和用信号表示所述比例因数的正负号。
在一些实例中，图4的方法可进一步包括：在预测性色度残余块的样本的总和的正负号与明度残余样本块的样本的总和的正负号不同的情况下用信号表示所述比例因数的正负号等于零。
在一些实例中，图4的方法可进一步包括：如果预测性色度残余块的样本的总和的正负号和明度残余块的样本的总和的正负号具有相同正负号，那么用信号表示所述比例因数的正负号等于预测性色度残余块的样本的总和的正负号和明度残余块的样本的正负号。
在一些实例中，图4的方法可进一步包括：如果预测性色度残余块的样本的总和的正负号和明度残余块的样本的总和的正负号具有相同正负号，那么用信号表示所述比例因数的正负号不同于色度残余块的样本的总和的正负号和明度残余块的样本的正负号。
在一些实例中，确定所述比例因数可进一步包括：用信号表示所述比例因数的正负号，其中所述比例因数的正负号受限于具有以下各项中的仅一者：正正负号值和负正负号值。
在一些实例中，确定经更新色度残余样本块进一步包括响应于确定预测性色度残余样本块具有至少最小大小而用信号表示预测性色度残余样本块。
在一些实例中，确定所述比例因数包括：将预测性色度残余样本块的残余比例因数计算为比例因数与比例因数预测符的差；以及基于相对于预测性色度残余块的至少一个相邻块用信号表示比例因数预测符残余值。
在一些实例中，确定所述比例因数预测符可包括将比例因数预测符用信号表示为比例因数与相对于预测性色度残余样本块的相邻块的多个比例因数的平均值之间的差。
在一些实例中，视频编码器20可确定比例因数预测符可为比例因数与相对于预测性色度残余样本块的左边相邻块的比例因数的差。
在一些实例中，如果块具有YCbCr 4:2:2色度子取样格式，其中色度样本的残余块包括第一预测性色度残余块，其中明度样本的残余块对应于第一预测性色度残余块和第二预测性色度残余块，其中明度样本的残余块具有X x Y样本的分辨率，其中第一和第二预测性色度残余块具有(X/2)x(Y/2)样本的分辨率，其中确定所述比例因数包括：对明度样本块的残余块进行下取样以产生具有(X/2)的分辨率的经下取样明度块；以及基于经下取样明度残余块确定第一预测性色度残余块的第一比例因数，所述方法进一步包括：基于第一比例因数、第一预测性色度残余块、第二预测性色度残余块和经下取样明度残余块确定第二预测性色度残余块的第二比例因数预测符。
在一些实例中，确定第二比例因数可包括：
其中α0是第一比例因数，其中α1是第二比例因数，其中P0[C1(x,y)]是第一预测色度残余块，其中P1[C1(x,y)]是第二预测色度残余块，且其中L(x,y)对应于明度残余块。
图5是说明根据本发明的一或多个方面的用于使用颜色变换将具有RGB颜色空间的视频数据变换到具有第二颜色空间的视频数据的过程的实例的流程图。仅出于说明的目的，图5的方法可由视频编码器执行，例如对应于图1和2的视频解码器30的视频编码器。
在图5的方法中，视频解码器30可确定视频数据块的明度残余样本(200)，且确定视频数据块的预测性色度残余样本(202)。视频解码器30可进一步经配置以用比例因数按比例缩放明度残余样本以产生经按比例缩放明度残余样本(204)。此外，视频解码器30可基于预测性色度残余样本和经按比例缩放明度残余样本确定经更新色度残余样本(206)。
为了确定经更新色度残余样本块，运动补偿单元44可进一步经配置以确定明度样本的残余块的比例因数。运动补偿单元44可进一步将明度样本的残余块乘以比例因数以产生经按比例缩放明度残余样本块，量化经按比例缩放明度残余样本块以产生经量化明度残余样本块，且将经量化明度残余样本块与预测性色度残余样本块相加以产生经更新色度残余样本块。
在一些实例中，熵解码单元70可进一步经配置以量化经按比例缩放明度残余样本以产生经量化且经按比例缩放明度残余样本。为了确定经更新色度残余样本，所述至少一个处理器进一步经配置以将所述经量化且经按比例缩放明度残余样本与预测性色度残余样本相加以产生经更新色度残余样本。在一些实例中，熵解码单元70可进一步经配置以在经编码视频位流中接收比例因数。
在一些实例中，为了确定经更新色度残余样本，运动补偿单元72可经配置以确定：为了确定所述经更新色度残余样本，所述至少一个处理器经配置以确定：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
在一些实例中，为了确定所述经更新色度残余样本，运动补偿单元72可经配置以确定：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N
其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中N是非负整数恒定参数，且其中所述块具有YCbCr 4:4:4格式。
在一些实例中，为了确定所述经更新色度残余样本，运动补偿单元72可经配置以确定：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N，其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中N是非负整数恒定参数，且其中所述块具有YCbCr 4:4:4格式。
在一些实例中，为了确定经更新色度残余样本，运动补偿单元72可经配置以确定偏移值，且将所述偏移值添加到经量化明度残余样本。为了确定经更新色度残余样本，运动补偿单元72可进一步经配置以确定：
RC(x,y)＝RCp(x,y)+b+(α·RL(x,y))＞＞N，其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中b是偏移值，其中N是非负整数恒定参数，且其中所述块具有YCbCr 4:4:4格式。
在一些实例中，为了确定经更新色度残余样本，响应于帧内预测单元74确定视频块的色度残余样本和视频块的明度残余样本具有相同帧内预测方向，运动补偿单元72可确定预测性色度残余样本。
在一些实例中，为了确定所述经更新色度残余样本，运动补偿单元72可经配置以确定：
RC(x,y)＝RCp(x,y)+(α·RL(x＜＜1,y))＞＞N，其中RL是明度残余样本，其中RCp是预测信号给色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中N是非负整数恒定参数，且如果所述块具有YCbCr 4:2:2色度子取样。
在一些实例中，为了确定所述经更新色度残余样本，运动补偿单元72可经配置以确定：
RC(x,y)＝RCp(x,y)+(α·((RL(2x,y))+RL(2x+1,y))/2))＞＞N，其中RL是明度残余样本，其中RCp是预测性色度残余样本，其中RC是经更新色度残余样本，其中α是比例因数，其中N是非负整数恒定参数，如果所述块具有YCbCr 4:2:2色度子取样。
在一些实例中，为了确定比例因数，熵解码单元70可经配置以基于包含所述块的切片标头中经译码的值确定所述比例因数是否等于零。熵解码单元70可进一步经配置以：响应于确定所述切片标头中的值等于一，基于由与预测性色度残余样本相关联的译码树单元(CTU)、译码单元(CU)、预测单元(PU)和变换单元(TU)组成的群组中的至少一者中经译码的语法元素的值确定所述比例因数是否等于零。
在一些实例中，为了确定所述比例因数，熵解码单元70可经配置以从第一语法元素确定所述比例因数的正负号，且从第二语法元素确定所述比例因数的量值。
视频解码器30可将残余样本的对应块与所述块的预测性样本相加以重构所述块的实际样本。视频解码器30可组合色度和明度残余样本的块与预测性样本以形成所述块的最终像素。
现将描述根据本发明的技术的各种实例。在一个实例中，其中确定所述比例因数包括：从由不在经译码视频位流中用信号表示的默认比例因数表和在经译码位流中用信号表示的比例因数表组成的群组中的一者中的多个比例因数选择所述比例因数。
在一些实例中，用信号表示的比例因数表是在由经译码视频位流的图片参数集(PPS)和序列参数集(SPS)组成的群组中的至少一者中用信号表示。
在一些实例中，所述默认比例因数表是根据由以下各项组成的群组中的至少一者界定：与视频数据块相关联的颜色空间，和视频数据块的色度格式。
在一些实例中，所述默认比例因数表包括多个默认比例因数表。
在一些实例中，由所述默认比例因数表或用信号表示的比例因数表组成的群组中的至少一者包含比例因数的均匀分布。
在一些实例中，所述默认比例因数表和用信号表示的比例因数表中的所述至少一者符合比例因数的不均匀分布。
在一些实例中，确定所述比例因数进一步包括：基于预测性色度残余样本块的样本的正负号和明度残余块的样本的正负号确定所述比例因数的正负号。
在一些实例中，图5的方法进一步包括包括在上下文自适应二进制算术译码(CABAC)单元的绕过模式中使用固定长度码对所述比例因数进行熵解码。
在一些实例中，图5的方法可进一步包括对所述比例因数进行熵解码，其中所述比例因数根据由指数哥伦布码和莱斯哥伦布码组成的群组中的至少一者二进制化，且其中对所述比例因数进行熵解码包括：使用CABAC上下文对所述比例因数的二进制化的一元部分进行CABAC解码，且使用CABAC绕过模式对所述比例因数的固定长度部分进行CABAC解码。
在一些实例中，图5的方法可进一步包括对所述比例因数进行熵解码，其中所述比例因数是使用截断一元码译码的，且其中对所述比例因数进行熵解码包括：使用CABAC上下文对所述截断一元码的至少一个第一二进位进行CABAC解码，且使用CABAC绕过模式对所述截断一元码的至少一个剩余二进位进行熵解码。
在一些实例中，图5的方法可进一步包括在指示所述比例因数是否等于零的语法元素的CTU、CU、PU和TU中的至少一者中用信号表示所述比例因数。
在一些实例中，图5的方法可进一步包括在指示所述比例因数是否等于零的语法元素的CTU、CU、PU和TU中的不同至少一者中用信号表示所述比例因数。
在一些实例中，在图5的方法中，确定比例因数进一步可包括：基于色度残余块的样本的总和和明度残余块的样本的总和确定比例因数的正负号。
在一些实例中，图5的方法可进一步包括：在预测性色度残余块的样本的总和的正负号与明度残余样本块的样本的总和的正负号不同的情况下确定所述比例因数的正负号等于零。
在一些实例中，图5的方法可进一步包括：如果预测性色度残余块的样本的总和的正负号和明度残余块的样本的总和的正负号具有相同正负号，那么确定所述比例因数的正负号等于预测性色度残余块的样本的总和的正负号和明度残余块的样本的正负号。
在一些实例中，图5的方法可进一步包括：如果预测性色度残余块的样本的总和的正负号和明度残余块的样本的总和的正负号具有相同正负号，那么确定所述比例因数的正负号不同于色度残余块的样本的总和的正负号和明度残余块的样本的正负号。
在一些实例中，在图5的方法中，确定所述比例因数可进一步包括：确定所述比例因数的正负号，其中所述比例因数的正负号受限于具有正正负号值和负正负号值中的仅一者。
在一些实例中，图5的方法可进一步包括确定经更新色度残余样本块进一步包括响应于确定预测性色度残余样本块具有至少最小大小而确定经更新色度残余样本块。
在一些实例中，图5的方法，确定所述比例因数可进一步包括：从相对于预测性色度残余块的至少一个相邻块确定比例因数预测符；确定预测性色度残余样本块的残余比例因数；以及
将预测性色度残余样本块的比例因数计算为比例因数预测符和残余比例因数的总和。
在一些实例中，在图5的方法中，确定所述比例因数预测符可包括将所述比例因数预测符确定为相对于预测性色度残余样本块的相邻块的多个比例因数的平均值。
在一些实例中，在图5的方法中，所述比例因数预测符是相对于预测性色度残余样本块的左边相邻块的比例因数。
在一些实例中，此处CU具有YCbCr 4:2:2色度子取样格式，其中色度残余样本包括第一预测性色度残余块，其中明度残余样本对应于第一预测性色度残余块和第二预测性色度残余块，其中明度残余样本具有X x Y样本的分辨率，其中第一和第二预测性色度残余块具有(X/2)x(Y/2)样本的分辨率，其中确定所述比例因数包括：对残余块明度样本进行下取样以产生具有(X/2)的分辨率的经下取样明度残余块；以及基于经下取样明度残余块确定第一预测性色度残余块的第一比例因数，所述方法进一步包括：基于第一比例因数、第一预测性色度残余块、第二预测性色度残余块和经下取样明度残余块确定第二预测性色度残余块的第二比例因数。
在一些实例中，在图5的方法中，确定所述第二比例因数可包括根据以下方程式确定所述第二比例因数：
其中α0是第一比例因数，其中α1是第二比例因数，其中P0[C1(x,y)]是第一预测性色度残余块，其中P1[C1(x,y)]是第二预测性色度残余块，且其中L(x,y)对应于明度残余块。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非循序执行动作或事件。
在一或多个实例中，所描述的功能可实施在硬件、软件、固件或其任何组合中。如果以软件来实施，那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体予以传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，所述计算机可读存储媒体对应于有形媒体，例如，数据存储媒体或包含(例如)根据通信协议促进计算机程序从一位置传送至另一位置的任何媒体的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用来存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且，任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体及数据存储媒体并不包括连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。此外，在一些方面，本文中所描述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入于组合编解码器中。并且，所述技术可以完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在一个编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (47)

1.一种对视频数据进行解码的方法，所述方法包括：
确定视频数据块的明度残余样本；
确定所述视频数据块的预测性色度残余样本；
以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；以及
基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本，
其中确定所述经更新色度残余样本包括：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
2.根据权利要求1所述的方法，其进一步包括：
量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度残余样本，其中确定所述经更新色度残余样本包括将所述经量化且经按比例缩放明度残余样本与所述预测性色度残余样本相加以产生所述经更新色度残余样本。
3.根据权利要求1所述的方法，其进一步包括在经编码视频位流中接收所述比例因数。
4.根据权利要求2所述的方法，其中确定所述经更新色度残余样本进一步包括：
确定偏移值；以及
将所述偏移值添加到所述经量化且经按比例缩放明度残余样本。
5.根据权利要求1所述的方法，其中确定所述预测性色度残余样本包括：
响应于确定所述视频块的色度样本和所述视频块的明度样本具有相同帧内预测方向，确定所述经更新色度残余样本。
6.根据权利要求1所述的方法，其中确定所述比例因数进一步包括：
从第一语法元素确定所述比例因数的正负号；以及
从第二语法元素确定所述比例因数的量值。
7.根据权利要求1所述的方法，其中确定所述比例因数进一步包括基于包含所述块的切片标头中经译码的值确定所述比例因数是否等于零，所述方法进一步包括：
响应于确定所述切片标头中的所述值等于一，基于在由与所述预测性色度残余样本相关联的译码树单元CTU、译码单元CU、预测单元PU和变换单元TU组成的群组中的至少一者中译码的语法元素的值确定所述比例因数是否等于零。
8.一种对视频进行编码的方法，所述方法包括：
确定视频数据块的明度残余样本；
确定所述视频数据块的色度残余样本；
以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；
基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本；以及
对所述预测性色度残余样本和所述明度残余样本进行编码，
其中确定所述预测性色度残余样本包括确定：
RCp(x,y)＝RC(x,y)-(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
9.根据权利要求8所述的方法，其进一步包括：量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度样本，其中确定所述预测性色度残余样本包括从所述色度残余样本减去所述经量化且经按比例缩放明度残余样本以产生所述预测性色度残余样本。
10.根据权利要求8所述的方法，其进一步包括在经编码视频位流中对指示所述比例因数的信息进行编码。
11.根据权利要求8所述的方法，其中确定所述预测性色度残余样本进一步包括：
确定偏移值；以及
从所述色度残余样本减去所述偏移值。
12.根据权利要求8所述的方法，其中确定所述预测性色度残余样本包括：
响应于确定所述视频块的色度残余样本和所述视频块的明度残余样本具有相同帧内预测方向，确定所述预测性色度残余样本。
13.根据权利要求8所述的方法，其中确定所述比例因数进一步包括：
在第一语法元素中用信号表示所述比例因数的正负号；以及
在第二语法元素中用信号表示所述比例因数的量值。
14.根据权利要求8所述的方法，其中确定所述比例因数进一步包括：
在切片标头中用信号表示指示所述比例因数是否等于零的语法元素；以及
响应于用信号表示所述比例因数不等于零：
在由以下各项组成的群组中的至少一者中用信号表示指示所述比例因数是否等于零的语法元素：所述预测性色度残余样本块的译码树单元CTU、译码单元CU、预测单元PU和变换单元TU。
15.一种用于对视频数据进行解码的装置，所述装置包括：
存储器，其经配置以存储视频数据；以及
至少一个处理器，其经配置以：
确定视频数据块的明度残余样本；
确定所述视频数据块的预测性色度残余样本；
以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；
以及
基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本，
其中为了确定所述经更新色度残余样本，所述至少一个处理器经配置以确定：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
16.根据权利要求15所述的装置，其中所述至少一个处理器进一步经配置以：
量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度残余样本，其中为了确定所述经更新色度残余样本，所述至少一个处理器进一步经配置以将所述经量化且经按比例缩放明度残余样本与所述预测性色度残余样本相加以产生所述经更新色度残余样本。
17.根据权利要求15所述的装置，其中所述至少一个处理器进一步经配置以在经编码视频位流中接收所述比例因数。
18.根据权利要求16所述的装置，其中为了确定所述经更新色度残余样本，所述至少一个处理器进一步经配置以：
确定偏移值；以及
将所述偏移值添加到所述经量化且经按比例缩放明度残余样本。
19.根据权利要求15所述的装置，其中为了确定所述预测性色度残余样本，所述至少一个处理器进一步经配置以：
响应于确定所述视频块的色度残余样本和所述视频块的明度残余样本具有相同帧内预测方向，确定所述预测性色度残余样本。
20.根据权利要求15所述的装置，其中为了确定所述比例因数，所述至少一个处理器进一步经配置以：
从第一语法元素确定所述比例因数的正负号；以及
从第二语法元素确定所述比例因数的量值。
21.根据权利要求15所述的装置，其中为了确定所述比例因数，所述至少一个处理器进一步经配置以基于包含所述块的切片标头中经译码的值确定所述比例因数是否等于零，其中所述至少一个处理器进一步经配置以：
响应于确定所述切片标头中的所述值等于一，基于在由与所述预测性色度残余样本相关联的译码树单元CTU、译码单元CU、预测单元PU和变换单元TU组成的群组中的至少一者中译码的语法元素的值确定所述比例因数是否等于零。
22.一种用于对视频进行编码的装置，所述装置包括：
存储器，其经配置以存储视频数据；以及
至少一个处理器，其经配置以：
确定视频数据块的明度残余样本；
确定所述视频数据块的色度残余样本；
以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；
基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本；以及
对所述预测性色度残余样本和所述明度残余样本进行编码，
其中为了确定所述预测性色度残余样本，所述至少一个处理器进一步经配置以确定：
RCp(x,y)＝RC(x,y)-(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
23.根据权利要求22所述的装置，其中所述至少一个处理器进一步经配置以：量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度样本，其中为了确定所述预测性色度残余样本，所述至少一个处理器进一步经配置以从所述色度残余样本减去所述经量化且经按比例缩放明度残余样本以产生所述预测性色度残余样本。
24.根据权利要求22所述的装置，其中所述至少一个处理器进一步经配置以：在经编码视频位流中对指示所述比例因数的信息进行编码。
25.根据权利要求22所述的装置，其中为了确定所述预测性色度残余样本，所述至少一个处理器进一步经配置以：
确定偏移值；以及
从所述色度残余样本减去所述偏移值。
26.根据权利要求22所述的装置，其中为了确定所述预测性色度残余样本，所述至少一个处理器进一步经配置以：
响应于确定所述视频块的色度残余样本和所述视频块的明度残余样本具有相同帧内预测方向，确定所述预测性色度残余样本。
27.根据权利要求22所述的装置，其中为了确定所述比例因数，所述至少一个处理器进一步经配置以：
在第一语法元素中用信号表示所述比例因数的正负号；以及
在第二语法元素中用信号表示所述比例因数的量值。
28.根据权利要求22所述的装置，其中为了确定所述比例因数，所述至少一个处理器进一步经配置以：
在切片标头中用信号表示指示所述比例因数是否等于零的语法元素；以及
响应于用信号表示所述比例因数不等于零：
在由以下各项组成的群组中的至少一者中用信号表示指示所述比例因数是否等于零的语法元素：所述预测性色度残余样本块的译码树单元CTU、译码单元CU、预测单元PU和变换单元TU。
29.一种用于对视频进行解码的装置，所述装置包括：
用于确定视频数据块的明度残余样本的装置；
用于确定所述视频数据块的预测性色度残余样本的装置；
用于以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本的装置；以及
用于基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本的装置，
其中所述用于确定所述经更新色度残余样本的装置包括：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
30.根据权利要求29所述的装置，其进一步包括：
用于量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度残余样本的装置，其中确定所述经更新色度残余样本包括将所述经量化且经按比例缩放明度残余样本与所述预测性色度残余样本相加以产生所述经更新色度残余样本。
31.根据权利要求30所述的装置，其中所述用于确定所述经更新色度残余样本的装置进一步包括：
用于确定偏移值的装置；以及
用于将所述偏移值添加到所述经量化且经按比例缩放明度残余样本的装置。
32.根据权利要求29所述的装置，其中所述用于确定所述预测性色度残余样本的装置包括：
用于响应于确定所述视频块的色度样本和所述视频块的明度样本具有相同帧内预测方向而确定所述经更新色度残余样本的装置。
33.一种用于对视频进行编码的装置，所述装置包括：
用于确定视频数据块的明度残余样本的装置；
用于确定所述视频数据块的色度残余样本的装置；
用于以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本的装置；
用于基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本的装置；以及
用于对所述预测性色度残余样本和所述明度残余样本进行编码的装置，
其中所述用于确定所述预测性色度残余样本的装置包括用于确定以下项的装置：
RCp(x,y)＝RC(x,y)-(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
34.根据权利要求33所述的装置，其进一步包括：用于量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度样本的装置，其中所述用于确定所述预测性色度残余样本的装置包括用于从所述色度残余样本减去所述经量化且经按比例缩放明度残余样本以产生所述预测性色度残余样本的装置。
35.根据权利要求33所述的装置，其进一步包括用于在经编码视频位流中对指示所述比例因数的信息进行编码的装置。
36.根据权利要求33所述的装置，其中所述用于确定所述预测性色度残余样本的装置进一步包括：
用于确定偏移值的装置；以及
用于从所述色度残余样本减去所述偏移值的装置。
37.根据权利要求33所述的装置，其中所述用于确定所述预测性色度残余样本的装置包括：
用于响应于确定所述视频块的色度残余样本和所述视频块的明度残余样本具有相同帧内预测方向而确定所述预测性色度残余样本的装置。
38.一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令当执行时致使至少一个处理器：
确定视频数据块的明度残余样本；
确定所述视频数据块的预测性色度残余样本；
以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；以及
基于所述预测性色度残余样本和所述经按比例缩放明度残余样本确定经更新色度残余样本，
其中所述致使所述至少一个处理器确定所述经更新色度残余样本的指令进一步致使所述至少一个处理器确定：
RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
39.根据权利要求38所述的非暂时性计算机可读存储媒体，其中所述指令进一步致使所述至少一个处理器：
量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度残余样本，其中所述致使所述至少一个处理器确定所述经更新色度残余样本的指令进一步致使所述至少一个处理器将所述经量化且经按比例缩放明度残余样本与所述预测性色度残余样本相加以产生所述经更新色度残余样本。
40.根据权利要求38所述的非暂时性计算机可读存储媒体，其中所述指令进一步致使所述至少一个处理器在经编码视频位流中接收所述比例因数。
41.根据权利要求39所述的非暂时性计算机可读存储媒体，其中所述致使所述至少一个处理器确定所述经更新色度残余样本的指令进一步致使所述至少一个处理器：
确定偏移值；以及
将所述偏移值添加到所述经量化且经按比例缩放明度残余样本。
42.根据权利要求38所述的非暂时性计算机可读存储媒体，其中所述致使所述至少一个处理器确定所述预测性色度残余样本的指令进一步致使所述至少一个处理器：
响应于确定所述视频块的色度样本和所述视频块的明度样本具有相同帧内预测方向，确定所述经更新色度残余样本。
43.一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令当执行时致使至少一个处理器：
确定视频数据块的明度残余样本；
确定所述视频数据块的色度残余样本；
以比例因数按比例缩放所述明度残余样本以产生经按比例缩放明度残余样本；
基于所述色度残余样本和所述经按比例缩放明度残余样本确定所述视频数据块的预测性色度残余样本；以及
对所述预测性色度残余样本和所述明度残余样本进行编码，
其中所述致使所述至少一个处理器确定所述预测性色度残余样本的指令进一步致使所述至少一个处理器确定：
RCp(x,y)＝RC(x,y)-(α·RL(x,y))＜＜N
其中RL是所述明度残余样本，
其中RCp是所述预测性色度残余样本，
其中RC是所述经更新色度残余样本，
其中α是所述比例因数，
其中N是非负整数恒定参数，且
其中所述块具有YCbCr 4:4:4格式。
44.根据权利要求43所述的非暂时性计算机可读存储媒体，其中所述指令进一步致使所述至少一个处理器：量化所述经按比例缩放明度残余样本以产生经量化且经按比例缩放明度样本，其中所述致使所述至少一个处理器确定所述预测性色度残余样本的指令进一步致使所述至少一个处理器从所述色度残余样本减去所述经量化且经按比例缩放明度残余样本以产生所述预测性色度残余样本。
45.根据权利要求43所述的非暂时性计算机可读存储媒体，其中所述指令进一步致使所述至少一个处理器：在经编码视频位流中对指示所述比例因数的信息进行编码。
46.根据权利要求43所述的非暂时性计算机可读存储媒体，其中所述致使所述至少一个处理器确定所述预测性色度残余样本的指令进一步致使所述至少一个处理器：
确定偏移值；以及
从所述色度残余样本减去所述偏移值。
47.根据权利要求43所述的非暂时性计算机可读存储媒体，其中所述致使所述至少一个处理器确定所述预测性色度残余样本的指令进一步包括致使所述至少一个处理器进行以下操作的指令：
响应于确定所述视频块的色度残余样本和所述视频块的明度残余样本具有相同帧内预测方向，确定所述预测性色度残余样本。
CN201480039034.XA 2013-07-15 2014-07-15 颜色分量间残余预测 Active CN105379270B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361846581P 2013-07-15 2013-07-15
US61/846,581 2013-07-15
US201361847839P 2013-07-18 2013-07-18
US61/847,839 2013-07-18
US14/331,166 2014-07-14
US14/331,166 US9648330B2 (en) 2013-07-15 2014-07-14 Inter-color component residual prediction
PCT/US2014/046713 WO2015009732A1 (en) 2013-07-15 2014-07-15 Inter-color component residual prediction

Publications (2)

Publication Number Publication Date
CN105379270A CN105379270A (zh) 2016-03-02
CN105379270B true CN105379270B (zh) 2018-06-05

Family

ID=52277078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039034.XA Active CN105379270B (zh) 2013-07-15 2014-07-15 颜色分量间残余预测

Country Status (8)

Country Link
US (1) US9648330B2 (zh)
EP (1) EP3022913A1 (zh)
JP (2) JP6672145B2 (zh)
KR (1) KR102341898B1 (zh)
CN (1) CN105379270B (zh)
BR (1) BR112016000863B8 (zh)
CA (1) CA2914581C (zh)
WO (1) WO2015009732A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
CN111526359B (zh) * 2013-10-18 2023-01-06 Ge视频压缩有限责任公司 多分量图片或视频编码概念
US9788000B2 (en) * 2013-10-28 2017-10-10 Electronics And Telecommunications Research Institute Method and apparatus for inter color component prediction
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
US10397607B2 (en) 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
KR102336932B1 (ko) * 2013-12-27 2021-12-08 소니그룹주식회사 화상 처리 장치 및 방법
WO2015100522A1 (en) * 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US9215469B2 (en) * 2014-01-10 2015-12-15 Sony Corporation Intra-plane and inter-plane predictive method for RGB image coding
US10291915B2 (en) * 2014-03-06 2019-05-14 Samsung Electronics Co., Ltd. Video decoding method and apparatus and video encoding method and apparatus
JP6341756B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
CN107079157B (zh) * 2014-09-12 2020-12-22 Vid拓展公司 用于视频编码的分量间去相关
WO2016115733A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Improvements for inter-component residual prediction
KR20180064411A (ko) * 2015-09-15 2018-06-14 디지털인사이트 주식회사 Hdr 양자화 혹은 마스킹 방법 및 장치
WO2017123487A1 (en) * 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
JP6543578B2 (ja) * 2016-01-27 2019-07-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
EP4266684A3 (en) * 2016-02-11 2024-01-24 InterDigital VC Holdings, Inc. Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel
US10944976B2 (en) * 2016-07-22 2021-03-09 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
CN118660159A (zh) 2016-10-04 2024-09-17 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
CA3048242C (en) * 2016-12-28 2023-10-31 Arris Enterprises Llc Improved video bitstream coding
JP6680260B2 (ja) 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2018236028A1 (ko) * 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US11190799B2 (en) * 2017-06-21 2021-11-30 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
WO2019194436A1 (ko) * 2018-04-02 2019-10-10 엘지전자 주식회사 움직임 벡터에 기반한 영상 코딩 방법 및 그 장치
CA3213840A1 (en) 2018-07-16 2020-01-23 Huawei Technologies Co., Ltd. Video encoder, video decoder, and corresponding encoding and decoding methods
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
EP3932063A1 (en) * 2019-02-28 2022-01-05 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
WO2020180737A1 (en) * 2019-03-04 2020-09-10 Alibaba Group Holding Limited Method and system for processing video content
EP3918800A4 (en) * 2019-03-08 2022-07-06 Beijing Bytedance Network Technology Co., Ltd. SIGNALING TRANSFORMATION INFORMATION IN VIDEO PROCESSING
CN113632481B (zh) * 2019-03-15 2023-12-26 寰发股份有限公司 色度残差缩放的延迟降低方法和装置
BR112021019564A2 (pt) * 2019-04-18 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
AU2020263199B2 (en) 2019-04-23 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
CN117221558A (zh) 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
CN114009021A (zh) * 2019-06-20 2022-02-01 北京达佳互联信息技术有限公司 用于视频编解码的预测相关残差缩放的方法和装置
EP3987793A4 (en) 2019-06-21 2023-07-19 Beijing Dajia Internet Information Technology Co., Ltd. PREDICTION DEPENDENT RESIDUAL SCALING METHODS AND DEVICES FOR VIDEO CODING
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
WO2020263493A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Method and system for processing luma and chroma signals
US11115658B2 (en) * 2019-06-25 2021-09-07 Qualcomm Incorporated Matrix intra prediction and cross-component linear model prediction harmonization for video coding
WO2021006582A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
CN114342381B (zh) * 2019-07-05 2023-11-17 Lg电子株式会社 图像解码和编码方法及用于图像的数据的发送方法
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
EP3972251A4 (en) * 2019-07-10 2022-08-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE COMPONENT PREDICTION METHOD, ENCODER, DECODER AND MEMORY MEDIA
CN113632471B (zh) * 2019-08-23 2024-02-27 腾讯美国有限责任公司 视频编解码的方法和装置
US20220303561A1 (en) * 2019-09-05 2022-09-22 Sharp Kabushiki Kaisha Systems and methods for performing inter prediction coding in video coding
WO2021055114A1 (en) * 2019-09-20 2021-03-25 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter offset
KR20220065758A (ko) * 2019-09-20 2022-05-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록의 스케일링 프로세스
US11463688B2 (en) * 2019-12-09 2022-10-04 Qualcomm Incorporated Joint chroma residual video coding
EP4107962A4 (en) * 2020-02-21 2023-07-26 Alibaba Group Holding Limited METHODS OF PROCESSING CHROMA SIGNALS
JP6879401B2 (ja) * 2020-02-27 2021-06-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2021204137A1 (en) * 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Clipping operation for reference picture wrap around
CN115428457A (zh) 2020-04-09 2022-12-02 抖音视界有限公司 基于颜色格式的自适应参数集的约束
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
WO2021222036A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements
WO2021222871A1 (en) * 2020-04-30 2021-11-04 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
CN118075461A (zh) * 2020-06-12 2024-05-24 北京达佳互联信息技术有限公司 一种视频解码的方法、装置和介质
EP4201063A4 (en) * 2020-08-20 2024-05-29 Beijing Dajia Internet Information Technology Co., Ltd. IMPROVING CHROMINANCE CODING IN ADAPTIVE CROSS-COMPONENT SAMPLE SHIFT
EP4205389A4 (en) * 2020-08-26 2024-05-22 Beijing Dajia Internet Information Technology Co., Ltd. ENHANCEMENT OF CHROMINANCE CODING IN ADAPTIVE INTER-COMPONENT SAMPLE SHIFT
US11645812B2 (en) * 2020-10-06 2023-05-09 Qualcomm Incorporated Inter-component residual prediction for color attributes in geometry point cloud compression coding
US11651551B2 (en) * 2020-10-06 2023-05-16 Qualcomm Incorporated Coding of component of color attributes in geometry-based point cloud compression (G-PCC)
US11689743B2 (en) * 2020-11-12 2023-06-27 Tencent America LLC Method and apparatus for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069429A (zh) * 2004-12-03 2007-11-07 三星电子株式会社 用于多层视频编码和解码的方法和设备
WO2010110126A1 (ja) * 2009-03-23 2010-09-30 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616330B (zh) 2003-07-16 2012-07-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
EP1538844A3 (en) 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
WO2010008808A2 (en) * 2008-06-23 2010-01-21 Pixsense, Inc. Compressed domain system and method for compression gains in encoded data
JP5809292B2 (ja) * 2011-01-14 2015-11-10 ジーイー ビデオ コンプレッション エルエルシー エントロピー符号化および復号化スキーム
CA2840488A1 (en) * 2011-06-28 2013-01-03 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
JP5707261B2 (ja) * 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US20140348240A1 (en) 2013-05-22 2014-11-27 Qualcomm Incorporated Video coding using sample prediction among color components
US20140376611A1 (en) 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069429A (zh) * 2004-12-03 2007-11-07 三星电子株式会社 用于多层视频编码和解码的方法和设备
WO2010110126A1 (ja) * 2009-03-23 2010-09-30 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chroma intra prediction based on residual luma samples;KAWAMURA K ET AL;《JCT-VC MEETING，JCTVC-F095，TORINO》;20110722;全文 *

Also Published As

Publication number Publication date
JP2020074547A (ja) 2020-05-14
US9648330B2 (en) 2017-05-09
CA2914581C (en) 2021-11-23
US20150016512A1 (en) 2015-01-15
WO2015009732A1 (en) 2015-01-22
JP2016530775A (ja) 2016-09-29
BR112016000863B8 (pt) 2023-10-17
JP6672145B2 (ja) 2020-03-25
CN105379270A (zh) 2016-03-02
KR20160032124A (ko) 2016-03-23
EP3022913A1 (en) 2016-05-25
BR112016000863A2 (zh) 2017-07-25
CA2914581A1 (en) 2015-01-22
BR112016000863B1 (pt) 2023-04-11
KR102341898B1 (ko) 2021-12-21

Similar Documents

Publication Publication Date Title
CN105379270B (zh) 颜色分量间残余预测
CN105308959B (zh) 用于视频译码的自适应颜色变换
US10873762B2 (en) Non-separable secondary transform for video coding
CN112740681B (zh) 自适应多重变换译码
CN105637866B (zh) 自适应色彩分量间残差预测
KR102435840B1 (ko) 비분리형 변환들을 위한 메모리 감소
CN107211124B (zh) 用于译码视频数据的方法、装置和计算机可读存储媒体
CN105723707B (zh) 用于视频译码的色彩残差预测
CN105379266B (zh) 停用帧内预测滤波
CN106576171B (zh) 一种对视频数据进行编码、解码的方法以及装置
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
CN110100436A (zh) 使用导出色度模式译码视频数据
CN106664425A (zh) 视频译码中的跨分量预测
CN108353167A (zh) 译码视频数据的正负号信息
CN109716771A (zh) 用于视频译码的线性模型色度帧内预测
CN109691101A (zh) 用于增强型多变换的查找表
CN109155848A (zh) 用于高动态范围及宽色域视频译码的环路内样本处理
US11019346B2 (en) Coefficient coding with grouped bypass remaining levels for dependent quantization
CN107439013A (zh) 用于高动态范围和宽色域视频译码的动态范围调整
CN107743705A (zh) 帧内预测及帧内模式译码
CN107750455A (zh) 帧内预测及帧内模式译码
CN107211125A (zh) 预测单元的灵活分割
CN106464885A (zh) 块自适应颜色空间转换译码
CN104221374A (zh) 在视频译码中分群经旁路译码语法元素

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant