CN104509113B - 视频压缩中的变换跳过模式 - Google Patents

视频压缩中的变换跳过模式 Download PDF

Info

Publication number
CN104509113B
CN104509113B CN201380031869.6A CN201380031869A CN104509113B CN 104509113 B CN104509113 B CN 104509113B CN 201380031869 A CN201380031869 A CN 201380031869A CN 104509113 B CN104509113 B CN 104509113B
Authority
CN
China
Prior art keywords
lightness
skip mode
corresponding lightness
video
colourity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380031869.6A
Other languages
English (en)
Other versions
CN104509113A (zh
Inventor
格尔特·范德奥维拉
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104509113A publication Critical patent/CN104509113A/zh
Application granted granted Critical
Publication of CN104509113B publication Critical patent/CN104509113B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Abstract

本发明涉及一种用于译码视频数据的装置，其包含视频译码器，所述视频译码器经配置以：针对色度变换块TB，确定用于所述色度TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；针对所述一或多个相对应的明度TB中的每一者，确定所述相对应的明度TB是否是使用变换跳过模式来译码；及，基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。

Description

视频压缩中的变换跳过模式
本申请案主张2012年6月22日申请的第61/663,453号美国临时专利申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可以将视频切片(即，视频帧或视频帧的一部分)分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以将残余变换系数量化。可以扫描最初以二维阵列布置的经量化的变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。
发明内容
根据本发明的技术，一种视频解码器可通过识别对应于色度变换块的相对应的明度变换块来确定所述色度变换块是否是使用变换跳过模式来译码。基于使用所述变换跳过模式译码多少个所述明度变换块，所述视频解码器可在未接收到明确地识别所述色度变换块是否是使用所述变换跳过模式来译码的语法元素的情况下确定所述色度变换块是否是使用所述变换跳过模式来译码。
在一个实例中，一种解码视频数据的方法包含：针对色度变换块(TB)，确定用于所述色度TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；针对所述一或多个相对应的明度TB中的每一者，接收指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标；及，基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。
在另一实例中，一种解码视频数据的方法包含：针对色度变换块(TB)，确定用于所述色度TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；针对所述一或多个相对应的明度TB中的每一者，产生指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标；及，基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，使用所述变换跳过模式编码所述色度TB，而不产生指示所述色度TB是使用所述变换跳过模式来译码的语法元素。
在另一实例中，一种用于译码视频数据的装置包含视频译码器，所述视频译码器经配置以：针对色度变换块(TB)，确定用于所述色度TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；针对所述一或多个相对应的明度TB中的每一者，确定所述相对应的明度TB是否是使用变换跳过模式来译码；及基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。
在另一实例中，一种用于译码视频数据的设备包含：用于针对色度变换块(TB)确定用于所述色度TB的子取样格式的装置；用于基于用于所述色度TB的所述子取样格式识别一或多个相对应的明度TB的装置；用于针对所述一或多个相对应的明度TB中的每一者译码指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标的装置；及用于基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码的装置。
在另一实例中，一种存储指令的计算机可读存储媒体，所述指令在被执行时致使一或多个处理器进行以下操作：针对色度变换块(TB)，确定用于所述色度TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；针对所述一或多个相对应的明度TB中的每一者，译码指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标；及，基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。
随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。
附图说明
图1是说明可利用本发明中描述的技术的实例视频编码及解码系统的框图。
图2A到2C是说明用于视频数据的不同样本格式的概念图。
图3是说明根据4:2:0样本格式格式化的16×16译码单元的概念图。
图4是说明根据4:2:2样本格式格式化的16×16译码单元的概念图。
图5是说明可实施本发明中描述的技术的实例视频编码器的框图。
图6是说明可实施本发明中描述的技术的实例视频解码器的框图。
图7是说明根据本发明的技术的用于编码视频数据的方法的流程图。
图8是说明根据本发明的技术的用于解码视频数据的方法的流程图。
具体实施方式
用于新兴的高效率视频译码(HEVC)标准的各种提议包含用于译码变换单元(TU)的变换跳过模式。变换跳过模式可增加用于一些类型的视频内容的译码效率。包含HEVC标准的各种视频译码标准包含表示视频数据的原始块与视频数据的经预测块(例如，视频数据的经帧间预测块或视频数据的经帧内预测块)之间的差的残余数据的译码。视频编码器通常变换、量化及熵编码残余数据。视频编码器通过将例如离散余弦变换(DCT)或某一概念上类似变换等变换应用于像素域中的数据以产生变换域中的变换系数来变换残余数据，且视频编码器接着量化所得变换系数。
当视频解码器接收到经编码残余数据时，视频解码器一般执行由视频编码器执行的操作的逆向操作。举例来说，视频解码器可熵解码经量化的变换系数，将变换系数反量化，及最后执行反变换过程以将变换系数变换回到像素域中的残余数据。一旦获得像素域残余数据，视频解码器便可将残余数据加到视频数据的经预测块以形成经重新构造的视频数据块。经重新构造的视频块接近视频数据的原始块。可将各种滤波操作应用于经重新构造的视频块以进一步改进经重新构造的视频数据的质量，各种滤波操作例如解块滤波器、样本自适应偏移(SAO)及/或自适应环路滤波器(ALF)。
在变换跳过模式中，跳过变换及反变换过程。换句话说，视频编码器可量化及熵编码像素域残余数据，且视频解码器可熵解码及反量化像素域残余数据。然而，视频编码器并不将像素域数据变换到变换域。同样地，因为视频解码器未接收到变换域数据，所以视频解码器不需要执行反变换操作以将残余数据变换回到像素域。视频编码器产生用于包含在经编码视频位流中以指示特定TU是否是使用变换跳过来译码的旗标。在一些实施方案中，变换跳过可仅用于某些类型的TU，例如4×4帧内TU。尽管本发明可能参考4×4帧内TU描述若干实例，但不应被假设为本发明的技术仅限于4×4帧内TU。本发明的技术可扩展到其它大小的帧内TU以及帧间TU。可(例如)通过以下操作来启用变换跳过：通过将“transform_skip_enabled_flag”语法元素包含在参数集中，例如序列参数集(SPS)或某一其它参数集，及通过将“transform_skip_flag”语法元素(还有可能被称作“ts_flag”语法元素)包含在残余译码语法中。“transform_skip_enabled_flag”语法元素的值可针对一序列的所有TU启用或停用变换跳过。当针对一序列启用变换跳过(例如，“transform_skip_enabled_flag”经设置为真)时，所述序列中的每一TU可具有相关联的“transform_skip_flag”语法元素以指示所述TU是否是使用变换跳过模式来译码。如本发明中所使用，用于transform_skip_flag的真值意味着TU是使用变换跳过模式来译码，且用于transform_skip_flag的假值意味着TU不是使用变换跳过模式来译码。
HEVC中的变换跳过模式的各种实施方案支持用于明度分量及色度分量两者的4×4帧内变换跳过，因此需要针对明度及色度4×4变换块(TB)发信单独的transform_skip_flag语法元素。本发明引入用于基于色度类型(例如，子取样格式)及与明度分量相关联的一或多个transform_skip_flag值导出用于色度分量的transform_skip_flag值的技术。本发明使用例如“导出用于色度TB的色度transform_skip_flag值”等术语，因此可类推用于色度TB的过程为用于明度TB的过程，但当实施本发明的技术时，不需要将“transform_skip_flag”语法元素包含在经编码位流中。因此，当本发明论述导出色度transform_skip_flag值时，此类描述可广泛地被解释为意味着确定色度TB是否是使用变换跳过模式来译码。当实施本发明的技术时，并不需要将用于色度分量的transform_skip_flag包含在经编码位流中，此情形可通过减少需要包含在经编码视频位流中的语法元素的数目而减少发信开销。
可按不同的子取样格式来译码CU或TU中的像素的明度及色度分量。在针对HEVC的一个提议中，按4:2:0格式译码像素的明度及色度分量。在4:2:0像素格式中，对于每个2×2像素块，存在4个明度分量及2个色度分量(例如，1个Cr色度分量及1个Cb色度分量)。因而，在2×2像素块中，按1/2水平分辨率及1/2垂直分辨率来对色度分量进行取样。在4:2:2像素格式中，对于每个2×2像素块，存在4个明度分量及4个色度分量(例如，2个Cr色度分量及2个Cb色度分量)。因而，对于4:2:2格式，按二分之一(1/2)水平分辨率及全垂直分辨率对色度分量进行取样。4:4:4像素格式不涉及色度分量的子取样。也就是说，对于2×2像素块，存在4个明度分量、4个Cr分量及4个Cb分量。
根据本发明的技术，视频解码器可通过识别对应于色度4×4帧内TB的相对应的明度4×4帧内TB来从明度旗标值导出用于色度TB的色度transform_skip_flag值。关于多少个明度4×4帧内TB对应于色度4×4TB的确定取决于用以译码色度4×4TB的色度子取样格式。
根据一个实例，如果色度格式为4:2:0，那么视频解码器可通过识别对应于色度4×4帧内TB的4个明度4×4帧内TB来从明度旗标值导出用于色度TB的色度transform_skip_flag值。如果4个明度4×4帧内TB中的至少N个4×4帧内TB具有等于真的transform_skip_flag值，那么将色度4×4帧内TB的相对应的transform_skip_flag设置为等于真。N可为1与4之间的任何值。因此，如果4个明度4×4帧内TB中的大于4-N个4×4帧内TB具有等于假的transform_skip_flag值，那么将色度4×4帧内TB的相对应的transform_skip_flag设置为等于假。
根据另一实例，如果色度格式为4:2:2，那么视频解码器可通过识别对应于一个色度4×4帧内TB的两个水平地邻近的(彼此的左右)明度4×4帧内TB来从明度旗标值导出色度transform_skip_flag值。在一个实施方案中，如果至少一个相对应的明度旗标等于真，那么视频解码器可确定色度transform_skip_flag具有值真。在此实施方案中，仅在两个相对应的明度旗标等于假的情况下，视频解码器可确定色度transform_skip_flag具有值假。替代地，仅在两个相对应的明度旗标等于真的情况下，视频解码器可确定色度transform_skip_flag具有值真。在此替代实施方案中，如果至少一个相对应的明度旗标等于假，那么视频解码器可确定色度transform_skip_flag具有值假。
根据另一实例，如果色度格式为4:4:4，那么视频解码器可通过针对每一明度4×4帧内TB识别一个相对应的色度4×4帧内TB来从明度旗标值导出色度transform_skip_flag值。如果相对应的明度transform_skip_flag等于真，那么视频解码器可接着导出用于色度transform_skip_flag的值为真，或如果相对应的明度transform_skip_flag等于假，那么视频解码器可导出用于色度transform_skip_flag的值为假。
图1是说明可利用本发明中描述的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生稍后时间待由目的地装置14解码的经编码视频数据。根据本发明的技术，源装置12可(例如)产生包含使用变换跳过模式译码的残余数据的经编码视频数据，且同样，目的地装置14可解码包含使用变换跳过模式译码的残余数据的视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可以用于促进从源装置12到目的地装置14的通信的任何其它装备。
替代地，可将经编码数据从输出接口22输出到存储装置19。类似地，可以通过输入接口从存储装置19存取经编码数据。存储装置19可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置19可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置19存取所存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置19的传输可为流式传输、下载传输或两者的组合。
本发明的技术未必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、编码数字视频以用于存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置12及目的地装置14可以形成所谓的摄像机电话或视频电话。然而，本发明中所描述的技术一般可适用于视频译码，且可应用于无线及/或有线应用。
可由视频编码器20来编码所俘获视频、经预先俘获的视频或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可(或替代地)将经编码视频数据存储到存储装置19上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置19上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供例如视频解码器30等视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成在一起或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。被称作“HEVC工作草案7”或“WD7”的HEVC标准的新近草案描述于布洛斯(Bross)等人的文档HCTVC-I1003“高效率视频译码(HEVC)文本规格草案7(High Efficiency Video Coding(HEVC)Text SpecificationDraft 7)”(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日)中，所述文档从2013年6月19日起可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zip下载。HEVC标准的开发正在进行中，且被称作“HEVC工作草案10”或“HEVC WD10”的即将到来的HEVC标准的较新草案描述于布洛斯(Bross)等人的文档“校订者对HEVC版本1的所提议的校正(Editors'proposed corrections to HEVC version 1)”(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第13次会议：韩国仁川，2013年4月)中，所述文档从2013年6月19日起可从http://phenix.int- evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip获得，所述文档的全部内容借此以引用的方式并入本文中。
视频编码器20及视频解码器30可替代地根据其它专有或业界标准来操作，例如ITU-T H.264标准，替代地被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-T H.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用的话，MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编码解码器)的部分。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可以划分成包含明度及色度样本两者的一序列树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含按译码次序的数个连续树块。视频帧或图片可以分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点且可分裂成另外四个子节点。最后的未经分裂的子节点(作为四叉树的叶节点)包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，且还可定义译码节点的最小大小。
CU包含译码节点及与所述译码节点相关联的预测处理单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小范围可从8×8像素到具有最大64×64像素或更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形形状。
HEVC标准允许根据TU变换，TU可以针对不同CU而有所不同。TU的大小通常是基于针对经分割的LCU定义的给定CU内的PU的大小来设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可以使用被称为“残余四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称作变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。
一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的运动向量的数据。举例来说，定义PU的运动向量的数据可以描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块，即，LCU或CU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
作为一实例，HM支持各种PU大小的预测。假设特定CU的大小是2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×x2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分通过“n”后接续“上(U)”、“下(D)”、“左(L)”或“右(R)”指示来指示。因此，例如，“2N×nU”是指经水平分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。
在本发明中，“N×N”与“N乘N”可互换地使用以依据垂直及水平尺寸来指视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。
因此，根据HEVC，CU可包含一或多个预测处理单元(PU)及/或一或多个变换单元(TU)。本发明还使用术语“块”、“分区”或“部分”来指CU、PU或TU中的任一者。一般来说，“部分”可指视频帧的任何子集。另外，本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块，即，LCU或CU。因此，视频块可以对应于CU内的译码节点，并且视频块可以具有固定或变化的大小，并且可以根据指定译码标准而大小不同。
还可被称作色度格式的视频取样格式可定义相对于CU中所包含的明度样本的数目来说的CU中所包含的色度样本的数目。取决于色度分量的视频取样格式，U及V分量的大小(依据样本的数目)可与Y分量的大小相同或不同。在H.264/AVC标准及HEVC标准的草案版本中，定义被称为chroma_format_idc的值以指示相对于明度分量来说的色度分量的不同取样格式。在HEVC WD8中，在SPS中发信chroma_format_idc。表1说明chroma_format_idc的值及相关联的色度格式之间的关系。
chroma_format_idc 色度格式 SubWidthC SubHeightC
0 单色 - -
1 4:2:0 2 2
2 4:2:2 2 1
3 4:4:4 1 1
表1：H.264/AVC中定义的不同色度格式
在表1中，变量SubWidthC及SubHeightC可用以指示用于明度分量的样本的数目与用于每一色度分量的样本的数目之间的水平及垂直取样速率比。在表1中所描述的色度格式中，两个色度分量具有相同的取样速率。
在表1的实例中，对于4:2:0格式，用于明度分量的取样速率为用于水平及垂直方向两者的色度分量的取样速率的两倍。因此，对于根据4:2:0格式格式化的译码单元，用于明度分量的样本阵列的宽度及高度为用于色度分量的每一样本阵列的宽度及高度的两倍。类似地，对于根据4:2:2格式格式化的译码单元，用于明度分量的样本阵列的宽度为用于每一色度分量的样本阵列的宽度的两倍，但用于明度分量的样本阵列的高度等于用于每一色度分量的样本阵列的高度。对于根据4:4:4格式格式化的译码单元，用于明度分量的样本阵列具有与用于每一色度分量的样本阵列相同的宽度及高度。应注意，除YUV颜色空间之外，还可根据RGB空间颜色定义视频数据。以此方式，本文所描述的色度格式可适用于YUV或RGB颜色空间。通常对RGB色度格式进行取样以使得红色样本的数目、绿色样本的数目及蓝色样本的数目相等。因此，如本文所使用的术语“4:4:4色度格式”可指YUV颜色空间或RGB颜色空间，其中对于所有颜色分量，样本的数目相等。
图2A到2C是说明用于视频数据的不同样本格式的概念图。图2A是说明4:2:0样本格式的概念图。如图2A中所说明，对于4:2:0样本格式，色度分量的大小为明度分量的大小的四分之一。因此，对于根据4:2:0样本格式格式化的CU，对于色度分量的每个样本存在4个明度样本。图2B是说明4:2:2样本格式的概念图。如图2B中所说明，对于4:2:2样本格式，色度分量的大小为明度分量的大小的二分之一。因此，对于根据4:2:2样本格式格式化的CU，对于色度分量的每个样本存在2个明度样本。图2C是说明4:4:4样本格式的概念图。如图2C中所说明，对于4:4:4样本格式，色度分量的大小与明度分量的大小相同。因此，对于根据4:4:4样本格式格式化的CU，对于色度分量的每个样本存在一个明度样本。
图3是说明根据4:2:0样本格式格式化的16×16译码单元的实例的概念图。图3说明色度样本相对于CU内的明度样本的相对位置。如上文所描述，CU通常是根据水平及垂直明度样本的数目来定义。因此，如图3中所说明，根据4:2:0样本格式格式化的16×16CU包含明度分量的16×16样本及用于每一色度分量的8×8样本。另外，如上文所描述，CU可分割成较小CU。举例来说，图3中所说明的CU可分割成4个8×8CU，其中每一8×8CU包含用于明度分量的8×8样本及用于每一色度分量的4×4样本。
图4是说明根据4:2:2样本格式格式化的16×16译码单元的实例的概念图。图4说明色度样本相对于CU内的明度样本的相对位置。如上文所描述，CU通常是根据水平及垂直明度样本的数目来定义。因此，如图4中所说明，根据4:2:2样本格式格式化的16×16CU包含明度分量的16×16样本及用于每一色度分量的8×16样本。另外，如上文所描述，CU可分割成较小CU。举例来说，图4中所说明的CU可分割成4个8×8CU，其中每一CU包含用于明度分量的8×8样本及用于每一色度分量的4×8样本。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，且在将变换应用到残余视频数据之后，TU可包括变换域中的系数，所述变换例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。残余数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。如先前所介绍，视频编码器20可替代地在变换跳过模式中译码TU，其中残余数据经量化且经熵译码但未经变换。
在应用变换时的实例中，视频编码器20可执行变换系数的量化，或当在变换跳过模式中译码TU时，视频编码器20可对像素域数据执行量化。量化一般是指将值(例如，变换系数或像素域值)量化以可能地减少用以表示所述值的数据的量从而提供进一步压缩的过程。量化过程可减少与所述值中的一些值或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。
在一些实例中，如果在变换跳过模式中译码TU，那么视频编码器20可利用预定义扫描次序来扫描经量化的变换系数或像素域残余值以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化的变换系数或像素域残余值以形成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码所述一维向量。视频编码器还20可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指配给待发射的符号。所述上下文可(例如)与符号的相邻值是否为非零有关。可(例如)按每一明度/色度分量一个上下文来对transform_skip_flag进行CABAC译码，或替代地，可绕过译码transform_skip_flag。为了执行CAVLC，视频编码器20可以选择用于待发射的符号的可变长度码。VLC中的码字可经构造而使得相对较短的代码对应于更有可能的符号，而较长的代码对应于不太可能的符号。举例来说，与对待发射的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指配给符号的上下文。
已将用于4×4帧内TU的变换跳过采纳到HEVC标准的工作草案中。在变换跳过模式中，将量化应用到残余值而不应用变换。接着使用(例如)可变长度译码或其它译码技术在视频位流中发信经量化的残余值。除了添加一个旗标以指示4×4帧内TU是在变换跳过模式中译码还是在变换模式中译码以外，变换跳过的引入一般并不需要对编码器、解码器或组合编码解码器的预测、量化(按比例调整)、环路内滤波器及熵译码模块做出变更。可通过存在于经译码视频的例如SPS等参数集中的transform_skip_enabled_flag及通过残余译码语法中的ts_flag(还被称为transform_skip_flag)来启用变换跳过。
用于4×4帧内TU的变换跳过的一个特定模式描述于JCTVC-I0408“帧内变换跳过(Intra transform skipping)”(C.蓝(C.Lan)(西安电子科技大学)、J.许(J.Xu)、G.J.沙利文(G.J.Sullivan)、F.吴(F.Wu)(微软)，下文为“Lan文档”)中。Lan文档描述用于实施变换跳过模式的以下修改：
(a)预测：不改变。
(b)变换：跳过。实际上，对于变换跳过TU，使用简单的按比例调整过程。因为当前设计中的4×4反变换将系数按比例缩小32，所以假设变换跳过TU具有与其它TU类似的量值，那么对变换跳过TU执行按比例缩小32的过程。
(c)反量化及按比例调整。不改变。
(d)熵译码：由编码器发送用于每一4×4帧内TU的旗标，且由解码器来接收所述旗标，以指示是否绕过对含有残余误差值的TU的变换。添加两个上下文以译码用于Y、U及V TU的旗标。
(e)解块、SAO及ALF：不改变。
(f)发信SPS中的旗标以指示是否启用变换跳过。
(g)对于进行变换跳过的TU，并不改变量化过程。所述情形也为使用量化矩阵时的情况。因为根据进行变换跳过的那些TU的空间位置具有不同量化参数可能为不合理的，所以还建议在启用变换跳过时将默认量化矩阵改变为用于4×4帧内TU的扁平矩阵。另一个原因是小变换往往使用扁平量化矩阵。对此情形的替代方案是将如何更好地同步使用量化矩阵及变换跳过的操作留给编码器来处理。
在其它实例中，对于任何大小或任何预测模式(帧间或帧内)的TU，可支持一或多个所谓的“变换跳过模式”。在变换跳过的情况下，不是始终将2-D变换应用于残余块，变换跳过模式(或多个模式)可提供更多选项。在一个实例中，变换模式选择可包含：2-D变换、不变换、水平变换(跳过垂直变换)，及垂直变换(跳过水平变换)。可将变换的选择作为经编码位流的部分发信给解码器，例如，对于每一块，可发信或可导出所述变换。
当前针对每个4×4帧内TU发信transform_skip_flag，其是在残余四叉树变换(RQT)内在任何允许大小的经帧内译码的译码单元(CU)内选择的。然而，观察到，对于一些类型的视频数据(例如，低运动视频)，当视频编码器选择最小译码单元(SCU)大小时，实现来自帧内变换跳过的大部分译码效率。因此，针对所有大小的CU发信变换跳过旗标时常可产生不合需要的计算及发信开销。在一些情况下，本发明的技术可通过不译码用于并非SCU的CU的transform_skip_flags且仅译码用于为SCU的CU的transform_skip_flags来减少此不合需要的开销。
当前变换跳过方法支持用于明度及色度分量两者的4×4帧内变换跳过，这意味着针对明度及色度4×4帧内TU两者发信transform_skip_flag。用于WD7的HM编码器具有两种模式(“正常”及“快速”)。在正常编码器模式中，独立地针对明度及色度两者执行全速率失真优化(RDO)。在快速编码器模式中，并不会独立地针对色度执行全RDO，但在快速编码器模式中，仍针对明度及色度TB两者发信色度transform_skip_flags，此情形再次可产生不合需要的开销。已观察到，色度4×4帧内TU变换跳过的译码效率有限。因此，本发明描述用于在编码器及解码器两者处基于明度变换旗标导出色度transform_skip_flags以使得用于色度TB的transform_skip_flags并不需要包含在经编码位流中的技术。因此，根据本发明的技术配置的视频编码器(例如，视频编码器20)可使用变换跳过模式编码TB，而不产生指示色度TB是使用变换跳过模式来译码的专用语法元素。类似地，根据本发明的技术配置的视频解码器(例如，视频解码器30)可使用变换跳过模式解码TB，而不接收指示色度TB是使用变换跳过模式来译码的专用语法元素。
为了有可能进一步减少来自针对每一CU大小的每个4×4帧内TU发信transform_skip_flag的开销，本发明的技术还包含将transform_skip_flag的发信仅限于最小CU大小，所述最小CU大小是通过编码器及解码器的近似配置参数(例如，SPS语法参数log2_min_coding_block_size_minus3)来确定。视频编码器20及视频解码器30可经配置以单独地或以任何组合来使用这些技术中的任一者或全部。因此，对于并非最小的允许CU大小的CU，视频编码器可能并不产生transform_skip_flag，且视频解码器可能并不接收transform_skip_flag。
表2说明对可实施本发明的技术的残余译码语法的实例改变。下文的代码的读取“log2CbSize＝＝Log2MinCbSize”(表2中斜体字印刷)的部分将transform_skip_flag的发射及接收限于经译码的CU的大小等于针对CU启用的最小大小时的实例。针对CU启用的最小大小可从例如SPS或某一其它参数集等参数集来确定。
表2-用以将transform_skip_flag的发信限于SCU的残余译码语法改变
本发明的技术包含将帧内变换跳过限于明度分量。为了停用用于色度的transform_skip_flag的发信，在表3中指示残余译码语法改变(参见斜体字)。在此解决方案中，并不针对色度发信变换跳过。
表3-用以将transform_skip_flag的发信限于明度的残余译码语法改变
本发明描述用于从明度(4:2:0)导出色度transform_skip_flag值的技术。当前快速编码器模式(HM7.0)从明度transform_skip_flags的值导出色度transform_skip_flags的值。如果色度类型为4:2:0，那么4个明度4×4帧内TU与一个色度4×4帧内TU对应。另外，如果将针对8×8TU大小启用变换跳过，那么一个明度8×8帧内TU将与一个色度4×4帧内TU对应。HM7.0编码器如下来确定用于色度4×4帧内TU的色度transform_skip_flag的值。如果4个明度4×4帧内TU中的至少3个明度4×4帧内TU具有等于真的transform_skip_flag值，那么将色度4×4帧内TU的相对应的transform_skip_flag设置为等于真。然而，HM7.0编码器发信此导出的色度transform_skip_flag，此情形表示开销。解决方案是停用色度transform_skip_flag的发信且实际上在解码器侧从明度transform_skip_flags或相对应的明度分量的值导出色度变换跳过模式。为了避免在编码器与解码器之间漂移，还必须由解码器来应用供编码器使用的规则。
本发明描述用于从明度(4:2:2)导出色度transform_skip_flag值的技术。如果色度格式为4:2:2，那么可如下来实现从明度旗标值进行的色度transform_skip_flag值的导出。在4:2:2格式中，2个水平地邻近的明度4×4帧内TU与一个色度4×4帧内TU对应。在此情况下，如果两个相对应的明度transform_skip_flags中的至少一者等于真，那么可对色度transform_skip_flag指配值真。替代地，如果两个相对应的明度旗标等于真，那么可对色度transform_skip_flag指配值真。为了避免在编码器与解码器之间漂移，还必须由解码器来应用供编码器使用的规则。
本发明描述用于从明度(4:4:4)导出色度transform_skip_flag值的技术。如果色度格式为4:4:4，那么可如下来实现从明度旗标值进行的色度transform_skip_flag值的导出。在4:4:4格式中，每一明度4×4帧内TU与一个色度4×4帧内TU对应。因此，如果相对应的明度transform_skip_flag等于真，那么可对色度transform_skip_flag指配值真。为了避免在编码器与解码器之间漂移，还必须由解码器来应用供编码器使用的规则。
本发明描述用于绕过transform_skip_flag的译码的技术。在当前变换跳过方法中，按每一明度/色度分量一个上下文来对transform_skip_flag进行CABAC译码。替代地，可绕过译码transform_skip_flag。一般来说，视频编码器20及视频解码器30可经配置以单独地或以任何组合来执行上文所描述的技术中的任一者或全部。
图5是说明可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可以执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的压缩模式中的任一者。
在图5的实例中，视频编码器20包含分割单元35、预测处理单元41、滤波器单元63、参考图片存储器64、求和器50、变换处理单元52、量化单元54，及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。为了视频块重新构造，视频编码器20还包含反量化单元58、反变换处理单元60，及求和器62。滤波器单元63既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图5中将滤波器单元63展示为环路内滤波器，但在其它配置中，可将滤波器单元63实施为环路后滤波器。
如图5中所展示，视频编码器20接收视频数据，且分割单元35将所述数据分割成视频块。此分割还可包含分割成切片、图像块(tile)或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。所述切片可以划分成多个视频块(且可能划分成被称作图像块的数组视频块)。预测处理单元41可基于误差结果(例如，译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者，例如多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测处理单元41可将所得的经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重新构造经编码块以用于用作参考图片。
预测处理单元41内的帧内预测处理单元46可相对于与待译码的当前块在相同帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一个或多个参考图片中的一个或多个预测性块执行当前视频块的帧间预测性译码以提供时间压缩。
运动估计单元42可经配置以根据用于视频序列的预定模式确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片指明为P切片、B切片或GPB切片。运动估计单元42及运动补偿单元44可以高度集成，但出于概念目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块是被发现在像素差方面与待译码的视频块的PU密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可以计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。
通过运动补偿单元44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素精度的内插)确定的运动向量提取或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44即刻可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，并且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的供视频解码器30在解码视频切片的视频块时使用的语法元素。
作为如上文所描述的由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测处理单元46可以对当前块进行帧内预测。明确地说，帧内预测处理单元46可以确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可以例如在单独的编码遍次期间使用各种帧内预测模式编码当前块，并且帧内预测处理单元46(或在一些实例中为模式选择单元40)可以从经测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测处理单元46可以使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测处理单元46可以从用于各种经编码块的失真及速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在任何情况下，在选择了用于块的帧内预测模式之后，帧内预测处理单元46可以将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。在预测处理单元41经由帧间预测或帧内预测产生用于当前视频块的预测性块之后，视频编码器20通过从当前视频块减去所述预测性块而形成残余视频块。
如上文所论述，残余块中的残余视频数据可包含在一或多个TU中，且可在变换模式或变换跳过模式中译码TU。开关51表示在变换模式与变换跳过模式之间选择的开关或概念开关。当选择变换模式时，将TU发送到变换处理单元52，且变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换等变换将残余视频数据变换为残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域，例如频域。作为编码过程的部分，视频编码器20可测试数个不同译码情境以确定产生所要速率失真取舍的情境。作为测试这些各种情境的部分，视频编码器20可(例如)测试包含在变换模式中译码一些TU的情境，而在其它情境中，可在变换跳过模式中译码那些TU。
例如上文所论述的transform_skip_enabled_flag及transform_skip_flag等语法元素可包含在经编码视频位流中以识别特定TU是使用变换模式来译码还是使用变换跳过模式来译码。如上文所描述，经编码位流中包含的TU包含明度TU及色度TU两者。对于明度TU，视频编码器20可产生语法元素以指示所述明度TU是否是在变换跳过模式中译码。然而，对于色度TU，不是产生识别所述色度TU是否是在变换跳过模式中译码的语法元素，而是视频编码器20可导出语法元素以确定所述色度TU是否是在变换跳过模式中译码，这意味着视频编码器20不会明确地产生指示所述色度TU是否是在变换跳过模式中译码的语法元素。
如上文已描述，根据本发明的技术，例如视频解码器30等视频解码器可基于相对应的明度TU是否是在变换跳过模式中译码来导出色度TU是否是在变换跳过模式中译码。视频编码器20可经配置以根据由视频解码器30实施的导出过程编码视频数据。举例来说，如果用于特定色度TU的子取样格式为4:4:4，那么视频编码器20可经配置以均使用变换模式或均使用变换跳过模式来译码色度TU及明度TU。如果用于特定色度TU的子取样格式为4:2:2，那么视频编码器20可经配置以在两个相对应的明度TU是使用变换跳过模式译码的情况下，使用变换跳过模式译码色度TU，或在两个相对应的明度TU是使用变换模式译码的情况下，使用变换模式译码色度TU。如果一个相对应的明度TU是使用变换跳过模式译码且另一个相对应的明度TU是使用变换模式译码，那么视频编码器20可经配置以使用变换模式或变换跳过模式译码相对应的色度TU，其限制条件为：视频解码器30经配置以按相同方式导出用于相对应的色度TU的变换模式或变换跳过模式。如果用于特定色度TU的子取样格式为4:2:0，那么视频编码器20可经配置以基于阈值数目个相对应的明度TU是否是使用变换跳过模式译码而使用变换跳过模式来译码色度TU。所述阈值可为1与4之间的任何值，再次其限制条件为：视频解码器30经配置以按相同方式导出用于相对应的色度TU的变换模式或变换跳过模式。
变换处理单元52可将所得变换系数发送到量化单元54。当选择变换跳过模式时，开关51导引残余数据沿着数据路径53，所述数据路径53绕过变换处理单元52且将像素域残余数据发送到量化单元54。因此，当选择变换跳过模式时，并不将变换应用于残余数据。
量化单元54在变换模式的情况下量化变换系数或在变换跳过模式的情况下量化像素域残余数据以进一步减少位速率。量化过程可减少与所述值中的一些值或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行包含经量化的值的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。
在量化之后，熵编码单元56熵编码经量化的值。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码之后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。熵编码单元56还可熵编码正被译码的当前视频切片的运动向量及其它语法元素。
对于在变换模式中译码的TU，反量化单元58及反变换处理单元60分别应用反量化及反变换以重新构造像素域中的残余块以用于稍后用作参考图片的参考块。对于在变换跳过模式中译码的TU，反量化单元58应用反量化以重新构造残余块，但如通过数据路径61说明，绕过反变换处理单元60。运动补偿单元44可以通过将残余块加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重新构造的残余块以计算子整数像素值以用于运动估计。求和器62将经重新构造的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生参考块以用于存储在参考图片存储器64中。参考块可供运动估计单元42及运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。
以此方式，图5的视频编码器20表示经配置以进行以下操作的视频编码器的实例：针对色度变换块(TB)，确定用于所述色度TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；针对所述一或多个相对应的明度TB中的每一者，产生指示所述每一个一或多个明度TB是否是使用变换跳过模式来译码的旗标；及，基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，使用所述变换跳过模式编码所述色度TB，而不产生指示所述色度TB是使用所述变换跳过模式译码的语法元素。
图6是说明可实施本发明中描述的技术的实例视频解码器30的框图。在图6的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、变换跳过处理单元87、反变换处理单元88、求和器90、滤波器单元91及参考图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行一般与关于来自图5的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80熵解码位流以产生经量化的残余值、运动向量及其它语法元素。此类语法元素可(例如)包含上文所论述的transform_skip_enabled_flag及transform_skip_flag语法元素。经编码视频位流可进一步包含在变换模式中译码的一些TU及在变换跳过模式中译码的一些TU。对于在变换模式中译码的TU，经量化的残余值表示经量化的变换系数，而对于在变换跳过模式中译码的TU，经量化的残余值可表示经量化的残余值。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。熵解码单元80还将例如transform_skip_enabled_flag及transform_skip_flag语法元素等语法元素转发到变换跳过处理单元87，变换跳过处理单元87实施是在变换模式中译码TU还是在变换跳过模式中译码TU的决策。视频解码器30可接收视频切片层级及/或视频块层级下的PPS、SPS、APS中的语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于经发信的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收到的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可以从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可以基于存储在参考图片存储器92中的参考图片使用默认构造技术构造参考帧列表(列表0及列表1)。
运动补偿单元82通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例来说，运动补偿单元82使用一些所接收的语法元素确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用如由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元86将提供于位流中且由熵解码单元80解码的经量化的残余值反量化，即解量化。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的反量化程度。
变换跳过处理单元87经配置以实施变换模式或变换跳过模式。对于在变换模式中译码的TU，反变换处理单元88将例如反DCT、反整数变换或概念上类似反变换过程等反变换应用于变换系数以便产生像素域中的残余块。对于在变换跳过模式中译码的TU，变换跳过处理单元87导引经解量化的残余值沿着数据路径89，所述数据路径89绕过反变换处理单元88。
如上文所描述，经编码位流中所接收的TU包含明度TU及色度TU两者。对于明度TU，变换跳过处理单元87可基于与所述明度TU相关联的语法元素确定所述明度TU是否在变换跳过模式中译码。然而，对于色度TU，不是接收识别所述色度TU是否是在变换跳过模式中译码的语法元素，而是变换跳过处理单元87可导出语法元素以确定所述色度TU是否是在变换跳过模式中译码，这意味着视频解码器30不会明确地接收指示所述色度TU是否是在变换跳过模式中译码的语法元素。
举例来说，对于特定色度TU，变换跳过处理单元87可确定用于色度TU的子取样格式。基于用于色度TU的子取样格式，变换跳过处理单元87可识别一或多个相对应的明度TB。举例来说，如果子取样格式对应于4:4:4格式，那么变换跳过处理单元87可识别一个相对应的明度TB；如果子取样格式对应于4:2:2格式，那么变换跳过处理单元87可识别两个相对应的明度TB；或，如果子取样格式对应于4:2:0格式，那么变换跳过处理单元87可识别四个相对应的明度TB。对于所述一或多个相对应的明度TB中的每一者，变换跳过处理单元87可确定所述相对应的明度TB是否是使用变换跳过模式译码，且基于使用变换跳过模式译码的相对应的明度TB的数目大于或等于阈值，变换跳过处理单元87可确定色度TB是否是在变换跳过模式中译码。
在运动补偿单元82基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将残余块与由运动补偿单元82产生的相对应的预测性块加总来形成经解码视频块。求和器90表示执行此加总运算的一或多个组件。在需要时，还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。滤波器单元91既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图6中将滤波器单元91展示为环路内滤波器，但在其它配置中，可将滤波器单元91实施为环路后滤波器。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。
以此方式，图6的视频解码器30表示经配置以进行以下操作的视频解码器的实例：针对色度变换块(TB)，确定用于所述色度TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；针对所述一或多个相对应的明度TB中的每一者，接收指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标；及基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。
图7是说明根据本发明的技术的用于编码视频数据的方法的流程图。图7的技术可(例如)由视频编码器20来执行。视频编码器20针对色度TB确定用于所述色度TB的子取样格式(171)。子取样格式可(例如)为4:4:4格式、4:2:2格式或4:2:0格式。基于用于所述色度TB的所述子取样格式，视频编码器20识别一或多个相对应的明度TB(172)。举例来说，对于具有4:4:4格式的色度TB，相对应的明度TB的数目可为1；对于具有4:2:2格式的色度TB，相对应的明度TB的数目可为2；或对于具有4:2:0格式的色度TB，相对应的明度TB的数目可为4。视频编码器20针对所述一或多个相对应的明度TB中的每一者，确定所述相对应的明度TB是否是使用变换跳过模式来译码(173)。基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，视频编码器20使用变换跳过模式编码所述色度TB，而不产生指示所述色度TB是使用所述变换跳过模式译码的语法元素(174)。
图8是说明根据本发明的技术的用于解码视频数据的方法的流程图。图8的技术可(例如)由视频解码器30来执行。视频解码器30针对色度TB确定用于所述色度TB的子取样格式(181)。子取样格式可(例如)为4:4:4格式、4:2:2格式或4:2:0格式。基于用于所述色度TB的所述子取样格式，视频解码器30识别一或多个相对应的明度TB(182)。举例来说，对于具有4:4:4格式的色度TB，相对应的明度TB的数目可为1；对于具有4:2:2格式的色度TB，相对应的明度TB的数目可为2；或对于具有4:2:0格式的色度TB，相对应的明度TB的数目可为4。视频解码器30针对所述一或多个相对应的明度TB中的每一者，确定所述相对应的明度TB是否是使用变换跳过模式来译码(183)。视频解码器30可(例如)通过接收用于所述一或多个相对应的明度TB中的每一者的旗标来做出此类确定。基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，视频解码器30确定所述色度TB是在所述变换跳过模式中译码(184)。
作为一个实例，如果子取样格式对应于4:4:4格式，那么所述一或多个相对应的明度TB可由一个相对应的明度TB组成，且此类实例中的阈值可等于1。因此，如果相对应的明度TB是使用变换跳过模式解码，那么视频解码器30也使用变换跳过模式解码色度TB。如果相对应的明度TB不是使用变换跳过模式解码，那么视频解码器30也不使用变换跳过模式解码色度TB。作为另一实例，如果子取样格式对应于4:2:2格式，那么所述一或多个相对应的明度TB可由两个相对应的明度TB组成，且阈值可大于或等于1。因此，如果相对应的明度TB中的一者或两者是使用变换跳过模式解码，那么视频解码器30也使用变换跳过模式解码色度TB。如果两个相对应的明度TB均不是使用变换跳过模式解码，那么视频解码器30也不使用变换跳过模式解码色度TB。在一些情况下，阈值可为2而不是1，使得在两个相对应的明度TB是使用变换跳过模式解码的情况下，视频解码器30仅使用变换跳过模式解码色度TB。作为另一实例，如果子取样格式对应于4:2:0格式，那么所述一或多个相对应的明度TB由四个相对应的明度TB组成，且阈值可等于N，其中N为在1与4之间的整数值。因此，如果相对应的明度TB中的N者是使用变换跳过模式译码，那么视频解码器30使用变换跳过模式解码所述色度TB。如果相对应的明度TB中的小于N者不是使用变换跳过模式译码，那么视频解码器30也不使用变换跳过模式解码色度TB。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件来实施，那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或在计算机可读媒体上予以传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
以实例说明且非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。而且，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可以在经配置用于编码及解码的专用硬件及/或软件模块内提供，或者并入于组合编码解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件而组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (34)

1.一种解码视频数据的方法，所述方法包括：
确定用于色度变换块TB的子取样格式；
基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；
确定包括所述色度TB的译码单元的大小是否等于用于译码单元的最小启用大小；
响应于确定所述译码单元的所述大小等于所述最小启用大小而针对所述一或多个相对应的明度TB中的每一者，接收指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标；以及
基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。
2.根据权利要求1所述的方法，其中所述子取样格式对应于4:4:4格式，且其中所述一或多个相对应的明度TB由一个相对应的明度TB组成，且其中所述阈值等于1。
3.根据权利要求1所述的方法，其中所述子取样格式对应于4:2:2格式，且所述一或多个相对应的明度TB由两个相对应的明度TB组成，且其中所述阈值大于或等于1。
4.根据权利要求1所述的方法，其中所述子取样格式对应于4:2:0格式，且所述一或多个相对应的明度TB由四个相对应的明度TB组成，且其中所述阈值等于N，其中N为在1与4之间的整数值。
5.根据权利要求1所述的方法，其中针对所述一或多个相对应的明度TB中的每一者接收指示所述相对应的明度TB是否是使用所述变换跳过模式译码的所述旗标包括：接收针对所述相对应的明度TB的一或多个语法元素，其中所述一或多个语法元素指示所述相对应的明度TB是否是使用所述变换跳过模式译码。
6.根据权利要求1所述的方法，其中所述最小启用大小是基于用于经译码视频的参数集来确定。
7.根据权利要求1所述的方法，其中所述旗标指示所述译码单元的明度分量是否是使用变换跳过模式译码。
8.根据权利要求7所述的方法，其进一步包括∶
至少基于指示所述译码单元的明度分量是否是使用变换跳过模式译码的所述旗标，导出所述译码单元的色度分量是否是使用变换跳过模式译码。
9.一种编码视频数据的方法，所述方法包括：
确定用于色度变换块TB的子取样格式；
基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；
确定包括所述色度TB的译码单元的大小是否等于用于译码单元的最小启用大小；
响应于确定所述译码单元的所述大小等于所述最小启用大小而针对所述一或多个相对应的明度TB中的每一者，产生指示所述相对应的明度TB是否是使用变换跳过模式译码的旗标；
基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，使用所述变换跳过模式编码所述色度TB，而不产生指示所述色度TB是使用所述变换跳过模式来译码的语法元素。
10.根据权利要求9所述的方法，其中所述子取样格式对应于4:4:4格式，且其中所述一或多个相对应的明度TB由一个相对应的明度TB组成，且其中所述阈值等于1。
11.根据权利要求9所述的方法，其中所述子取样格式对应于4:2:2格式，且所述一或多个相对应的明度TB由两个相对应的明度TB组成，且其中所述阈值大于或等于1。
12.根据权利要求9所述的方法，其中所述子取样格式对应于4:2:0格式，且所述一或多个相对应的明度TB由四个相对应的明度TB组成，且其中所述阈值等于N，其中N为在1与4之间的整数值。
13.根据权利要求9所述的方法，其中针对所述一或多个相对应的明度TB中的每一者产生指示所述相对应的明度TB是否是使用所述变换跳过模式译码的所述旗标包括：产生针对所述相对应的明度TB的一或多个语法元素，其中所述一或多个语法元素指示所述相对应的明度TB是否是使用所述变换跳过模式译码。
14.一种用于译码视频数据的装置，所述装置包括：
视频译码器，其经配置以：确定用于色度变换块TB的子取样格式；基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；确定包括所述色度TB的译码单元的大小是否等于用于译码单元的最小启用大小；响应于确定所述译码单元的所述大小等于所述最小启用大小而针对所述一或多个相对应的明度TB中的每一者，译码指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标；及基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。
15.根据权利要求14所述的装置，其中所述子取样格式对应于4:4:4格式，且其中所述一或多个相对应的明度TB由一个相对应的明度TB组成，且其中所述阈值等于1。
16.根据权利要求14所述的装置，其中所述子取样格式对应于4:2:2格式，且所述一或多个相对应的明度TB由两个相对应的明度TB组成，且其中所述阈值大于或等于1。
17.根据权利要求14所述的装置，其中所述子取样格式对应于4:2:0格式，且所述一或多个相对应的明度TB由四个相对应的明度TB组成，且其中所述阈值等于N，其中N为在1与4之间的整数值。
18.根据权利要求14所述的装置，其中所述视频译码器通过译码针对所述一或多个相对应的明度TB中的每一者的一或多个语法元素而针对所述相对应的明度TB确定所述相对应的明度TB是否是使用所述变换跳过模式译码，其中所述一或多个语法元素指示所述相对应的明度TB是否是使用所述变换跳过模式译码。
19.根据权利要求14所述的装置，其中所述最小启用大小是基于用于经译码视频的参数集来确定。
20.根据权利要求14所述的装置，其中所述旗标指示所述译码单元的明度分量是否是使用变换跳过模式译码。
21.根据权利要求20所述的装置，其中所述视频译码器经进一步配置以：至少基于指示所述译码单元的明度分量是否是使用变换跳过模式译码的所述旗标，导出所述译码单元的色度分量是否是使用变换跳过模式译码。
22.根据权利要求14所述的装置，其中所述视频译码器包括视频解码器。
23.根据权利要求14所述的装置，其中所述视频译码器包括视频编码器。
24.根据权利要求14所述的装置，其中所述装置包括以下各项中的至少一者：
集成电路；
微处理器；以及
无线通信装置，其包含所述视频译码器。
25.一种用于译码视频数据的设备，所述设备包括：
用于确定用于色度变换块TB的子取样格式的装置；
用于基于用于所述色度TB的所述子取样格式识别一或多个相对应的明度TB的装置；
用于确定包括所述色度TB的译码单元的大小是否等于用于译码单元的最小启用大小的装置；
用于响应于确定所述译码单元的所述大小等于所述最小启用大小而针对所述一或多个相对应的明度TB中的每一者译码指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标的装置；
用于基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值确定所述色度TB是在所述变换跳过模式中译码的装置。
26.根据权利要求25所述的设备，其中所述子取样格式对应于4:4:4格式，且其中所述一或多个相对应的明度TB由一个相对应的明度TB组成，且其中所述阈值等于1。
27.根据权利要求25所述的设备，其中所述子取样格式对应于4:2:2格式，且所述一或多个相对应的明度TB由两个相对应的明度TB组成，且其中所述阈值大于或等于1。
28.根据权利要求25所述的设备，其中所述子取样格式对应于4:2:0格式，且所述一或多个相对应的明度TB由四个相对应的明度TB组成，且其中所述阈值等于N，其中N为在1与4之间的整数值。
29.根据权利要求25所述的设备，其中
用于针对所述一或多个相对应的明度TB中的每一者译码指示所述相对应的明度TB是否是使用变换跳过模式译码的所述旗标的所述装置包括用于解码的装置。
30.根据权利要求25所述的设备，其中
用于针对所述一或多个相对应的明度TB中的每一者译码指示所述相对应的明度TB是否是使用变换跳过模式译码的所述旗标的所述装置包括用于编码的装置。
31.一种存储指令的计算机可读存储媒体，所述指令在被执行时致使一或多个处理器进行以下操作：
确定用于色度变换块TB的子取样格式；
基于用于所述色度TB的所述子取样格式，识别一或多个相对应的明度TB；
确定包括所述色度TB的译码单元的大小是否等于用于译码单元的最小启用大小；
响应于确定所述译码单元的所述大小等于所述最小启用大小而针对所述一或多个相对应的明度TB中的每一者，译码指示所述相对应的明度TB是否是使用变换跳过模式来译码的旗标；
基于使用所述变换跳过模式译码的所述一或多个相对应的明度TB的数目大于或等于阈值，确定所述色度TB是在所述变换跳过模式中译码。
32.根据权利要求31所述的计算机可读存储媒体，其中所述子取样格式对应于4:4:4格式，且其中所述一或多个相对应的明度TB由一个相对应的明度TB组成，且其中所述阈值等于1。
33.根据权利要求31所述的计算机可读存储媒体，其中所述子取样格式对应于4:2:2格式，且所述一或多个相对应的明度TB由两个相对应的明度TB组成，且其中所述阈值大于或等于1。
34.根据权利要求31所述的计算机可读存储媒体，其中所述子取样格式对应于4:2:0格式，且所述一或多个相对应的明度TB由四个相对应的明度TB组成，且其中所述阈值等于N，其中N为在1与4之间的整数值。
CN201380031869.6A 2012-06-22 2013-06-21 视频压缩中的变换跳过模式 Expired - Fee Related CN104509113B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261663453P 2012-06-22 2012-06-22
US61/663,453 2012-06-22
US13/922,851 US9426466B2 (en) 2012-06-22 2013-06-20 Transform skip mode
US13/922,851 2013-06-20
PCT/US2013/047087 WO2013192537A2 (en) 2012-06-22 2013-06-21 Transform skip mode

Publications (2)

Publication Number Publication Date
CN104509113A CN104509113A (zh) 2015-04-08
CN104509113B true CN104509113B (zh) 2018-02-09

Family

ID=48793535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380031869.6A Expired - Fee Related CN104509113B (zh) 2012-06-22 2013-06-21 视频压缩中的变换跳过模式

Country Status (3)

Country Link
US (1) US9426466B2 (zh)
CN (1) CN104509113B (zh)
WO (1) WO2013192537A2 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
MY191783A (en) * 2010-04-13 2022-07-15 Samsung Electronics Co Ltd Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
CN107959857B (zh) * 2011-10-18 2022-03-01 株式会社Kt 视频信号解码方法
MX358516B (es) 2011-10-19 2018-08-24 Kt Corp Método y aparato para codificar/decodificar imágenes.
TWI592011B (zh) * 2012-06-29 2017-07-11 Sony Corp Image processing device and method
US20140056347A1 (en) 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
CN104429073B (zh) * 2012-09-06 2018-01-19 太阳专利托管公司 图像编码方法/解码方法及装置、图像编解码装置
US20140146894A1 (en) * 2012-11-28 2014-05-29 General Instrument Corporation Devices and methods for modifications of syntax related to transform skip for high efficiency video coding (hevc)
US9936200B2 (en) 2013-04-12 2018-04-03 Qualcomm Incorporated Rice parameter update for coefficient level coding in video coding process
WO2014190468A1 (en) 2013-05-27 2014-12-04 Microsoft Corporation Video encoder for images
US10021419B2 (en) * 2013-07-12 2018-07-10 Qualcomm Incorported Rice parameter initialization for coefficient level coding in video coding process
JP6287035B2 (ja) * 2013-10-11 2018-03-07 ソニー株式会社 復号装置および復号方法
US10382752B2 (en) * 2013-10-15 2019-08-13 Sony Corporation Image processing device and method
WO2015139165A1 (en) 2014-03-17 2015-09-24 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
KR102257379B1 (ko) 2014-07-22 2021-06-01 삼성전자주식회사 비디오 인코딩 회로 및 그것을 이용하는 비디오 인코딩 방법
WO2016054774A1 (en) * 2014-10-08 2016-04-14 Mediatek Singapore Pte. Ltd. A method for the co-existence of color-space transform and cross-component prediction
KR102365685B1 (ko) 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
EP3254463A4 (en) 2015-02-06 2018-02-21 Microsoft Technology Licensing, LLC Skipping evaluation stages during media encoding
US10038917B2 (en) 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
JP6528635B2 (ja) * 2015-10-05 2019-06-12 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN105338366B (zh) * 2015-10-29 2018-01-19 北京工业大学 一种视频序列中分数像素的解码方法
US10277896B2 (en) 2016-01-22 2019-04-30 Apple Inc. Intra-frame prediction systems and methods
KR102393150B1 (ko) * 2016-05-13 2022-05-02 소니그룹주식회사 화상 처리 장치 및 방법
CN113473122A (zh) * 2016-07-05 2021-10-01 株式会社Kt 对视频进行解码或编码的方法和计算机可读介质
CN116962679A (zh) * 2016-08-31 2023-10-27 株式会社Kt 用于处理视频信号的方法和设备
US10779007B2 (en) * 2017-03-23 2020-09-15 Mediatek Inc. Transform coding of video data
KR102401851B1 (ko) * 2017-06-14 2022-05-26 삼성디스플레이 주식회사 영상 압축 방법 및 이를 수행하는 표시 장치
KR102527184B1 (ko) 2018-03-29 2023-05-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 변환 계수 블록 코딩
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
AU2019201653A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
US11202100B2 (en) 2019-03-11 2021-12-14 Qualcomm Incorporated Coefficient coding for transform skip mode
CA3137099A1 (en) * 2019-04-19 2020-10-22 Bytedance Inc. Context coding for transform skip mode
WO2020219737A1 (en) 2019-04-24 2020-10-29 Bytedance Inc. Constraints on quantized residual differential pulse code modulation representation of coded video
EP3942799A4 (en) 2019-05-01 2022-06-08 ByteDance Inc. INTRACODED VIDEO USING QUANTIZED RESIDUAL PULSE CODE MODULATION ENCODING
KR20220002917A (ko) 2019-05-02 2022-01-07 바이트댄스 아이엔씨 코딩 트리 구조 유형을 기반으로 한 코딩 모드
SG11202112518SA (en) 2019-05-13 2021-12-30 Beijing Bytedance Network Technology Co Ltd Block dimension settings of transform skip mode
WO2020236723A1 (en) * 2019-05-19 2020-11-26 Bytedance Inc. Transform bypass coded residual blocks in digital video
CN117354528A (zh) * 2019-05-22 2024-01-05 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
CN114009050B (zh) 2019-06-21 2023-12-22 北京字节跳动网络技术有限公司 视频编解码的自适应环内颜色空间变换
WO2020264457A1 (en) * 2019-06-28 2020-12-30 Bytedance Inc. Techniques for modifying quantization parameter in transform skip mode
US11350131B2 (en) 2019-06-28 2022-05-31 Hfi Innovation Inc. Signaling coding of transform-skipped blocks
CN114402605A (zh) * 2019-07-10 2022-04-26 Lg电子株式会社 图像编码系统中使用残差编码方法的标志的图像解码方法以及用于其的装置
WO2021006697A1 (ko) * 2019-07-10 2021-01-14 엘지전자 주식회사 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
CN110418138B (zh) * 2019-07-29 2021-08-27 北京奇艺世纪科技有限公司 视频处理方法、装置、电子设备及存储介质
US11627327B2 (en) * 2019-08-05 2023-04-11 Qualcomm Incorporated Palette and prediction mode signaling
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
KR20220044278A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 상이한 분할 구조들을 갖는 팔레트 모드
KR102624438B1 (ko) * 2019-09-19 2024-01-15 바이트댄스 아이엔씨 팔레트 모드에 대한 양자화 파라미터 도출
US11368723B2 (en) * 2019-10-22 2022-06-21 Tencent America LLC Signaling of coding tools for encoding a video component as monochrome video
CN117336478A (zh) 2019-11-07 2024-01-02 抖音视界有限公司 视频编解码的自适应环内颜色空间变换的量化特性
WO2021115387A1 (en) * 2019-12-12 2021-06-17 Mediatek Inc. Methods and apparatus for restricted secondary transform and signaling thereof in image coding
CN113766225B (zh) * 2020-06-05 2023-02-28 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置
US20230097659A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for constraint flag signaling for range extension with rice coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170688A (zh) * 2007-11-26 2008-04-30 电子科技大学 一种宏块模式的快速选择方法
WO2010027637A2 (en) * 2008-09-05 2010-03-11 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
CN102474606A (zh) * 2009-07-20 2012-05-23 三星电子株式会社 分层视频编码和解码中对颜色通道进行编码和解码的方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200836130A (en) 2007-02-16 2008-09-01 Thomson Licensing Bitrate reduction method by requantization
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
US8804820B2 (en) * 2011-04-21 2014-08-12 Dialogic Corporation Rate control with look-ahead for video transcoding
US9025675B2 (en) * 2011-06-22 2015-05-05 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
GB2492333B (en) 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
CN106851295B (zh) 2011-07-11 2019-10-18 太阳专利托管公司 编码方法及编码装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170688A (zh) * 2007-11-26 2008-04-30 电子科技大学 一种宏块模式的快速选择方法
WO2010027637A2 (en) * 2008-09-05 2010-03-11 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
CN102474606A (zh) * 2009-07-20 2012-05-23 三星电子株式会社 分层视频编码和解码中对颜色通道进行编码和解码的方法和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Combination of J0171 and J0389 for the non-normative encoder selection of the Intra Transform Skip;ONNO P ET AL;《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16, JCT-VC MEETING: STOCKHOLM, 2012.07.11-2012.07.20,no.JCTVC-J0572》;20120715;全文 *
Intra Transform Skipping: Smallest CU and Implicit Chroma;VAN DER AUWERA G ET AL;《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16, JCT-VC MEETING: STOCKHOLM, 2012.07.11-2012.07.20,no.JCTVC-J0265》;20120720;全文 *
Intra transform skipping;LAN (XIDIAN UNIU) C ET AL;《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16, JCT-VC MEETING: GENEVA, 2012.04.27-2012.05.07,no.JCTVC-I0408》;20120507;全文 *
Non Transform Mode for Inter Coding;WEIJIA ZHU ET AL;《MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11, MPEG MEETING: SAN JOSE, 2012.02.06-2012.02.10, no.m22931》;20120607;全文 *

Also Published As

Publication number Publication date
CN104509113A (zh) 2015-04-08
WO2013192537A2 (en) 2013-12-27
US9426466B2 (en) 2016-08-23
US20130343464A1 (en) 2013-12-26
WO2013192537A3 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
CN104509113B (zh) 视频压缩中的变换跳过模式
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN106105205B (zh) 用于颜色空间转换译码的量化参数
CN105723707B (zh) 用于视频译码的色彩残差预测
CN104471935B (zh) 具有变换跳过的视频译码中的预测残余块的旋转
CN103597832B (zh) 用于使用相邻模式的视频译码的增强的帧内预测模式信令
CN104255035B (zh) 视讯译码中的量化参数(qp)译码
CN103947207B (zh) 用于图片分割方案的统一设计
CN103535034B (zh) 对视频数据进行译码的方法、译码的设备及编码的设备
CN104685875B (zh) 用于视频译码的方法、设备、计算机可读存储媒体
CN105284113B (zh) 分量间滤波
CN105379266B (zh) 停用帧内预测滤波
CN103477638B (zh) 用于视频译码的变换系数的译码
CN103931182B (zh) 帧内预测视频译码中的非正方形变换
CN103959775B (zh) 一种视频数据编解码的方法及设备
CN104221380B (zh) 用于并行运动估计的共同空间候选块
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN104221381B (zh) 用于视频译码的波前并行处理的方法、装置及计算机可读存储媒体
CN104137546B (zh) 用信号发送用于视频译码的量化矩阵
CN104704843B (zh) 视频性质的指示
CN103797802B (zh) 用于视频译码中的短距离帧内预测的线缓冲器减少
CN103636223B (zh) 用于视频译码的多区扫描次序
CN108028932A (zh) 用于视频译码的调色板预测初始化及合并
CN106664425A (zh) 视频译码中的跨分量预测
CN107771393A (zh) 帧内预测及帧内模式译码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180209

Termination date: 20190621