CN110603812A

CN110603812A - 用于显示器流压缩的子流多路复用

Info

Publication number: CN110603812A
Application number: CN201880030174.9A
Authority: CN
Inventors: N·H·雅各布森; V·提鲁马莱; R·L·乔希
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2017-05-24
Filing date: 2018-05-23
Publication date: 2019-12-20
Anticipated expiration: 2038-05-23
Also published as: EP3632114B1; US10743032B2; EP3632114A1; TW201907731A; US20180343471A1; CN110603812B; WO2018217907A1; TWI724303B

Abstract

本发明提供一种用于在恒定位速率视频编码器中编码视频数据的方法及系统。视频编码器可进行以下操作：基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码视频数据块的译码模式，其中所述最小语法元素大小大于1个位；根据所述经确定译码模式在多个子流中编码所述视频数据块以产生多个经编码视频数据子流；将所述多个经编码视频数据子流存储于相应平衡FIFO缓冲器中；及在位流中多路复用所述多个经编码子流以供传输至解码器。

Description

用于显示器流压缩的子流多路复用

本申请案主张2017年5月24日申请的美国临时申请案第62/510,602号的权益，所述临时申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码及压缩的领域，且具体地说，涉及用于经由显示器链路的传输的视频压缩，例如显示器流压缩。

背景技术

数字内容能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式处理装置等等。可使用例如显示器链路的链路以将内容从源(例如，存储图像及/或视频数据的存储器)传送至显示器。举例来说，显示器链路可将机顶盒连接至电视或将计算机连接至显示器。

显示器链路的带宽要求通常与显示器的分辨率成比例，且因此，高分辨率显示器受益于大带宽显示器链路。一些显示器链路不具有用以支持高分辨率显示器的带宽。可使用视频压缩以降低带宽要求，使得可使用较低带宽显示器链路以将数字视频提供至较高分辨率显示器。可使用对像素数据的图像压缩。然而，这些方案有时并非视觉上无损，或可能在常规显示装置中实施起来困难且昂贵。

视频电子标准协会(Video Electronics Standards Association；VESA)已开发出显示器流压缩(DSC)作为用于显示器链路视频压缩的标准。例如DSC的显示器链路视频压缩技术应尤其提供视觉上无损的图片质量(即，具有使得用户不能辨识压缩为活动的质量级别的图片)。显示器链路视频压缩技术还应提供运用常规硬件实时实施起来简易且便宜的方案。

发明内容

大体来说，本发明描述用于编码视频数据的技术。在一些实例中，本发明描述可缩减用于恒定位速率视频编解码器(例如，VDC-M编解码器)的编码器子流多路复用器中的平衡先进先出(FIFO)缓冲器的大小的编码技术。缩减平衡FIFO的大小可能会引起视频编解码器的硬件实施方案中的所需存储器缩减。

在一个实例中，本发明描述一种经配置以编码视频数据的设备，所述设备包括：存储器，其经配置以存储视频数据块；及一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以进行以下操作：基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码所述视频数据块的译码模式，其中所述最小语法元素大小大于1个位；根据所述经确定译码模式在多个子流中编码所述视频数据块以产生多个经编码视频数据子流；将所述多个经编码视频数据子流存储于相应平衡FIFO缓冲器中；及在位流中多路复用所述多个经编码子流以供传输至解码器。

在另一实例中，本发明描述一种编码视频数据的方法，所述方法包括：基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码视频数据块的译码模式，其中所述最小语法元素大小大于1个位；根据所述经确定译码模式在多个子流中编码所述视频数据块以产生多个经编码视频数据子流；将所述多个经编码视频数据子流存储于相应平衡FIFO缓冲器中；及在位流中多路复用所述多个经编码子流以供传输至解码器。

在另一实例中，本发明描述一种存储指令的非暂时性计算机可读存储媒体，所述指令在执行时致使经配置以编码视频数据的一或多个处理器进行以下操作：基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码视频数据块的译码模式，其中所述最小语法元素大小大于1个位；根据所述经确定译码模式在多个子流中编码所述视频数据块以产生多个经编码视频数据子流；将所述多个经编码视频数据子流存储于相应平衡FIFO缓冲器中；及在位流中多路复用所述多个经编码子流以供传输至解码器。

在另一实例中，本发明描述一种经配置以编码视频数据的设备，所述设备包括：用于基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码视频数据块的译码模式的装置，其中所述最小语法元素大小大于1个位；用于根据所述经确定译码模式在多个子流中编码所述视频数据块以产生多个经编码视频数据子流的装置；用于将所述多个经编码视频数据子流存储于相应平衡FIFO缓冲器中的装置；及用于在位流中多路复用所述多个经编码子流以供传输至解码器的装置。

下文在附图及具体实施方式中阐述本发明的一或多个实例的细节。本发明的其它特征、目标及优势将从具体实施方式及附图且从权利要求书显而易见。

附图说明

图1A为绘示可经配置以执行本发明的技术的实例视频译码系统的框图。

图1B为绘示可经配置以执行本发明的技术的另一实例视频译码系统的框图。

图2A为绘示可经配置以执行本发明的技术的实例视频编码器的框图。

图2B为绘示可经配置以执行本发明的技术的实例视频解码器的框图。

图3为绘示一种用于计算量化参数的实例技术的图形。

图4A为展示实例熵译码技术的概念图。

图4B为展示实例码字的概念图。

图5为绘示根据本发明的一个实例的经量化残差块群组的概念图。

图6A为展示根据本发明的一个实例的视频编码器中的子流多路复用的框图。

图6B为展示根据本发明的一个实例的视频解码器中的子流解多路复用的框图。

图7为展示分布于四个子流当中的块预测向量的概念图。

图8为展示分布于四个子流当中的块预测向量的另一概念图。

图9为展示针对各种最小及最大语法元素大小的平衡FIFO大小的表。

图10为展示针对4:4:4及4:2:2色度子取样格式的实例子流构造的概念图。

图11为展示针对4:2:2色度子取样格式的实例子流构造的另一概念图。

图12为展示针对不同子流的实例平衡FIFO大小的表。

图13为展示用于块预测模式的实例子流构造的概念图。

图14为展示用于变换模式的实例子流构造的概念图。

图15为展示用于中点预测模式的实例子流构造的概念图。

图16为展示用于块预测跳过模式的实例子流构造的概念图。

图17为展示用于中点预测回退模式的实例子流构造的概念图。

图18为展示本发明的实例方法的流程图。

具体实施方式

大体来说，本发明描述用于编码内容的技术，包含视频数据的编码及解码。本发明的技术可与任何视频压缩技术一起使用，而无论是否根据例如DSC、VESA显示压缩-M(VDC-M)或其它内容译码标准的内容译码标准。举例来说，本发明描述用于译码图像内容(例如，视频数据)以供传输——例如经由链路(例如，显示器链路)的传输——的技术。作为另一实例，本发明描述可用以根据例如DSC或VDC-M的固定速率视觉上无损内容译码标准增大内容的压缩比(例如，作为一个实例为从3:1至4:1)的技术。

例如视频图像、TV图像、静态图像或由视频记录器或计算机产生的图像的数字图像可包含以水平及竖直行(line)而布置的像素或样本。对于4k分辨率，单一图像中的像素数目通常为数十万至数百万。每一像素可由亮度及色度信息(例如，YCrCb)及/或其它颜色格式(例如，RGB)表示。在无压缩的情况下，要从图像编码器传送至图像解码器的信息的绝对数量将致使实时图像传输不切实际。为了缩减要传输信息的量，已开发出数种不同压缩方法，例如JPEG、MPEG及H.263、H.264及H.265标准。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也被称为ISO/IECMPEG-4AVC)，及H.265(也被称为HEVC)，包含这些标准的扩展。

另外，视频电子标准协会(VESA)已开发出视频译码标准，即，DSC及VDC-M。DSC及VDC-M标准允许压缩视频数据以供经由显示器链路而传输。随着显示器的分辨率增大，驱动显示器所需要的视频数据的带宽对应地增大。一些显示器链路可能不具有用以将视频数据的全部传输至用于这些分辨率的显示器的带宽。因此，DSC及VDC-M标准指定用于经由显示器链路的可互操作的视觉上无损压缩的压缩标准。

DSC及VDC-M标准不同于例如H.264及HEVC的其它视频译码标准。DSC及VDC-M包含帧内压缩，但不包含帧间压缩，这意味着时间信息可能不用于译码视频数据。与此对比，其它视频译码标准可在其视频译码技术中使用帧间压缩。

大体来说，本发明涉及改进视频压缩技术的技术。更具体来说，本发明涉及用于子流多路复用的系统及方法，子流多路复用通过允许解码器并行地解码两个或多于两个子流而促进较高吞吐量。在一些实例中，本发明描述可缩减用于显示器流压缩编解码器(例如，VDC-M)的编码器子流多路复用器中的平衡先进先出(FIFO)缓冲器的大小的技术。缩减平衡FIFO的大小会引起VDC-M编解码器或可使用子流多路复用的其它编解码器的硬件实施方案中的所需RAM缩减。

虽然本文中在DSC及/或VDC-M标准的内容背景中描述某些实例，但所属领域的一般技术人员应了解，本文中所揭示的系统、装置及方法可适用于任何合适视频译码标准。举例来说，本文中所揭示的实例技术可适用于以下标准中的一或多者：国际电信联盟(ITU)电信标准化部门(ITU-T)H.261、国际标准化组织/国际电工委员会(ISO/IEC)动画专业团体-1(MPEG-1)Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)、高效率视频译码(HEVC)，及这些标准的任何扩展。本文中所描述的技术可特别适用于结合恒定位速率(CBR)缓冲器模型的标准。此外，本发明中所描述的技术可变为未来开发的标准的部分。换句话说，本发明中所描述的技术可适用于先前开发的视频译码标准、当前在开发中的视频译码标准，及即将出现的视频译码标准。

图1A为绘示可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文描述中所使用，术语“视频译码器”或“译码器”一般是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指视频编码及视频解码。除了视频编码器及视频解码器以外，本申请案中所描述的方面还可扩展至其它相关装置，例如转码器(例如，可解码一位流且重新编码另一位流的装置)及中间盒(例如，可修改、变换及/或以其它方式操纵位流的装置)。

如图1A所展示，视频译码系统10包含源装置12，其产生将在稍后时间由目的地装置14解码的经编码视频数据。在图1A的实例中，源装置12及目的地装置14构成单独装置。然而，应注意，源装置12及目的地装置14可在同一装置上或为同一装置的部分，如图1B的实例中所展示。

源装置12及目的地装置14可分别包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式处理装置、可由实体(例如，人类、动物及/或另一受控制装置)穿戴(或可移除地附接至所述实体)的装置，例如眼用佩戴品及/或可穿戴计算机。在各种实施例中，源装置12及目的地装置14可经装备以用于无线通信。

目的地装置14可经由链路16接收要解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动至目的地装置14的任何类型的媒体或装置。在图1A的实例中，链路16可包括用以使源装置12能够实时将经编码视频数据传输至目的地装置14的通信媒体。可根据例如无线通信协议的通信标准调制经编码视频数据，且将其传输至目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成例如局域网、广域网或例如互联网的全局网络的基于数据包的网络的部分。通信媒体可包含路由器、交换机、基站，或可用于促进从源装置12至目的地装置14的通信的任何其它设备。

在图1A的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些状况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频捕获装置(例如，视频相机)、含有经先前捕获视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口及/或用于产生计算机图形数据作为源视频的计算机图形系统的源，或这些源的组合。作为一个实例，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的“相机电话”或“视频电话”，如图1B的实例中所绘示。然而，本发明中所描述的技术大体来说可适用于视频译码，且可应用于无线及/或有线应用。

可由视频编码器20根据下文将更详细地描述的本发明的技术编码经捕获、经预捕获或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据传输至目的地装置14。此外(或替代地)，可将经编码视频数据存储至存储装置31上以用于稍后由目的地装置14或其它装置存取以供解码及/或回放。在图1A中，存储装置31被描绘为与源装置12分离。在其它实例中，存储装置31可为源装置12的部分。图1A及1B所绘示的视频编码器20可包括图2A所绘示的视频编码器20或本文中所描述的任何其它视频编码器。

在图1A的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些状况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28可经由链路16及/或从存储装置31接收经编码视频数据。经由链路16传达或在存储装置31上提供的经编码视频数据可包含由视频编码器20产生以供例如视频解码器30的视频解码器用于解码视频数据的多种语法元素。这些语法元素可与通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据一起被包含。图1A及1B所绘示的视频解码器30可包括图2B所绘示的视频解码器30或本文中所描述的任何其它视频解码器。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。大体来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。

在相关方面中，图1B展示实例视频译码系统10'，其中源装置12及目的地装置14在装置11上或为装置11的部分。装置11可为电话手机，例如“智能”电话等等。装置11可包含与源装置12及目的地装置14进行操作性通信的处理器/控制器装置13(任选地存在)。图1B的视频译码系统10'及其组件在其它方面相似于图1A的视频译码系统10及其组件。

视频编码器20及视频解码器30可根据例如DSC及/或VDC-M的视频压缩标准而操作。替代地，视频编码器20及视频解码器30可根据例如以下各者的其它专有或行业标准而操作：ITU-T H.264标准，被替代地称作MPEG-4,Part 10；AVC；HEVC；或这些标准的扩展。然而，本发明的技术并不限于任何特定译码标准，且可应用于使用恒定位速率缓冲器模型的任何视频压缩技术。视频压缩标准的其它实例包含MPEG-2及ITU-T H.263。

尽管图1A至1B的实例中未展示，但视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置共同数据流或单独数据流中的音频及视频两者的编码。适用时，在一些实例中，MUX-DEMUX单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。

视频编码器20及视频解码器30各自可被实施为多种合适编码器及/或解码器电路系统中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中，且使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。视频编码器20、视频解码器30中的每一者可包含于一或多个编码器或解码器中，所述一或多个编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器的部分。

最近由VESA定案的当代3:1DSC v1.0解决方案的实例可能不足以驱动未来市场要求(例如，移动市场要求)，尤其是对于例如4K的高分辨率显示器。因此，为了应对未来需求，VESA发行了呼叫请求科技(call for technology；CfT)，以便开发以4:1及更高的压缩比为目标的下一代DSC解决方案。

图1A及1B的视频编码器20及视频解码器30为本发明的DSC及/或VDC-M译码器的实例。在一些实例中，视频编码器20及视频解码器可根据测试模型或软件模型而操作，所述测试模型或软件模型可指内容译码器可经配置以译码数据所根据的压缩协议、算法、标准等等。在一些实例中，本文中所描述的一或多种技术及/或益处涉及VDC-M测试模型。

视频编码器20及视频解码器30可经配置以运用基于块的途径(其中块大小为P×Q)译码视频数据，且可经配置以运用多个译码模式中的一或多者译码视频数据。即，视频编码器20及视频解码器30可经配置以译码被划分成样本块的视频数据帧。在一些实例中，用于每一块的可用译码模式可包含变换模式(例如，离散余弦变换(DCT)、哈达玛(Hadamard)变换等等)、块预测(BP)模式、BP跳过模式、微分脉码调制(DPCM)模式、样式模式、中点预测(MPP)模式，及/或中点预测回退(MPPF)模式。视频编码器20可经配置以确定要使用的译码模式，且可将指示要使用的译码模式的语法元素用信号发送至视频解码器30。在本发明的内容背景中，语法元素大小可指用以编码及解码用于单一块的单一子流的数据值的位数目。在一个实例中，语法元素可指单一块中的单一分量数据值，这是因为每一分量可属于单独子流。

若干译码模式可用于译码器(例如，视频编码器20及/或视频解码器30)中，以便有效地压缩不同类型的内容或图像。在一些实例中，视频编码器20及视频解码器30可使用多个不同译码模式以用于译码一个视频数据帧的块。举例来说，可通过样式模式有效地压缩文本图像，而可通过变换模式更有效地捕获自然图像。

在一些实例中，视频编码器20可经配置以基于速率控制机构从多个译码模式选择用于每一块的译码模式。举例来说，视频编码器20可经配置以通过考虑以下两者来确定用于每一块的译码模式：通过使用译码而实现的位速率，及运用所述译码模式而译码的块的总失真。在一些实例中，速率控制机构是由缓冲器模型支持。在一个实例中，编解码器(例如，视频编码器20及视频解码器30)的设计要求可能为，视频编码器20的输出缓冲器永不处于下溢(例如，在缓冲器中少于零个位)或溢出(例如，相比于传输之前的预定最大大小已编码较多数据)状态。因此，视频编码器20可确定某些译码模式不可用，这是因为所述译码模式造成输出缓冲器处于下溢或溢出状态。

当译码块时，如果给定块中的颜色分量的所有值皆为零，那么视频编码器20可使用跳过模式有效地编码颜色分量。在跳过模式译码中，视频编码器20可将1位旗标用信号发送至视频解码器30以指示使用跳过模式(例如，如果所有值皆为零)还是不在跳过模式中(例如，如果块中的至少一个值为非零)译码当前块。在跳过模式中，当当前块的颜色分量的所有值皆为零时，视频编码器20可将1位旗标用信号发送至视频解码器30，且视频编码器20可制止译码所述块的颜色分量的值(即，可跳过所述块的颜色分量的值的译码)。跳过模式还可应用于大小小于一块的颜色分量的值群组，或应用于多个块的群组。跳过模式还可单独地应用于块的每一颜色分量，例如，当当前块的颜色分量的所有值为零时，跳过模式可应用于当前块的颜色分量的值。在一些实施方案中，跳过模式可应用于群组或块的所有颜色分量。

如上文大体上所描述，视频编码器20经配置以编码视频数据。视频数据可包括一或多个图片。所述图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称作视频“帧”。当视频编码器20编码视频数据时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的一连串位。位流可包含经译码图片及关联数据，包含一或多个语法元素。经译码图片为图片的经译码表示。

为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片及关联数据。关联数据可包含例如量化参数(QP)的一组译码参数。为了产生经译码图片，视频编码器20可将图片分割成相等大小的视频块。视频块可为样本的二维阵列。样本可为指示像素的颜色的数据。在一些实例中，像素的颜色可由亮度分量(例如，Y)及一或多个色度分量(例如，红色及蓝色色度(Cr及Cb)或橙色及绿色色度(Co及Cg))表示。在其它实例中，视频编码器20可经配置以译码具有呈红色、绿色、蓝色(RGB)颜色格式的像素的视频数据。译码参数可定义用于视频数据块的译码模式。可个别地针对每一视频数据块或针对块群组指定译码模式。可确定译码模式以便实现所要速率-失真性能。

在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可包含图像(例如，帧)中的空间相异区域，其可在无来自图像或帧中的其余区域的信息的情况下被独立地编码或解码。每一图像或视频帧可以单一切片被编码，或每一图像或视频帧可以若干切片被编码。在DSC及/或VDC-M的实例中，经分配以编码每一切片的目标位可大致上恒定。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称作“经译码切片”。

图2A为绘示可实施根据本发明中所描述的方面的技术的视频编码器20的实例的框图。视频编码器20可经配置以执行本发明的技术中的一些或全部。在一些实例中，本发明中所描述的技术可由视频编码器20的各种组件执行。在一些实例中，另外或替代地，处理器(未展示)可经配置以执行本发明中所描述的技术中的一些或全部。出于阐释的目的，本发明在DSC及/或VDC-M译码的内容背景中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法，包含使用CBR缓冲器模型的其它视频译码技术。

在图2A的实例中，视频编码器20包含多个组件。视频编码器20的组件包含：颜色空间转换器105；缓冲器110；平坦度检测器115；速率控制器120；预测器、量化器及重构器组件125；行缓冲器130；索引颜色历史135；熵编码器140；子流多路复用器145；及速率缓冲器150。在其它实例中，视频编码器20可包含更多、更少或不同的组件。

颜色空间转换器105可经配置以接收视频数据且将视频数据的输入颜色空间转换成用于译码实施方案中的颜色空间。举例来说，在一个示范性实施例中，输入视频数据的颜色空间可位于RGB颜色空间中，而由视频编码器20执行的译码过程实施于亮度Y、色度绿色Cg及色度橙色Co(YCoCg)颜色空间中。颜色空间转换器105可经配置以使用任何技术执行颜色空间转换，所述技术包含移位及与视频数据的相加。应注意，可处理其它颜色空间中的输入视频数据，且还可执行至其它颜色空间的转换。如果不需要至不同颜色空间的转换，那么可绕过颜色空间转换器105。

视频编码器20还可包含缓冲器110、行缓冲器130及/或速率缓冲器150。缓冲器110、行缓冲器130及/或速率缓冲器150可包括存储器或数据存储媒体，例如随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、高速缓冲存储器、磁性或光学数据存储媒体等等。

缓冲器110可经配置以在经颜色空间转换视频数据被视频编码器20的其它组件使用之前存储经颜色空间转换视频数据。在另一实例中，缓冲器110可将视频数据存储于RGB颜色空间中，且可视需要而执行颜色空间转换，这是由于经颜色空间转换数据可能需要较多位。

速率缓冲器150可用作视频编码器20中的速率控制机构的部分，下文将结合速率控制器120更详细地描述速率缓冲器150。编码每一块所耗费的位可大致上基于特定块的性质而高度地变化。速率缓冲器150可使经压缩视频的速率变化平滑。在一些实例中，视频编码器20可使用CBR缓冲器模型，其中以恒定位速率从速率缓冲器150取出位。在CBR缓冲器模型中，如果视频编码器20将过多的位添加至位流，那么速率缓冲器150可能会溢出。另一方面，视频编码器20可经配置以添加足够的位以便防止速率缓冲器150的下溢。在一些实例中，当速率缓冲器充满度接近其最大大小时，视频编码器20可经配置以增大QP以便防止溢出。当速率缓冲器充满度接近空时，视频编码器20可经配置以将零个位填塞至速率缓冲器150中以防止下溢。速率缓冲器150可经配置以将经压缩视频数据输出至视频解码器(例如，视频解码器30)。

在视频解码器侧上，可以恒定位速率将位添加至视频解码器30的速率缓冲器155(参见下文进一步详细地描述的图2B)，且视频解码器30可针对每一块移除可变数目个位。为了确保适当解码，视频解码器30的速率缓冲器155优选地经配置为在经压缩位流的解码期间不会“下溢”或“溢出”。

在一些实例中，可基于语法元素BufferCurrentSize的值定义缓冲器充满度(BF)。BufferCurrentSize的值表示当前在缓冲器(例如，速率缓冲器150)中的位数目。变量BufferMaxSize的值表示速率缓冲器150的大小，即，可在任何时间点存储于速率缓冲器150中的位的最大数目。BF可被计算为：

BF＝((BufferCurrentSize*100)/BufferMaxSize)

应注意，计算BF的以上途径仅仅是示范性的，且可取决于特定实施方案或内容背景而以任何数目个不同方式计算BF。

平坦度检测器115经配置以检测从视频数据中的复杂(例如，非均一)区至视频数据中的平坦(例如，简单或均一)区的改变，及/或反之亦然。术语“复杂”及“平坦”将在本文中用以大体上是指视频编码器20编码视频数据的相应区域的难度。因此，如本文中所使用的术语“复杂”通常将视频数据的区域描述为对于视频编码器20的编码来说较复杂(例如，需要较多位及/或较多处理时间)，且可例如包含纹理化视频数据、具有高空间频率的视频数据，及/或对于编码来说复杂的其它特征。如本文中所使用的术语“平坦”通常将视频数据的区域描述为对于视频编码器20的编码来说较不复杂(例如，需要较少位及/或较少处理时间)，且可例如包含视频数据的平滑梯度、具有低空间频率的视频数据，及/或对于编码来说简单的其它特征。从复杂区域至平坦区域的转变可由视频编码器20使用以缩减经编码视频数据中的量化假象。具体来说，当从复杂区域至平坦区域的转变被识别时，速率控制器120及预测器、量化器及重构器组件125可缩减这些量化假象。相似地，从平坦区域至复杂区域的转变可由视频编码器20使用以增大QP，以便缩减译码当前块所需要的预期速率。

速率控制器120确定一组译码参数，包含QP。量化会引入信号损耗，且损耗量可由QP控制。代替存储用于每一QP的量化步长，可将缩放矩阵指定为随QP而变。在一些实例中，可从缩放矩阵导出用于每一QP的量化步长。量化步长的经导出值未必为二幂，例如，经导出量化步长还可为非二幂。速率控制器120可基于速率缓冲器150的缓冲器充满度及视频数据的图像活动(例如，从复杂区域至平坦区域的转变或反之亦然)调整QP，以便最大化针对目标位速率的图片质量，这确保速率缓冲器150不会溢出或下溢。速率控制器120还可经配置以针对视频数据的每一块确定特定译码选项(例如，特定译码模式)，以便实现所要速率-失真性能。速率控制器120最小化经重构图像的失真，使得其满足位速率约束，例如，总实际译码速率在目标位速率内。因此，速率控制器120的一个目的是确定一组译码参数，例如QP、译码模式等等，以满足对速率的瞬时及平均约束，同时最大化速率-失真性能。

预测器、量化器及重构器组件125可执行视频编码器20的各种编码操作。举例来说，预测器、量化器及重构器组件125可在数个不同译码模式中执行预测译码过程(例如，预测模式)。一个实例预测模式为中值自适应预测的经修改版本。中值自适应预测可由无损JPEG标准(JPEG-LS)实施。可由预测器、量化器及重构器组件125执行的中值自适应预测的经修改版本可允许并行地预测三个连续样本值。另一实例预测模式为块预测。在块预测中，经当前编码块的样本是从在与经当前编码样本所处的行是同一个的行上方或左侧的行中的经先前重构像素被预测。在一些实例中，视频编码器20及视频解码器30可皆对经重构像素执行相同搜索以确定块预测使用情况，且因此不需要在块预测模式中发送位。在其它实例中，视频编码器20可在位流中执行搜索且用信号发送块预测向量，使得视频解码器30不需要执行单独搜索。块预测向量指示用以执行预测的经先前编码块的样本的位置。块预测向量可被表示为相对于经当前译码块及/或样本在x方向及y方向两者上的偏移。预测器、量化器及重构器组件125还可经配置以执行中点预测模式，其中使用分量范围的中点预测样本。中点预测模式可使能够界限甚至最差状况样本中的经压缩视频所需要的位数目。

在一些实例预测模式中，预测器、量化器及重构器组件125可产生预测残差。预测残差可为预测性视频数据块的样本值与正被译码的视频数据块的样本值之间的差。如下文将论述，可量化且可进一步压缩预测残差，例如，使用熵编码技术。

预测器、量化器及重构器组件125可经进一步配置以执行量化。举例来说，预测器、量化器及重构器组件125可经由可使用移位器而实施的2幂量化器执行量化。应注意，可代替2幂量化器而实施其它量化技术。由预测器、量化器及重构器组件125执行的量化可基于由速率控制器120确定的QP。预测器、量化器及重构器组件125还执行重构，包含将经反量化残差与经预测值相加，及确保结果不会超出样本值的有效范围。预测器、量化器及重构器组件125可基于由速率控制器120确定的QP执行量化操作。

应注意，由预测器、量化器及重构器组件125执行的上述预测、量化及重构实例途径仅仅是说明性的，且可实施其它途径。还应注意，预测器、量化器及重构器组件125可包含用于执行预测、量化及/或重构的子组件。应进一步注意，可代替预测器、量化器及重构器组件125而由若干单独编码器组件执行预测、量化及/或重构。

行缓冲器130经配置以存储来自预测器、量化器及重构器组件125的输出，使得预测器、量化器及重构器组件125及索引颜色历史135可使用及/或存储经缓冲视频数据。索引颜色历史135为经配置以存储最近使用的像素值的存储器。这些最近使用的像素值可直接由视频编码器20经由专用语法而参考。

熵编码器140基于索引颜色历史135及由平坦度检测器115识别的平坦度转变来编码预测残差及从预测器、量化器及重构器组件125接收的任何其它数据(例如，由预测器、量化器及重构器组件125识别的语法元素及索引)。在一些实例中，熵编码器140可每时钟每子流编码器编码三个样本。子流多路复用器145可基于无标头数据包多路复用方案来多路复用位流。这允许视频解码器30并行地运行三个熵解码器，从而促进每时钟三个像素的解码。子流多路复用器145可优化数据包次序，使得数据包可由视频解码器30高效地解码。应注意，可实施不同的熵译码途径，这可促进每时钟2幂个像素(例如，2个像素/时钟或4个像素/时钟)的解码。

图2B为绘示可实施根据本发明中所描述的方面的技术的实例视频解码器30的框图。视频解码器30可经配置以执行本发明的技术中的一些或全部。在一些实例中，本发明中所描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未展示)可经配置以执行本发明中所描述的技术中的一些或全部。

出于阐释的目的，本发明在DSC及/或VDC-M译码的内容背景中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。

在图2B的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含：速率缓冲器155；子流解多路复用器160；熵解码器165；速率控制器170；预测器、量化器及重构器组件175；索引颜色历史180；行缓冲器185；及颜色空间转换器190。视频解码器30的所绘示组件类似于上文结合图2A中的视频编码器20所描述的对应组件。因而，视频解码器30的组件中的每一者可以与如上文所描述的视频编码器20的对应组件的方式相似但互逆的方式而操作。

行缓冲器185及/或速率缓冲器155可包括存储器或数据存储媒体，例如RAM、SDRAM、ROM、NVRAM、EEPROM、快闪存储器、高速缓冲存储器、磁性或光学数据存储媒体等等。速率缓冲器155可经配置以接收经压缩视频(例如，从视频编码器20)，且用作视频解码器中的速率控制机构的部分。解码每一块所耗费的位可大致上基于特定块的性质而高度地变化。速率缓冲器155可使经压缩视频的速率变化平滑。在一些实例中，使用CBR缓冲器模型，其中以恒定位速率从速率缓冲器155取出位。

如下文将更详细地所论述，子流解多路复用器160可基于无标头数据包多路复用方案来解多路复用位流。这允许视频解码器30并行地运行三个熵解码器(例如，作为熵解码器165的部分)，从而促进每时钟三个像素的解码。熵解码器165以与图2A的熵编码器140的方式互逆的方式解码经压缩预测残差及从子流解多路复用器160接收的任何其它数据(例如，语法元素及索引)。

速率控制器170确定一组译码参数，包含QP。量化会引入信号损耗，且损耗量可由QP控制。在一些实例中，速率控制器170可在经压缩视频位流中从视频编码器20接收QP。速率控制器170可将经确定QP供应至预测器、量化器及重构器组件175。

预测器、量化器及重构器组件175可执行视频解码器30的至少三个解码操作。预测器、量化器及重构器组件175可经进一步配置以执行反量化。举例来说，预测器、量化器及重构器组件175可根据由速率控制器170确定的QP执行反量化。

预测器、量化器及重构器组件175还可在数个不同译码模式中执行预测解码过程(例如，预测模式)。上文已参考图2A的预测器、量化器及重构器组件125而论述实例译码模式，但可使用其它译码模式。预测器、量化器及重构器组件175可接收经压缩视频位流中的语法元素以指示用于一或若干特定视频数据块的译码模式。基于译码模式，预测器、量化器及重构器组件175可确定用于经当前解码块的预测性块。预测器、量化器及重构器组件125还可接着执行重构，其包含将经反量化残差值与经确定预测性块相加以产生经解码块。

应注意，由预测器、量化器及重构器组件175执行的上述预测、量化及重构实例途径仅仅是说明性的，且可实施其它途径。还应注意，预测器、量化器及重构器组件175可包含用于执行预测、反量化及/或重构的子组件。应进一步注意，可代替预测器、量化器及重构器组件175而由若干单独编码器组件执行预测、反量化及/或重构。

行缓冲器185经配置以存储来自预测器、量化器及重构器组件175的输出，使得预测器、量化器及重构器组件175及索引颜色历史180可使用及/或存储经缓冲视频数据。索引颜色历史180为经配置以存储最近使用的像素值的存储器。这些最近使用的像素值可直接由视频解码器30经由专用语法而参考。

颜色空间转换器190可经配置以将用于译码实施方案中的颜色空间转换成输出颜色空间以输出视频。举例来说，在一个示范性实施例中，输出视频数据的颜色空间可位于RGB颜色空间中，而由视频解码器30执行的译码过程实施于YCoCg颜色空间中。可使用任何技术执行颜色空间转换，所述技术包含移位及与视频数据的相加。应注意，可处理其它颜色空间中的输出视频数据，且还可执行至其它颜色空间的转换。

以下章节将更详细地论述用于DSC及/或VDC-M译码的额外技术。在用于DSC及/或VDC-M的一个实例中，可基于以下方程式导出或计算(例如，由速率控制器120)用于当前块的QP(被表示为currQP)：

currQP＝prevQ+QpAdj*(diffBits>0？1:-1)，

其中prevQP为与先前视频数据块相关联的QP，diffBits表示previousBlockBits与targetBits之间的差，QpAdj为基于diffBits的量值而计算的QP偏移值(例如，QP调整值)，previousBlockBits表示用以译码先前块的位数目，且targetBits表示用以译码当前块的目标位数目。当previousBlockBits大于targetBits时，diffBits为正，且可通过将偏移值QpAdj与prevQP值相加来导出当前块QP。换句话说，当diffBits为正时，QP值在值方面不会从prevQP值减小。当previousBlockBits小于或等于targetBits时，diffBits为负或零，且currQP不会从prevQP值增大。应注意，可将偏移值QpAdj计算为例如随diffBits而变，使得QpAdj随着diffBits的量值增大而单调地增大。

现在将参考图3描述一种用于计算QP调整值QpAdj的技术，在本文中被称作默认技术。图3绘示包含被标绘以零开始的diffBits值的轴线的图形300。在默认技术中，当diffBits>0时，可使用K个阈值将diffBits分类成K+1个范围。这些阈值是由标签阈值1、阈值2、阈值3、……及阈值K绘示。所述范围是由标签范围1、范围2、范围3、……及范围K+1绘示。图3展示一种用于使用K个阈值将diffBits分段成K+1个范围的途径。每一范围可与特定QpAdj值相关联，其中QpAdj值随着范围索引增大而增大。当diffBits≤0时，可使用J个阈值(未绘示)将diffBits的绝对值分类成J+1个范围，且可存在针对J+1个范围中的每一者所指定的特定QpAdj值。

在其它方面中，视频编码器20可基于速率缓冲器150的充满度(其可按照缓冲器充满度BF而表示)调整currQP值，以便防止缓冲器的下溢及/或溢出。具体地说，当BF超过某一阈值(例如，P₁)时，视频编码器20可将currQP的值递增固定偏移值(例如，p₁)。举例来说，视频编码器20可如下调整值currQP：currQP+＝p₁。此外，当BF降至低于某一阈值(例如，Q₁)时，视频编码器20可将currQP递减q₁，例如，currQP-＝q₁。在某些方面中，可使用多个阈值，且对于每一阈值，可存在对应偏移值以调整currQP。当从复杂区域至平坦区域的转变被识别时或当平坦区域被识别时，视频编码器20可将currQP设定为低值(例如，低于所定义的currQP值的值)，如下文进一步详细地所描述。

返回参看图2A及2B，熵编码器140及熵解码器165可应用各种类型的熵译码技术。在一个实例中，可使用增量大小单元-可变长度译码(DSU-VLC)。在DSU-VLC中，视频编码器20可使用前缀及后缀部分编码K长度样本向量(被定义为“群组”)的经量化残差值。此处，样本是指单一颜色分量中的值。举例来说，对于RGB 444颜色空间，每一像素具有三个样本。前缀部分可指示在后缀部分之后的残差值的大小(所述大小被表示为B个位)，且后缀部分可指示单元中的所有样本的实际残差值。举例来说，可使用相同数目个位而以二的补数来译码群组中的K个残差值。

参考图4A，展示用于具有K＝4个样本(样本S0、S1、S2及S3)的向量400的实例DSU-VLC结构。视频编码器20的熵编码器140可包含经配置以编码向量400的DSU-VLC单元402。当译码向量400时，DSU-VLC单元402可产生指示后缀406的大小的前缀404。DSU-VLC单元402可进一步产生编码具有相同长度的向量400的每一样本值的后缀406(例如，后缀1、后缀2、后缀3、后缀4)。

作为一实例，在使用二的补数表示的情况下，用以译码具有值[1,-2,-1,0]的四个样本的群组的大小可为B＝2个位。图4B中展示DSU-VLC码的实例，其中001表示前缀的一元码，且[01,10,11,00]分别表示使用两个位的实际经译码样本值。通过解码前缀——通常是在单一时钟中进行，可解码所有四个符号。

在另一实例中，可实施高吞吐量熵译码技术(例如，经由视频编码器20的熵编码器140及/或视频解码器30的熵解码器165)以提供例如四个样本/时钟的吞吐量。高吞吐量熵译码技术可涉及将给定块(例如，具有块大小P×Q)内的样本的经量化残差分割成N个群组，且接着使用DSU-VLC译码群组样本。将样本块分割成N个群组可均一或非均一。

在均一分组的情况下，N个群组各自具有相等数目个样本，且所述样本可用于BP模式、DPCM模式等等中。图5绘示均一分组的实例途径，其中将经量化残差块值的2×8块500分割成四个群组，其中每一群组具有四个样本。在非均一分组(未绘示)的情况下，每一群组中的样本数目可不同，且所述样本可用于变换模式中。

针对DSC及VDC-M已提议用于子流多路复用(SSM)的技术。大体来说，SSM涉及基于共同特性(例如，每一颜色分量可为一子流)将经编码视频数据位流断裂成子流。在一个实例中，可实施无标头SSM技术以使用例如固定长度字(例如，多路复用器字)将多个子流多路复用成单一流。即，视频编码器20可经配置以传输固定大小(例如，如由语法muxWordSize所指示)的数据包(例如，多路复用器字)。可导出多路复用器字且将多路复用器字放置于单一流中，使得解码器可并行地解码多个子流。

在一个实例中，可将视频数据的每一颜色分量视为一子流，例如，亮度(Y)、色度橙色(Co)及色度绿色(Cg)，使得存在总共三个子流。在相关方面中，多路复用器字大小(muxWordSize)可取决于每分量所使用的位数目(bpc)，例如，对于8bpc及10bpc为48个位，对于12bpc为64个位等等。在另外相关方面中，多路复用器字大小可被设定为大于或等于最大语法元素大小(maxSeSize)，其中maxSeSize是指用于一个群组的单一分量经压缩数据值的最大可能大小。这意味着视频解码器30可经配置以向每一子流请求至多一个多路复用器字以便解码单一群组。

图6A绘示用于在编码器(例如，视频编码器20的子流多路复用器145)处执行SSM的一或多个实例方面的组件。在编码器侧上，SSM可涉及针对存储多个经编码数据群组(例如，每一群组含有3个像素)的每一子流使用平衡先进先出(FIFO)途径。随着导出多路复用器字以促进并行解码，可在视频编码器20处实施解多路复用器模型206。图6B绘示用于在解码器(例如，视频解码器30处的子流解多路复用器160)处执行SSM的一或多个实例方面的组件。在解码器侧上，解多路复用器模型可包含三个或多于三个漏斗移位器(例如，对于每一子流有一漏斗移位器)，及并行地解码颜色分量的熵解码器165A、165B、165C(对于每一子流有一个熵解码器)。熵解码器165A、165B、165C可为图2B的熵解码器165的部分。漏斗移位器与熵解码器的组合可被称为子流处理器(SSP)。在每一群组时间(或块时间)，每一SSP可请求一个多路复用器字或不请求任何多路复用器字。在DSCv1.x中，对样本群组执行操作。因而，3个样本的群组被编码的时间可被称为群组时间。在本发明的实例中，可对较大样本块(例如，8×2样本块)执行编码及解码。样本块被编码的时间可被称为块时间。当漏斗移位器中的位数目绝对地小于maxSeSize时，可由SSP请求多路复用器字。在图6A及6B中，加阴影块为功能块，其可以硬件、固件、软件或其任何组合实施。未加阴影块为缓冲器(例如，FIFO缓冲器)。

返回至图6A，视频编码器20可针对正被处理的视频数据的每一颜色分量(例如，Y、Co及Cg颜色分量)分别包含可变长度译码器(VLC)及漏斗移位器200A、200B及200C(统称为“VLC及漏斗移位器200”)。在一些实例中，VLC及漏斗移位器200的VLC功能可由图2A的熵编码器140执行。VLC及漏斗移位器200可经配置以将VLC编码(例如，DSU-VLC)应用于视频数据块的每一颜色分量。VLC及漏斗移位器200可包含漏斗移位器以将经译码视频数据移动至编码器平衡FIFO 202A、202B及202C(统称为编码器平衡FIFO 202)。大体来说，移位器为可将数据字移位指定数目个位的数字电路。漏斗移位器为输入位的数目大于输出位的数目的移位器。即，并非所有输入至漏斗移位器的位皆在每一时钟周期时输出。编码器平衡FIFO 202存储多路复用器字以供稍后传输至视频解码器30。

当从视频解码器30的SSP接收到多路复用器字请求时，多路复用器204可将来自编码器平衡FIFO 202中的一者的单一多路复用器字放置至速率缓冲器150中。举例来说，当请求来自视频解码器30的SSP的Y分量多路复用器字时，多路复用器204可移动多路复用器字Y编码器平衡FIFO 202A，且将其放置于速率缓冲器150中以供在位流中发送。对于给定群组时间，可从视频解码器30的SSP(对于每一子流为至多一个SSP)接收到多个请求。在这些情境中，可以特定次序将经请求多路复用器字放置至速率缓冲器150中(例如，其中Y被给予最高优先级，接着为Co，且随后为Cg)。多路复用器204可经配置以基于解多路复用器模型206以特定次序将多路复用器字放置至速率缓冲器150中。解多路复用器模型206为SSM过程是如何由视频解码器30实行的模型。以此方式，视频编码器20可确定视频解码器30将以哪一次序请求多路复用器字(例如，来自特定子流的多路复用器字的次序)，且多路复用器204可接着基于由解多路复用器模型206供应的经确定次序将多路复用器字放置于速率缓冲器150中。

可预定或设定编码器平衡FIFO 202的平衡FIFO大小以防止速率缓冲器150处的位的溢出或下溢。大体来说，平衡FIFO大小可取决于maxSeSize与最小语法元素大小(minSeSize)之间的差，以及多路复用器字的大小(例如，如由变量muxWordSize所指示)。可预定最大及最小语法元素大小，且视频编码器20可经配置以译码视频数据块，使得所选择的译码模式引起用于每一子流的语法元素介于最小语法元素大小与最大语法元素大小之间，最小语法元素大小及最大语法元素大小包含在内。

在一个实例中，在切片开始时，可运用(muxWordSize+maxSeSize-1)个数据群组填充编码器平衡FIFO 202。这可对应于初始延迟时段，在此初始延迟时段期间，无多路复用器字传输至视频解码器30(例如，被称为SSM延迟时间)。为了防止溢出，编码器平衡FIFO 202中的每一者可经配置以存储(muxWordSize+maxSeSize-1)*maxSeSize个位。为了防止下溢，可计算FIFO大小，使得只要向视频解码器30作出请求(例如，如由解多路复用器模型206所指示)，编码器平衡FIFO 202中的每一者就含有一个多路复用器字数据值。

在开始或编码时，对于muxWordSize+maxSeSize-1个群组，可运用经译码位填充编码器平衡FIFO 202，而不移除任何多路复用器字。在此初始延迟之后，多路复用器204可从平衡FIFO 202中的每一者移除一个多路复用器字且将其发送至速率缓冲器150。另外，多路复用器204可将这些多路复用器字放置于解多路复用器模型206的相应漏斗移位器中。对于每一群组时间，在解多路复用器模型206中，可将漏斗移位器中的位数目缩减语法元素的大小。

大体来说，语法元素大小可指解码单一块中的单一子流的数据值所需要的位数目。在一个实例中，语法元素可指单一块中的单一分量数据值，这是因为每一分量可属于单独子流。视频编码器20处的解多路复用器模型206的一个目的是模仿视频解码器30处的实际解码，使得视频编码器20针对视频解码器30以正确次序将多路复用器字放置至位流中。可取决于为当时解码一个群组所需要的位数目而缩减漏斗移位器充满度。当漏斗移位器充满度降至低于最大语法元素大小(maxSeSize)时，视频解码器30(及解多路复用器模型206)可请求将多路复用器字添加至漏斗移位器。还可将同一多路复用器字发送至速率缓冲器150。此过程(即，将每一漏斗移位器充满度递减对应语法元素大小，且在漏斗移位器的充满度小于maxSeSize时请求多路复用器字)可继续进行直到切片中的每一块被完成编码。在一些实例中，在切片结束时，编码器平衡FIFO 202可能不含有足够的位以形成单一多路复用器字，或可能为空。在这些状况下，可执行零填补以完成多路复用器字。

如图6B所展示，速率缓冲器155可接收及存储来自位流的数据。解多路复用器210可从速率缓冲器155读取多路复用器字，且以多路复用器字被请求的次序将多路复用器字放置于解码器漏斗移位器212A、212B或212C(统称为解码器漏斗移位器212)中的一者中。即，解多路复用器210可基于哪一子流已请求多路复用器字而将经接收多路复用器字引导至适当解码器漏斗移位器212。用于每一子流的多路复用器字可接着由熵解码器165A、165B或165C中的一者(例如，图2B的熵解码器165)熵解码。

在一个实例SSM实施方案中，视频编码器20经配置以加强用于每一块的maxSeSize。如果用于任何给定子流的总语法超过用于给定译码模式的maxSeSize，那么视频编码器20可经配置以在模式选择期间不允许引起语法超过maxSeSize的译码模式。另外，中点预测(MPP)译码模式经设计以保证语法永不超过maxSeSize，使得至少一个模式将始终可用于模式选择。通过此机制，可针对不同使用状况调谐maxSeSize。2017年6月8日申请的美国专利公开案第2017/0359583号中描述了SSM译码的一个实例。

伴随一些实例DSC SSM技术的一个问题为，编码器平衡FIFO(例如，编码器平衡FIFO 202)的大小随着maxSeSize与minSeSize之间的差而增长。再次，在本发明的内容背景中，语法元素大小可指用以编码及解码单一群组中的单一子流的数据值的位数目。在一个实例中，语法元素可指单一块中的单一分量数据值，这是因为每一分量可属于单独子流。如下文所描述而计算被给予maxSeSize及minSeSize参数的平衡FIFO大小。

视频编码器20可经配置以在切片开始时等待延迟时间(ssmDelay)，按照块时间的数目。在此时间期间，视频编码器20将位放置至SSM平衡FIFO(例如，编码器平衡FIFO 202)中，但不移除位。基本上，这为用以确保在传输开始之前足够的位存在于SSM平衡FIFO中的缓冲时段。为了确保SSM平衡FIFO不会下溢，视频编码器20在传输可开始之前将以下数目个位(requiredBits)存储于平衡FIFO中：“requiredBits”＝(“maxSeSize”+“muxWordSize”-1)。

在最差状况下，平衡FIFO将每块时间以minSeSize的速率填充。在假定此最差状况行为的情况下，将SSM延迟(在块时间中所测量)计算为：“ssmDelay”＝ceil(“requiredBits”/“minSeSize”)

在给出ssmDelay的情况下，确定参数balanceFifoSize，使得平衡FIFO不会溢出。在SSM延迟时段期间的每一块具有maxSeSize的情况下将为此状况。将平衡FIFO大小计算为：“balanceFifoSize”＝“ssmDelay”*“maxSeSize”

举例来说，假设以下配置：

minSeSize＝1

maxSeSize＝142

muxWordSize＝144

从此配置，将balanceFifoSize计算为：

“requiredBits”＝(“maxSeSize”+“muxWordSize”-1)＝(142+144-1)＝285

“ssmDelay”＝ceil(“requiredBits”/“minSeSize”)＝ceil(285/1)＝285

“balanceFifoSize”＝“ssmDelay”*“maxSeSize”＝285*142＝40470(大约40kbit)由于针对包含VDC-M的一些实例DSC技术使用多个子流，故每平衡FIFO具有40kbit的RAM的硬件成本是不合意的。对于DSCv1.x，平衡FIFO大小很小，这是因为maxSeSize很小(例如，36个位)——具有3个样本的小群组大小的DSCv1.x的结果。对于VDC-M或其它实例视频编解码器，maxSeSize可能由于使用较大块大小(例如，8×2样本)而较大(例如，126或142个位)。

本发明描述引起编码器平衡FIFO的大小要求(balanceFifoSize)减低的SSM编码技术。在一个实例中，可通过根据大于1的最小语法元素大小(minSeSize)执行SSM来减小balanceFIFOSize。举例来说，视频编码器20可经配置以确定用于译码视频数据块的译码模式，使得针对子流中的每一者的最小语法元素大小为至少两个位大小。在一个实例中，视频编码器20可经配置以不允许针对至少一个子流产生小于两个位的语法元素的任何译码模式。在另一实例中，视频编码器20可经配置以编码用于所有可用译码模式的语法元素，使得运用每一译码模式针对每一子流所产生的最小语法元素大小为两个位或更大。

在一个实例中，将minSeSize从一个位增大至两个位。通过进行此操作，可将balanceFifoSize缩减大约50％。为了保证为2的minSeSize，视频编码器20可经配置以加强位流语法改变，如下文所描述。另外，本发明描述SSM技术以通过关于四种子流DSC技术编码一或多个额外子流来增大4:2:2及4:2:0色度子取样格式源内容的解码吞吐量。本发明还描述对SSM技术的进一步修改以缩减针对具有非均一maxSeSize的子流的balanceFifoSize。

在本发明的一种实例SSM技术中，将minSeSize增大为超过1个位。在一个实例中，视频编码器20经配置以针对2个位的minSeSize执行SSM技术。通过进行此操作，会缩减所需balanceFifoSize。这可通过再访之前的实例而展示。

“requiredBits”＝(“maxSeSize”+“muxWordSize”-1)＝(142+144-1)＝285

“ssmDelay”＝ceil(“requiredBits”/“minSeSize”)＝ceil(285/2)＝143

“balanceFifoSize”＝“ssmDelay”*“maxSeSize”＝143*142＝20306(大约20kbits)

因此，通过将minSeSize增大一个位，将balanceFifoSize缩减稍微小于一半。对于甚至更大的minSeSize(例如，3个位或更多)，此倾向将会继续。然而，在一些实例中，增大minSeSize可能会在minSeSize的较大大小下对译码效率产生负面影响。出于此原因，本发明提议将minSeSize＝2用作性能与平衡FIFO大小之间的良好权衡。如果较小平衡FIFO大小比译码效率更有价值，那么可使用minSeSize的较大值。

在本发明的一个实例中，为了加强为二的最小语法元素大小，视频编码器20可经配置以不允许针对任何子流产生小于两个位的语法元素的任何译码模式。举例来说，视频编码器20的速率控制器120可经配置以确定将用以编码视频数据块的译码模式。如上文所描述，速率控制器120可使用速率-失真模型确定译码模式。另外，速率控制器120可基于预定最大语法元素大小(maxSeSize)及最小语法元素确定是否使用译码模式。举例来说，速率控制器120可经配置以不允许(例如，不使用)针对子流中的任一者产生大于maxSeSize的语法元素的任何译码模式。另外，速率控制器120可经配置以不允许(例如，不使用)针对子流中的任一者产生小于minSeSize的语法元素的任何译码模式。在一些实例译码模式中，用于子流中的一者的语法元素的大小在编码之后可能小于二。速率控制器120可经配置以不允许此译码模式。

在本发明的其它实例中，视频编码器20可经配置以针对所有可用译码模式应用语法改变以确保对于所有子流的所有块，minSeSize为至少两个位。即，视频编码器20可经配置以针对视频编码器20经配置以使用的任何译码模式编码每子流至少两个位。用于DSC的一些译码模式及其它CBR视频编解码器可能不符合此约束。在本发明的实例中，视频编码器20可经配置以针对变换模式、块预测(BP)及BP-SKIP模式应用语法改变(即，使用特定语法结构译码视频数据)，使得对于所有子流，minSeSize始终为两个位或更大。MPP及MPPF模式已经根据设计而保证此约束，这是由于这些模式将残差均匀地分布于所有子流当中。不需要进行改变来保证针对子流0(即，具有标头及模式信息的子流)，minSeSize大于或等于二，这是由于每一块将针对块标头及平坦度标头在子流0中包含至少两个语法位。下文参考图13至19更详细地描述子流0至3中所含有的实例数据。

在变换模式中，视频编码器20可经配置以在子流0中编码标头信息(例如，模式信号发送及平坦度信号发送)、帧内预测索引及/或变换分割区索引。视频编码器20可在子流1、2及3中编码来自三个颜色分量(例如，分别为Y、Co及Cg)的经译码信息。子流1包含用于Y颜色分量的经译码信息。子流2包含用于Co颜色分量的经译码信息。子流3包含用于Cg颜色分量的经译码信息。

在子流1、2及3中的经译码信息当中的是用于每一颜色分量的熵译码群组。熵译码(EC)群组可用于变换译码模式及块预测译码模式两者。对于块预测译码模式，EC群组可包含经量化预测残差。预测残差为正被译码的块的颜色分量与预测性块的颜色分量之间的差。经量化预测残差可在被放置于子流中之前由熵编码器140熵译码。对于变换译码模式，EC群组包含在将变换(例如，离散余弦变换)应用于块的特定颜色分量之后产生的变换系数。变换系数可被量化。熵译码群组中的变换系数可在被放置于子流中之前由熵编码器140熵译码。另外，在子流2及3中的经译码信息当中的是分量跳过旗标。分量跳过旗标可用以指示关联颜色分量的所有值针对特定块是否为零。在此状况下，针对所述特定颜色分量，熵译码群组中将不存在数据。

为了保证对于变换模式，minSeSize大于或等于二，视频编码器20可经配置以在变换模式中译码数据时针对子流2及3修改用于分量跳过旗标的语法译码。如上文所论述，子流2及3与两个色度分量(Co/Cg或Cb/Cr，这取决于源颜色空间)对应。子流1(例如，亮度(Y)子流)不需要语法改变，这是因为用于此分量的最小可能语法由于缺乏分量跳过旗标而为四个位。

视频编码器20可经配置以针对子流2及3进行以下语法改变。如果分量跳过模式不为活动的(即，将译码及用信号发送至少一个熵译码数据群组)，那么可运用值“0”用信号发送分量跳过旗标。在此状况下，将在熵译码群组中发送至少一个位，这保证总共至少2个位。如果分量跳过为活动的(即，针对所述颜色分量，熵译码群组中不存在数据)，那么将运用两个或多于两个位(例如，运用值“11”)用信号发送分量跳过旗标。由于分量跳过旗标为在分量跳过的情况下用于此子流的唯一语法，故旗标大小从1个位(例如，“1”)至2个位(例如，“11”)的增大足以保证minSeSize。

为了保证对于BP及BP-SKIP模式，minSeSize大于或等于2，视频编码器20可经配置以在四个子流当中重新布置块预测向量(BPV)，如图7所展示。如图7中的语法结构700所展示，用于BP模式的子流0可包含模式标头、平坦度标头、块预测向量(BPV)表，及用于正被译码的块的四个2×2子块(SB₀、SB₁、SB₂及SB₃)中的每一者的BPV。模式标头可介于0与4个位之间。平坦度标头可介于1与3个位之间。BPV表为指定当前块(例如，8×2)内的每一2×2子块是否运用1或2个BPV被译码的4位字段。举例来说，如果BPV表的第一位为“0”，那么单一BPV(5/6个位)将存在于用于子块0的语法中。如果位代替地为“1”，那么两个BPV(10/12个位)将存在于用于子块0的语法中。相同逻辑应用于子块1、2及3。因此，用于四个子块的BPV中的每一者的长度可为6或12个位。在另一实例中，BPV表中的“0”位可指定2个BPV，而“1”位指定单一BPV。在一个实例BP实施方案中，用于所有子块的BPV表及所有BPV处于子流0中。这展示于图7的顶部中。

在语法结构700中，子流1包含用于Y颜色分量的EC群组，子流2包含用于Co颜色分量的EC群组，且子流3包含用于Cg颜色分量的EC群组。在BP模式中，EC群组包含根据从由相应BPV识别的预测性块的样本预测当前块的子块而产生的经量化残差数据。在一些实例中，用于特定子流的EC群组可包含小于两个位。此情形可发生于用于分量的所有经量化残差为零时。在此状况下，1位分量跳过旗标将用于所述分量。

在语法结构702中的提议BPV分布(图7的底部)中，视频编码器20在子流0中编码BPV表，连同用于子块0的BPV。然而，视频编码器20经配置以在子流1至3中编码用于子块1至3的BPV。由于BPV中的每一者为至少5个位，故语法结构702将保证所有子流具有大于2个位的minSeSize。

在另一实例中，BPV表还分布于可用子流当中(参见图8)。图8的语法结构704展示BPV表针对子块0至3中的每一者被划分成个别条目(例如，A0至A3)。由于BPV分布保证至少为二的minSeSize，故任何分量跳过旗标可针对BP模式保持不变。举例来说，活动分量跳过被用信号发送为“1”，且非活动分量跳过被用信号发送为“0”。

在本发明的另一实例中，视频编码器20可经预配置有可基于所要经压缩位速率而选择的变量maxSeSize。对于低压缩比，视频编码器20可经配置有相对较大maxSeSize，这是因为位流被预期为含有较大语法元素。视频编码器20可经配置为针对较高压缩比具有相对较小maxSeSize。通过将minSeSize从1增大至2，可实现图9的表1中所展示的平衡FIFO大小缩减。因而，在图9中可看出，可基于预配置maxSeSize及minSeSize两者确定编码器平衡FIFO大小。

在至此所论述的子流多路复用器设计的另一实例中，可使用五个子流而非四个来增大针对4:2:2/4:2:0色度子取样数据的解码器吞吐量。在一个实例中，图10中展示分量数据至子流中的分布。语法结构800展示将四个子流用于4:4:4RGB数据。语法结构802展示将四个子流用于4:2:2YCbCr数据。用于每一分量k的数据被映射至子流(k+1)。

对于4:2:2源内容，代替地可组织数据，如图11的语法结构804中所展示。在给出两个邻近8×2块(即，块N及块N+1)的情况下，总分量数据将如下：

Y数据：2×(8×2)＝32个“样本”

Cb数据：2×(4×2)＝16个“样本”

Cr数据：2×(4×2)＝16个“样本”

如语法结构804中所展示，视频编码器20可在子流0(SSM0)中编码译码模式特定信息。视频编码器20可在子流1(SSM1)中编码块N的亮度数据(Y)，且可在子流2(SSM2)中编码块N+1的亮度数据(Y)。视频编码器20可在子流3(SSM3)中编码用于块N及块N+1两者的蓝色色度数据(Cb)。视频编码器20可在子流4(SSM4)中编码用于块N及块N+1两者的红色色度数据(Cr)。通过在两个子流之间拆分亮度数据，针对四个子流SSM1至SSM4中的每一者将存在总共16个分量数据样本。此外，针对译码模式特定信息考虑SSM0会给出总共五个子流。在此设计中，视频解码器30在单一块时间期间有效地解码两个块；由此使吞吐量加倍。相同想法可直接应用于4:2:0源数据。

在本发明的另一实例中，如果某些子流具有较小maxSeSize，那么可针对那些子流进一步缩减编码器平衡FIFO的大小。举例来说，在某些情况下，相比于子流1至3，针对子流0的可能语法大小可较小。考虑例如以下状况：对于子流0，maxSeSize＝126，且对于子流1至3，maxSeSize＝142。在此状况下，可缩减用于子流0的平衡FIFO。然而，还可能有益的是针对所有子流维持恒定延迟，以避免额外缓冲问题。在图12中，针对子流1至3的平衡FIFO大小将为20,306个位(行A)。对于子流0，平衡FIFO大小将为18,018个位(行C)。可能有益的是避免行B的balanceFIFOSize，这是由于这可在子流之间造成ssmDelay失配。因此，我们可利用子流之间的maxSeSize差将针对子流0的所需平衡FIFO大小从20,306个位缩减至18,018个位(11.3％缩减)。

根据本发明的一或多个实例，可通过考虑以下方面而针对各种模式构造SSM中的子流。

子流之间可存在最小相依性，使得可并行地解析及解码所有子流。即使存在某一相依性，也早先在子流中用信号发送相依信息，使得可缩减等待时间或关键路径。举例来说，可首先在子流0中用信号发送模式信息位，使得一旦子流0被解码，剩余子流就可将其用以解析及解码信息。

在一个特定实施方案中，对于用于显示器流压缩中的某些模式，可利用及构造四个子流，如本文中所描述。在本实例中，块大小被假定为2×8(宽度：8个像素，高度：2个像素)。

BP模式：如图13的实例中所展示，对于BP模式，子流0可含有标头信息(例如，模式信号发送及平坦度信号发送)、分割区信息(例如，分割区表)，及/或块预测向量。分割区信息长度为4个位，这指示每一2×2子块是否被进一步分割成1×2子块。子流1、2及3可含有来自三个颜色分量(例如，分别为Y、Co及Cg)的经译码信息。如上文所论述，在一些实例中，块预测向量可在BP模式中译码时分布于所有四个子流中。在其它实例中，块预测向量表可在BP模式中译码时分布于所有四个子流中。在其它实例中，块预测向量及块预测向量表两者可在BP模式中译码时分布于所有四个子流中。举例来说：

1)子流0中的BPV表及BPV；

2)子流0中的BPV表，分布于所有四个子流中的BPV；或

3)分布于所有四个子流中的BPV表及BPV。

变换模式：如图14的实例中所展示，对于变换模式，子流0可含有标头信息(例如，模式信号发送及平坦度信号发送)、帧内预测索引，及/或变换分割区索引。子流1、2及3可含有来自三个颜色分量(例如，分别为Y、Co及Cg)的经译码信息。

MPP模式：如图15的实例中所展示，对于MPP模式，子流0可含有标头信息(例如，模式信号发送及平坦度信号发送)、用于MPP模式的颜色空间(例如，颜色空间转换(CSC))，及/或来自三个颜色分量中的每一者的四个样本。在一个实例中，四个样本可为前四个样本。子流1、2及3可含有来自三个颜色分量中的剩余十二个样本的经译码信息。取决于用于MPP模式的颜色空间，三个颜色分量可分别为例如Y、Co及Cg(或分别为R、G及B)。

BP跳过模式：BP跳过模式为BP模式的特殊状况，其中不译码残差。图16展示用于BP跳过模式的子流。子流0可含有标头信息(例如，模式信号发送及平坦度信号发送)、分割区信息(例如分割区表)等等。块预测向量相等地分布于四个流当中，其是从子流0、1、2及3(按次序)开始。作为一实例，当针对每一1×2子块译码BP向量时，将用于2×8的块大小的8个BP向量放于子流中，如图16的实例中所展示。

MPPF模式：MPPF模式为MPP模式的特殊状况，其中使用固定大小量化器译码MPPF中的残差。此外，在MPPF模式中，在输入颜色空间中实行预测，而不应用任何颜色空间变换。如图17的实例中所展示，可以与MPP模式中相似的方式构造用于MPPF的子流，只是在MPPF模式中不存在对应于CSC的位除外。

图18为展示本发明的实例方法的流程图。视频编码器20的一或多个结构组件可经配置以执行图18的方法。

在本发明的一个实例中，视频编码器20可经配置以基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码视频数据块的译码模式，其中最小语法元素大小大于1个位(1800)。在本发明的一个实例中，最小语法元素大小为2个位。视频编码器20可经进一步配置以根据经确定译码模式在多个子流中编码视频数据块以产生多个经编码视频数据子流(1802)，及将多个经编码视频数据子流存储于相应平衡FIFO缓冲器中(1804)。视频编码器20还可在位流中多路复用多个经编码子流以供传输至解码器(1806)。

在本发明的另一实例中，为了在多个子流中编码视频数据块，视频编码器20可经进一步配置以进行以下操作：在多个子流中的第一子流中编码标头信息及模式信息，标头信息指示块的译码模式或平坦度中的至少一者；在多个子流中的第二子流中编码视频数据块的样本的亮度颜色分量；在多个子流中的第三子流中编码视频数据块的样本的第一色度分量；及在多个子流中的第四子流中编码视频数据块的样本的第二色度分量。

在本发明的另一实例中，当译码模式为变换模式时，视频编码器20可经进一步配置以在分量跳过为活动的状况下使用2个位针对第三子流及第四子流编码分量跳过旗标。在本发明的另一实例中，当译码模式为块预测模式或块预测跳过模式中的一者时，视频编码器20可经进一步配置以在多个经编码子流中的每一者中编码块预测向量。在本发明的另一实例中，当译码模式为块预测模式或块预测跳过模式中的一者时，视频编码器20可经进一步配置以在多个经编码子流中的每一者中编码块预测向量表。

在本发明的另一实例中，视频数据块呈4:2:0或4:2:2色度子取样格式。在此实例中，视频编码器20可经进一步配置以进行以下操作：在多个子流中的第一子流中编码标头信息及模式信息，标头信息指示块的译码模式或平坦度中的至少一者；在多个子流中的第二子流中编码视频数据块的样本的亮度颜色分量的第一部分；在多个子流中的第三子流中编码视频数据块的样本的亮度颜色分量的第二部分；在多个子流中的第四子流中编码视频数据块的样本的第一色度分量；及在多个子流中的第五子流中编码视频数据块的样本的第二色度分量。

可使用多种不同科技及技术中的任一者表示本文中所揭示的信息及信号。举例来说，可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任何组合来表示可贯穿以上描述而参考的数据、指令、命令、信息、信号、位、符号及码片。

结合本文中所揭示的实施例而描述的各种说明性逻辑块及算法步骤可被实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上在功能性方面描述了各种说明性组件、块及步骤。此功能性被实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用而以变化的方式实施所描述的功能性，而但不应将这些实施决策解释为造成脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任何组合实施。这些技术可实施于例如以下各者的多种装置中的任一者中：通用计算机、无线通信装置手机，或集成电路装置，所述装置具有多个用途，包含应用于无线通信装置手机、汽车、电器、可穿戴设备及/或其它装置中。可将被描述为装置或组件的任何特征一起实施于集成逻辑装置中或单独地实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的部分，计算机程序产品可包含包装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等等。另外或替代地，所述技术可至少部分地由计算机可读通信媒体实现，计算机可读通信媒体携载或传达呈指令或数据结构的形式且可由计算机存取、读取及/或执行的程序代码，例如传播信号或波。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路系统。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器；但在替代例中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可被实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指以下各者中的任一者：前述结构、前述结构的任何组合，或适合于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用软件或硬件内，或并入于组合式视频编码器-解码器(CODEC)中。此外，所述技术可完全地实施于一或多个电路或逻辑元件中。

本发明的技术可实施于各种各样的装置或设备中，所述装置或设备包含无线手机、IC或一组IC(例如，芯片集)。在本发明中描述各种组件或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元来实现。更确切地说，如上文所描述，各种单元可结合合适的软件及/或固件而组合于编解码器硬件单元中或由互操作性硬件单元的集合提供，所述硬件单元包含如上文所描述的一或多个处理器。

尽管已结合各种不同实施例而描述了前文，但可在不脱离本发明的教示的情况下将来自一个实施例的特征或元件与其它实施例组合。然而，相应实施例之间的特征的组合未必限于此情形。已描述了本发明的各种实施例。这些及其它实施例在所附权利要求书的范围内。

如本文中所使用，术语“内容”的例子可指术语“视频”或“图像”，且反之亦然。无论术语“内容”或“视频”被用作形容词、名词还是词类的其它部分，这皆成立。举例来说，对“内容译码器”的参考可包含对“视频译码器”或“图像译码器”的参考，且对“视频译码器”或“图像译码器”的参考可包含对“内容译码器”的参考。相似地，对“内容”的参考也包含对“视频”或“图像”的参考，且对“视频”或“图像”的参考可包含对“内容”的参考。

如本文中所使用，“内容”是指任何类型的内容。举例来说，“内容”可指视频内容、屏幕内容、图像内容、任何图形内容或任何可显示内容。作为另一实例，“内容”可指对应于视频内容、屏幕内容、图像内容、任何图形内容或任何可显示内容的像素数据。举例来说，图像包含多个像素，其中每一像素取决于颜色空间而具有一或多个分量。因此应理解，对“像素数据”的参考可包含对任何内容的像素数据的参考。

如本文中所使用，“像素数据”可指一或多个像素。一或多个像素可包含一或多个分量值。举例来说，RGB颜色空间中的像素可包含三个颜色分量：红色颜色分量值、绿色颜色分量值，及蓝色颜色分量值。在一些实例中，“样本”可指“像素”。在其它实例中，“样本”可指像素的分量。举例来说，RGB颜色空间中的像素可包含三个样本：红色样本、绿色样本，及蓝色样本。对于像素，红色样本可为红色颜色分量值，绿色样本可为绿色颜色分量值，且蓝色样本可为蓝色颜色分量值。因此应理解，对样本执行操作的参考可指对像素的分量(例如，颜色分量)执行操作。

如本文中所使用，术语“视频”可指可按序列而呈现的多个图像。如本文中所使用，术语“图像”可指单一图像(例如，图片)、一或多个图像、多个图像当中对应于视频的一或多个图像、多个图像当中不对应于视频的一或多个图像、对应于视频的多个图像(例如，对应于视频的所有图像，或对应于视频的不到所有图像)、单一图像的子部分(例如，子块)、单一图像的多个子部分(例如，子块)、对应于多个图像的多个子部分(例如，子块)、图像数据、图形数据等等。在一些实例中，术语“图片”可与“图像”互换。

如本文中所使用，术语“编码”与“压缩”可被互换地使用。相似地，术语“解码”与“解压缩”可被互换地使用。

如本文中所使用，术语“链路”或“显示器链路”可指有线或无线链路。在一些实例中，术语“链路”与“显示器链路”可互换。在其它实例中，术语“链路”与“显示器链路”可能不互换。在一些实例中，显示器链路可指内容必须符合显示器协议(其也可被称作显示器链路协议)所经由的链路。显示器协议的一些实例包含HDMI协议、DisplayPort协议、MIPI DSI协议，或另一通信协议。

根据本发明，术语“或”可被解释为“及/或”，其中上下文并不以其它方式规定。另外，虽然例如“一或多个”或“至少一个”等等的短语可用于本文中所揭示的一些特征而非其它特征；但并未使用此语言的特征可被解释为具有上下文并不以其它方式规定的情况下所暗示的此含义。

在一或多个实例中，本文中所描述的功能可以硬件、软件、固件或其任何组合实施。举例来说，尽管已贯穿本发明而使用术语“处理单元”，但应理解，这些处理单元可以硬件、软件、固件或其任何组合实施。如果任何功能、处理单元、本文中所描述的技术或其它模块是以软件实施，那么所述功能、处理单元、本文中所描述的技术或其它模块可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行传输。计算机可读媒体可包含计算机数据存储媒体或通信媒体两者，通信媒体包含促进计算机程序从一处至另一处的传送的任何媒体。以此方式，计算机可读媒体通常可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。作为实例而非限制，这些计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置。如本文中所使用的磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光(Blu-ray)光盘，其中磁盘通常以磁性方式重现数据，而光盘运用激光以光学方式重现数据。以上各者的组合也应包含于计算机可读媒体的范围内。计算机程序产品可包含计算机可读媒体。

代码可由例如以下各者的一或多个处理器执行：一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、算术逻辑单元(ALU)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路系统。因此，如本文中所使用的术语“处理器”可指以下各者中的任一者：前述结构，或适合于实施本文中所描述的技术的任何其它结构。此外，所述技术可完全地实施于一或多个电路或逻辑元件中。

本发明的技术可实施于各种各样的装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或一组IC(例如，芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元来实现。更确切地说，如上文所描述，各种单元可结合合适的软件及/或固件而组合于任何硬件单元中或由互操作性硬件单元的集合提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述了各种实例。这些及其它实例在所附权利要求书的范围内。

Claims

1.一种经配置以编码视频数据的设备，所述设备包括：

存储器，其经配置以存储视频数据块；及

一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以进行以下操作：

基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码所述视频数据块的译码模式，其中所述最小语法元素大小大于1个位；

根据所述经确定译码模式在多个子流中编码所述视频数据块以产生多个经编码视频数据子流；

将所述多个经编码视频数据子流存储于相应平衡FIFO缓冲器中；及

在位流中多路复用所述多个经编码子流以供传输至解码器。

2.根据权利要求1所述的设备，其中所述最小语法元素大小为2个位。

3.根据权利要求1所述的设备，其中为了在所述多个子流中编码所述视频数据块，所述一或多个处理器经进一步配置以进行以下操作：

在所述多个子流中的第一子流中编码标头信息及模式信息，所述标头信息指示所述块的所述译码模式或平坦度中的至少一者；

在所述多个子流中的第二子流中编码所述视频数据块的样本的亮度颜色分量；

在所述多个子流中的第三子流中编码所述视频数据块的所述样本的第一色度分量；及

在所述多个子流中的第四子流中编码所述视频数据块的所述样本的第二色度分量。

4.根据权利要求3所述的设备，其中所述译码模式为变换模式，且其中为了编码所述视频数据块，所述一或多个处理器经进一步配置以在分量跳过为活动的状况下使用2个位针对所述第三子流及所述第四子流编码分量跳过旗标。

5.根据权利要求1所述的设备，其中所述译码模式为块预测模式或块预测跳过模式中的一者，且其中为了编码所述视频数据块，所述一或多个处理器经进一步配置以在所述多个经编码子流中的每一者中编码块预测向量。

6.根据权利要求1所述的设备，其中所述译码模式为块预测模式或块预测跳过模式中的一者，且其中为了编码所述视频数据块，所述一或多个处理器经进一步配置以在所述多个经编码子流中的每一者中编码块预测向量表。

7.根据权利要求1所述的设备，其中所述视频数据块呈4:2:0或4:2:2色度子取样格式，且其中为了在所述多个子流中编码所述视频数据块，所述一或多个处理器经进一步配置以进行以下操作：

在所述多个子流中的第二子流中编码所述视频数据块的样本的亮度颜色分量的第一部分；

在所述多个子流中的第三子流中编码所述视频数据块的样本的所述亮度颜色分量的第二部分；

在所述多个子流中的第四子流中编码所述视频数据块的所述样本的第一色度分量；及

在所述多个子流中的第五子流中编码所述视频数据块的所述样本的第二色度分量。

8.根据权利要求1所述的设备，其中所述多个子流中的每一者具有关联最大语法元素大小，且其中所述关联最大语法元素大小中的每一者可不同。

9.一种编码视频数据的方法，所述方法包括：

基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码视频数据块的译码模式，其中所述最小语法元素大小大于1个位；

在位流中多路复用所述多个经编码子流以供传输至解码器。

10.根据权利要求9所述的方法，其中所述最小语法元素大小为2个位。

11.根据权利要求9所述的方法，其中在所述多个子流中编码所述视频数据块包括：

12.根据权利要求11所述的方法，其中所述译码模式为变换模式，且其中编码所述视频数据块包括在分量跳过为活动的状况下使用2个位针对所述第三子流及所述第四子流编码分量跳过旗标。

13.根据权利要求9所述的方法，其中所述译码模式为块预测模式或块预测跳过模式中的一者，且其中编码所述视频数据块包括在所述多个经编码子流中的每一者中编码块预测向量。

14.根据权利要求9所述的方法，其中所述译码模式为块预测模式或块预测跳过模式中的一者，且其中编码所述视频数据块包括在所述多个经编码子流中的每一者中编码块预测向量表。

15.根据权利要求9所述的方法，其中所述视频数据块呈4:2:0或4:2:2色度子取样格式，且其中在所述多个子流中编码所述视频数据块包括：

16.根据权利要求9所述的方法，其中所述多个子流中的每一者具有关联最大语法元素大小，且其中所述关联最大语法元素大小中的每一者可不同。

17.一种存储指令的非暂时性计算机可读存储媒体，所述指令在执行时致使经配置以编码视频数据的一或多个处理器进行以下操作：

在位流中多路复用所述多个经编码子流以供传输至解码器。

18.根据权利要求17所述的非暂时性计算机可读存储媒体，其中所述最小语法元素大小为2个位。

19.根据权利要求17所述的非暂时性计算机可读存储媒体，其中为了在所述多个子流中编码所述视频数据块，所述指令进一步致使所述一或多个处理器进行以下操作：

20.根据权利要求19所述的非暂时性计算机可读存储媒体，其中所述译码模式为变换模式，且其中为了编码所述视频数据块，所述指令进一步致使所述一或多个处理器在分量跳过为活动的状况下使用2个位针对所述第三子流及所述第四子流编码分量跳过旗标。

21.根据权利要求17所述的非暂时性计算机可读存储媒体，其中所述译码模式为块预测模式或块预测跳过模式中的一者，且其中为了编码所述视频数据块，所述指令进一步致使所述一或多个处理器在所述多个经编码子流中的每一者中编码块预测向量。

22.根据权利要求17所述的非暂时性计算机可读存储媒体，其中所述视频数据块呈4:2:0或4:2:2色度子取样格式，且其中为了在所述多个子流中编码所述视频数据块，所述指令进一步致使所述一或多个处理器进行以下操作：

23.一种经配置以编码视频数据的设备，所述设备包括：

用于基于最小语法元素大小及最大语法元素大小从一或多个译码模式当中确定用于编码视频数据块的译码模式的装置，其中所述最小语法元素大小大于1个位；

用于根据所述经确定译码模式在多个子流中编码所述视频数据块以产生多个经编码视频数据子流的装置；

用于将所述多个经编码视频数据子流存储于相应平衡FIFO缓冲器中的装置；及

用于在位流中多路复用所述多个经编码子流以供传输至解码器的装置。

24.根据权利要求23所述的设备，其中所述最小语法元素大小为2个位。

25.根据权利要求23所述的设备，其中所述用于在所述多个子流中编码所述视频数据块的装置包括：

用于在所述多个子流中的第一子流中编码标头信息及模式信息的装置，所述标头信息指示所述块的所述译码模式或平坦度中的至少一者；

用于在所述多个子流中的第二子流中编码所述视频数据块的样本的亮度颜色分量的装置；

用于在所述多个子流中的第三子流中编码所述视频数据块的所述样本的第一色度分量的装置；及

用于在所述多个子流中的第四子流中编码所述视频数据块的所述样本的第二色度分量的装置。

26.根据权利要求25所述的设备，其中所述译码模式为变换模式，且其中所述用于编码所述视频数据块的装置包括用于在分量跳过为活动的状况下使用2个位针对所述第三子流及所述第四子流编码分量跳过旗标的装置。

27.根据权利要求23所述的设备，其中所述译码模式为块预测模式或块预测跳过模式中的一者，且其中所述用于编码所述视频数据块的装置包括用于在所述多个经编码子流中的每一者中编码块预测向量的装置。

28.根据权利要求23所述的设备，其中所述译码模式为块预测模式或块预测跳过模式中的一者，且其中所述用于编码所述视频数据块的装置包括用于在所述多个经编码子流中的每一者中编码块预测向量表的装置。

29.根据权利要求23所述的设备，其中所述视频数据块呈4:2:0或4:2:2色度子取样格式，且其中所述用于在所述多个子流中编码所述视频数据块的装置包括：

用于在所述多个子流中的第二子流中编码所述视频数据块的样本的亮度颜色分量的第一部分的装置；

用于在所述多个子流中的第三子流中编码所述视频数据块的样本的所述亮度颜色分量的第二部分的装置；

用于在所述多个子流中的第四子流中编码所述视频数据块的所述样本的第一色度分量的装置；及

用于在所述多个子流中的第五子流中编码所述视频数据块的所述样本的第二色度分量的装置。

30.根据权利要求23所述的设备，其中所述多个子流中的每一者具有关联最大语法元素大小，且其中所述关联最大语法元素大小中的每一者可不同。