CN104396240B

CN104396240B - 用于可缩放的高效视频编码(hevc)的参考图片集(rps)信令

Info

Publication number: CN104396240B
Application number: CN201380007485.0A
Authority: CN
Inventors: Y·何; 叶琰; G·W·麦克莱伦; 董洁
Original assignee: Vid Scale Inc
Current assignee: Vid Scale Inc
Priority date: 2012-01-31
Filing date: 2013-01-31
Publication date: 2018-02-02
Anticipated expiration: 2033-01-31
Also published as: US11445172B2; CN108322744A; TW201728168A; KR101652928B1; US20220400254A1; JP2017112621A; JP2018078606A; MX2014009211A; JP6262888B2; US20130208792A1; KR101951084B1; EP2810438A1; AU2013215198A1; TWI578758B; CN108322744B; TW201338555A; JP6110410B2; JP2015525008A; WO2013116415A1; CN104396240A

Abstract

实施方式涵盖通过生成视频编码的比特流的编码视频数据，其中所述视频编码的比特流包括用于层间参考图片的参考图片集(RPS)扩展并且所述扩展包括层间变化图片顺序计数(POC)。实施方式还包括用信号发送较低层参考图片在较低层解码图片缓存(DPB)和/或聚合DPB中可用，所述较低层参考图片可以被添加到较高层的RPS集。所述比特流可以包括用信号表示较高层RPS是否可以由较低层RPS指定以及所述较低层RPS是否为时序的，层间预测(ILP)或者两者。

Description

用于可缩放的高效视频编码(HEVC)的参考图片集(RPS)信令

相关申请的交叉引用

本申请要求2012年1月31日提交的美国临时专利申请No.61/593256,名称为“用于HEVC可缩放编码的信令参考图像的方法和设备”的权益，以及2012年4月27日提交的美国临时专利申请No.61/639776,名称为“用于视频编码的参考图像集预测信令的方法和设备”的权益，所述两个申请的内容分别全部作为引用结合于此。

背景技术

在过去二十年，各种数字视频压缩技术已经被开发并且标准化以使得能够进行有效的数字视频通信、分发和消费。大部分商业广泛使用的标准由ISO/IEC和ITU-T开发，诸如H.261、MPEG-1、MPEG-2、H.263、MPEG-4(部分2)和H.264(MPEG-4部分10)。由于新高级视频压缩技术的出现和成熟，新视频编码标准，高效视频编码(HEVC，如在JCTVC-F803中阐述。WD4：高效视频编码的草案4，2011年7月)由ITU-T视频编码专家组(VCEG)和MPEG联合开发。HEVC被期望在2013年早期处于最终标准阶段。

高效视频编码(HEVC)为被开发成H.264继任者的视频压缩标准。HEVC实际上具有比H.264高的压缩能力。

发明内容

提供本发明内容以简化的形式引进概念选择，所述概念选择还将在以下具体实施方式中描述。本发明内容不是为了标识要求保护主题的关键特征或者必要特征，也不是为了用来限制要求保护主题的范围。

实施方式涵盖(contemplate)提供针对HEVC可缩放编码的层间预测的方法和系统、针对HEVC可缩放编码的时序(temporal)参考图片信令设计、针对HEVC可缩放编码的层间参考图片信令设计和/或层间参考图片列表构造进程。

实施方式涵盖用信号发送参考图片集(RPS)中的层间参考图片可以被配置成支持用于可缩放HEVC的层间运动补偿预测(或者估计)。在一些实施方式中，编码器和/或解码器可以从可缩放HEVC编码中的较低层RPS中预测(例如，获得或者估计)较高层RPS从而节省语法(syntax)开销比特。

实施方式涵盖一个或者多个编码视频数据技术可以包括生成视频编码的比特流，所述视频编码的比特流可以包括针对层间参考图片的参考图片集(RPS)扩展，其中所述扩展可以包括或者指示层间变化(delta)图片顺序计数(POC)。所述技术还包括用信号发送RPS扩展，所述RPS扩展可以包括较低层解码器缓存中的图片。可替换地或者附加地，技术可以包括用信号发送在较低层解码图片缓存(DPB)和/或聚合DPB中可用，且可以被添加到较高层的RPS集的较低层参考图片。所述比特流可以包括表明较高层RPS是否可以由较低层RPS指定并且所述较低层RPS是否为时序的、层间预测(ILP)或者两者的信号。

实施方式涵盖解码视频流的一种或多种技术。技术可以包括解析包含层间参考图片集(RPS)扩展信号的比特流。技术还可以包括根据一个或多个扩展信号将较低层参考图片的变化POC添加到较高层RPS集中。技术还包括解码视频数据以及接收包括针对针对层间参考图片的参考图片集(RPS)扩展。所述技术还包括根据RPS扩展保留解码后的图片缓存中的参考图片和/或使用至少部分保留的参考图片对编码后的视频进行解码。所述技术还包括接收编码后的视频比特流中的信令，所述编码后的视频比特流可以包括较低层参考图片的指针，所述较低层参考图片在较低层解码图片缓存(DPB)或者聚合DPB中保持可用。所述技术还可以包括将较低层参考图片添加到较高层的RPS集。在一些实施方式中，诸如标志的信号可以被用来指示所述较高层RPS可以被较低层RPS指定。一种或者多种实施方式可以用信号发送较低层RPS可以为时序的或者可以为层间预测或者两者。

实施方式涵盖通过生成视频编码后的比特流对视频数据进行编码，所述视频编码后的比特流可以包括对层间参考图片的参考图片集(RPS)扩展，并且所述扩展可以包括层间变化图片顺序计数(POC)。所述实施方式还包括用信号发送较低层参考图片在较低层解码图片缓存(DPB)和/或聚合DPB中可用，且可以被添加到较高层的RPS集。所述比特流可以包括指示所述较高层RPS是否可以由较低层RPS指定并且所述较低层RPS是否为时序的，层间预测(ILP)或者两者的信号。

实施方式涵盖用于视频数据编码的设备，所述设备可以被配置成至少部分生成比特流。所述比特流可以包括一个或者多个参考图片集(RPS)扩展，所述参考图片集(RPS)扩展可以指示一个或者多个针对一个或者多个解码图片缓存(DPB)的层间参考图片。所述一个或者多个DPB可以分别与一个或者多个视频编码层关联。

实施方式涵盖用于视频数据编码的设备，所述设备可以被配置成至少部分生成比特流。所述比特流可以包括一个或者多个参考图片集(RPS)扩展，所述参考图片集(RPS)扩展可以指示一个或者多个层间变化图片顺序计数(POC)。所述一个或者多个POC可以分别与一个或者多个视频编码层关联。

实施方式涵盖用于视频数据处理的设备，所述设备可以被配置成至少部分生成第一视频编码层。所述第一视频编码层可以包括第一参考图片集(RPS)。所述第一RPS可以在第一解码图片缓存(DPB)中包括一个或者多个时序参考图片。所述设备还被配置成至少部分基于第一RPS的时序参考图片生成第二视频编码层。所述第二视频编码层包括第二RPS。所述第二RPS包括在第二DPB中的一个或者多个层间参考图片以及一个或者多个时序参考图片。所述设备还被配置成至少部分基于第一RPS和第二RPS的至少一者生成第三视频编码层。

附图说明

从以下描述中可以更详细地理解本发明，这些描述是以实例方式给出的，并且可以结合附图加以理解，其中：

图1A是在其中一个或更多个公开的实施例可得以实现的示例通信系统的系统图；

图1B是可在图1A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图；

图1C是可在图1A所示的通信系统中使用的示例无线电接入网和示例核心网的系统图；

图1D是可在图1A所示的通信系统中使用的另一示例无线电接入网和示例核心网的系统图；

图1E是可在图1A所示的通信系统中使用的另一示例无线电接入网和示例核心网的系统图；

图2示出了描述多层视频编码器示例的框图，所述多层视频编码器实现与实施方式一致的示例参考图片集信令和预测技术；

图3示出了具有针对与实施方式一致的可缩放视频编码(SVC)空间可缩放编码的附加层间预测的示例可缩放结构；

图4示出了与实施方式一致的示例层间预测结构；

图5示出了与实施方式一致的示例二元(dyadic)和嵌套(nested)时序可缩放编码结构；

图6示出了与实施方式一致的具有层间预测的HEVC空间可缩放编码结构示例；

图7示出了与实施方式一致的具有层间预测的示例HEVC空间/时序组合的可缩放编码结构；

图8为与实施方式一致的层-2层间图片(ILP)参考图片列表(POC)架构的表格图示；

图9为与实施方式一致的层-2合并(consolidated)参考图片列表(POC)架构示例的表格图示；

图10为描述示例视频编码和解码系统的框图，所述视频编码和解码系统可以利用实施方式涵盖的运动预测技术；

图11和图12为与实施方式一致的视频编码器和解码器部分的示例框图；

图13示出了与实施方式一致的示例增强层时序参考图片子集构造过程；

图14描述了与实施方式一致的短期参考图片集预测的各种源示例；

图15和图16描述了与实施方式一致的时序参考图片子集和层间参考图片子集的解码过程示例；

图17示出了与实施方式一致的用于参考图片集扩展的示例解码过程；

图18示出了与实施方式一致的时序参考和层间参考的示例时序共存配对；

图19为与实施方式一致的具有不同帧速率的双层二元和嵌套时序可缩放编码结构的示例。

具体实施方式

现在可以参照附图描述具体实施方式。虽然该描述提供了可能实施的具体示例，但应当注意的是具体示例是示例性的，并且不以任何方式限制本申请的范围。以下所使用的冠词“一”或者“一个”，不是进一步的量化或者特征化，可以理解为诸如“一个或者多个”或者“至少一个”。

图1A是在其中可以实施一个或更多个实施方式的示例通信系统的系统图。通信系统100可以是向多个用户提供内容，例如语音、数据、视频、消息发送、广播等的多接入系统。通信系统100可以使多个无线用户通过系统资源共享(包括无线带宽)访问这些内容。例如，通信系统可以使用一种或多种信道接入方法，例如码分多址(CDMA)，时分多址(TDMA)，频分多址(FDMA)，正交FDMA(OFDMA)，单载波FMDA(SC-FDMA)等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、和/或102d(其通常或整体上被称为WTRU)，无线电接入网(RAN)103、104、105，核心网106、107、109，公共交换电话网(PSTN)108、因特网110和其他网络112。不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将WTRU 102a、102b、102c、102d配置为发送和/或接收无线信号，并可以包括用户设备(UE)、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。

通信系统100还可以包括基站114a和基站114b。基站114a、114b的每一个都可以是配置为与WTRU 102a、102b、102c、102d中的至少一个无线对接以便于接入一个或者更多个通信网络，例如核心网106、107、109、因特网110和/或网络112的任何设备类型。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B)、演进的节点B(e节点B)、家庭节点B、家庭eNB、站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b的每一个被描述为单独的元件，但是应该理解的是，基站114a、114b可以包括任何数量互连的基站和/或网络元件。

基站114a可以是RAN 103、104、105的一部分，RAN 104还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。可以将基站114a和/或基站114b配置为在特定地理区域之内发送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站114a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站114a可以包括三个收发信机，即每一个用于小区的一个扇区。在另一种实施方式中，基站114a可以使用多输入多输出(MIMO)技术，因此可以将多个收发信机用于小区的每一个扇区。

基站114a、114b可以通过空中接口115、116、117与WTRU 102a、102b、102c、102d中的一个或者更多个通信，该空中接口115、116、117可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口116。

更具体地，如上所述，通信系统100可以是多接入系统，并可以使用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103、104、105中的基站114a和WTRU 102a、102b、102c可以使用例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115、116、117。WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

在另一种实施方式中，基站114a和WTRU 102a、102b、102c可以使用例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115、116、117。

在其他实施方式中，基站114a和WTRU 102a、102b、102c可以使用例如IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。

图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或者接入点，例如，并且可以使用任何适当的RAT以方便局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站114b和WTRU 102c、102d可以实施例如IEEE 802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中，基站114b和WTRU 102c、102d可以使用例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。在另一种实施方式中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由核心网106、107、109而接入到因特网110。

RAN 103、104、105可以与核心网106、107、109通信，所述核心网106、107、109可以是被配置为向WTRU 102a、102b、102c、102d中的一个或更多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务等的任何类型的网络。例如，核心网106、107、109可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，例如用户认证。虽然图1A中未示出，应该理解的是，RAN 103、104、105和/或核心网106、107、109可以与使用和RAN 103、104、105相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN 103、104、105之外，核心网106、107、109还可以与使用GSM无线电技术的另一个RAN(未示出)通信。

核心网106、107、109还可以充当WTRU 102a、102b、102c、102d接入到PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络112可以包括连接到一个或更多个RAN的另一个核心网，该RAN可以使用和RAN 103、104、105相同的RAT或不同的RAT。

通信系统100中的WTRU 102a、102b、102c、102d的一个或多个或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图1A中示出的WTRU 102c可被配置为与基站114a通信，所述基站114a可以使用基于蜂窝的无线电技术，以及与基站114b通信，所述基站114b可以使用IEEE802无线电技术。

图1B是WTRU 102示例的系统图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138。应该理解的是，WTRU102可以在保持与实施方式一致时，包括前述元件的任何子组合。而且，实施方式考虑了基站114a和114b和/或基站114a和114b可以表示的节点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB)、家庭演进型节点B网关和代理节点等)可以包括图1B所描绘和这里描述的一个或多个或所有元件。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU 102运行于无线环境中的任何其他功能。处理器118可以耦合到收发信机120，所述收发信机120可耦合到发射/接收元件122。虽然图1B描述了处理器118和收发信机120是单独的部件，但是应该理解的是，处理器118和收发信机120可以一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口115、116、117将信号发送到基站(例如，基站114a)，或从基站(例如，基站114a)接收信号。例如，在一种实施方式中，发射/接收元件122可以是被配置为发送和/或接收RF信号的天线。在另一种实施方式中，发射/接收元件122可以是被配置为发送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件122可以被配置为发送和接收RF和光信号两者。应当理解，发射/接收元件122可以被配置为发送和/或接收无线信号的任何组合。

另外，虽然发射/接收元件122在图1B中描述为单独的元件，但是WTRU102可以包括任意数量的发射/接收元件122。更具体的，WTRU 102可以使用例如MIMO技术。因此，在一种实施方式中，WTRU 102可以包括用于通过空中接口115、116、117发送和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。

收发信机120可以被配置为调制要由发射/接收元件122发送的信号和/或解调由发射/接收元件122接收的信号。如上面提到的，WTRU 102可以具有多模式能力。因此收发信机120可以包括使WTRU 102经由多个例如UTRA和IEEE 802.11的RAT通信的多个收发信机。

WTRU 102的处理器118可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器118还可以输出用户数据到扬声器/麦克风124、键盘126和/或显示/触摸板128。另外，处理器118可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，例如不可移动存储器130和/或可移动存储器132。不可移动存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移动存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中，处理器118可以从在物理位置上没有位于WTRU 102上，例如位于服务器或家用计算机(未示出)上的存储器访问信息，并且可以将数据存储在该存储器中。

处理器118可以从电源134接收电能，并且可以被配置为分配和/或控制到WTRU102中的其他部件的电能。电源134可以是给WTRU 102供电的任何适当的设备。例如，电源134可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。

处理器118还可以耦合到GPS芯片组136，所述GPS芯片组136可以被配置为提供关于WTRU 102当前位置的位置信息(例如，经度和纬度)。另外，除来自GPS芯片组136的信息或作为其替代，WTRU 102可以通过空中接口115、116、117从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，WTRU 102在保持实施方式的一致性时，可以通过任何适当的位置确定方法获得位置信息。

处理器118可以耦合到其他外围设备138，所述外围设备138可以包括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备138可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图1C是根据实施方式的RAN 103和核心网106a的系统图。如上面提到的，RAN 103可使用UTRA无线电技术通过空中接口115与WTRU 102a、102b和102c通信。RAN 103还可以与核心网106a通信。如图1C所示，RAN103可以包括节点B 140a、140b、140c，节点B 140a、140b、140c的每一个包括一个或更多个用于通过空中接口115与WTRU 102a、102b、102c、102d通信的收发信机。节点B 140a、140b、140c的每一个可以与RAN 103内的特定小区(未显示)关联。RAN 103还可以包括RNC 142a、142b。应当理解的是，RAN 103在保持实施方式的一致性时，可以包括任意数量的节点B和RNC。

如图1C所示，节点B 140a、140b、140c可以与RNC 142a通信。此外，节点B 140c可以与RNC 142b通信。节点B 140a、140b、140c可以通过Iub接口分别与RNC 142a、142b通信。RNC142a、142b可以通过Iur接口相互通信。RNC 142a、142b的每一个可以被配置以控制其连接的各个节点B140a、140b、140c。另外，RNC 142a、142b的每一个可以被配置以执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

图1C中所示的核心网106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支持节点(GGSN)。尽管前述元件的每一个被描述为核心网106的部分，应当理解的是，这些元件中的任何一个可以被不是核心网运营商的实体拥有或运营。

RAN 103中的RNC 142a可以通过IuCS接口连接至核心网106中的MSC146。MSC 146可以连接至MGW 144。MSC 146和MGW 144可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c和传统陆地线路通信设备之间的通信。

RAN 103中RNC 142a还可以通过IuPS接口连接至核心网106中的SGSN 148。SGSN148可以连接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c和IP使能设备之间的通信。

如上所述，核心网106还可以连接至网络112，网络112可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

图1D是根据实施方式的RAN 104和核心网107的系统图。如上面提到的，RAN 104可使用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与核心网107通信。

RAN 104可包括e节点B 160a、160b、160c，但可以理解的是，RAN 104可以包括任意数量的e节点B而保持与各种实施方式的一致性。eNB 160a、160b、160c的每一个可包括一个或更多个用于通过空中接口116与WTRU102a、102b、102c通信的收发信机。在一种实施方式中，e节点B 160a、160b、160c可以使用MIMO技术。因此，e节点B 160a例如可以使用多个天线来向WTRU 102a发送无线信号和/或从其接收无线信号。

e节点B 160a、160b、160c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图1D所示，e节点B 160a、160b、160c可以通过X2接口相互通信。

图1D中所示的核心网107可以包括移动性管理实体(MME)162、服务网关164和/或分组数据网络(PDN)网关166。虽然前述单元的每一个被描述为核心网107的一部分，应当理解的是，这些单元中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。

MME 162可以经由S1接口连接到RAN 104中的e节点B 160a、160b、160c的每一个，并可以作为控制节点。例如，MME 162可以负责WTRU 102a、102b、102c的用户认证、承载激活/去激活、在WTRU 102a、102b、102c的初始附着期间选择特定服务网关等等。MME 162还可以提供控制平面功能，用于在RAN 104和使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。

服务网关164可以经由S1接口连接到RAN 104中的eNB 160a、160b、160c的每一个。服务网关164通常可以向/从WTRU 102a、102b、102c路由和转发用户数据分组。服务网关164还可以执行其他功能，例如在eNB间切换期间锚定用户平面、当下行链路数据对于WTRU102a、102b、102c可用时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文(context)等等。

服务网关164还可以连接到PDN网关166，PDN网关166可以向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。

核心网107可以便于与其他网络的通信。例如，核心网107可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统陆地线路通信设备之间的通信。例如，核心网107可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网107与PSTN 108之间的接口。另外，核心网107可以向WTRU 102a、102b、102c提供到网络112的接入，该网络112可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。

图1E是根据实施方式的RAN 105和核心网109的系统图。RAN 105可以是使用IEEE802.16无线电技术通过空中接口117与WTRU 102a、102b、102c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU 102a、102b、102c，RAN 105和核心网109的不同功能实体之间的链路可以被定义为参考点。

如图1E所示，RAN 105可以包括基站180a、180b、180c和ASN网关182，但应当理解的是，RAN 105可以包括任意数量的基站和ASN网关而与实施方式保持一致。基站180a、180b、180c的每一个可以与RAN 105中特定小区(未示出)关联并可以包括一个或更多个通过空中接口117与WTRU102a、102b、102c通信的收发信机。在一个示例中，基站180a、180b、180c可以使用MIMO技术。因此，基站140g例如使用多个天线来向WTRU 102a发送无线信号，或从其接收无线信号。基站180a、180b、180c可以提供移动性管理功能，例如呼叫切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN网关182可以充当业务聚集点，并且负责寻呼、缓存用户资料(profile)、路由到核心网109等等。

WTRU 102a、102b、102c和RAN 105之间的空中接口117可以被定义为使用802.16规范的R1参考点。另外，WTRU 102a、102b、102c的每一个可以与核心网109建立逻辑接口(未显示)。WTRU 102a、102b、102c和核心网109之间的逻辑接口可以定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。

基站180a、180b、180c的每一个之间的通信链路可以定义为包括便于WTRU切换和基站间转移数据的协议的R8参考点。基站180a、180b、180c和ASN网关182之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 102g、102h、102i的每一个关联的移动性事件的移动性管理的协议。

如图1E所示，RAN 105可以连接至核心网109。RAN 105和核心网109之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网109可以包括移动IP本地代理(MIP-HA)184，认证、授权、计费(AAA)服务器186和网关188。尽管前述的每个元件被描述为核心网109的部分，应当理解的是，这些元件中的任意一个可以由不是核心网运营商的实体拥有或运营。

MIP-HA可以负责IP地址管理，并可以使WTRU 102a、102b、102c在不同ASN和/或不同核心网之间漫游。MIP-HA 184可以向WTRU 102a、102b、102c提供分组交换网络(例如因特网110)的接入，以促进WTRU 102a、102b、102c和IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可促进与其他网络互通。例如，网关可以向WTRU102a、102b、102c提供电路交换网络(例如PSTN 108)的接入，以促进WTRU 102a、102b、102c和传统陆地线路通信设备之间的通信。此外，网关188可以向WTRU 102a、102b、102c提供网络112，其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

尽管未在图1E中显示，应当理解的是，RAN 105可以连接至其他ASN，并且核心网109可以连接至其他核心网。RAN 105和其他ASN之间的通信链路可以定义为R4参考点，其可以包括协调RAN 105和其他ASN之间的WTRU 102a、102b、102c的移动性的协议。核心网109和其他核心网之间的通信链路可以定义为R5参考点，其可以包括促进本地核心网和被访问核心网之间的互通的协议。

实施方式认识到与通过卫星、电缆和/或陆地传输信道相比，越来越多的其它视频应用，诸如视频聊天、移动视频和流视频可以应用在与客户端侧以及网络侧异构的环境中。诸如智能手机、平板和电视的三种屏幕可以在客户端侧占主导，其中所述视频可以通过因特网、移动网络和/或两者的组合进行传送。为了改进用户体验和/或服务的视频质量，可以使用可缩放的视频编码。可缩放的视频编码可以以高分辨率(例如，可能“最高”分辨率)对信号进行编码和/或可能根据一些应用所要求的特定速率和分辨率等因素启动从流子集中解码，所述特定速率和分辨率可以由客户端设备来支持。实施方式认识到国际视频标准MPEG-2视频、H.263、可视MPEG4和H.264具有支持可缩放性模式的工具和/或简档。

图2描述了基于通用模块的混合可缩放视频编码系统的示例框图。由层-0(基层)表示的空间/时序信号分辨率可以首先通过对输入视频信号下采样生成。在后续的编码阶段，量化器(Q0)的合适设置可以引起基本信息(例如，视频信号)的特定质量等级。基层重构Y0可以为一种或者多种或者所有更高层分辨率等级的近似值并且可以在后续层的编码和/或解码中利用。上采样单元可以对基层重构信号进行上采样从而匹配在一个或者多个或者任何一个更高层处的分辨率。下采样和上采样可以在一个或者多个或者所有层(例如，0,1,2，……N)中执行，尽管下采样和/或上采样速率根据在不同层处视频信号的相对维度等因素不同。例如，对于具有层-n(0<＝n<＝N)解码能力的终端设备，从层-0至层-n的比特流的子集(或者在一些实施方式中，可能仅这种子集)可以被传送至所述终端设备。更高层(例如，n+1,……N)的子流可能被丢弃，可能无需传输等原因，从而节省带宽。或许当由层n1和n2两个层表示的视频信号具有相同或者相似的空间分辨率，诸如对应的下采样和上采样操作可以被忽视(by-passed)。

实施方式认识到可缩放视频编码(SVC)是H.264的扩展，所述H.264的扩展可以启动部分比特流的传输和解码从而以较低时序或者空间分辨率或者减少的保真度提供视频服务，同时保持相对于部分比特流速率高的的重构质量。图3示出了改进可缩放编码效率的示例性双层SVC层间预测机制。在一些实施方式中，相同的机制还可以被应用到多层SVC编码结构。在图3中，基层和增强层可以表示两个具有不同分辨率的相邻空间可缩放层。在一个或者多个或者每个单层内，运动补偿的预测和帧内预测可以被当作标准H.264编码器(图中以虚线表示)。层间预测可以利用尽可能多的基层信息，诸如但不限于空间纹理、运动向量预测器、参考图片索引和剩余信号从而提高增强层的速率失真效率。在一些实施方式中，SVC可以不要求来自较低层的参考图片完全重构。

实施方式涵盖包括用信号发送针对时序预测(或者估计)和/或层间预测(或者估计)的参考图片从而支持HEVC的多层可缩放增强扩展(HEVC的可缩放增强扩展被称作可缩放HEVC视频编码(SHVC)，所述SHVC在此处出于解释而不是限制目的被称作可缩放HEVC)的系统和方法。一些实施方式可以与单层HEVC参考图片缓存和/或列表构造过程兼容，并且还可以支持针对多层可缩放编码的层间预测。在一些实施方式中，所述信令可以与单层HEVC参考图片缓存和/或列表构造兼容和/或支持层间时序参考图片集预测(例如，节省带宽)和/或支持在诸如增强层和/或较低参考层之间的层间图片预测。

实施方式涵盖层间预测方法论可以在HEVC可缩放编码扩展中使用等原因以提高效率。图4示出了针对HEVC可缩放编码所涵盖的示例性层间预测结构。增强层的预测(或者估计)可以根据重构(例如，当两层之间的空间分辨率不同时在上采样之后)的基层信号，或者根据当前增强层范围内的时序参考图片，通过对具有时序预测信号的基层重构信号求平均的方式，和/或根据多于一种预测源的组合的运动补偿预测形成。在一些实施方式中，可能与SVC相比(诸如参考图3描述)，该方法要求较低层图片的至少一些重构或者完全重构。在一些实施方式中，相同的机制还可以被用于多层(例如，多于2层)HEVC可缩放编码结构。

实施方式认识到针对参考图片缓存和列表构造的HEVC信令支持单层内的时序运动补偿预测。实施方式还认识到通过从H.264/SVC采用的内存管理控制操作(MMCO)指令和切片(slice)报头中移除帧_数目(frame_num)的方式简化参考图片缓存管理。实施方式还认识到在参数集语法和切片报头中添加的参考图片集(RPS)的信令，其中一个或者多个或者每个集可以包括由当前图片使用的多个参考图片或者被保存用于诸如未来图片的预测(或者估计)。

表1示出了示例性参考图片集语法。一个或者多个或者每个参考图片可以通过变化POC(图片顺序计数)来标识，所述变化POC可以为当前图片和参考图片之间的距离。例如，对于第一图片，POC可以为0，对于第二图片，POC可以为1，并且对于第三图片，POC可以为2，其中第一图片和第三图片之间的距离可以为2。此外举个例子，假定当前图片的POC为10并且编码器想包括具有POC＝{9，7}的两个参考图片。所述编码器可以发送信号数目_负_图片(num_negative_pics)＝2和数目_正_图片(num_positive_pics)＝0。由于POC 10减POC 9为1，变化_poc_s0_减1[0]值为0。并且由于POC 9减POC 7为2，变化_poc_s0_减1[1]变成1。

表1:示例参考图片集语法

ref_pic_set(idx){	描述符
		num_negative_pics	ue(v)
num_positive_pics	ue(v)
		for(i＝0；i<num_negative_pics；i++){
delta_poc_s0_minus1[i]	ue(v)
		used_by_curr_pic_s0_flag[i]	U(1)
}
		for(i＝0；i<num_positive_pics；i++){
delta_poc_s1_minus1[i]	ue(v)
		used_by_curr_pic_s1_flag[i]	U(1)
}
		}

图5为二元和嵌入式时序可缩放编码结构的示例。在一些实施方式中，出于简化目的，变化POC可以被用于在表2中定义的参考图片集配置(例如，从RPS 0至RPS 10)。一个或多个或者每个图片可以具有参考图片列表0(RefPicList0)和参考图片列表1(RefPicList1)中的至少一个参考图片。

表2示例性参考图片集(RPS)

索引	变化POC
		0	(-8,-10,-12,-16)
1	(-4,-6,4)
		2	(-2,-4,2,6)
3	(-1,1,3,7)
		4	(-1,-3,1,5)
5	(-2,-4,-6,2)
		6	(-1,-5,1,3)
7	(-1,-3,-7,1)
		8	(-8)
9	(-4,4)
		10	(-2,2,6)

表3示出了示例性参考图片集索引，所述示例性参考图片集索引可以被一个或者多个或者每个编码图片以及在解码后的图片缓存(DPB)中可用的对应参考图片使用。在一些实施方式中，一个或者多个或者每个参考图片列表(RefPicList0/1)可以根据参数集中的活动参考图片数目设置(num_ref_idx_l0_default_active_minus1,num_ref_idx_l1_default_active_minu s1)和/或切片报头头等因素，从DPB中选择一个或者多个参考图片。

表3：使用每个列表1个参考图片的时序可缩放性的示例性参考图片列表

实施方式涵盖一个或者多个用于HEVC可缩放编码的层内预测技术。实施方式认识到一个或者多个针对HEVC可缩放增强的可缩放场景，诸如空间可缩放性、SNR或者质量可缩放性和/或时序可缩放性。图6和图7示出了针对空间可缩放性和组合的(combined)时序/空间可缩放性的两个示例性层内预测编码结构。图6具有3个空间可缩放层以及一个或者多个或者每个层具有不同的空间分辨率。基层(层0)可以具有最低的空间分辨率并且层2具有最高的空间分辨率。从较低层中重构的图片可以被上采样成将增强层的空间分辨率匹配为针对诸如层间预测的参考图片。

表4示出了在DPB中缓存的无层间预测的时序参考图片的示例。在一些实施方式中，RPS配置可以等同于或者类似于如图2表中所描述的配置。在该示例中，一个或者多个或者每个层可以具有相同的帧速率(例如，时序分辨率)并且可以使用相同的大小为8的GOP(图片组)结构。在一些实施方式中，在DPB中缓存的参考图片对于一个或者多个或者每层可以是相同或者类似的。

表4:时序参考图片列表示例1(每个列表1参考图片)

表5为针对图6中所示的可缩放编码结构的示例性层间预测参考图片和层间预测参考图片列表(IlpRefPicList0/1)。在一些实施方式中，或许由于增强层能够使用来自较低参考层中的重构和/或比例增大的(up-scaled)参考图片，参考图片会比表4中的参考图片更复杂。在该场景中，层-2可以从来自层-0和层-1的一者或者两者中的比例增大的重构参考图片中预测。在一些实施方式中，特定的较低层可以被指定为针对层间预测的参考层。例如，层-2的图片可以从层-1(或者在一些实施方式中，或许被限制为仅从层-1中预测)中预测(或者估计)等原因从而降低复杂度。

表5:层间预测参考图片和列表示例1(每个列表的每个参考层的1个参考图片)

图7为组合的空间和时序可缩放结构的示例。该示例具有3层，基层(层-0)可以在低帧速率具有低空间分辨率(例如，720p30)，层-1可以具有高空间分辨率以及与基层相同的帧速率(例如，1080P30)，层-2可以具有与层-1相同的高空间分辨率，但帧速率更高(例如，1080p60)。层-0的重构图片可以被上采样为针对层-1和/或层-2层间预测(或者估计)的参考图片。由于层-1和层-2的空间分辨率可以为相同的等原因，层-1的重构图片可以被用作针对层-2的层间预测(或者估计)的参考图片。一个或者多个或者每个增强层(层-1和/或层-2)图片可以在相同层内在时序上执行运动补偿的预测，和/或根据在较低参考层的参考图片在时序上执行运动补偿的预测(只要参考图片在DPB中可用)，或者使用两种类型的参考信号的加权均值(例如，相同层和层间)。

层-2可以使用与在表2中定义的相同参考图片集配置，而层-0和层-1可以使用表6中定义的不同参考图片集。表6中示出了不具有层间预测的一个或者多个或者每个单层的示例性参考图片列表。

表6:时序参考图片列表示例2(每个列表1个参考图片)

在一些实施方式中，可能为了兼容HEVC，可以不改变基层DPB中的参考图片。增强层DPB可以包括来自针对表7中所示的层间预测的较低参考层中的附加层间参考图片。

表7：层间参考图片和列表示例2(每个列表每个参考层1个参考图片)

表7给出了在具有层间预测和相对IlpRefPicList0/1的一个或者多个或者每个层的DPB中可用的层间参考图片(ILR)的示例。在该场景中，从一个或者多个或者每个参考层的至少一个参考图片可以被选择用于IlpRefPicList0/1。在一些实施方式中，编码器可以根据运动估计的速率失真成本确定一个或者多个或者每个列表的图片数并且确定哪些参考图片包括在列表中。

实施方式涵盖针对HEVC可缩放编码的时序参考图片信令。当一个或者多个或者每个层使用相同的预测结构(诸如低延迟预测或者二元编码结构)以及相同的GOP大小和帧速率时，一个或者多个实施方式涵盖基层和增强层的时序参考图片集可以为相同的。对于多层可缩放编码，增强层的时序参考图片集可以从基层和/或者具有在参数集中指定的相同时序参考集的任何较低参考层的时序参考图片集中预测。

表8、表9、表10和表11为实施方式认识的序列参数集(SPS)语法、图片参数集(PPS)语法和切片报头语法的示例。与时序参考图片集和/或时序参考图片列表有关的语法被标记为双星号。

表8:示例性HEVC序列参数集语法

seq_parameter_set_rbsp(){	描述符
		profile_idc	u(8)
reserved_zero_8bits/等于0/	u(8)
		level_idc	u(8)
seq_parameter_set_id	ue(v)
		max_temporal_layers_minus1	u(3)
pic_width_in_luma_samples	u(16)
		pic_height_in_luma_samples	u(16)
bit_depth_luma_minus8	ue(v)
		bit_depth_chroma_minus8	ue(v)
pcm_bit_depth_luma_minus1	u(4)
		pcm_bit_depth_chroma_minus1	u(4)
log2_max_pic_order_cnt_lsb_minus4	ue(v)
		**max_num_ref_frames	ue(v)
log2_min_coding_block_size_minus3	ue(v)
		log2_diff_max_min_coding_block_size	ue(v)
log2_min_transform_block_size_minus2	ue(v)
		log2_diff_max_min_transform_block_size	ue(v)
log2_min_pcm_coding_block_size_minus3	ue(v)
		max_transform_hierarchy_depth_inter	ue(v)
max_transform_hierarchy_depth_intra	ue(v)
		chroma_pred_from_luma_enabled_flag	u(1)
loop_filter_across_slice_flag	u(1)
		sample_adaptive_offset_enabled_flag	u(1)
adaptive_loop_filter_enabled_flag	u(1)
		pcm_loop_filter_disable_flag	u(1)
cu_qp_delta_enabled_flag	u(1)
		temporal_id_nesting_flag	u(1)
inter_4x4_enabled_flag	u(1)
		rbsp_trailing_bits()
}

表9:示例性HEVC图片参数集语法

表10:示例性短期参考图片集语法

short_term_ref_pic_set(idx){	描述符
		num_negative_pics	ue(v)
num_positive_pics	ue(v)
		for(i＝0；i<num_negative_pics；i++){
delta_poc_s0_minus1[i]	ue(v)
		used_by_curr_pic_s0_flag[i]	u(1)
}
		for(i＝0；i<num_positive_pics；i++){
delta_poc_s1_minus1[i]	ue(v)
		used_by_curr_pic_s1_flag[i]	u(1)
}
		}

表11:示例性HEVC切片报头语法

实施方式涵盖一种或者多种针对参考图片集预测(或者估计)的语法和/或来自较低参考层中的增强层的参考图片列表(例如在此之前未定义用于该预测(或者估计)的一种或者多种语法))。以下表格描述了一种或者多种涵盖的语法。

表12:支持HEVC可缩放增强扩展的示例性序列参数集语法

seq_parameter_set_rbsp(){	描述符
		profile_idc	u(8)
reserved_zero_8bits/等于0/	u(8)
		level_idc	u(8)
seq_parameter_set_id	ue(v)
		layer_index	ue(v)
max_temporal_layers_minus1	u(3)
		pic_width_in_luma_samples	u(16)
pic_height_in_luma_samples	u(16)
		bit_depth_luma_minus8	ue(v)
bit_depth_chroma_minus8	ue(v)
		pcm_bit_depth_luma_minus1	u(4)
pcm_bit_depth_chroma_minus1	u(4)
		log2_max_pic_order_cnt_lsb_minus4	ue(v)
**max_num_ref_frames	ue(v)
		log2_min_coding_block_size_minus3	ue(v)
log2_diff_max_min_coding_block_size	ue(v)
		log2_min_transform_block_size_minus2	ue(v)
log2_diff_max_min_transform_block_size	ue(v)
		log2_min_pcm_coding_block_size_minus3	ue(v)
max_transform_hierarchy_depth_inter	ue(v)
		max_transform_hierarchy_depth_intra	ue(v)
chroma_pred_from_luma_enabled_flag	u(1)
		loop_filter_across_slice_flag	u(1)
sample_adaptive_offset_enabled_flag	u(1)
		adaptive_loop_filter_enabled_flag	u(1)
pcm_loop_filter_disable_flag	u(1)
		cu_qp_delta_enabled_flag	u(1)
temporal_id_nesting_flag	u(1)
		inter_4x4_enabled_flag	u(1)
rbsp_trailing_bits()
		}

在一种或者多种实施方式中，层_索引(layer_index)语法可以指定当前序列位于哪一层。在一些实施方式中，范围可以为0至相关标准允许的最大层。

表13为针对由一种或者多种实施方式涵盖的HEVC可缩放编码的时序短期参考图片集(RPS)语法。在一些实施方式中，可以在原始HEVC RPS结构和层间时序参考图片集预测之间切换。在一些实施方式中，当“st_rps_预测_标志(st_rps_prediction_flag)”等于0，所述层可以在其活动PPS报头和/或切片报头中定义其自身RPS。在一些实施方式中，当“st_rps_prediction_flag”等于1时，短期时序RPS可以与较低参考层的至少一个短期RPS相同。在一些实施方式中，较低参考层数可以由“abs_diff_层_idx_减1(abs_diff_layer_idx_minus1)”提取并且短期RPS索引可以由“短_期_参考_图片_集_idx(short_term_ref_pic_set_idx)”给出。

在一些实施方式中，可能当st_rps_prediction_flag等于1时，当前层的短期RPS可以从来自较低参考层中的短期RPS中预测。在一些实施方式中，可能当st_rps_prediction_flag等于0时，当前层短期参考图片集的层间预测可能被禁用。

表13:支持HEVC可缩放增强扩展的示例性短期时序参考图片集语法

short_term_ref_pic_set(idx){	描述符
		st_rps_prediction_flag	u(1)
If(st_rps_prediction_flag){
		abs_diff_layer_idx_minus1	ue(v)
short_term_ref_pic_set_idx	u(v)
		}
else{
		num_negative_pics	ue(v)
num_positive_pics	ue(v)
		for(i＝0；i<num_negative_pics；i++){
delta_poc_s0_minus1[i]	ue(v)
		used_by_curr_pic_s0_flag[i]	u(1)
}
		for(i＝0；i<num_positive_pics；i++){
delta_poc_s1_minus1[i]	ue(v)
		used_by_curr_pic_s1_flag[i]	u(1)
}
		}
}

一种或多种实施方式涵盖abs_diff_层_idx_减1(abs_diff_layer_idx_minus1)加1可以指定当前层索引和较低参考层讴吟之间的绝对差。在一些实施方式中，abs_diff_layer_idx_minus 1例如不会超过总层数减2。

一种或多种实施方式涵盖short_term_ref_pic_set_idx可以指定在可被用于创建当前图片的层间参考图片集的活动参数集中指定的短期参考图片集的列表的索引。

表14是一种或多种实施方式涵盖的可缩放编码的短期时序RPS值的示例。基层(layer-0)可以使用在0中定义的短期RPS。层1和/或层2的短期时序RPS中的一者或两者可以从基层时序RPS中预测(或估计)。层2短期时序RPS也可以从层1RPS中预测，其由于例如层1RPS可以进一步从层0中预测，在一些实施方式中可以引入RPS的递归解析。

表14：可缩放编码的示例性短期时序RPS示例

实施方式涵盖用于HEVC可缩放编码的层间参考图片信令。在一些实施方式中，可能为了从不同较低参考层中标识参考图片等原因，对应的层间预测(ILP)信令可以被添加到比特流语法。信令可以使得增强层DPB包括来自一个或多个较低参考层的有用的(或者在一些实施方式中可能是所需的)被重建的参考图片中的一者或多者或全部等原因，从而增强图片能够从任何上采样(例如可能如果有用或者在一些实施方式中如果需要)层间参考图片中预测以用于进一步例如改善编码效率。

实施方式涵盖用于HEVC可缩放编码的序列参数集语法。在一种或多种实施方式中，用于层间图片预测的SPS语法可以与表12中所示的相同，其可以包括附加层索引以指定当前序列可以位于哪个层。在一些实施方式中，层索引可以被用于从不同参考层中标识参考图片。

实施方式涵盖用于HEVC可缩放编码的一个或多个图片参数集语法。表15描述了启用针对HEVC可缩放编码的层间图片预测的示例的所涵盖PPS语法。

表15：支持HEVC的可缩放增强扩展的示例图片参数集语法

pic_parameter_set_rbsp(){	描述符
		pic_parameter_set_id	ue(v)
seq_parameter_set_id	ue(v)
		entropy_coding_mode_flag	u(1)
**num_short_term_ref_pic_sets	ue(v)
		**for(idx＝0；idx<num_short_term_ref_pic_sets；idx++)
**short_term_ref_pic_set(idx)
		**long_term_ref_pics_present_flag	u(1)
num_st_ilp_ref_pic_sets	ue(v)
		for(idx＝0；idx<num_st_ilp_ref_pic_sets；idx++)
short_term_ilp_ref_pic_set(idx)
		long_term_ilp_ref_pics_present_flag	u(1)
num_temporal_layer_switching_point_flags	ue(v)
		for(i＝0；i<num_temporal_layer_switching_point_flags；i++)
temporal_layer_switching_point_flag[i]	u(1)
		num_ref_idx_l0_default_active_minus1	ue(v)
num_ref_idx_l1_default_active_minus1	ue(v)
		num_ilp_ref_idx_l0_default_active_minus1	ue(v)
num_ilp_ref_idx_l1_default_active_minus1	ue(v)

pic_init_qp_minus26/相对于26/	se(v)
		constrained_intra_pred_flag	u(1)
slice_granularity	u(2)
		shared_pps_info_enabled_flag	u(1)
if(shared_pps_info_enabled_flag)
		if(adaptive_loop_filter_enabled_flag)
alf_param()
		if(cu_qp_delta_enabled_flag)
max_cu_qp_delta_depth	u(4)
		rbsp_trailing_bits()
}

在一种或多种实施方式中，数目_st_ilp_参考_图片_集(num_st_ilp_ref_pic_sets)可以指定在PPS中指定的短期层间参考图片集的数目。在一些实施方式中，num_st_ilp_ref_pic_sets的值可以例如包括在0至64的范围内。

在一种或多种实施方式中，等于0的长_期_ilp_参考_图片_存在_标志(long_term_ilp_ref_pics_present_flag)可以指定(或指示)没有长期参考图片可以被用于涉及图片参数的任何编码图片的层间预测。在一些实施方式中，标志等于1可以指定(或指示)例如可以被用于涉及图片参数的任何编码图片的层间预测的长期参考图片。

在一种或多种实施方式中，数目_ilp_参考_idx_10_默认_活动_减1(num_ilp_ref_idx_10_default_active_minus1)加1可以指定(或指示)在层间参考图片列表0(IlpRefPicList0)中允许多少个参考图片，可能是默认的。在一些实施方式中，值例如可以包括在0至31范围内。

在一种或多种实施方式中，num_ilp_ref_idx_10_default_active_minus1加1可以指定(或指示)在层间参考图片列表1(IlpRefPicList1)中允许多少个参考图片，可能是默认的。值例如可以包括在0至31范围内。

实施方式涵盖用于短期ILP参考图片集的一个或多个场景(包括场景1)。表16描述了在参数集和/或在切片报头中出现的层间参考图片集。

表16：短期ILP参考图片集语法(示例场景1)

Short_term_ilp_ref_pic_set(idx){	描述符
		abs_diff_layer_idx_minus1	ue(v)
fps_ratio_minus1	ue(v)
		num_negative_pics	ue(v)
num_positive_pics	ue(v)
		for(i＝0；i<num_negative_pics；i++){
delta_poc_s0[i]	ue(v)
		used_by_curr_pic_ilp_s0_flag[i]	u(1)
}
		for(i＝0；i<num_positive_pics；i++){
delta_poc_s1[i]	ue(v)
		used_by_curr_pic_ilp_s1_flag[i]	u(1)
}
		}

一种或多种实施方式涵盖abs_diff_layer_idx_minus1(abs_diff_层_idx_减1)加1可以指定(或指示)当前层索引和较低参考层索引之间的绝对差。在一些实施方式中，abs_diff_layer_idx_minus1的值例如不会超过总层数减2。

一种或多种实施方式涵盖fps_比率_减1(fps_ratio_minus1)加1可以指定(或指示)当前层和参考层之间的帧速率比。例如，增强层帧速率可以是每秒30帧，基层帧速率可以是每秒15帧，则fps_ratio_minus1为1。

一种或多种实施方式涵盖数目_负_图片(num_negative_pics)可以指定(或指示)以下的变化_poc_s0[i](delta_poc_s0[i])和使用_由_当前_图片_s0_标志[i](used_by_curr_pic_s0_flag[i])语法元素的数目。在一些实施方式中num_negative_pics的值可以例如包括在0至序列参数集(SPS)语法中指定的最大_数目_参考_帧(max_num_ref_frames)范围内。

一种或多种实施方式涵盖数目_正_图片(num_positive_pics)可以指定(或指示)以下的delta_poc_s1[i]和used_by_curr_pic_s1_flag1[i]语法元素的数目。在一些实施方式中num_positive_pics的值可以例如包括在0至最大_数目_参考_帧-数目_负_图片(max_num_ref_frames-num_negative_pics)范围内。

一种或多种实施方式涵盖delta_poc_s0[i]可以指定(或指示)两个图片顺序计数值之间的绝对差。在一些实施方式中，delta_poc_s0[i]的值可以例如包括在0至2¹⁵–1范围内。

一种或多种实施方式涵盖等于1的used_by_curr_pic_s0_flag[i]可以指定(或指示)来自参考层的第i个层间参考图片可以被用于当前图片的层间预测。一种或多种实施方式涵盖等于0的used_by_curr_pic_s0_flag[i]例如可以指定第i个层间参考图片不被当前图片的层间预测使用。

一种或多种实施方式涵盖delta_poc_s1[i]可以指定两个图片顺序计数值之间的绝对差。在一些实施方式中，delta_poc_s1_minus1[i]例如可以包括在0至2¹⁵–1范围内。

一种或多种实施方式涵盖等于1的used_by_curr_pic_s1_flag[i]可以指定(或指示)来自参考层的第i个层间参考图片不被当前图片用于层间预测。一种或多种实施方式涵盖等于0的used_by_curr_pic_s1_flag1[i]例如可以指定(指示)第i个层间参考图片不被当前图片的层间预测使用。

实施方式涵盖短期ILP参考图片集信令可以为使得增强层将来自一个或多个较低参考层的任何被重构的参考图片存储到其DPB中的灵活方法。在一些实施方式中，对应的参考图片集可以从较低参考层的DPB中移除。这种信令还可以支持混合编码结构，其中基层可以在H.264中编码，以及增强层可以在HEVC中编码。在一些实施方式中，如果一个或多个或者每个增强层具有其自身的一个或多个短期ILP参考图片集，则以这种信令是有用的。在一些实施方式中，相同的参考图片可以例如在多层DPB中复制。

在一种或多种实施方式中，参考图片集可以是使用变化POC来指示参考图片的位置。对于层间预测，不同的层可能具有不同的帧速率。较低层的ILP参考图片POC可以按照Ilp参考图片POC(IlpRefPicPOC)＝(当前图片POC(CurrPicPOC)+变化POC(deltaPOC))/(fps_比率_减1(fps_ratio_minus1)+1)计算。表17示出了层2的层间预测示例，该层2的ILP参考图片可能来自层1。层2的帧速率可以为60fps，层1的帧速率可以为30。示例显示了如何从当前图片POC和/或ILP参考图片集中获得ILP参考图片POC值。

表17：图7的可缩放结构的ILP参考图片(POC)示例

涵盖一种或者多种针对短期ILP参考图片集的场景的实施方式还包括示例场景2。一些实施方式涵盖一些(或者大部分)预测间参考图片的变化POC可以与除所述参考层的共存参考图片之外的较低参考层的时序预测参考图片相同。表18中描述了针对短期ILP参考图片集的示例场景2。

表18:短期ILP参考图片集语法(示例场景2)

Short_term_ilp_ref_pic_set(idx){	描述符
		abs_diff_layer_idx_minus1	ue(v)
fps_ratio_minus1	ue(v)
		colocated_ref_pic_present_flag	u(1)
If(colocated_ref_pic_present_flag){
		colocated_ref_pic_used_by_curr_pic_s0_flag	u(1)
colocated_ref_pic_used_by_curr_pic_s1_flag	u(1)
		}
st_rps_used_by_curr_inter_layer_flag	u(1)
		If(st_rps_used_by_cur_inter_layer_flag){
short_term_ref_pic_set_idx	u(v)
		}
}

一个或者多个实施方式涵盖abs_diff_layer_idx_minus1和/或fps_ratio_minus1具有与表16中相同的定义。

一个或者多个实施方式涵盖等于0的共存_参考_图片_存在_标志(colocated_ref_pic_present_flag)可以指定(或者指示)来自参考层中的共存参考图片可以不包括在短期ILP参考图片集中。一个或者多个实施方式涵盖等于1的colocated_ref_pic_present_flag可以指定(或者指示)来自参考层中的共存参考图片可以包括在诸如短期ILP参考图片集中。

一些实施方式涵盖等于0的共存_参考_图片_使用_由_当前_图片_s0_标志(colocated_ref_pic_used_by_curr_pic_s0_flag)可以指定(或者指示)共存的参考图片例如不被当前图片用于的层间预测。

一些实施方式涵盖等于1的colocated_ref_pic_used_by_curr_pic_s0_flag可以指定(或者指示)共存的参考图片例如不被当前图片用于层间预测。

一些实施方式涵盖等于0的st_rps_使用_由_当前_间_层_标志(st_rps_used_by_curr_inter_layer_flag)可以指定(或者指示)无参考图片集在活动参数集中被指定可以被用作短期层间参考图片集。

一些实施方式涵盖short_term_ref_pic_set_idx可以指定(或者指示)一个或多个短期时序参考图片集的索引，所述短期时序参考图片集可以在对应参考层的活动参数集中指定，所述对应参考层可以例如被用于生成当前图片的层间参考图片集。

表19:用于图7的层-2短期ILP参考图片集(示例场景2)

短期ILP RPS索引	0	1	2	3	4	5	6	7	8	9	10
												abs_diff_layer_idx_minus1	0	0	0	0	0	0	0	0	0	0	0
colocated_ref_pic_present_flag	1	1	1	0	0	1	0	0	1	1	1
												st_rps_used_by_curr_inter_layer_flag	1	1	1	1	1	1	1	1	1	1	1
short_term_ref_pic_set_idx	0	1	2	3	4	5	6	7	8	9	10
												idx	11	12	13	14	15	16	17	18	9	20	21
abs_diff_layer_idx_minus1	1	1	1	1	1	1	1	1	1	1	1
												colocated_ref_pic_present_flag	1	1	1	0	0	1	0	0	1	1	1
st_rps_used_by_curr_inter_layer_flag	1	1	1	1	1	1	1	1	1	1	1
												short_term_ref_pic_set_idx	0	1	2	3	4	5	6	7	8	9	10

表19为在图7中使用针对可缩放结构示例的示例场景2信令语法结构的层-2的短期ILP参考图片集的示例。这一短期ILP参考图片集信令可以被设计用于ILP参考图片集可以与较低参考层的时序参考图片集相同的场景中，由此额外的比特可以被保存和/或未被复制的ILP参考图片可以存储在增强层中(或者在一些实施方式中，未被复制的ILP参考图片可能需要存储在增强层中)。

一种或者多种实施方式涵盖至少一种处理不同层的不同帧速率的方法可以与以下描述的与短期ILP参考图片集(例如，示例场景1)有关的方法相同。

涵盖一种或者多种用于短期ILP参考图片集的实施方式还包括示例场景3。实施方式涵盖为合并示例场景1和示例场景2，额外标志ilp_rps_prediction_flag可以被设置成在如表20中所示的示例场景1和示例场景2之间切换。在一些实施方式中，类似的标志可以被移动至SPS或者PPS报头，由此可以例如针对整个序列或者图片做出决定。

表20:短期(ILP)参考图片集语法(示例场景3)

Short_term_ilp_ref_pic_set(idx){	描述符
		abs_diff_layer_idx_minus1	ue(v)
fps_ratio_minus1	ue(v)
		ilp_rps_prediction_flag	u(1)
If(ilp_rps_prediction_flag){
		colocated_ref_pic_present_flag	u(1)
If(colocated_ref_pic_present_flag){
		colocated_ref_pic_used_by_curr_pic_s0_flag	u(1)
colocated_ref_pic_used_by_curr_pic_s1_flag	u(1)
		}
st_rps_used_by_curr_inter_layer_flag	u(1)
		If(st_rps_used_by_cur_inter_layer_flag){
short_term_ref_pic_set_idx	u(v)
		}
}
		else(
num_negative_pics	ue(v)
		num_positive_pics	ue(v)
for(i＝0；i<num_negative_pics；i++){
		delta_poc_s0[i]	ue(v)
used_by_curr_pic_ilp_s0_flag[i]	u(1)
		}
for(i＝0；i<num_positive_pics；i++){
		delta_poc_s1[i]	ue(v)
used_by_curr_pic_ilp_s1_flag[i]	u(1)
		}
}

实施方式涵盖一个或者多个针对HEVC可缩放编码的切片报头语法。表21描述涵盖的切片报头语法，所述片头语法可以支持针对HEVC的可缩放增强扩展的短期和/或长期层间预测。

表21：支持HEVC的可缩放增强扩展的示例性切片报头语法

一些实施方式涵盖等于1的短_期_ilp_参考_图片_集_pps_标志(short_term_ilp_ref_pic_set_pps_flag)可以指定(或者指示)当前图片的短期层间参考图片集可以使用活动参数集中的语法元素进行创建。在一些实施方式中，等于0的short_term_ilp_ref_pic_set_pps_flag可以指定(或者指示)当前图片的短期帧间参考图片集可以使用诸如切片报头中的short_term_ilp_ref_pic_set()语法结构中的语法元素进行创建。

一些实施方式涵盖短_期_ilp_参考_图片_集_idx(short_term_ilp_ref_pic_set_idx)可以指定(或者指示)在活动参数集中指定的短期层间参考图片集列表的索引，所述活动参数集可以被用于生成当前图片的层间参考图片集。在一些实施方式中，语法元素short_term_ilp_ref_pic_set_idx可以由ceil(log2(num_st_ilp_ref_pic_sets))比特来表示。short_term_ref_pic_set_idx值可以包括在范围0至num_st_inter_layer_ref_pic_sets–1之间，其中num_st_ilp_ref_pic_sets可以为来自诸如活动参数集的语法元素。

一些实施方式涵盖数目_长_期_ilp_图片(num_long_term_ilp_pics)可以指定(或者指示)包括在当前图片的长期参考图片集中的长期参考图片数。在一些实施方式中，num_long_term_ilp_pics值可以包括在范围0至诸如最大_数目_参考_帧(max_num_ref_frames)–数目负图片[StRpsIdx](NumNegativePics[StRpsIdx])–数目负图片[StRpsIdx](NumPositivePics[StRpsIdx])-数目负间层图片[StRpsIlpIdx](NumNegativeInterLayerPics[StRpsIlpIdx])–数目正间层图片[StIlpRpsIdx](NumPositivePics[StIlpRpsIdx])内。在一些实施方式中，当不存在时，num_long_term_ilp_pics值可以被推导等于0。

在一种或者多种实施方式中，变量StRpsIdx可以被如下导出：

if(short_term_ref_pic_set_pps_flag)

StRpsIdx＝short_term_ref_pic_set_idx

else

StRpsIdx＝num_short_term_ref_pic_sets。

在一种或者多种实施方式中，变量StRpsIlpIdx可以被如下导出：

if(short_term_ilp_ref_pic_set_pps_flag)

StIlpRpsIdx＝short_term_ilp_ref_pic_set_idx

else

StIlpRpsIdx＝num_st_ilp_ref_pic_sets。

在这种场景中，max_num_ref_frames可以被时序参考图片和/或ILP参考图片共享。一些实施方式可以分别定义针对时序参考图片和/或ILP参考图片的SPS报头中独立的参考图片数。

在一种或者多种实施方式中，delta_poc_lsb_ilp_lt[i]可以被用来确定第i个长期层间参考图片的图片顺序计数值最不重要的比特值，所述第i个长期层间参考图片例如可以被包括在当前图片的长期层间参考图片集中。

在一些实施方式中，等于0的used_by_curr_pic_ilp_lt_flag[i]可以指定(或者指示)第i个长期参考图片不被当前图片用于层间预测，其中所述第i个长期参考图片可以被包括在当前图片的长期层间参考图片集中。在一些实施方式中，等于1的标志可以指定(或者指示)第i个长期参考图片可以被当前图片用于层间预测，其中所述第i个长期参考图片可以被包括在当前图片的长期层间参考图片集中。

一个或者多个实施方式涵盖等于1的数目_ilp_参考_idx_活动_重写_标志(num_ilp_ref_idx_active_override_flag)可以指定(或者指示)语法元素数目_ilp_参考_idx_l0_活动_减1(num_ilp_ref_idx_l0_active_minus1)可以针对P和/或B切片存在，以及所述语法元素num_ilp_ref_idx_l1_active_minus1可以针对B片存在。一些实施方式涵盖等于0的num_ilp_ref_idx_active_override_flag可以指定(或者指示)语法元素num_ilp_ref_idx_l0_active_minus1和/或num_ilp_ref_idx_l1_active_minus1可能不存在。

一种或者多种实施方式涵盖一种或者多种层间预测(ILP)参考图片列表构造技术。实施方式认识到HEVC可以指定用于时序参考图片集和/或参考图片列表构造的解码过程。实施方式涵盖至少两个参考图片列表RefPicList0和RefPicList1可以在针对P和B图片的解码过程期间被更新和/或被构造。一个或者多个实施方式涵盖至少两个针对层间预测(ILP)，ILPRefPicList0和ILPRfePicList1的参考图片列表，可能用于HEVC可缩放编码。在一些实施方式中，层间参考图片列表可以包括短期和/或长期层间参考图片或者两者。

实施方式涵盖一个或者多个针对ILP参考图片集的解码技术。在一些实施方式中，在切片报头的解码之后和/或在任何编码单元的解码之前，所述解码技术可以在每个图片被调用(invoked)一次。在一些实施方式中，所述进程可以与针对在HEVC中指定的时序参考图片集的解码进程并列。在一些实施方式中，所述进程可以引起例如将一个或者多个参考图片标记为“未用作参考”。

在一个或者多个实施方式中，ILP参考图片集可以包括至少六个子集，例如即IlpRpsStCurr0、IlpRpsStCurr1、IlpRpsStFoll0、IlpRpsStFoll1、IlpRpsLtCurr和IlpRpsLtFoll，但不限于此。

在一些实施方式中，IlpRpsStCurr0可以包括一个或者多个或者所有ILP参考图片，所述ILP参考图片可以以从较低参考层的输出次序和/或解码次序在当前图片之前，并且可以在当前图片的层间预测中使用。

在一些实施方式中，IlpRpsStCurr1可以包括一个或者多个或者所有ILP参考图片，所述ILP参考图片可以以解码次序在当前图片之前，以从较低参考层的输出次序在当前图片之后，和/或在当前图片的层间预测中使用。

在一些实施方式中，IlpRpsStFoll0可以包括一个或者多个或者所有ILP参考图片，所述ILP参考图片可以以从较低参考层的输出次序和/或解码次序在当前图片之前，可以用在以解码次序跟随当前图片的一个或者多个图片的层间预测中，和/或可以不被用在当前图片的层间预测中。

在一些实施方式中，IlpRpsStFoll1可以包括一个或者多个或者所有参考图片，所述参考图片可以以解码次序在当前图片之前，以从较低参考层的输出次序中在当前图片之后，可以用在以解码次序跟随当前图片的一个或者多个图片的层间预测中使用，和/或可以不被应用在当前图片的层间预测中。

在一些实施方式中，IlpRpsLtCurr可以包括一个或者多个或者所有长期ILP参考图片，所述长期ILP参考图片可以被应用在当前图片的层间预测中。

在一些实施方式中，IlpRpsLtFoll可以包括一个或者多个或者所有长期ILP参考图片，所述长期ILP参考图片可以不被应用在当前图片的层间预测中。

一个或者多个实施方式涵盖IlpRpsStCurr0、IlpRpsStCurr1、IlpRpsStFoll0、IlpRpsStFoll1、IlpRpsLtCurr、和/或IlpRpsLtFoll的条目数可以分别为NumIlpRpsStCurr0、NumIlpRpsStCurr1、NumIlpRpsStFoll0、NumIlpRpsStFoll1、NumIlpRpsLtCurr和/或NumIlpRpsLtFoll。

在一些实施方式中，IlpRpsStCurr0、IlpRpsStCurr1、IlpRpsStFoll0和IlpRpsStFoll1可以统称为层间参考图片集的短期子集，所述层间参考图片集可以在一个或者多个或者每个参考层中可用。在一些实施方式中，IlpRpsLtCurr和/或IlpRpsLtFoll可以统称为来自一个或者多个或者每个参考层中的层间参考图片集的长期子集。

一种或者多种实施方式涵盖以下可以应用于导出六个子集和/或条目数。

在一些实施方式中，MaxPicOrderCntLsb可以在HEVC序列参数集语义中指定。

一个或者多个实施方式涵盖deltaPOC为零的共存的ILP参考图片可以被统计为正图片，可能是默认的。在一些实施方式中，所述共存的ILP参考图片还可以被统计为负图片。

一些实施方式涵盖包括在0至num_st_inter_layer_ref_pic_sets–1范围内的StIlpRpsIdx值可以指示来自活动参数集中的短期层间参考图片集可以被使用。StIlpRpsIdx可以为以在参数集(例如，表15)中用信号发送的次序对于短期层间参考图片集列表的短期层间参考图片集的索引。一些实施方式涵盖等于num_st_inter_layer_ref_pic_sets的StIlpRpsIdx可以指示在切片报头(例如，表21)中用信号发送(例如，隐式或者显式)的短期层间参考图片可以被使用。

一种或多种实施方式涵盖，可能在导出层间图片集之后，不被包括在层间参考图片集中的标记为“用作参考”的一个或者多个或者所有层间参考图片例如可以被标记为“未用作参考”。

实施方式涵盖用于对ILP参考图片列表构造进行解码的一种或者多种技术。在一种或者多种实施方式中，针对层间预测参考图片列表构造的解码过程可以在针对一个或者多个或者每个P或者B切片的解码过程开始时调用。当对P和/B切片解码时，存在至少一个来自IlpRpsStCurr0、IlpRpsStCurr1、和/或IlpRpsLtCurr中的较低参考层的ILP参考图片。

在一些实施方式中，以下技术可以被用来构造初始的IlpRefPicList0：

在一些实施方式中，以下程序可以被实施成构造初始的IlpRefPicList1：

在一些实施方式中，默认的列表次序可以首先被层索引安排，之后被图片索引安排。所述列表例如还可以被安排成首先由图片索引排序，之后由层索引排序。

实施方式涵盖修改层间参考列表可以针对一个或者多个或者每个独立参考层以HEVC中指定的相同的参考图片列表修改进程得以实施，。

以下表22和表23(在图8中描述)为针对图7中所示的可缩放编码结构的层-2ILP参考图片集和列表构造的示例。来自层-1的ILP参考图片可以以一个星号(*)表示而来自层-0的ILP参考图片可以以双星号(**)表示。

在该示例中，来自层-1的图片POC-0可以被设置为长期ILP参考图片。IlpRefPicList0和IlpRefPicList1的活动条目数可以被设置为最大值。一个或者多个或者每个ILP参考图片可以被设置为被当前图片使用。

ILP参考图片列表0可以包括来自层-1的负ILP参考图片，跟着来自层-0的负ILP参考图片，之后来自层-1的正ILP参考图片(如果可用时，包括共存的图片)以及来自层-0的正ILP参考图片，之后长期ILP参考图片(如果可用时)。

ILP参考图片列表1可以包括来自层-1的正ILP参考图片(如果可用时，包括共存的图片)，跟着来自层-0的正ILP参考图片，之后来自层-1的负ILP参考图片以及来自层-0的负ILP参考图片。

表22:层-2ILP参考图片(POC)示例

实施方式涵盖针对HEVC可缩放编码的组合后的时序和/或层间预测信令。如以下所描述，针对HEVC可缩放编码的时序参考图片信令可以指定支持时序参考图片集(RPS)的层间预测的信令。如以下所描述，针对HEVC可缩放编码的层间参考图片信令可以指定支持层间图片预测的信令。实施方式涵盖参考图片集和/或参考图片列表的至少两个独立的组可以被设计用于不同的目的。一些实施方式涵盖stRPS和/或RefPicList0/1可以被设计用于层间时序RPS预测。一些实施方式涵盖stIlpRps和/或IlpRefPicList0/1可以被设计用于层间图片预测。

一个或者多个实施方式涵盖由于一个或者多个或者每个编码单元可以增加更多的语法信令从而指示其涉及哪个列表(RefPicList0/1或者IlpRefPicList0/1)，独立的参考图片列表可以在切片级中导致更为复杂的信令，这可能为了将时序和/或层间图片预测合并成现有的参考图片列表框架。

实施方式涵盖针对HEVC可缩放编码的合并后的序列参数集(SPS)语法。在一些实施方式中，SPS语法结构可以与表12中描述的语法结构相同。实施方式涵盖针对HEVC可缩放编码的合并后的图片参数集(PPS)语法。在一些实施方式，PPS语法结构可以与表9中描述的语法结构相同。

实施方式涵盖针对HEVC可缩放编码的合并后的短期参考图片集(stRPS)语法。在一些实施方式中，短期参考图片集语法可以与表24中描述的示例相同。在一些实施方式中，表24的示例可以覆盖针对时序图片预测和/或层间图片预测或者两者的短期参考图片集。

一些实施方式涵盖等于1的rps_prediction_flag可以指定(或者指示)当前stRPS可以从较低参考层的stRPS中预测。一些实施方式涵盖等于0的rps_prediction_flag可以指定(或者指示)当前stRPS可以不从较低参考层的stRPS中预测。

一些实施方式涵盖abs_diff_layer_idx可以指定(或者指示)当前层索引和参考层索引之间的绝对差。一些实施方式涵盖如果当前层和参考层为相同层时，abs_diss_layer_idx可以等于0。

一些实施方式涵盖fps_ratio_minus1加1可以指定(或者指示)当前层和参考层之间的帧速率比。一些实施方式涵盖如果当前层和参考层为相同层时，fps_ratio_minus1可以等于0。

一些实施方式涵盖等于1的collocated_ref_pic_present_flag可以指定(或者指示)来自较低参考层的共存参考图片可以被包括在stRPS中。一些实施方式涵盖等于0的collocated_ref_pic_present_flag可以指定(或者指示)来自较低参考层的共存参考图片可以不被包括在stRPS中。

一些实施方式涵盖等于0的colocated_ref_pic_used_by_curr_pic_s0_flag诸如可以指定(或者指示)共存的参考图片不被当前图片用作层间预测。一些实施方式涵盖等于0的colocated_ref_pic_used_by_curr_pic_s1_flag诸如可以指定(或者指示)共存的参考图片不被当前图片用作层间预测。

一些实施方式涵盖等于0的st_rps_ilp_flag可以指定(或者指示)无短期参考图片集可以被用于当前层的短期层间参考图片集，其中所述短期参考图片集可以在对应参考层的活动参数集中指定。一些实施方式涵盖等于1的st_rps_ilp_flag可以指定(或者指示)短期参考图片集可以被用于当前层的短期层间参考图片集，其中所述短期参考图片集可以在对应参考层的活动参数集中指定。

一些实施方式涵盖short_term_ref_pic_set_idx可以指定短期参考图片集的索引，所述短期参考图片集可以在对应参考层的活动参数集中指定，所述对应参考层可以被用于生成当前图片的短期参考图片集。

在一些实施方式中，语法num_negative_pics、num_positive_pics、delta_pc_s0、used_by_curr_pic_s0_flag和/或used_by_curr_pic_s1_flag可以与诸如在HEVC中指定的相同。

表24:合并后的短期参考图片集语法

Short_term_ref_pic_set(idx){	描述符
		rps_prediction_flag	u(1)
If(rps_prediction_flag){
		abs_diff_layer_idx	ue(v)
fps_ratio_minus1	ue(v)
		colocated_ref_pic_present_flag	u(1)
If(colocated_ref_pic_present_flag){
		colocated_ref_pic_used_by_curr_pic_s0_flag	u(1)
colocated_ref_pic_used_by_curr_pic_s1_flag	u(1)
		}
st_rps_ilp_flag	u(1)
		If(st_rps_ilp_flag){
short_term_ref_pic_set_idx	u(v)
		}
}
		else(
abs_diff_layer_idx	ue(v)
		fps_ratio_minus1	ue(v)
num_negative_pics	ue(v)
		num_positive_pics	ue(v)
for(i＝0；i<num_negative_pics；i++){
		delta_poc_s0[i]	ue(v)
used_by_curr_pic_s0_flag[i]	u(1)
		}
for(i＝0；i<num_positive_pics；i++){
		delta_poc_s1[i]	ue(v)
used_by_curr_pic_s1_flag[i]	u(1)
		}
}
		}

实施方式涵盖针对HEVC可缩放编码的合并后的切片报头语法。表25中示出了示例性合并后的切片报头。除其它参数之外，实施方式涵盖至少两个信号“abs_diff_layer_idx”和“fps_ratio_minus1”可以被添加到长期参考图片中。所述两个信号的语义可以与以下描述的一致。

表25:支持HEVC的可缩放增强扩展的示例性合并后的切片报头语法

slice_header(){	描述符
		lightweight_slice_flag	u(1)
if(！lightweight_slice_flag){
		slice_type	ue(v)
pic_parameter_set_id	ue(v)
		if(IdrPicFlag){
idr_pic_id	ue(v)
		no_output_of_prior_pics_flag	u(1)
}
		else{
pic_order_cnt_lsb	u(v)
		**short_term_ref_pic_set_pps_flag	u(1)
**if(！short_term_ref_pic_set_pps_flag)
		**short_term_ref_pic_set(num_short_term_ref_pic_sets)
**else
		**short_term_ref_pic_set_idx	u(v)
**if(long_term_ref_pics_present_flag){
		**num_long_term_pics	ue(v)
**for(i＝0；i<num_long_term_pics；i++){
		abs_diff_layer_idx	ue(v)
fps_ratio_minus1	ue(v)
		**delta_poc_lsb_lt_minus1[i]	ue(v)
**used_by_curr_pic_lt_flag[i]	u(1)
		}
}
		if(slice_type＝＝P\|\|slice_type＝＝B){
num_ref_idx_active_override_flag	u(1)
		if(num_ref_idx_active_override_flag){
num_ref_idx_l0_active_minus1	ue(v)
		if(slice_type＝＝B)
num_ref_idx_l1_active_minus1	ue(v)
		}
}
		ref_pic_list_modification()
ref_pic_list_combination()
		}
if(entropy_coding_mode_flag&&slice_type！＝I)
		cabac_init_idc	ue(v)
first_slice_in_pic_flag	u(1)

if(first_slice_in_pic_flag＝＝0)
		slice_address	u(v)
if(！lightweight_slice_flag){
		slice_qp_delta	se(v)
if(sample_adaptive_offset_enabled_flag)
		sao_param()
if(deblocking_filter_control_present_flag){
		disable_deblocking_filter_idc
if(disable_deblocking_filter_idc！＝1){
		slice_alpha_c0_offset_div2
slice_beta_offset_div2
		}
}
		if(slice_type＝＝B)
collocated_from_l0_flag	u(1)
		if(adaptive_loop_filter_enabled_flag){
if(！shared_pps_info_enabled_flag)
		alf_param()
alf_cu_control_param()
		}
}
		}

实施方式涵盖一个或者多个合并后的参考列表构造技术。以下描述了两个附加ILP参考图片列表(IlpRefPicList0和IlpRefPicList1)的构造进程。由于合并后的短期和长期参考图片集可以被应用到相同层内和/或在不同的层之间或者两者的图片预测中，参考图片列表还可以被合并成包括来自针对时序预测的当前层的参考图片和/或来自针对层间预测的较低参考层的参考图片。

一个或者多个实施方式涵盖定义为如下的变量：

一个或者多个实施方式涵盖参考图片集可以包括至少六个子集，即RpsStCurr0、RpsStCurr1、RpsStFoll0、RpsStFoll1、RpsLtCurr和/或RpsLtFoll。

在一些实施方式中，RpsStCurr0可以包括一个或者多个或者所有参考图片，所述参考图片可以以从当前或较低参考层的的输出次序和/或解码次序在当前图片之前，并且可以在当前图片的时序或者层间预测中使用。

在一些实施方式中，RpsStCurr1可以包括一个或者多个或者所有参考图片，所述参考图片可以以解码次序在当前图片之前，以从当前层和/或较低参考层的输出次序在当前图片之后，并且可以在当前图片的时序或者层间预测中使用。

在一些实施方式中，RpsStFoll0可以包括一个或者多个或者所有参考图片，所述参考图片可以以从当前或较低参考层的输出次序和/或解码次序在当前图片之前，可以以解码次序跟随当前图片的一个或者多个图片的时序或者层间预测中使用，并且可以不在当前图片的时序或者层间预测中使用。

在一些实施方式中，RpsStFoll1可以包括一个或者多个或者所有参考图片，所述参考图片可以以解码次序在当前图片之前，以从当前或较低参考层的输出次序在当前图片之后，可以以解码次序跟随当前图片的一个或者多个图片的时序或者层间预测中使用，并且可以不在当前图片的时序或者层间预测中使用。

在一些实施方式中，RpsLtCurr可以包括一个或者多个或者所有长期ILP参考图片，所述ILP参考图片可以在当前图片的时序或者层间预测中使用。

在一些实施方式中，RpsLtFoll可以包括一个或者多个或者所有长期ILP参考图片，所述ILP参考图片不在当前图片的时序或者层间预测中使用。

在一些实施方式中，RpsStCurr0、RpsStCurr1、RpsStFoll0、RpsStFoll1、RpsLtCurr和/或RpsLtFoll的条目数可以分别为NumRpsStCurr0、NumRpsStCurr1、NumRpsStFoll0、NumRpsStFoll1、NumRpsLtCurr和/或NumRpsLtFoll。

一个或者多个实施方式涵盖以下可以应用于导出至少六个子集和/或条目数：

一个或者多个实施方式涵盖以下示例性技术可以被实施成构造RefPicList0：

一个或者多个实施方式涵盖以下技术可以被实施成构造初始的RefPicList1：

表26和表27(图9中描述)为图7中所示的针对可缩放编码结构的层-2合并后的参考图片集和列表构造的示例。来自层-2的时序参考图片以一个星号(*)表示，来自层-1的参考图片以两个星号(**)表示并且来自层-0的参考图片被表示为(***)。

在这一示例中，来自层-1的POC-0可以被设置为长期ILP参考图片。RefPicList0和/或RefPicList1的活动条目数可以被设置为最大值，由此参考图片集中的一个或者多个或者所有参考图片可以被包括在列表中。此外，一个或者多个或者所有参考图片可以被当前图片设置使用。

参考图片列表0可以包括来自当前层、层-1和/或层-0的负参考图片，之后跟着来自当前层、层-1和层-0的正ILP参考图片(如果可用时，包括共存的图片)以及例如之后(在一些实施方式中，可能最后)如果可用时的长期ILP参考图片。

参考图片列表1可以包括来自当前层-2、层-1和/或层-0(如果可用时，包括层-1和层-0的共存图片)的正参考图片，之后跟着来自当前层-2、层-1和/或层-0的负参考图片。

一个或者多个实施方式涵盖默认的参考图片构造还以参考图片子集中的参考图片的索引进行排序。例如，一个或者多个或者每个层的RPS的第一负图片可以被首先包括在list0中，之后跟着诸如一个或者多个或者每个层的RPS等的第二负图片。举层-2POC 6作为例子，来自表27的默认列表可以类似于RefPicList0＝{4*,2*,0*,2**,1**,2***,1***,0***,8*,3**,4**,3***,4***}。可替换地或者附加地，其还可以被构造为如下：RefPicList0＝{4*,2**,2***,2*,1**,1***,0*,0***,8*,3**,3***,4**,4***}。在一些实施方式中，相同的构造次序还可以被应用到诸如RefPicList1中。

表26：包括时序和层间预测两者的层-2参考图片示例(POC)

实施方式认识到视频编码系统可以被用来压缩数字视频信号从而降低所述信号的存储需求和/或传输带宽。实施方式认识到各种类型的视频编码系统，诸如基于块、基于波形以及基于对象的系统和/或基于块的混合视频编码系统。基于块的视频编码系统的示例包括国际视频编码标准，诸如MPEG1/2/4部分2、H.264/MPEG-4部分10AVC和VC-1标准。实施方式涵盖数字视频能力可以被并入到很大范围的设备，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、便携式电脑或者桌面电脑、数字摄像机、数字记录设备、视频游戏设备、视频游戏操作台、蜂窝和/或卫星无线电电话等等。实施方式认识到许多数字视频设备可以实施视频压缩技术，诸如由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4部分10、高级视频编码(AVC)和所述标准扩展定义的标准中描述的技术，从而更有效地发射和接收数字视频信息。实施方式认识到无线通信技术可以增加无线带宽并提高针对移动设备用户的服务质量并且实施方式还认识到诸如通过移动网络的高清晰度(HD)视频内容的视频内容快速增长需求给移动视频内容提供商、分销商和载波服务提供商带来挑战。

实施方式认识到，可能与数字视频服务相比较(例如，通过卫星、电缆和陆地传输信道发送TV信号)，越来越多的其它视频应用，诸如视频聊天、移动视频和流视频可以应用在异构环境中。所述异构性可以存在客户端侧以及网络中。在客户端侧，三屏场景(例如，智能电话、平板和/或TV)为示例。在网络侧，视频可以通过因特网、WiFi网络、移动(3G和4G)网络和/或其任意组合进行传送。为了改进用户体验和/或视频服务质量等益处，实施方式涵盖可缩放的视频编码。在一些实施方式，可缩放的视频编码可以将信号编码到整体高分辨率的多个流中，同时使得能够从根据对特定应用有用(或者在一些实施方式所要求的)并且受客户端设备支持的特定速率和分辨率的流子集中解码。

一些实施方式涵盖术语“分辨率”可以被多个视频参数定义，包括但不限制于空间分辨率(例如，图片大小)、时序分辨率(例如，帧速率)和/或视频质量(例如，主观质量，诸如MOS，和/或客观质量，诸如PSNR或者SSIM或者VQM)。实施方式还涵盖诸如色度格式(例如诸如YUV420或YUV422或YUV444)、比特-深度(例如，诸如8比特或者10比特视频)和/或宽高比(例如，16:9或者4:3)。实施方式认识到国际视频标准MPEG-2视频、H.263、MPEG4可视和H.264具有支持可缩放模式的工具和/或简档。可缩放编码可以至少包括时序可缩放性(例如，可缩放比特流可以包含以一个或者多个帧速率的视频信号)，空间可缩放性(例如，可缩放比特流可以包含以一个或者多个空间分辨率的信号)和/或质量可缩放性(例如，可缩放比特流可以包含以一个或者多个质量等级的信号)。附加地，可以包括视觉可缩放性(例如，可缩放比特流可以包含2D和/或3D视频信号)。不失一般性，尽管空间可缩放性可以被用来描述一个或者多个可缩放HEVC实施方式，以下描述的涵盖实施方式可以被扩展到其它类型的可缩放性(例如，诸如质量可缩放性或者如以下描述的其它可缩放性)。

图10为描述利用以下描述的视频编码/解码技术的示例视频编码和解码系统1000的框图。如图10中所示，系统1000包括源设备2112，所述源设备2112可以经由通信信道2116传送解码后的视频至目的设备2114。源设备2112和/或目的设备2114可以包括任一大范围的设备。在一些情况下，源设备2112和/或目的设备2114可以包括无线接收/发射单元(WRTU)，诸如通过通信信道2116传输视频信息的无线手持或者任意无线设备，在所述情况下通信信道2116可以为无线。以下描述的系统和方法不限于无线应用或者设置。例如，这些技术可以应用到空中电视广播、有线电视传输、卫星电视传输、因特网视频传输，在存储介质(诸如DVD或者SD卡)上编码后的数字视频和/或其它场景。相应地，通信信道2116可以包括适于编码后的视频数据传输的无线或者有线媒体的任意组合。

在图10的示例中，源设备2112可以包括视频源2118、视频编码器2120、调制器(例如，调制解调器)2122和/或发射机2124。目的设备2114可以包括接收机2126、解调器(例如，调制解调器)2128、视频解码器2130和/或显示设备2132。在一种或者多种实施方式中，源设备2112的视频编码器2120可以被配置成应用以下描述的运动预测技术。在其它示例中，源设备和目的设备可以包括其它组件或者排列。例如，源设备2112可以从诸如外部摄像机之类的外部视频源2118中接收视频数据。类似地，目的设备2114可以连接外部的显示设备，而不包括集成的显示设备。在一些实施方式中，由视频编码器生成的数据流可以被传达至其它设备而无需将所述数据调制到载波信号，诸如通过直接的数字传输，其中所述其它设备可以或者可以不调整用于传输的数据。

以下描述的技术可以由任一数字视频编码和/或解码设备执行。由此，以下描述的系统和方法可以使用为非限制性的无线传输、有线传输和/或从存储介质连接所编码的视频数据。此外，尽管本发明技术可以由视频编码设备执行，所述技术还可以由视频编码器/解码器执行，其中所述视频编码器/解码器可以被称作“CODEC”。此外，本发明技术还可以由视频处理器和/或预处理器执行。源设备2112和/或目的设备2114为所述编码设备的示例，其中源设备2112可以生成用于传输至目的设备2114的编码后的视频数据。在一些示例中，设备2112、2114可以以大体上对称的方式进行操作，由此设备2112、2114的每一个可以包括视频编码和解码组件。在一些实施方式中，系统1000可以在设备2112、2114之间支持单通道或者双通道视频传输以用于诸如视频流、视频回放、视频广播和/或视频电话。在一些实施方式中，源设备可以为用于生成针对一个或者多个目的设备的编码后的视频数据的视频流服务器，其中所述目的设备可以通过有线和/或无线通信系统与源设备进行通信。

源设备2112的视频源2118可以包括视频抓取设备，诸如视频摄像机、包含之前抓取视频的视频存档和/或从视频内容提供商的视频供给。在一些实施方式中，视频源2118可以生成基于计算机图像的数据以作为源视频或者现场直播视频、存档视频和/或计算机生成的视频的组合。在一些情况中，如果视频源2118为视频摄像机，源设备2112和/或目的设备2114可以形成所谓的摄像机电话和/或视频电话。在进一步转码(transcoding)实施方式中，源2118可以为编码后的比特流，所述编码后的比特流符合诸如H.264之类的另一视频标准。编码器2120可以包括初始的解码阶段从而获得未编码的视频数据，所述未编码的视频数据之后根据以下描述的技术进行编码。如以下提到的，本发明描述的技术可以通常适用于视频编码，并且可以应用到无线和/或有线应用。在一些实施方式中，抓取后、预抓取的、解码后的和/或计算机生成的视频可以由视频编码器2120进行编码。编码后的视频信息之后可以根据通信标准由调整解调器2122进行调制，并且可以经由发射机2124传送至目的设备2114。调制解调器2122可以包括各种混频器、滤波器、放大器或者设计用于信号调制的其它组件。发射机2124可以包括被设计用于传送数据的电路，包括放大器、滤波器和一个或者多个天线。

目的设备2114的接收机2126可以通过信道2116接收信息，并且调制解调器2128可以对所述信息进行解调。视频解码过程可以实施以下描述的一种或者多种技术。通过信道2116传送的信息可以包括由视频编码器2120定义的语法信息，所述视频编码器2120还可以被视频解码器2130使用，所述语法信息可以包括描述视频块和/或诸如GOP的其它编码后的单元的特征和/或处理的语法元素。显示设备2132可以显示解码后的视频数据至用户并且包含各种显示设备的任意一者，诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器和/或另一类型的显示设备。

在图10的示例中，通信信道2116可以包括任一无线或者有线通信媒介，诸如射频(RF)频谱或者一种或者多种物理传输线和/或无线和有线媒体的任意组合。通信信道2116可以成为基于分组网络的一部分，诸如局域网、广域网或者诸如因特网的全域网。通信信道2116可以表示任意合适的通信媒介和/或不同通信媒介的集合以用于从源设备2112中传送视频数据至目的设备2114，包括有线或者无线媒介的任意合适的组合。通信信道2116可以包括路由器、交换机、基站和/或对方便从源设备2112至目的设备2114通信有用的任何其它设备。

视频编码器2120和视频解码器2130可以根据视频压缩标准，诸如当前正在由JCT-VC开发的下一代视频编码标准HEVC进行操作。本发明的技术不限于任何特定的编码标准。尽管未在图10中示出，在一些方面，视频编码器2120和/或视频解码器2130可以分别与语音编码器和解码器一起集成，并且包括合适的MUX-DEMUX单元或者其它硬件和软件，从而处理对普通数据流或者独立数据流中的语音和视频二者的编码。在一些实施方式中，MUX-DEMUX单元可以符合ITU H.223复用器协议或者诸如用户数据报协议(UDP)之类的其它协议。

视频编码器2120和/或视频解码器2130分别可以被实施为各种合适的编码器电路的一者，诸如一种或者多种微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、离散逻辑、软件、硬件、固件或者其任一组合。一个或者多个或者每个视频编码器2120和/或视频解码器2130可以被包括在一个或者多个编码器或者解码器中，所述编码器或者解码器的一者可以在各自的摄像机、计算机、移动设备、订户设备、广播设备、机顶盒、服务器、媒体感知网络元素等中被集成为组合的编码器/解码器(CODEC)的一部分。

在一些实施方式中，视频序列可以包括一系列的视频帧。图片组(GOP)可以包括一系列的一个或者多个视频帧。GOP可以包括在GOP头、GOP的一个或者多个帧报头或者在描述包括在GOP中的多个帧之处的语法数据。一个或者多个或者每个帧可以包括描述针对各自帧的编码模式的帧语法数据。视频编码器2120可以在独立视频帧内的视频块上进行操作，可能为了对视频数据进行编码。所述视频块可以具有固定或者变化的大小，并且根据指定的编码标准在大小上不同。一个或者多个或者每个视频帧具有多个切片。一个或者多个或者每个切片可以包括多个视频块。

图11为描述视频编码器200示例的框图，所述视频编码器200可以被用来实施以下描述的可缩放视频编码系统和方法的各种独立层。视频编码器200可以执行在视频帧内的块的帧内编码和帧间编码，包括视频块或者视频块部分或者子部分。帧内编码可以使用空间预测来降低和/或移除给定视频帧内的视频中的空间冗余。帧间编码可以使用时序预测来降低和/或移除视频序列相临帧内的视频中的时序冗余。帧内模式(例如，I-模式)可以涉及数个基于空间压缩模式和/或诸如单向预测(例如，P-模式)或者双向预测(例如，B-模式)之类的帧间模式的任何一者和/或可以涉及数个基于时序的压缩模式的任何一者。

在一些实施方式中，输入视频信号202可以逐块地进行处理。所述视频块单元可以为16*16像素(例如，宏块(MB))。实施方式认识到ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频编码方面的联合协作组)正在开发称作高效视频编码(HEVC)的下一代视频编码标准。在HEVC中，扩展的块大小(称作“编码单元”或者CU)可以被用来更有效地压缩高分辨率(1080p及以上)视频信号。在HEVC中，CU可以高达64x64像素并且低至4x4像素。CU可以进一步分割为独立的预测方法可以应用的预测单元或者PU。一个或者多个或者每个输入视频块(MB、CU、PU等)可以通过使用空间预测单元260和/或时序预测单元262进行处理。

在一些实施方式中，空间预测(例如，帧内预测)可以使用来自在相同的视频图片/切片中已经编码的相邻块中的像素来预测当前视频块。空间预测可以降低在视频信号中内在的空间冗余。时序预测(例如，帧间预测或者运动补偿的预测)可以使用来自已经编码的视频图片的像素来预测当前的视频块。时序预测可预测以降低在视频信号中内在的时序冗余。针对给定视频块的时序预测可以由一个或者多个运动向量发送信号，其中所述一个或者多个运动向量可以指示当前块和一个或者多个其参考块之间的运动方向和/或量。

在一些实施方式中，可能如果多个参考图片被支持(例如，对于诸如H.264/AVC或者HEVC的最近视频编码标准的情况)，那么对于一个或者多个或者每个视频块，其参考图片索引还可以被发送。所述参考索引可以被用来识别时序预测信号来源于时序参考存储264中的哪一个参考图片。在空间和/或时序和/或层间预测之后，编码器中的模式决定和/或编码器控制器280可以诸如至少部分基于速率失真优化技术选择预测模式。预测块可以从位于加法器216处的当前视频块中减去和/或预测剩余部分(residual)可以由变换单元204进行转换和/或由量化单元206进行量化。量化后的剩余系数(residual coefficient)可以在逆量化单元210处被逆量化并且在逆转换单元212处逆转换从而形成重构的剩余部分。所述重构的块可以在加法器226处加回至预测模块从而形成重构的视频模块。进一步的在环(in-loop)滤波，诸如去块滤波器合/或自适应环滤波器266可以在重构的视频块上应用，可能在其放置在参考图片存储器264并且被用来编码未来的视频块之前。为了形成输出视频比特流220等目的外，编码模式(例如，帧间或者帧内)、预测模式信息、运动信息和/或量化的剩余系数可以被发送到熵编码单元208并且进一步被压缩和/或分组从而形成比特流220。

图12为基于块的视频解码器的框图，所述解码器可以在一个或者多个实施方式中被用来对可缩放视频编码后的流的各种层中的一个或者多个或者每个层进行解码。用于对应层的视频比特流302可以被解包和/或在熵解码单元308处被熵解码。编码模式和/或预测信息可以被发送至空间预测单元360(例如，如果内部编码的)和/或时序预测单元362(例如，如果层间编码的)从而形成预测块。剩余变换系数(residual transform coefficient)可以被发送至逆量化单元310和/或逆变换单元312，在此剩余变换系数可以用来重构剩余块。预测块和/或剩余块(residual block)可以在326处一起相加。重构的块可以在其存储在参考图片存储364之前还通过在环滤波单元366。重构的视频320可以被发送出来从而驱动显示设备和/或被用来预测未来的视频块。

在一些实施方式中，此处描述的系统和方法可以被应用到各种形状和大小的视频块。在至少一种实施方式中，例如，块可以被设置为16x16像素的块(例如，宏块)或者在最大编码单元(LCU)至最小编码单元(SCU)之间任意位置的给定大小的编码单元和/或非方形大小的块。此外，编码器可以采用能够启用更准确的权重和偏移计算的任何块形状和大小。在一些实施方式中，可以在图片内执行不同区域的顶层分析，在图片中的不同区域间采用不同的块形状/大小和/或将此处描述的技术应用到变化的块大小。

在一种或者多种实施方式中，参考图片集(RPS)可以为包括一个或者多个或者所有参考图片与图片关联的参考图片集，所述参考图片可以以解码次序位于关联图片之前，可以用作关联图片和/或以解码次序跟随关联图片的任何图片的帧间预测。实施方式认识到参考图片的概念可以被HEVC采用来支持单层内的时序运动补偿预测。RPS可以在图片的一个或者多个或者每个编码后的切片的切片报头中发送，并且可以被用来描述编码图片缓存(DPB)中的哪个/些参考图片可以被用来预测当前图片和/或未来图片。

表28描述了由实施方式涵盖的示例性短期参考图片集语法。一个或者多个或者每个参考图片可以通过变化POC(图片顺序计数)进行识别，所述变化POC可以为当前图片和参考图片(如上述描述的)之间的距离。进一步举POC例子，假定当前图片的POC为10并且编码器使用两个具有POC＝{9,7}的参考图片来对当前图片进行编码。编码器可以发送信号num_negative_pics＝2和num_positive_pics＝0。由于POC 10减去POC 9等于1，delta_poc_s0_minus1[0]值为0，并且由于POC 9减去POC 7等于2，delta_poc_s0_minus1[1]值为1。诸如当inter_ref_pic_set_prediction_flag等于1时，参考图片集还可以从活动参数集中的另一参考图片集中预测。

表28：示例性短期参考图片集语法

short_term_ref_pic_set(idx){	描述符
		inter_ref_pic_set_prediction_flag	u(1)
if(inter_ref_pic_set_prediction_flag){
		delta_idx_minus1	ue(v)
delta_rps_sign	u(1)
		abs_delta_rps_minus1	ue(v)
for(j＝0；j<＝NumDeltaPocs[RIdx]；j++){
		used_by_curr_pic_flag[j]	u(1)
if(！used_by_curr_pic_flag[j])
		use_delta_flag[j]	u(1)
}
		}
else{
		num_negative_pics	ue(v)

num_positive_pics	ue(v)
		for(i＝0；i<num_negative_pics；i++){
delta_poc_s0_minus1[i]	ue(v)
		used_by_curr_pic_s0_flag[i]	u(1)
}
		for(i＝0；i<num_positive_pics；i++){
delta_poc_s1_minus1[i]	ue(v)
		used_by_curr_pic_s1_flag[i]	u(1)
}
		}
}

在一些实施方式中，参考图片列表可以被用作P和/或B切片的单一预测的参考图片列表。对于P切片的解码过程，存在一个参考图片列表。对于B切片的解码过程，存在一个或者多个参考图片列表(例如，在两个列表-列表0和列表1处)和/或参考图片列表组合。

表29示出了被图5中的一个或者多个或者每个编码的图片使用的示例性参考图片集索引以及在解码图片缓存(DPB)中存储的参考图片集。给定如RPS所指示的可用参考图片，参考图片列表可以通过选择DPB中的一个或者多个可用参考图片的方式进行构造。HEVC可以支持使用一个或者多个(例如两个)参考图片列表，例如，RefPicList0和RefPicList1。在一些实施方式中，可能根据一个或者多个或者每个列表中的活动参考图片数(num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1)，一个或者多个或者每个切片可以在RefPicList0和RefPicList1中具有可变的参考图片数。

表29：每个列表具有1个参考图片的时序可缩放性的示例性参考图片列表

图13描述了指示如何标记针对当前图片的运动补偿预测的参考图片的示例。当前图片POC数为6并且其RPS可以为(-6,-4,-2,2)，指示DPB中的可用参考图片可以为图片0,2,4和8。在一些实施方式中，参考图片列表的大小可以取决于被允许用来运动补偿预测的参考图片数。在一些实施方式中，所允许的参考图片数可以为每个列表1个(例如，图13中的列表)。例如，参考图片列表0可以包含图片4和/或参考图片列表1可以包含图片8。运动补偿预测之后可以从图片4和/或图片8中预测当前图片(POC 6)的一个或者多个或者每个预测单元。

实施方式涵盖一种或者多种扩展参考图片集(RPS)信令从而支持HEVC的多层可缩放扩展的技术。在一些实施方式中，所述技术对单层HEVC RPS使用和/或信令(以及关联的参考图片缓存和/或列表构造程序)有用，同时扩展RPS信令从而支持针对可缩放编码的附加增强层。在一些实施方式中，针对增强层的层间RPS预测可以被用来节省参数集级和/或切片级处的RPS信令开销。在一些实施方式中，RPS语法和结构可以对HEVC中指定的单个层HEVC参考图片集有用。在一些实施方式中，针对时序预测的一个或者多个增强层的RPS可以从较低层的RPS中预测，可能为了节省比特开销等原因。在一些实施方式中，用于层间预测(ILP)的增强层的RPS可以从较低层的RPS中预测，可以为了节省比特开销等原因。在一些实施方式中，解码过程可以被定义成支持针对可缩放HEVC的参考图片集和/或列表构造。

在一些实施方式中，使用来自一个或者多个较低层的重构后的图片从而以通用可缩放编码方案对增强层的编码图片进行预测是有用的。实施方式认识到用信号发送参考图片列表中的层间参考图片的技术，所述参考图片列表可以在基于H.264视频编码标准的可缩放编码方案(和可能仅在所述方案中)中使用。实施方式认识到诸如HEVC的其它视频编码标准可以使用基于参考图片集的信令语法和针对运动预测的解码过程，其中所述层间参考图片不再被用信号发送并且无需参考图片集直接被解码。实施方式认识到可以被开发的可缩放HEVC可以基于针对兼容性考虑的HEVC标准。由一个或者多个实施方式涵盖的参考图片集信令和预测技术能够支持可缩放编码架构中的有效层间预测和/或满足此处描述的特征。

一种或者多种实施方式涵盖针对HEVC可缩放编码的一种或者多种短期参考图片集扩展设计。此外，一种或者多种实施方式涵盖短期参考图片集扩展的一种或者多种编码过程。此外，一种或者多种实施方式涵盖一种或者多种参考图片集列表构造。并且一种或者多种实施方式涵盖一种或者多种长期参考图片集预测设计。

一种或者多种实施方式涵盖针对HEVC可缩放编码的一种或者多种短期参考图片集扩展。在一些实施方式中，基层和增强层的时序参考图片集可以为相同的，例如，当所述基层和增强层两者正在使用相同的时序预测结构，诸如具有相同GOP大小和/或帧速率的低延迟预测和/或二元编码结构时。在多层可缩放编码中，增强层的时序参考图片集可以从基层或者具有相同时序预测结构的另一参考层(例如，用于当前层的层间预测的较低层可以被称作参考层)的时序参考图片集中预测(例如，估计)/获得。

表30为用于可缩放HEVC的示例性网络抽象层(NAL)单元结构。层_id(layer_id)可以在NAL单元报头中指定，layer_id可以指示当前数据单元属于哪一层。

表30：示例性NAL单元语法

表31描述了在由实施方式认识的HEVC中指定的示例性序列参数集(SPS)语法。

表31：示例性HEVC序列参数集语法

表32为示例切片报头语法。可能当短_期_参考_图片_集_sps_标志(short_term_ref_pic_set_sps_flag)等于0时，当前图片的短期RPS可以在切片报头中创建。所述切片报头还可以指定包括在当前图片的长期RPS中的长期参考图片的数目和/或语法。表32中还描述了可以在当前HEVC中指定的短期和/或长期RPS的语法。

表32：HEVC切片报头语法

表33为可以被用来引进针对增强层的短期参考图片集扩展的SPS语法的示例。对于基层(layer_id＝0)，一种实施方式的SPS可以等同于HEVC中指定的SPS。表中描述了一种或者多种实施方式涵盖的语法。

表33：启动RPS预测的示例性序列参数集语法

seq_parameter_set_rbsp(){	描述符
		......
if(log2_min_coding_block_size_minus3＝＝0)
		inter_4x4_enabled_flag	u(1)
if(layer_id){
		num_short_term_ref_pic_set_ext	ue(v)

for(i＝0；i<num_short_term_ref_pic_sets；i++)
		short_term_ref_pic_set_ext(i)
}
		else{
num_short_term_ref_pic_sets	ue(v)
		for(i＝0；i<num_short_term_ref_pic_sets；i++)
short_term_ref_pic_set(i)
		}
long_term_ref_pics_present_flag	u(1)
		tiles_or_entropy_coding_sync_idc	u(2)
......
		}

在一些实施方式中，数目_短_期_参考_图片_集_扩展(num_short_term_ref_pic_set_ext)可以指定出在序列参数集中指定的短期参考图片集扩展的数目。

在一种或者多种可缩放性使用的实施方式中，增强层的短期参考图片集扩展可以包括具有针对时序预测的参考图片的时序参考图片子集和/或具有来自针对层间预测(ILP)的参考层的参考图片的层间参考图片子集。表34描述了支持时序RPS子集(例如，表35)和/或层间RPS子集(例如，表36)的示例性涵盖的短期参考图片集扩展。以下表中描述了新提出的语法。

表34：示例性短期参考图片集扩展语法

short_term_ref_pic_set_ext(idx){	描述符
		st_temporal_rps(idx)
ilp_enable_flag	u(1)
		if(ilp_enable_flag)
st_ilp_rps(idx)
		}

表35：示例性短期时序参考图片子集

st_temporal_rps(idx){
		st_temporal_rps_prediction_flag	u(1)
if(st_temporal_rps_prediction_flag){
		temporal_ref_layer_id	u(v)
temporal_ref_rps_idx	u(v)
		rps_scale_factor_minus1	ue(v)
}
		else{
inter_ref_pic_set_prediction_flag	u(1)
		if(inter_ref_pic_set_prediction_flag){
delta_idx_minus1	ue(v)
		delta_rps_sign	u(1)
abs_delta_rps_minus1	ue(v)
		for(j＝0；j<＝NumDeltaPocs[RIdx]；j++){
used_by_curr_pic_flag[j]	u(1)
		if(！used_by_curr_pic_flag[j])
use_delta_flag[j]	u(1)
		}
}
		else{
num_negative_pics	ue(v)
		num_positive_pics	ue(v)
for(i＝0；i<num_negative_pics；i++){
		delta_poc_s0_minus1[i]	ue(v)
used_by_curr_pic_s0_flag[i]	u(1)
		}
for(i＝0；i<num_positive_pics；i++){
		delta_poc_s1_minus1[i]	ue(v)
used_by_curr_pic_s1_flag[i]	u(1)
		}
}
		}

表36：示例性短期层间参考图片子集

在一些实施方式中，等于1的st_时序_rps_预测_标志(st_temporal_rps_prediction_flag)可以启动从来自参考层的时序参考图片子集中的时序RPS子集的预测。在一些实施方式中，时序_ref_层_id(temporal_ref_layer_id)可以指定用于短期时序参考图片子集预测的参考层。在一些实施方式中，时序_参考_rps_idx(temporal_ref_rps_idx)可以指定被用于短期时序参考图片子集预测的时序参考图片层中的参考图片集索引。在一些实施方式中，rps_缩放_因子_减1(rps_scale_factor_minus1)可以指定缩放因子从而对RPS的变化POC进行缩放。在一些实施方式中，等于1的ilp_启动_标志(ilp_enable_flag)可以启动增强层ILP。在一些实施方式中，ilp_参考_层_id(ilp_ref_layer_id)可以指定被用于ILP的参考层。在一些实施方式中，等于1的colocated_ref_pic_present_flag可以指定来自被用作ILP的参考层的共存参考图片。在一些实施方式中，等于1的ilp_rps_prediction_flag可以指示层间参考图片子集可以从参考层的时序参考图片子集中预测。在一些实施方式中，ilp_ref_rps_idx可以指定被用于层间RPS子集预测的参考层的参考图片集的索引。在一些实施方式中，等于1的used_by_curr_ilp_pic_flag可以指定对应层间参考图片是否被用于针对ILP的当前增强层。

在一种或者多种实施方式中，短期RPS扩展可以提供灵活性从参考层的时序参考图片子集(short_term_ref_pic_set())(例如，在一些实施方式中，如果参考层为基层，时序参考图片子集可以与在HEVC中指定的短期RPS(short_term_ref_pic_set())相同)中预测独立的时序参考图片子集。所述短期RPS扩展还支持时序参考图片的显式信令，可能但不限于当参考图片子集不从任何参考层中预测的情况。

一种或者多种实施方式涵盖可缩放的编码方案可以将在参考层DPB中存储的重构后的图片利用为针对层间预测的参考图片，这是为了提高增强层的编码效率等原因。通过参考在给定参考层中的给定时序RPS和/或对通过发送每个图片一个比特的方式使用的那些参考图片进行标记的方式可以确定在参考层的DBP中的哪个图片可以在ILP中被用来预测当前的增强层图片。在一些实施方式中，在参考层DPB中存储的每个图片一个比特(和在一些实施方式中仅每个图片一个比特)可以被用来用信号发送ILP参考图片，与显式信令等结果相比，这样会引起降低的比特开销。在一些实施方式中，通过发送诸如变化POC值的方式还可以显式地用信号发送ILP参考图片。

在一些实施方式中，此处描述的图片集预测技术可以被利用于所述增强层的一个或者多个或者每个独立的参考图片集扩展。在一些实施方式中，诸如在空间和/或SNR可缩放使用的情况中，所述增强层的一部分和/或整个短期时序参考图片子集可以与给定参考层的短期参考图片集相同(在一些实施方式中可能如果图片组(GOP)的帧速率和/或大小为相同时)。部分和/或整个时序参考图片子集可以从参考层中预测。尽管未在表33和34中示出，附加的标志可以在参数集中添加，所述参数集可以指示当前层的时序参考图片子集可以与来自参考层中的时序参考图片子集相同。在一些实施方式中，可能当该标志被设置，用信号发送单独的时序参考图片子集(st_temporal_rps())可以从参考图片集扩展(short_term_ref_pic_set_ext())中忽略。

在一些实施方式中，基层的参考图片集可以包含(或者在一些实施方式中仅包含)用于基层内(例如，在针对ILP可用的基层之下不存在层)的时序预测的参考图片。在一些实施方式中，增强层的参考图片集扩展可以包含针对时序预测和/或层间预测的参考图片。在一些实施方式中，可能当使用多于一个增强层时，参考图片集扩展可以在两个或者多个增强层之间相同。在该场景中，尽管未在表33和34中示出，附加的标志可以被引入到参数集中，所述参数集可以指示出当前层的参考图片集(例如，包括时序子集和/或层间子集)可以大体上或者完全等同于给定参考层。在一些实施方式中，可能当该标志被设置时，参数“数目_短_期_参考_图片_集_扩展(num_short_term_ref_pic_set_ext)”和/或“短_期_参考_图片_集_扩展()(short_term_ref_pic_set_ext())”可以从参数集中忽略。

在一些实施方式中，被用于时序预测的参考图片(例如，如在时序参考图片子集中用信号发送)和/或来自被用于ILP的较低参考层的参考图片(例如，如在层间参考图片子集中用信号发送)可以在时域中共存。例如，所述参考图片可以具有与当前图片相同的POC距离(变化POC)。此外举例，如在图18中所示，为了预测当前图片，可以使用其三个时序参考图片和四个层间参考图片，其中在一些实施方式中，三对时序和/或层间参考可以被时序地共存。尽管具有来自一个或者两个层的多个参考图片可以改进编码性能，在一些实施方式中，其还可以引起系统复杂性增加。对于具有有限的DPB缓存大小和/或编解码器马力的应用诸如移动视频聊天或者视频通话，将在DPB缓存中存储的参考图片数可以被限制。在该场景中，实施方式涵盖进一步降低参考图片数的信令技术可以通过使用时序共存的参考图片配对中的一种(或者在一些实施方式中可能只有一个)被应用在可缩放的编码系统中。尽管未在表33和34中示出，可以引进附加的标志来降低复杂性。在一些实施方式中，可能当该标志被设置时，时序参考图片可以被来自参考层(例如，如果层间参考图片可用时)的时序共存的层间参考图片替代。在一些实施方式中，这样可以降低当前层DPB缓存中的参考图片数。

一种或者多种实施方式涵盖针对参考图片集扩展的解码过程。图15和16中描述了时序参考图片子集和层间参考图片子集的示例性解码过程。

一种或者多种实施方式涵盖一种或者多种针对参考图片集扩展的解码技术，其中在一些实施方式中，所述解码技术在每个图片被调用一次，可能在切片报头的解码之后，以及在一些实施方式中，可能在任何编码单元的解码之前和/或在针对所述切片的参考图片列表构造的解码过程之前。

一些实施方式涵盖图片顺序计数值的至少三个时序列表可以被构造成导出时序参考图片子集；分别具有NumPocStTCurrBefore、NumPocStTCurrAfter和NumPocStTFoll元素数目的PocStTCurrBefore、PocStTCurrAfter、PocStTFoll。

在一些实施方式中，图片顺序计数(POC)值的至少三个层间列表可以被构造成导出层间参考图片子集：分别具有NumPocStILCurrCol、NumPocStILCurrBefore、NumPocStILCurrAfter元素数目的PocStILCurrCol、PocStILCurrBefore、PocStILCurrAfter。

在一些实施方式中，可能如果当前图片为IDR图片，PocStTCurrBefore、PocStTCurrAfter、PocStTFoll、PocStIlpCurrCol、PocStIlpCurrBefore和/或PocStIlpCurrAfter可以被设置为空，并且NumPocStTCurrBefore、NumPocStTCurrAfter、NumPocStTFoll、NumPocStIlpCurrCol、NumPocStIlpCurrBefore和/或NumPocStIlpCurrAfter可以被设置为0。否则，在一些实施方式中，以下可以应用于导出图片顺序计数值的五个列表以及条目数：

在一些实施方式中，参考图片集可以包括至少五个参考图片列表：RefPicSetStTCurrBefore、RefPicSetStTCurrAfter、RefPicSetStTFoll、RefPicSetStIlpCurrCol、RefPicSetStIlpCurrBefore和/或RefPicSetStIlpCurrAfter。变量NumPocTotalCurr可以被设置等于NumPocStTCurrBefore+NumPocStTCurrAfter+NumPocStIlpCurrCol+NumPocStIlpCurrBefore+NumPocStIlpCurrAfter。当解码P或者B切片时，如果NumPocTotalCurr不等于0时对比特流有用。在一些实施方式中，针对参考图片集和/或图片标记的推导过程可以根据以下执行：

在一些实施方式中，以下适用于时序参考图片子集：

在一些实施方式中，以下适用于层间参考图片子集：

一种或者多种实施方式涵盖一种或者多种针对参考图片列表构造的解码技术。在一些实施方式中，这些技术可以在针对一个或者多个或者每个P或者B切片的解码过程开始时调用。变量NumRpsCurrTempList0被设置等于Max(num_ref_idx_l0_active_minus1+1,NumPocTotalCurr)并且列表RefPicListTemp0被构造如下：

在一些实施方式中，列表RefPicList0可以被默认构造成如下：

for(cIdx＝0；cIdX≤num_ref_idx_l0_active_minus1；cIdx++)

RefPicList0[cIdx]＝RefPicListTemp0[cIdx]

在一些实施方式中，可能当所述切片为B片时，变量NumRpsCurrTempList1可以被设置等于Max(num_ref_idx_l1_active_minus1+1,NumPocTotalCurr)并且列表RefPicListTemp1可以被构造如下：

在一些实施方式中，可能当所述片为B切片时，列表RefPicList1可以被默认构造成如下：

for(cIdx＝0；cIdX≤num_ref_idx_l1_active_minus1；cIdx++)

RefPicList1[cIdx]＝RefPicListTemp1[cIdx]

图13描述了示例性增强层时序参考图片子集构造过程。所述时序参考图片子集可以从给定参考层的给定时序参考图片子集中预测和/或从相同层内的现有参考图片子集中预测和/或显式地被用信号发送。图14描述了预测短期参考图片多个集和/或一个集扩展的许多示例性实施方式。

图16描述了示例性增强层层间预测(ILP)参考图片子集构造过程。所述ILP参考图片子集可以从来自给定参考层中的给定时序参考图片集中预测或者显式地被用信号发送。图17中描述了针对参考图片集扩展的示例性解码过程。所述解码器可以使用解析NAL单元报头从而可能根据layer_id确定所述单元是否用于基层或者增强层。在一些实施方式中，可能如果layer_id为0，NAL单元的有效载荷数据可以来自于基层，并且所述解码过程可以与HEVC编码标准兼容和/或对应的参考图片集可以按照HEVC标准所指定的那样导出。

在一些实施方式中，如果layer_id大于0时，NAL单元的有效载荷数据可以来自于增强层，和/或SPS报头可以按照此处描述的携带短期参考图片集扩展。

在一些实施方式中，时序参考图片子集可以存在于参考图片集扩展中。所述时序参考图片子集可以从从较低层预测的时序参考图片中和/或通过显式的信令进行构造。

在一些实施方式中，如果层间预测被启用(例如，ilp_enable_flag等于真)，层间参考图片子集可以被构造成标记DPB中可用的层间参考图片。共存的参考图片可以通过collocated_ref_pic_present_flag用信号表示和/或层间参考图片的剩余部分可以被显式地用信号发送或者来自诸如较低层的层间参考图片子集的预测中。

图19具有不同帧速率的双层二元和嵌套时序可缩放编码结构的示例。基层具有较低的帧速率并且其GOP大小可以为四，增强层具有高的帧速率并且其GOP大小可以为八。

表37为针对图19中示出的可缩放编码结构的预测示例。表38描述了与HEVC指定的显式RPS信令方式相比，一个或者多个或者每个RPS的示例性比特减少量。在一些实施方式中，可以实现多达70％比特节省。在一些实施方式中，可能与RPS间预测(JCTVC-G198)相比，可以实现附加的(例如显著的)比特节省。

表37：示例性时序RPS预测

表38：比特减少量示例

在一些实施方式中，当整个时序参考图片子集等同于基层或者参考层的RPS时，比特节省更为重要。在该场景中，一个1比特标志和/或1比特layer_id(0)可以被用来诸如从基层中复制增强层的整个时序参考图片子集。

一种或者多种实施方式涵盖一种或者多种针对参考图片列表构造的解码技术。参考图片列表可以包括由针对当前编码图片的运动补偿预测的参考图片集扩展所指示的参考图片的一部分或者全部。针对单层视频的参考图片列表的构造可以在HEVC中指定。实施方式涵盖针对可缩放HEVC编码，额外的层间参考图片可以被标记到参考图片列表中。

在一些实施方式中，参考图片列表中的时序参考图片可以以HEVC中指定的相同方式构造。层间参考图片可以在按照此处描述的那样在参考图片列表中标记。如果来自较低参考层的共存参考图片(例如，在与来自比当前层更低的层中的当前图片的相同时间情况下)可用时，共存的参考图片可以被放置在参考图片列表中的时序参考图片之前。如果额外的层间参考图片(例如，非共存的参考图片)被用于层间运动预测，这些参考图片可以被放置在参考图片列表中的这些时序参考图片之后。

在一些实施方式中，HEVC还可以支持如表32中所示的切片报头中的参考图片集的规范。在一些实施方式中，可能当短_期_参考_图片_集_sps_标志(short_term_ref_pic_set_sps_flag)等于零时，类似的RPS预测方法论还可以应用在切片级中。

表39描述了可以支持针对可缩放HEVC的短期RPS扩展的示例性切片报头语法改变。在一些实施方式中，由num_short_term_ref_pic_set_ext索引的RPS可以从参考层的切片报头中指定的RPS中预测(在可能适用的时候)。

表39：示例性可缩放HEVC切片报头语法

一种或者多种实施方式涵盖针对HEVC可缩放编码的长期参考图片集预测。长期参考图片集可以被包括在切片报头中。可能因为所述切片会比参数集更频繁地出现和/或多个切片可以被用于相同的帧等原因，切片报头中的节省比特开销为有用的。表32中描述了HEVC长期参考图片集语法方面。给定空间可缩放性和/或质量可缩放性场景等因素，对于基层和/或增强层，短期和/或长期RPS可以是类似的。在一些实施方式中，附加的标志可以被添加到切片报头中，所述附加标志可以指示长期RPS能否从来自诸如参考层中的长期RPS中预测。

表40描述了针对由一种或者多种实施方式涵盖的可缩放HEVC的示例性长期RPS预测语法。

表40：针对可缩放HEVC的长期RPS预测语法

slice_header(){	描述符
		......	u(1)
if(long_term_ref_pics_present_flag){
		if(！layer_id)
long_term_rps()
		else{
lt_rps_prediction_flag	u(1)
		if(lt_rps_prediction_flag){
ref_layer_id	u(v)
		lt_rps_idx	u(v)
rps_scale_factor_minus1	ue(v)
		}
else{
		long_term_rps()
}
		}
......

long_term_rps(){
		num_long_term_pics	ue(v)
for(i＝0；i<num_long_term_pics；i++){
		delta_poc_lsb_lt[i]	ue(v)
delta_poc_msb_present_flag[i]	u(1)
		if(delta_poc_msb_present_flag[i])
delta_poc_msb_cycle_lt_minus1[i]	ue(v)
		used_by_curr_pic_lt_flag[i]	u(1)
}

在一些实施方式中，等于1的lt_rps_prediction_flag可以指定相同的长期RPS可以从来自参考层中的所述片的切片报头中提取。在一些实施方式中，ref_layer_id可以指定包含相同长期RPS的参考层。在一些实施方式中，lt_rps_idx可以指定参考层的长期参考图片集的索引。在一些实施方式中，rps_scale_factor_minus1可以指定对来自参考层的长期参考图片集的变化POC进行放大的缩放因子。

鉴于上述描述和附图，一个或者多个实施方式涵盖至少一种用于视频编码的设备，该设备至少部分被配置成生成比特流。该比特流可以包括一个或多个参考图片集(RPS)扩展，所述一个或多个RPS扩展指示针对一个或多个解码图片缓存(DPB)的一个或多个层间参考图片。所述一个或多个DPB分别与一个或多个视频编码层相关联。

在一些实施方式中，所述设备还被配置使得所述所述比特流被生成以进一步包括所述一个或多个视频编码层中的视频编码层用作针对所述一个或多个视频编码层中的至少一个较高视频编码层的至少一个层间预测的参考层的至少一个指示。

在一些实施方式中，所述设备还被配置使得所述比特流被生成以进一步包括与所述一个或多个视频编码层中的第一视频编码层的DPB相关联的一个或多个层间参考图片中的至少一者还与所述一个或多个视频编码层中的第二视频编码层相关联的指示。

在一些实施方式中，所述一个或多个视频编码层中的第二视频编码层高于所述一个或多个视频编码层中的第一视频编码层。

在一些实施方式中，所述设备还被配置使得所述比特流被生成以进一步包括指示针对一个或多个DPB的一个或多个时序参考图片的一个或多个RPS扩展。所述比特流还包括一个或多个时序参考图片和一个或多个层间参考图片包括在至少一个参考图片列表中的指示。

在一些实施方式中，所述一个或多个层间参考图片包括一个或多个共存参考图片和一个或多个非共存参考图片。所述设备还被配置使得所述比特流被生成以进一步包括在所述一个或多个时序参考图片中的至少一者的位置之前和位置之后中的至少一者的位置处放置一个或多个共存参考图片在所述参考图片列表中的指示。

在一些实施方式中，所述设备还被配置使得所述比特流被生成以使得放置指示还指示在所述一个或多个时序参考图片中的至少一者的位置之前或位置之后中的至少一者的位置处放置一个或多个非共存参考图片中的至少一者。

在一些实施方式中，所述一个或多个层间参考图片包括一个或多个共存层间参考图片和一个或多个非共存层间参考图片。所述设备还被配置使得所述一个或多个RPS扩展指示针对一个或多个DPB的一个或多个共存层间参考图片。

在一些实施方式中，所述设备还被配置使得所述比特流被生成以进一步包括指示针对一个或多个DPB的一个或多个时序参考图片的一个或多个RPS扩展。所述比特流还包括一个或多个非共存层间参考图片中的至少一者能从一个或多个时序参考图片中预测的指示。

在一些实施方式中，所述设备还被配置使得所述比特流被生成以包括指示针对参数集内的一个或多个解码图片缓存(DPB)的一个或多个层间参考图片的一个或多个参考图片集(RPS)扩展。

在一些实施方式中，所述设备还被配置使得所述比特流被生成以进一步包括与第一视频编码层的第一DPB相关联的一个或多个层间参考图片包括在第二视频编码层的第二DPB中的至少一个指示。

在一些实施方式中，所述第二视频编码层高于所述第一视频编码层。

一种或者多种实施方式涵盖至少一种用于视频数据编码的设备，该设备至少部分被配置成生成比特流。该比特流包括一个或多个参考图片集(RPS)扩展，所述一个或多个RPS扩展指示一个或多个层间变化图片顺序计数(POC)。所述一个或多个POC分别与一个或多个视频编码层相关联。

在一些实施方式中，所述设备还被配置成生成所述比特流以进一步包括指示针对所述一个或多个视频编码层的一个或多个时序参考图片的一个或多个PRS扩展。

在一些实施方式中，所述设备还被配置使得所述比特流被生成以进一步包括与第一视频编码层相关联的一个或多个时序参考图片可以被用于第二视频编码层的指示。

在一些实施方式中，所述指示为一比特标志。所述第一视频编码层为基层和参考层中的至少一者。所述第二视频编码层为增强层。所述增强层高于所述第一视频编码层。

一种或者多种实施方式涵盖至少一种用于视频数据处理的设备，该设备至少部分被配置成生成第一视频编码层。所述第一视频编码层包括第一参考图片集(RPS)。所述第一RPS包括第一解码图片缓存(DPB)中的一个或者多个时序参考图片。所述设备还被配置成至少部分根据所述第一RPS的时序参考图片生成第二视频编码层。所述第二视频编码层包括第二RPS。所述第二RPS包括一个或者多个时序参考图片以及在第二DPB中的一个或者多个层间参考图片。所述设备还被配置成至少部分根据所述第一RPS和第二RPS中的至少一者生成第三视频编码层。

在一些实施方式中，根据高效视频编码(HEVC)协议生成所述至少第一视频编码层。

在一些实施方式中，所述设备还被配置成在所述第二视频编码层和所述第三视频编码层中的至少一者内执行时序上的运动补偿预测。

在一些实施方式中，第三视频编码层包括第三DPB。所述第三DPB包括包括在所述第一DPB和第二DPB中的至少一者中的一个或多个层间参考图片中的至少一者。

在一些实施方式中，所述设备还被配置使得生成所述第三视频编码层包括根据所述第一RPS和所述第二RPS的至少一者对第三RPS的一个或者多个时序参考图片的预测。

在一些实施方式中，所述设备还被配置成接收对所述第一RPS和所述第二RPS的至少一者进行缩放的指示。生成所述第三视频编码层包括根据缩放的第一RPS和缩放的第二RPS的至少一者对第三RPS的一个或者多个时序参考图片的预测。

在一些实施方式中，所述设备还被配置使得第二视频编码层的RPS扩展包括所述第二DPB的一个或多个时序参考图片的集合以及所述第二DPB的一个或多个流间参考图片的集合。所述第三视频编码层的RPS扩展可以从所述第二视频编码层的RPS扩展中预测。

虽然本发明的特征和元素以特定的结合在以上进行了描述，但本领域普通技术人员可以理解的是，每个特征或元素可以在没有其它特征和元素的情况下单独使用，或在与本发明的任何其它特征和元素结合的各种情况下使用。此外，本发明提供的实施方式可以在由计算机或处理器执行的计算机程序、软件或固件中实施，其中所述计算机程序、软件或固件被包含在计算机可读存储介质中。计算机可读介质的示例包括电子信号(通过有线或者无线连接而传送)和计算机可读存储介质。关于计算机可读存储介质的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁介质(例如，内部硬盘或可移动磁盘)、磁光介质以及CD-ROM光盘和数字多功能光盘(DVD)之类的光介质。与软件有关的处理器可以被用于实施在WTRU、UE、终端、基站、RNC或者任何主计算机中使用的无线电频率收发信机。

Claims

1.一种用于视频数据编码的解码设备，该设备包括：

存储器，包含解码图片缓存(DPB)；

接收机，该接收机被配置至少用于：

接收比特流，该比特流包含：

针对基础层及至少一增强层的信息；

指明了至少一参考图片集(RPS)的信息，该至少一RPS指明了所述DPB内可用于当前增强层图片的预测的一个或多个时序参考图片；以及

指明了至少一层间RPS的信息，该至少一层间RPS指明了所述DPB内可用于当前增强层图片的预测的一个或多个层间参考图片；以及

接收指示符，该指示符提供比对所述当前增强层图片进行解码时用于层间预测的参考图片的数量小1的第一值；以及

处理器，该处理器被配置至少用于：

将所述第一值加一以形成第二值；

基于所述至少一RPS、所述至少一层间RPS以及所述第二值，构建至少一参考图片列表，该至少一参考图片列表包含至少一层间参考图片；以及

使用所述至少一参考图片列表，解码所述当前增强层图片。

2.根据权利要求1所述的设备，其中所述处理器还被配置以使得所述构建所述至少一参考图片列表包含使用所述第二值来选择由所述至少一层间RPS所指明的所述层间参考图片中的一者或多者以包含在所述至少一参考图片列表内。

3.根据权利要求1所述的设备，其中所述处理器还被配置以使得所述构建所述至少一参考图片列表包括包含至少一时序参考图片。

4.根据权利要求1所述的设备，其中所述一个或多个层间参考图片来自低于所述当前增强层图片的层的一个或多个层。

5.一种用于视频数据编码的方法，该方法包括：

经由接收机接收比特流，该比特流包含：

针对基础层及至少一增强层的信息；

指明了至少一参考图片集(RPS)的信息，该至少一RPS指明了解码图片缓存(DPB)内可用于当前增强层图片的预测的一个或多个时序参考图片；以及

经由所述接收机接收指示符，该指示符提供比对所述当前增强层图片进行解码时用于层间预测的参考图片的数量小1的第一值；

经由处理器将所述第一值加一以形成第二值；

经由所述处理器基于所述至少一RPS、所述至少一层间RPS以及所述第二值，构建至少一参考图片列表，该至少一参考图片列表包含至少一层间参考图片；以及

经由所述处理器使用所述至少一参考图片列表，解码所述当前增强层图片。

6.根据权利要求5所述的方法，其中所述构建所述至少一参考图片列表包含使用所述第二值来选择由所述至少一层间RPS所指明的所述层间参考图片中的一者或多者以包含在所述至少一参考图片列表内。

7.根据权利要求5所述的方法，其中所述构建所述至少一参考图片列表包括包含至少一时序参考图片。

8.根据权利要求5所述的方法，其中所述一个或多个层间参考图片来自低于所述当前增强层图片的层的一个或多个层。