CN105765979A - 用于可缩放视频编码的层间预测 - Google Patents

Abstract

公开了系统、方法和手段用于使用增强层间参考(EILR)图片作为用于编码增强层的层间预测的参考图片来增加层间预测的效率。层间参考(ILR)图片的亮度分量和色度分量可以被增强。高频信息可通过使用高通滤波器处理层间运动补偿(ILMC)图片被得到。低频信息可以通过使用低通滤波器处理ILR图片被得到。所述EILR图片可以根据高频信息、低频信息和/或ILR图片被生成。

Description

用于可缩放视频编码的层间预测

相关申请的交叉引用

本申请要求2013年9月24日提交的美国临时专利申请No.61/881,801的权益，其公开内容整体通过引用的方式结合于此。

背景技术

视频编码系统可以用于压缩数字视频信号以减少使用的存储资源和/或这样的信号的传输带宽。在各种不同类型的视频编码系统间，如基于块的、基于小波的和/或基于对象的系统，可以共同使用并部署基于块的混合视频编码系统。基于块的视频编码系统的示例可以包括国际视频编码标准，诸如MPEG1/2/4第2部分，H.264/MPEG-4第10部分AVC和VC-1标准。高效率视频编码(HEVC)标准也可以遵循基于块的混合视频编码框架。

发明内容

公开了系统、方法和手段以使用增强层间参考(EILR)图片作为用于增强层图片的层间预测的参考图片来增加层间预测的效率。层间参考(ILR)图片的亮度分量和/或色度分量可以被增强。高频信息可通过使用高通滤波器处理层间运动补偿(ILMC)图片而被得到。低频信息可以通过使用低通滤波器处理ILR图片而被得到。所述EILR图片可以根据高频信息、低频信息和/或ILR图片被生成。

视频编码方法可以包括接收第一参考图片和第二参考图片。第一参考图片可以使用高通滤波器被处理以生成高频信息。第二参考图片可以使用低通滤波器被处理以生成低频信息。预测器可以根据高频信息和低频信息的线性组合来生成。

附图说明

图1A是可以实施一个或多个公开的实施方式的示例通信系统的系统图；

图1B是可以在图1A示出的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图；

图1C是可以在图1A示出的通信系统中使用的示例无线电接入网和示例核心网的系统图；

图1D是可以在图1A示出的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图；

图1E是可以在图1A示出的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图；

图2是示出示例性视频编码系统的框图；

图3是示出示例视频解码系统的框图；

图4是示出示例可缩放(scalable)视频编码系统的框图；

图5是示出示例两层可缩放视频解码系统的框图；

图6是示出示例层间预测处理和管理子系统的图；

图7是示出原始增强层图片和层间预测(ILP)图片之间的处理的示例的图；

图8A-8C是示出原始增强层图片和时间参考及层间参考(ILR)图片之间的示例失真的图片；

图9是示出ILR增强的示例的框图；

图10是示出ILR增强的另一个示例的框图；

图11是示出ILR增强的又一个示例的框图；

图12是示出ILR增强的示例的流程图；

图13是示出示例EILR映射的图；

图14是示出ILR增强的另一个示例的流程图；

图15是示出ILR增强的示例的框图。

具体实施方式

现在参考附图描述示例性实施方案的详细描述。虽然该说明提供了可能的实施的详细示例，但是应当注意细节旨在是示例性的，决不以任何方式限制本申请的范围。

图1A是在其中可以实施一个或更多个实施方式的示例通信系统的图。通信系统100可以是向多个用户提供例如语音、数据、视频、消息发送、广播等内容的多接入系统。通信系统100可以使多个无线用户能够通过系统资源共享(包括无线带宽)访问这些内容。例如，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)，时分多址(TDMA)，频分多址(FDMA)，正交FDMA(OFDMA)，单载波FMDA(SC-FDMA)等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、和/或102d(其通常或整体上被称为WTRU102)，无线电接入网(RAN)103/104/105，核心网106/107/109，公共交换电话网(PSTN)108、因特网110和其他网络112。不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将WTRU102a、102b、102c、102d配置为发送和/或接收无线信号，并可以包括用户设备(UE)、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。

通信系统100还可以包括基站114a和基站114b。基站114a、114b的每一个都可以是配置为与WTRU102a、102b、102c、102d中的至少一个无线对接以便于接入一个或者更多个通信网络，例如核心网106/107/109、因特网110和/或网络112的任何设备类型。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B、演进的节点B(e节点B)、家庭节点B、家庭eNB、站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b的每一个被描述为单独的元件，但是应该理解的是，基站114a、114b可以包括任何数量互连的基站和/或网络元件。

基站114a可以是RAN103/104/105的一部分，RAN103/104/105还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。可以将基站114a和/或基站114b配置为在特定地理区域之内发送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站114a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站114a可以包括三个收发信机，即每一个用于小区的一个扇区。在另一种实施方式中，基站114a可以采用多输入多输出(MIMO)技术，因此可以将多个收发信机用于小区的每一个扇区。

基站114a、114b可以通过空中接口115/116/117与WTRU102a、102b、102c、102d中的一个或者更多个通信，该空中接口115/116/117可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口116。

更具体地，如上所述，通信系统100可以是多接入系统，并可以采用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN103/104/105中的基站114a和WTRU102a、102b、102c可以实施例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

在另一种实施方式中，基站114a和WTRU102a、102b、102c可以实施例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115/116/117。

在其他实施方式中，基站114a和WTRU102a、102b、102c可以实施例如IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSMEDGE(GERAN)等等的无线电技术。

图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或者接入点，例如，并且可以使用任何适当的RAT以方便局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站114b和WTRU102c、102d可以实施例如IEEE802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中，基站114b和WTRU102c、102d可以实施例如IEEE802.15的无线电技术来建立无线个域网(WPAN)。在另一种实施方式中，基站114b和WTRU102c、102d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由核心网106/107/109而接入到因特网110。

RAN103/104/105可以与核心网106/107/109通信，所述核心网106/107/109可以是被配置为向WTRU102a、102b、102c、102d中的一个或更多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务等的任何类型的网络。例如，核心网106/107/109可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，例如用户认证。虽然图1A中未示出，应该理解的是，RAN103/104/105和/或核心网106/107/109可以与采用和RAN103/104/105相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN103/104/105之外，核心网106/107/109还可以与采用GSM无线电技术的另一个RAN(未示出)通信。

核心网106/107/109还可以充当WTRU102a、102b、102c、102d接入到PSTN108、因特网110和/或其他网络112的网关。PSTN108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络112可以包括连接到一个或更多个RAN的另一个核心网，该RAN可以采用和RAN103/104/105相同的RAT或不同的RAT。

通信系统100中的WTRU102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU102a、102b、102c、102d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图1A中示出的WTRU102c可被配置为与基站114a通信，所述基站114a可以采用基于蜂窝的无线电技术，以及与基站114b通信，所述基站114b可以采用IEEE802无线电技术。

图1B是WTRU102示例的系统图。如图1B所示，WTRU102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138。应该理解的是，WTRU102可以在保持符合实施方式的同时，包括前述元件的任何子组合。而且，实施方式考虑了基站114a和114b、和/或基站114a和114b可以表示的节点可以包括图1B中描绘的及于此描述的某些或所有元件，其中，除了其它之外，节点诸如但不限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进节点B(HeNB)、家庭演进节点B网关、及代理节点。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU102运行于无线环境中的任何其他功能。处理器118可以耦合到收发信机120，所述收发信机120可耦合到发射/接收元件122。虽然图1B描述了处理器118和收发信机120是单独的部件，但是应该理解的是，处理器118和收发信机120可以一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口115/116/117将信号发送到基站(例如，基站114a)，或从基站(例如，基站114a)接收信号。例如，在一种实施方式中，发射/接收元件122可以是被配置为发送和/或接收RF信号的天线。在另一种实施方式中，作为示例，发射/接收元件122可以是被配置为发送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件122可以被配置为发送和接收RF和光信号两者。应当理解，发射/接收元件122可以被配置为发送和/或接收无线信号的任何组合。

另外，虽然发射/接收元件122在图1B中描述为单独的元件，但是WTRU102可以包括任意数量的发射/接收元件122。更具体的，WTRU102可以采用例如MIMO技术。因此，在一种实施方式中，WTRU102可以包括用于通过空中接口115/116/117发送和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。

收发信机120可以被配置为调制要由发射/接收元件122发送的信号和/以及解调由发射/接收元件122接收的信号。如上面提到的，WTRU102可以具有多模式能力。因此收发信机120可以包括使WTRU102经由多个例如UTRA和IEEE802.11的RAT来进行通信的多个收发信机。

WTRU102的处理器118可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器118还可以输出用户数据到扬声器/麦克风124、键盘126和/或显示/触摸板128。另外，处理器118可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，例如不可移动存储器130和/或可移动存储器132。不可移动存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移动存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中，处理器118可以从在物理位置上没有位于WTRU102上，例如位于服务器或家用计算机(未示出)上的存储器访问信息，并且可以将数据存储在该存储器中。

处理器118可以从电源134接收电能，并且可以被配置为分配和/或控制到WTRU102中的其他部件的电能。电源134可以是给WTRU102供电的任何适当的设备。例如，电源134可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。

处理器118还可以耦合到GPS芯片组136，所述GPS芯片组136可以被配置为提供关于WTRU102当前位置的位置信息(例如，经度和纬度)。另外，除来自GPS芯片组136的信息或作为其替代，WTRU102可以通过空中接口115/116/117从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，WTRU102在保持符合实施方式的同时，可以通过任何适当的位置确定方法获得位置信息。

处理器118还可以耦合到其他外围设备138，这其中可以包括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备138可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图1C是根据实施方式的RAN103和核心网106的系统图。如上面提到的，RAN103可采用UTRA无线电技术通过空中接口115与WTRU102a、102b、102c通信。RAN103还可以与核心网106通信。如图1C所示，RAN103可以包括节点B140a、140b、140c，节点B140a、140b、140c的每一个包括一个或更多个用于通过空中接口115与WTRU102a、102b、102c通信的收发信机。节点B140a、140b、140c的每一个可以与RAN103内的特定小区(未显示)关联。RAN103还可以包括RNC142a、142b。应当理解的是，RAN103在保持符合实施方式的同时，可以包括任意数量的节点B和RNC。

如图1C所示，节点B140a、140b可以与RNC142a通信。此外，节点B140c可以与RNC142b通信。节点B140a、140b、140c可以通过Iub接口分别与RNC142a、142b通信。RNC142a、142b可以通过Iur接口相互通信。RNC142a、142b的每一个可以被配置以控制其连接的各个节点B140a、140b、140c。另外，RNC142a、142b的每一个可以被配置以执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

图1C中所示的核心网106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支持节点(GGSN)。尽管前述元件的每一个被描述为核心网106的部分，但是应当理解的是，这些元件中的任何一个可以被不是核心网运营商的其它实体拥有或运营。

RAN103中的RNC142a可以通过IuCS接口连接至核心网106中的MSC146。MSC146可以连接至MGW144。MSC146和MGW144可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN108)的接入，以便于WTRU102a、102b、102c和传统陆地线路通信设备之间的通信。

RAN103中RNC142a还可以通过IuPS接口连接至核心网106中的SGSN148。SGSN148可以连接至GGSN150。SGSN148和GGSN150可以向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU102a、102b、102c和IP使能设备之间的通信。

如上所述，核心网106还可以连接至网络112，网络112可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

图1D是根据实施方式的RAN104和核心网107的系统图。如上面提到的，RAN104可采用E-UTRA无线电技术通过空中接口116与WTRU102a、102b、102c通信。RAN104还可以与核心网107通信。

RAN104可包括e节点B160a、160b、160c，但可以理解的是，在保持与实施方式相符的同时，RAN104可以包括任意数量的e节点B。eNB160a、160b、160c的每一个可包括一个或更多个用于通过空中接口116与WTRU102a、102b、102c通信的收发信机。在一种实施方式中，e节点B160a、160b、160c可以实施MIMO技术。因此，e节点B160a例如可以使用多个天线来向WTRU102a发送无线信号和/或从其接收无线信号。

e节点B160a、160b、160c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线资源管理决策、切换决策、上行链路和/或下行链路中的用户调度等等。如图1D所示，e节点B160a、160b、160c可以通过X2接口相互通信。

图1D中所示的核心网107可以包括移动性管理实体(MME)162、服务网关164和/或分组数据网络(PDN)网关166。虽然前述单元的每一个被描述为核心网107的一部分，应当理解的是，这些元件中的任意一个可以由除了核心网运营商之外的其它实体拥有和/或运营。

MME162可以经由S1接口连接到RAN104中的e节点B160a、160b、160c的每一个，并可以作为控制节点。例如，MME162可以负责认证WTRU102a、102b、102c的用户、承载激活/去激活、在WTRU102a、102b、102c的初始附着期间选择特定服务网关等等。MME162还可以提供控制平面功能，用于在RAN104和使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。

服务网关164可以经由S1接口连接到RAN104中的eNB160a、160b、160c的每一个。服务网关164通常可以向/从WTRU102a、102b、102c路由和转发用户数据分组。服务网关164还可以执行其他功能，例如在eNB间切换期间锚定用户平面，当下行链路数据对于WTRU102a、102b、102c可用时触发寻呼，管理和存储WTRU102a、102b、102c的上下文(context)等等。

服务网关164还可以连接到PDN网关166，PDN网关166可以向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU102a、102b、102c与IP使能设备之间的通信。

核心网107可以便于与其他网络的通信。例如，核心网107可以向WTRU102a、102b、102c提供到电路交换网络(例如PSTN108)的接入，以便于WTRU102a、102b、102c与传统陆地线路通信设备之间的通信。例如，核心网107可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网107与PSTN108之间的接口。另外，核心网107可以向WTRU102a、102b、102c提供到网络112的接入，该网络112可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。

图1E是根据实施方式的RAN105和核心网109的系统图。RAN105可以是使用IEEE802.16无线电技术通过空中接口117与WTRU102a、102b、102c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU102a、102b、102c，RAN105和核心网109的不同功能实体之间的链路可以被定义为参考点。

如图1E所示，RAN105可以包括基站180a、180b、180c和ASN网关182，但应当理解的是，在保持与实施方式相符的同时，RAN105可以包括任意数量的基站和ASN网关。基站180a、180b、180c的每一个可以与RAN105中特定小区(未示出)关联并可以包括一个或更多个通过空中接口117与WTRU102a、102b、102c通信的收发信机。在一个实施方式中，基站180a、180b、180c可以实施MIMO技术。因此，基站180a例如可以使用多个天线来向WTRU102a发送无线信号，以及从其接收无线信号。基站180a、180b、180c可以提供移动性管理功能，例如呼叫切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN网关182可以充当业务聚集点，并且负责寻呼、缓存订户简档(profile)、路由到核心网109等等。

WTRU102a、102b、102c和RAN105之间的空中接口117可以被定义为实施IEEE802.16规范的R1参考点。另外，WTRU102a、102b、102c的每一个可以与核心网109建立逻辑接口(未显示)。WTRU102a、102b、102c和核心网109之间的逻辑接口可以定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。

基站180a、180b、180c的每一个之间的通信链路可以定义为包括便于WTRU切换和基站间转移数据的协议的R8参考点。基站180a、180b、180c和ASN网关182之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU102a、102b、102c的每一个关联的移动性事件的移动性管理的协议。

如图1E所示，RAN105可以连接至核心网109。RAN105和核心网109之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网109可以包括移动IP本地代理(MIP-HA)184，认证、授权、计费(AAA)服务器186和网关188。尽管前述的每个元件被描述为核心网109的部分，应当理解的是，这些元件中的任意一个可以由不是核心网运营商的实体拥有或运营。

MIP-HA可以负责IP地址管理，并可以使WTRU102a、102b、102c在不同ASN和/或不同核心网之间漫游。MIP-HA184可以向WTRU102a、102b、102c提供分组交换网络(例如因特网110)的接入，以促进WTRU102a、102b、102c和IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可促进与其他网络互通。例如，网关可以向WTRU102a、102b、102c提供电路交换网络(例如PSTN108)的接入，以促进WTRU102a、102b、102c和传统陆地线路通信设备之间的通信。此外，网关188可以向WTRU102a、102b、102c提供网络112，其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

尽管未在图1E中显示，应当理解的是，RAN105可以连接至其他ASN，并且核心网109可以连接至其他核心网。RAN105和其他ASN之间的通信链路可以定义为R4参考点，其可以包括协调WTRU102a、102b、102c在RAN105与其他ASN之间的移动的协议。核心网109和其他核心网之间的通信链路可以定义为R5参考点，其可以包括促进本地核心网和被访问核心网之间的互通的协议。

根据公开的主题，层间预测的效率可以通过使用增强层间参考(EILR)图片作为用于增强层图片的层间预测的参考图片而被增加。层间参考(ILR)图片的亮度分量和/或色度分量可以被增强。高频信息可通过使用高通滤波器处理层间运动补偿(ILMC)图片来得到。低频信息可通过使用低通滤波器处理ILR图片来得到。EILR图片可以根据高频信息、低频信息和/或ILR图而被产生。

图2示出示例的基于块的混合视频编码系统200。输入视频信号202可被逐块处理。视频块单元可以包括16×16像素。这种块单元通常也可以被称为宏块或MB。在HEVC中，扩展块尺寸，被称为编码单元或CU，可以用于有效率地压缩高分辨率视频信号，例如具有1080p或更高的分辨率。CU可以是正方形，且可以有灵活的大小。最大尺寸能够在序列的基础上被设置，并且可以是例如64×64像素。CU可以进一步被划分为预测单元或PU，对此应用单独预测方法。针对输入视频块(MB或CU)，空间预测和/或时间预测可以分别在260和262被执行。空间预测(例如，或内预测)可以使用来自相同视频图片/片(slice)中的已经编码的相邻块的像素来预测当前视频块。空间预测可减少视频信号中固有的空间冗余。时间预测(例如，也被称为间预测或运动补偿预测)可以使用来自该已经编码的视频图片的像素来预测当前视频块。时间预测可以降低在视频信号中固有的时间冗余。例如如果使用多个参考图片，用于给定视频块的时间预测信号可包括一个或多个运动向量和/或一个或多个参考图片索引。可以包括这些参考图片索引以标识该时间预测信号可以来自参考图片存储264中的哪些参考图。在空间和/或时间预测之后，编码器中的模式决定块280可以例如基于速率失真优化方法选择预测模式，例如，可以选择最佳的预测模式。在216，预测块可以从当前视频块被减去。该预测残差可在204被变换和/或可以在206被量化。量化的残差系数可以在210被逆量化和/或在212被逆变换，以形成重构的残差，其可在226被加回到该预测块，以形成重构的视频块。在重构的视频块被放入到参考图片存储264并用于编码将来的视频块之前，进一步的环路滤波，如解块滤波器和/或自适应环路滤波器可以在266被应用到该重构的视频块。为了形成输出视频比特流220，编码模式(间或内)、预测模式信息、运动信息、和/或量化残差系数可被发送给熵编码单元208以被进一步压缩并打包，以形成该比特流。

图3给出了基于块的视频解码器300的一般性框图，其可以对应于图2的基于块的混合视频编码系统200。视频比特流302可以在熵解码单元308被解包和熵解码。编码模式和预测信息可以被发送到空间预测单元360(如果是内编码)或时间预测单元362(如果是间编码)，以形成预测块。所述残差变换系数可被发送到逆量化单元310和/或逆变换单元312以重构残差块。预测块与残差块可在326被加在一起。该重构块可以进一步在其被存储在参考图片存储364中之前经过环路滤波。参考图片存储364中的重构视频可以被发出以驱动显示设备，以及用于预测将来的视频块。

数字视频服务可以指通过卫星、电缆和/或地面广播频道的电视服务。然而，由于在移动设备上的因特网开始变得更加成熟，尤其是最近智能电话和平板电脑在分辨率和计算能力上的增长，越来越多的视频应用，如视频聊天、移动视频记录和共享、以及视频流可以在异构环境中使用视频传输。考虑各种消费设备(如电脑，智能手机，平板电脑，电视)的被称为三屏和N屏的情况可以容纳设备上的视频消费，在计算能力、内存/存储尺寸、显示分辨率、显示帧率等方面有宽泛变化的能力。另外，网络和传输信道在分组丢失率、可用信道带宽、突发错误率等方面也可具有宽泛变化的特性。此外，视频数据可以通过有线网络和无线网络的组合来传送视频数据，进一步使得基础传输信道特性复杂。在这样的情况下，可缩放视频编码可提供有吸引力的解决方案，以改善在异构网络上具有不同能力的设备上运行的视频应用的体验质量。可缩放视频编码可涉及在最高表现(时间分辨率、空间分辨率、质量等)编码信号一次。可以依据可以运行在特定客户端设备上的某些应用使用的特定速率和表现实现从视频流的子集解码。可缩放视频编码与不可缩放方案相比能够节约带宽和存储。国际视频标准MPEG-2视频、H.263、MPEG4视觉和H.264具有支持一些可缩放性(scalability)的模式的工具和/或简档。HEVC可以包括称为SHVC的可缩放扩展。

图4示出示例可缩放视频编码系统400。两层可缩放编码系统可以包括基础层和增强层。这两个层之间的空间分辨率可以是不同的，例如，可以应用空间可缩放性。基础层编码器402，例如，HEVC编码器，可逐块编码基础层视频输入404，并可以例如根据图2中示出的示例生成基础层比特流406。增强层编码器408可逐块编码增强层视频输入410，并可以例如根据图2中示出的示例生成增强层比特流412。为了改善可缩放系统的编码效率，当增强层视频输入410被编码时，从基础层重构视频的信号相关性可用于改善其预测精度。例如，基础层重构视频可被处理，并且经处理的基础层图片的至少一些可以被插入到增强层DPB414，并且可以用于预测增强层视频输入。在图4所示的示例中，基础层视频输入404和增强层视频输入410可以是本质上在不同的空间分辨率表示的相同视频源。它们可经由下采样过程彼此对应。层间处理和管理子系统416可以作为层间预测处理的部分执行上采样操作，用于将基础层重构的空间分辨率与增强层视频的空间分辨率对准。除了分别由基础层编码器402和增强层编码器408产生的基础层比特流406和增强层比特流412，ILP处理和管理子系统416也可以产生某些层间预测信息。例如，ILP信息可以包括被应用的层间处理的类型、在处理中使用的参数(例如，使用的上采样滤波器)，其中的一个或多个处理的基础层图片应该被插入到增强层DPB中，等等。基础层比特流和增强层比特流及ILP信息可以被例如复用器418复用在一起，以形成可缩放的比特流420。

图5示出两层可缩放视频解码器500，其可对应于图4的可缩放编码器400。解码器500可以以相对于编码器400的相反顺序执行相应操作。可缩放比特流502例如由解复用器504首先被解复用成基础层比特流506、增强层比特流508以及ILP信息510。基础层解码器512可解码基础层比特流506，并且可以产生基础层重构514。ILP处理和管理子系统516可以接收ILP信息510，并且可以根据接收的ILP信息510处理该基础层重构514。ILP处理和管理子系统516可以也根据接收的ILP信息510选择性地将处理的基础层图片的一个或多个插入到增强层DPB518中。增强层解码器520可利用时间参考图片和层间参考(ILR)图片(例如处理的基础层图片)的组合解码增强层比特流508，以重构增强层视频522。术语“层间参考图片”和“处理的基础层图片”这里可互换使用。

图6示出示例ILP处理和管理子系统600。ILP处理和管理子系统600可以包括用于处理基础层(BL)纹理样本和/或运动场的组件。层间纹理预测部分602例如可包括多个阶段。在604，BL重构图片在其被上采样之前可以被增强。在606，当BL分辨率比在空间可缩放性中的增强层(EL)分辨率低时，可以执行上采样。上采样的输出可以具有与EL相同的分辨率。在上采样的图片被放入ELDPB610中之前，另一增强可以在608被执行以进一步改善ILR图片的质量。一个或多个阶段可以被省略。例如，在SNR可缩放性中，其中BL图片与EL图片具有相同的分辨率，但质量较低，可以跳过三个阶段的一个或多个，例如，BL重构图片可以被直接插入到ELDPB用于层间预测。例如，在空间可缩放性中，上采样可以在606执行，而增强可以在604和608被省略，以使上采样的BL重构图片与EL图片具有相同的分辨率。在604和608的增强可以用于改善ILR图片的质量，从而实现在EL编码中的更高效率。

除了层间纹理预测部分602，其可以用于生成ILR图片中的样品，运动场处理部分612可以用于通过利用基础层和增强层中运动信息的相关性来生成ILR图片的运动场(例如，包括运动向量和参考索引)。运动场映射(MFM)614可被用于生成运动场。作为这两个部分的输出的层间图片除了增强层中的时间参考图片之外还能够用作另外的参考图片，其还可以包括2D样本阵列和运动场，并以此改善增强层编码的效率。

在可缩放系统中执行图片级ILP，例如仅图片级ILP，可以降低实施的复杂性。在块级的基础层和增强层编码器级解码器逻辑可以再次使用而不用改动。涉及将一个或多个处理的基础层图片插入到增强层DPB中的高级(例如，图片/片级)配置可以被涉及。块级变化可以在可缩放系统中被允许以促进除了图片级层间预测之外还促进块级层间预测。

EL编码器可以针对EL编码在ELDPB中选择参考图片。例如，EL编码器可以选择ILR图片，其可以是层间预测处理和管理子系统的输出；和/或时间参考图片，其可以是之前编码的EL图片。ILR图片和时间参考图片可以有不同的特点。

如图6所示，可以通过应用过程来生成ILR图片。层间纹理预测可以涉及上采样BL纹理(例如，如果空间比>1)或BL纹理复制(例如，如果空间比＝1)。运动场映射可以根据BL和EL视频之间的相对缩放比来缩放压缩的BL运动场，其例如可以包括BL块预测模式、一个或多个运动向量和/或一个或多个参考图片索引，以生成用于ILR图片中的16×16块的运动信息。在应用这些过程后，ILR图片可以被添加到ELDPB。

如图6所示，可以基于从BLDPB616取得的重构BL图片生成该ILR图片。但是ILR图片的质量可能不够好来用于有效的增强的层间预测。例如，BL图片可以利用较粗量化被编码，例如，用更高的量化参数(QP)值。当应用较粗量化时，BL重构纹理可以包括不期望的编码伪像，例如块效应、振铃效应、伪色(colorartifacts)等。这可以减少层间纹理预测的有效性。在空间可缩放性的情况下，BL图片可以具有小于EL图片的空间分辨率，例如，图4中的下采样处理可以被应用。为了降低混叠，下采样滤波器可以减少或消除视频信号中的高频信息。其结果是，ILR图片中的纹理信息可能缺乏某高频信息，和/或可以不能够提供用于编码EL视频的有效的预测信息。

图7示出原始EL图片700和其相应的1LR图片702之间的处理的示例。下采样可在704被应用以生成原始BL图片706。下采样也可以被省略，例如，在SNR可缩放性的情况中。编码器708可编码BL图片以生成编码的BL图片710。层间预测处理和管理子系统712可以生成ILR图片702。

为了示出在ILR图片中的丢失的高频信息，图8B和8C示出图8A中的原始EL图片800与图8B中的EL时间参考图片802的差异以及与图8C中的ILR图片804的差异的示例。在对象的边缘，例如在高频，ILR图片804与原始EL图片800之间可以有大的差异。

与图8C中的差异图片比较，图8B中的时间参考图片802可能不会显示这种丢失的高频信息。来自时间参考图片802的高频信息可以被用于增强ILR图片的质量。层间运动补偿(ILMC)图片或混合ILR图片可以被生成。该ILMC图片可以包括在ILR图片中缺少的高频分量。高频分量可以使用高通滤波器从EL参考图片被提取以增强ILR图片的质量。低通滤波器可被应用到ILR纹理样本，例如，以减少可能由对BL编码引入的ILR图片中的意外的噪声信息。来自ILR图片的低频和来自ILMC图片的高频的组合可以针对增强层图片的层间预测提供比ILR图片更好的质量。

可从EL时间参考图片提取的高频信息和可以从ILR图片提取的低频信息可以被组合以改善ILR图片的质量且用于EL编码的预测效率可被改善。层间运动补偿(ILMC)子系统可将运动补偿应用到EL时间参考，例如使用BL运动信息来生成ILMC图片。自适应滤波器可以被设计并应用到ILMC和/或ILR图片。过滤的ILMC图片和过滤的ILR图片可被组合以提高ILR图片的质量。滤波器系数可以被量化和/或适当用信号发送，由此开销可以在比特流中是可负担的且性能上没有损失。ILR增强方法可以基于图片级和/或块级速率失真(RD)决定被启用和/或禁用。

可以生成预测器。例如，可以从EL时间参考图片提取的高频信息和可以从ILR图片提取的低频信息可以被组合以产生预测器。预测器可用于EL编码的层间预测。预测器的一个示例可以是增强层间参考(EILR)图片。这里参照EILR图片所述的一个或多个示例可以适用于预测器，反之亦然。例如，ILR图片的亮度和色度分量可以被增强以产生EILR图片，例如如本文中所描述的。

可生成EILR图片的亮度分量。图9示出了EILR图片的亮度分量生成的一个示例。可以例如通过使用关于EL时间参考图片的映射的BL运动信息应用运动补偿来生成用于EL编码的层间参考图片。针对在时间t位于位置(x,y)的ILMC图中的块B_ILMC,t(x，y)，mvx和mvy可以分别表示映射的BL运动向量MV_BL,t的水平和垂直分量。当相应的BL块是被单向预测时，可以根据等式(1)通过对在EL时间参考图片EL_x中(mvx,mvy)指示的匹配块进行运动补偿来生成块B_ILMC,t(x，y)：

B_ILMC，t(x，y)＝B_ILR，t(x+mvx，t+mvy)(1)

当相应的BL块是被双向预测时，可以通过根据等式(2)组合从两个EL时间参考图片EL_x0和EL_x1得到的两个预测分量来生成块B_ILMC,t(x，y)：

$B_{ILMC,t}(x,y)=\frac{B_{EL,x0}(x+{\mathrm{mvx}}_0,y+{\mathrm{mvy}}_0)+B_{EL,x1}(x+{\mathrm{mvx}}_1,y+{\mathrm{mvy}}_1)}{2}---\left(2\right)$

其中(mvx₀，mvy₀)和(mvx₁，mvy₁)可以是分别指向参照图片EL_x0和EL_x1的运动向量。当相应的BL块是被内编码时，B_ILMC,t(x，y)的采样可以直接从ILR图片中的共位的块的采样复制，如等式(3)指出：

B_ILMC，t(x，y)＝B_ILR，t(x，y)(3)

EL纹理信息可以包括可以通过下采样和/或上采样过程被除去以生成ILR图片的高频信息。ILR图片中的模糊的边缘和纹理可以根据ILMC图片的对应的高频信息被恢复。该ILR图片可以从重构的BL图片被直接生成，如果分辨率在BL视频和EL视频之间不同，则该重构的BL图片可以被上采样。ILR图片的质量可以取决于BL图片的质量，其可以包括意外噪声和/或量化误差。降级的ILR图片质量可能反过来导致EL视频的低效编码。对于EL编码可以通过组合ILMC图片的高频和ILR图片的低频例如以补偿ILR图片的丢失高频、量化误差和/或噪声导致的质量损失来增强层间预测。在时刻t给定ILR图片902和ILMC图片904，对应的EILR图片906可通过应用高通滤波器908到ILMC图片904和应用低通滤波器910到ILR图片902并在912添加过滤后的信号而被生成，如等式(4)所指示的并在图9中示出。

${\mathrm{EILR}}_t=f_{LP}\⊗{\mathrm{ILR}}_t+f_{HP}\⊗{\mathrm{ILMC}}_t---\left(4\right)$

其中代表2-D卷积。如等式(4)所示，可以从一个或多个滤波过程来生成EILR图片。然而，等式(4)的其它变型也可以被有效地应用。例如，对于一些EL图片，可能有利的是将低通滤波器应用到ILR图片而不将高通滤波器应用到ILMC图片，例如，它可能有利的是将ILR图片的低通分量专用于EL层间预测。对于一些EL图片，可能有利的是将高通滤波器应用到ILMC图片而不将低通滤波器应用到ILR图片，例如，它可能有利的是添加高频信息到未过滤的ILR图片。这种情况可以适用于SNR可缩放性，其中BL图片与EL图片具有相同的分辨率。可以减少ILR图片中的高频信息的下采样/上采样过程可以在生成ILR图片中被省略。对于另外其他EL图片，可能有利的是一起添加高通滤波的ILMC图片和低通滤波的ILR图片，如等式(4)所示。此外，在这高通滤波器和低通滤波器均可以被应用生成EILR图片的情况下，给定滤波器训练过程的复杂性与EILR图片质量之间的不同折中考量，可以联合或分开导出(derive)这两个滤波器。

许多方法可以用于生成EILR图片。

可以通过将低通滤波器应用到ILR图片来生成EILR图片。

可以通过将从高通滤波的ILMC图片得到的高频信息添加到未滤波的ILR图片来生成EILR图片。

可以通过组合从高通滤波的ILMC图片得到的高频信号和从低通滤波的ILR图片得到的低频信号来生成EILR图片。可以例如通过同时优化这两个滤波器来联合导出这两个滤波器。

可以通过组合从高通滤波的ILMC图片得到的高频信息和从低通滤波的ILR图片得到的低频信息来生成EILR图片。这两个滤波器可以分开导出，由此高通滤波器可以利用ILR图片被初始导出作为训练过程的部分。在将高频滤波器应用到ILMC图片之后，可以基于高通滤波的ILMC图片导出低通滤波器。还可能基于ILR图片首先导出并应用低通滤波器且基于滤波后的ILR图片导出高通滤波器。

本文公开了用于滤波器系数的详细推导过程的示例。

如在等式(1)和(2)中所示，映射的BL运动向量MV_BL,t可被用于生成相应的ILMC图片。映射的BL运动向量可以从BL图片的压缩的运动场或BL图片的未压缩的运动场导出。当使用压缩的BL运动场时，相应的BL运动可以以16×16块的单元被描述，例如16×16块可具有相同的运动信息，而4x4块的单元可用于未压缩的BL运动场。此外，如果未压缩的运动被用于ILMC图片生成，则在相应EL图片的编码和/或解码之后可以延迟BL运动场的压缩。压缩的BL运动场可以用于后面的BL图片的时间运动向量预测。使用未压缩的BL运动场可以在等式(4)中提供EILR图片的更好的质量改善，但有可能导致更高的计算复杂度。

如果通过基于相应的映射BL运动信息针对ILMC图片中的块应用运动补偿预测可以在块级(block-wise)生成ILMC图片，则两个相邻ILMC块可以具有不同的运动向量，并可以相邻ILMC块之间产生不期望的块效应(例如相邻ILMC块之间的假边界)。当这样的ILMC图片用于在等式(4)中导出高通滤波器时，假边界可能严重降低了设计的高通滤波器系数的精度，因此降低EILR图片的质量。针对EILR图片中的块，运动补偿预测的扩展块大小可以被认为在ILMC图片中生成用于提取高通信息的相应区域，如等式(4)所示。例如，如果EILR图片的块具有块尺寸N×N和M×M的高通滤波器，则根据等式(1)和(2)，在每个方向中具有长度的扩展块可以用于在ILMC图片中生成用于高通滤波的相应区域。

在等式(1)和(2)中，被映射的BL运动向量，其可以用于生成ILMC块，可以指向整数位置或分数位置。具有分数像素精度的运动补偿可涉及内插处理用于计算在分数像素位置的采样值，这可导致在EILR图片生成的高计算复杂度和存储器接入需求。等式(1)和(2)中的映射的BL运动向量可以在形成相应ILMC块之前被取舍到最近的整数像素位置，例如以避免这样的分数运动补偿内插。

所述EILR图片的色度分量可以以多种方式来生成。

可以通过直接复制ILR图片的色度分量来生成EILR图片的色度分量，例如不用除了复制操作的色度分量的进一步处理。

可以通过复制来自ILMC图片的色度分量来生成EILR图片的色度分量。如果相应的BL块被间编码，则EILR块的色度分量可以通过使用映射的BL运动信息对EL时间参考图片的色度分量应用运动补偿预测来获得。如果相应的BL块被内编码，可以通过从ILR图片复制色度块生成EILR块的色度分量。

可以通过使用如本文所述的亮度分量的相同ILR增强方法生成EILR图片的色度分量以便生成EILR图片的色度分量。EILR图片的色度分量可以通过组合在ILMC图片中的色度分量的高频和ILR图片中的色度分量的低频来生成，如等式(4)中所示。

可以使用ILMC色度分量和ILR色度分量的加权预测来生成EILR图片的色度分量。

可构造参考列表。所生成的EILR图片可被添加到EL参考图片列表用于层间预测。给定ILR图片和EILR图片由于不同的生成方法可具有不同的特性，ILR图片和EILR图片均可以被包括在EL参考图片列表中。如果EL片是P片，则ETLR图片可以被加入作为在参考列表L0中ILR图片之后的一个附加参考图片。如果EL片是B片，ETLR图片可被放置在参考列表LI的末尾，而ILR图片可被放置在参考列表L0的末尾。

为了降低编码/解码复杂度，如果EL片是B片，EILR可以用来替换参考列表L0和参考列表L1中的ILR图片

该EILR图片可以通过使用用信号发送的(例如在片级显式地用信号发送的)ILR图片重排序命令被插入到列表L0、列表L1或这两者中。参考图片列表中可以添加EILR图片的位置可以被选择。该决定可以基于之前编码的图片中的EILR图片的使用。例如，如果EILR图片使用正在增加，则EILR图片能够在列表中向前移动。如果EILR图片使用正在减少，那么它能够相应地向后移动。

在等式(4)中的高通滤波器和低通滤波器的滤波器系数可以被导出。例如，为了导出最佳的滤波器系数f_opt(I,j)，包括该高通滤波器和/或低通滤波器的系数，其能够最小化在时刻t的原始EL图片(可以被表示为Org_EL,t)与生成的EILR图片EILR_t之间的失真。依据选择的生成EILR图片的方法，不同的方法可以被应用以导出最佳滤波器系数，如本文所述。

如图10所示，EILR图片1002可以通过应用低通滤波器1004到ILR图片1006而被生成。等式(4)可以被简化为

${\mathrm{EILR}}_t=f_{LP}\⊗{\mathrm{ILR}}_t---\left(5\right)$

线性最小均方误差(LMMSE)估计方法可被应用以导出低通滤波器1004的最佳系数。LMMSE模块可以使用LR_t和Org_EL,t的采样作为输入训练数据集，并且可以输出该最佳滤波器系数，由此Org_EL,t与EILR_t之间的失真可以被降低或最小化，如等式(6)所示。

f_opt＝argmin[Σ_x，y(∑_i，jf_LP(i，j)×ILR_t(x+i，y+j)-Org_ELt(x，y))²](6)

为了确保导出的系数f_LP的低通性质，其可以在LMMSE训练过程期间被执行，系数f_LP的总和可以等于1。

如图11所示，可通过将由高通滤波器1106从ILMC图片1104得到的高频信息添加到ILR图片1108而被生成。等式(4)可以被简化为

${\mathrm{EILR}}_t={\mathrm{ILR}}_t+f_{HP}\⊗{\mathrm{ILMC}}_t---\left(7\right)$

LMMSE模块可以使用ILMC_t、ILR_t和Org_EL,t的采样作为输入训练数据集，并可以基于等式(8)中的LMMSE估计输出最佳滤波器系数。

f_opt＝argmin[Σ_x，y(Σ_t，ff_HP(i，j)×ILMC_t(x+i，y+j)+ILR_t(x，y)-Org_EL，t(x，y))²](8)

为了确保导出的系数f_HP的高通性质，其可以在LMMSE训练过程期间被执行，系数f_HP的总和可以等于零。

如图9所示，EILR图片906可以通过组合由高通滤波器908从ILMC图片904得到的高频信息和由低通滤波器910从ILR图片902得到的低频信息而被生成，例如根据等式(4)。f_HP和f_LP可以通过解决LMMSE问题被联合导出，例如如在等式(9)中指示的。

f_opt＝argmin[Σ_x，y(Σ_i，jf_HP(i，j)×ILMC_t(x+i，y+j)+Σ_i，jf_LP(i，j)×ILR_t(x+

i，y+j)-Org_EL，t(x，y))²](9)

为了确保生成的EILR图片的能量可以符合该ILR图片的能量，且可以在LMMSE训练过程期间被执行，f_HP和f_LP的分量的总和可以等于1。

两个滤波器的系数的联合导出可以实现在原始EL图片和输出EILR图片之间最小化失真方面的滤波器系数的全局最佳解。然而，给定单个训练过程的输入系数的数量增加，该联合训练方法可以涉及相乘和倒置大矩阵，这可以增加LMMSE训练过程的计算复杂度。从联合训练方法导出的滤波器系数可以不是高通滤波器和低通滤波器，例如，可以是高通滤波器和/或低通滤波器以外的。为了保证输出滤波器的高通特性和低通特性，受约束的联合导出方法可以被应用来通过执行f_HP是高通滤波器和f_LP是低通滤波器来计算f_HP和f_LP的滤波器系数。例如，该滤波器系数f_HP和f_LP也可以基于等式(9)被导出，但具有约束条件：f_HP的系数的总和等于0，且f_LP的系数的总和等于1。为了降低复杂性并确保两个输出滤波器的高通性质和低通性质，可以分开导出这两个滤波器的系数。f_HP的系数可以基于等式(8)通过使用ILR图片的采样作为用于LMMSE训练的输入并执行系数的总和可以等于0而被导出。导出的滤波器f_HP可以被应用到ILMC图片ILMC_t以生成相应高频图片通过使用的采样作为输入，在训练过程的第二阶段，f_HP的系数可以通过求解等式(10)中的LMMSE估计问题(具有约束条件：滤波器系数的总和可以等于1)而被得到。

$f_{\mathrm{opt}}=\arg \min \left[{\mathrm{\Σ}}_{x,y}{({\mathrm{ILMC}}_t^h(x,y)+{\mathrm{\Σ}}_{t,f}{f}_{\mathrm{LP}}(i,j)\×{\mathrm{ILR}}_t(x+i,y+j)-{\mathrm{Org}}_{\mathrm{EL},y}(x,y))}^2\right]---\left(10\right)$

无约束联合导出方法可被应用以计算滤波器系数。在无约束联合导出方

法中，f_HP可以不被约束到高通滤波器，和/或f_LP可以不被约束到低通滤波器，例如f_HP和/或f_LP可以是任意滤波器。

滤波器的尺寸可以与开销的大小和计算复杂度成比例。例如，3×3滤波器可以有9个滤波器系数要被传送，并且可以涉及9个乘法和八个加法以过滤一个采样，并且5×5滤波器可以有25个滤波器系数要被传送，并且可以涉及25个乘法和24个加法以过滤一个采样。更大的滤波器能够提供更好的结果。滤波器大小可被选择以实现计算复杂性、开销和性能的平衡。模拟结果表明3×3的滤波器尺寸产生用于该方法的满意的折中。滤波器尺寸可以由用户改变，例如，以实现特定的编码系统的复杂性和性能之间的不同平衡。

本文所公开的滤波器导出方法可以被实施由此ILMC图片和ILR图片的可用采样可以用于LMMSE训练过程。虽然所生成的EILR可以改善EL编码的层间预测效率，但是EILR图片的质量可以通过应用多遍编码被进一步增加。在这种情况下，滤波器系数可以被导出两次。例如，第一导出过程可使用可用的采样(例如，如本文所述)用于LMMSE训练。所得的滤波器系数可用于生成用于编码EL图片的相应EILR图片。在EL图片被编码之后，编码器可以记录EL图片参考的EILR采样的位置。在第二遍中，编码器可以使用这些参考采样位置来导出滤波器系数。滤波器系数的第二集合可以比滤波器系数的第一集合更好，因为从第二遍得到的滤波器系数可以增加和/或最大化用于EL预测的EILR像素的质量，而从第一遍得到的滤波器系数可能由于过度增强非参考EILR像素而牺牲参考的EILR像素的质量。

滤波器(例如，固定的预定义的滤波器)可用于低通滤波器和/或高通滤波器。在这种情况下，被应用到ILR图片和/或ILMC图片的滤波器可从之前定义的滤波器的列表中选择。这个列表可为解码器所知。如果列表为解码器所知，滤波器系数可以不用信号发送；而是，可以用信号发送用于所选择的一个或多个滤波器的一个或多个索引。例如，这些滤波器可被设计以反映不同的空间缩放比，反映高频的预期损失。预定义的滤波器还可以通过避免滤波器导出过程来简化编码复杂度。

训练的滤波器可以有实数值系数，其可在被传输之前被量化。实数值滤波器f_float可以由整数值滤波器近似，其可以被表示为f_int。均匀量化器可被用于量化。量化器的精度可以关于系数的动态范围来选择。量化器的精度可取决于用于训练滤波器的方法。例如，针对单独使用低频信息或组合高频信息的滤波器训练方法量化器的精度可以是每系数四个比特，而针对使用高频信息的滤波器训练方法可以是每系数六个比特。如果其他量化器针对特定编码系统执行地更好，则用户可以选择该其他量化器。

例如量化器步长k的因子可以用于描述实数值滤波器和整数值滤波器之间的关系，如等式(11)所示。

f_float＝f_int×k(11)

在等式(11)中，因子k可以是实数值。为了在比特流中用信号发送该因子k，因子k可以根据等式(12)用两个整数值M和N而被近似。

$k\≈\frac{M}{2^N}---\left(12\right)$

该因子k能够被应用为乘数，具有整数值M，之后在右边是N个比特的比特移位。一旦浮动点k被计算，其M和N的整数近似能够使用等式(13)和(14)来计算。

$N=min\{2^{n\_bits}-1,max\[0,Round\left({\log }_2\right(\frac{2^{m\_bits}}{abs\left(k\right)}\left)\right)\]\}---\left(13\right)$

M＝min{2^m_bit5-1，Round[abs(k)×2^N+0.5]}(14)

其中n_bits是因子N的比特数，m_bits是因子M的比特数，Round(x)表示x向下一个整数值的下取舍，abs(x)表示x的绝对值，以及min(x,y)和max(x,y)分别表示x和y的最小和最大值。

k可以等于量化器步长。由于在量化过程期间的取舍问题，k的实际值可以与量化器步长略有不同。例如，如果滤波器系数的总和可以等于32，可能发生的是总和可以等于附近的值，例如31或33。因子k可以被进一步优化，例如使用基于能量的优化和/或基于系数的优化。

在基于能量的k导出中，例如，因子k可基于能量计算被优化。依据使用的滤波器训练方法，不同的能量可以被计算。Sum_LP(x,y)可以代表在位置(x,y)的采样的低通滤波过程期间的总和。Sum_HP(x,y)可以代表在位置(x,y)的采样的高通滤波过程期间的总和。这里等式(27)和(28)中公开了这些求和。

可以训练低通ILR滤波器，例如只有低通ILR滤波器。因子k可以被计算由此EILR图片和原始EL图片之间的失真能量可以被降低或最小化。可以如等式(15)中描述的来计算k。

$k=\frac{{\Σ}_{x,y}{\mathrm{Sum}}_{LP}(x,y)\×{\mathrm{Org}}_{EL,t}(x,y)}{{\Σ}_{x,y}{\mathrm{Sum}}_{LP}(x,y)\×{\mathrm{Sum}}_{LP}(x,y)}---\left(15\right)$

可以训练高通ILMC滤波器，例如，只有高通ILMC滤波器。因子k可以被计算由此过滤的ILMC图片和原始差值图片之间的失真能量被减小或最小化。原始差值图片可以被定义为原始EL图片和ILR图片之间的差。可以如在等式(16)中所述的来导出k。

$k=\frac{{\Σ}_{x,y}{\mathrm{Sum}}_{HP}(x,y)\×\left({\mathrm{Org}}_{EL,t}\right(x,y)-{\mathrm{ILR}}_t(x,y\left)\right)}{{\Σ}_{x,y}{\mathrm{Sum}}_{HP}(x,y)\×{\mathrm{Sum}}_{HP}(x,y)}---\left(16\right)$

对于两个滤波器的联合训练，EILR图片和原始EL图片之间的失真能量可以被减小或最小化。可以如在等式(17)中所述的来计算k。

$k=\frac{{\Σ}_{x,y}\left({\mathrm{Sum}}_{LP}\right(x,y)+{\mathrm{Sum}}_{HP}(x,y\left)\right)\×{\mathrm{Org}}_{EL,t}(x,y)}{{\Σ}_{x,y}\left({\mathrm{Sum}}_{LP}\right(x,y)+{\mathrm{Sum}}_{HP}(x,y\left)\right)\×\left({\mathrm{Sum}}_{LP}\right(x,y)+{\mathrm{Sum}}_{HP}(x,y\left)\right)}---\left(17\right)$

多个因子(例如两个因子)可以用于多个因子(例如两个滤波器)的单独训练。用于ILMC滤波器的因子k_HP可以基于等式(18)来计算。

$k_{HP}=\frac{{\Σ}_{x,y}{\mathrm{Sum}}_{HP}(x,y)+\left({\mathrm{Org}}_{EL,t}\right(x,y)-{\mathrm{ILR}}_t(x,y\left)\right)}{{\Σ}_{x,y}{\mathrm{Sum}}_{HP}(x,y)+{\mathrm{Sum}}_{HP}(x,y)}---\left(18\right)$

ILMC滤波器可以使用因子k_HP被应用到ILMC图片，产生ILMC_t,filt。ILR滤波器可以被应用到ILR图片，不考虑因子，因为因子k_LP还没有被计算，产生ILR_t,filt。在应用滤波器之后，用于ILR滤波器的第二因子k_LP可以根据等式(19)来计算。

$k_{LP}=\frac{{\Σ}_{x,y}{\mathrm{Sum}}_{LP}(x,y)+\left({\mathrm{Org}}_{EL,t}\right(x,y)-{\mathrm{ILMC}}_{t,filt}(x,y\left)\right)}{{\Σ}_{x,y}{\mathrm{Sum}}_{LP}(x,y)+{\mathrm{Sum}}_{LP}(x,y)}---\left(19\right)$

一旦k或在单独训练的情况中，这两个因子k_HP和k_LP被计算，等式(13)和(14)可以被应用以找到因子(一个或多个)的整数近似。针对单独的训练，这两个因子k_HP和k_LP可以是不同的。可以使用M和N的两个集合；一个集合(M_HP和N_HP)用于k_HP，另一个集合(M_LP和N_LP)用于k_LP。

该方法可以适用于独立于其独立求和的各种类型的滤波器。即使可能在比特率中用信号发送M和N，用信号发送整数M和N的开销可以是相对较小的。

在基于系数的k的导出中，因子k可以基于滤波器系数的值被计算。如果浮点系数的求和等于1，则可以应用该方法。这种情况针对使用单独的低频信号或结合高频信号的滤波器训练方法和联合导出滤波器训练方法的ILR滤波器。因子k可以使用等式(20)来计算。

$k=\frac{1}{sum\_filter\_coeff}---\left(20\right)$

sum_filter_coeff是滤波器系数的总和。

在比特流中可以传送或可以不传送M和N，因为也能够在解码器处计算系数的总和。其可以被应用，例如如果浮点系数的总和等于1。

在滤波器被设计和/或量化之后，滤波器可分别被应用于ILMC图片和/或ILR图片。两个滤波器的输出可以被组合以形成EILR图片。等式(21)-(31)描述了滤波器输出的滤波和组合的示例。在等式(21)-(31)中，表示填充区的尺寸，例如当滤波器的尺寸是SxS时到当前采样的每一侧的滤波器范围。

当训练ILR滤波器时，该过程可以由等式(21)-(23)描述。

$Sum(x,y)={\mathrm{\Σ}}_{i=-n}^n{\mathrm{\Σ}}_{j=-n}^{n}ILR(x+i,y+j)\×h_{LP}(i,j)---\left(21\right)$

ILR_filt(x，t)＝Round{[abs(Sum(x，y)×M_LP)+(1<<(N_LP-1))]>>N_LP}×

sign(sum(x，y)×M_LP)

(22)

EILR(x，y)＝Clip(ILR_filt(x，y))(23)

当训练ILMC滤波器时，该过程可以通过等式(24)-(26)来描述。

$Sum(x,y)={\mathrm{\&Sigma;}}_{i=-n}^n{\mathrm{\&Sigma;}}_{j=-n}^{n}ILMC(x+i,y+j)\&times;h_{HP}(i,j)---\left(24\right)$

ILMC_filt(x，y)＝Round{[abs(Sum(x，y)×M_HP)+(1<<(N_HP-1))]>>N_HP}×

sign(Sum(x，y)×M_HP)(25)

EILR(x，y)＝Clip(ILR(x，y)+ILMC_filt(x，y))(26)

如果训练两个滤波器，该过程可以由等式(27)-(31)来描述。

${\mathrm{Sum}}_{HP}(x,y)={\mathrm{\&Sigma;}}_{i=-n}^n{\mathrm{\&Sigma;}}_{j=-n}^{n}ILMC(x+i,y+j)\&times;h_{HP}(i,j)---\left(27\right)$

${\mathrm{Sum}}_{LP}(x,y)={\mathrm{\&Sigma;}}_{i=-n}^n{\mathrm{\&Sigma;}}_{j=-n}^{n}ILR(x+i,y+j)\&times;h_{LP}(i,j)---\left(28\right)$

ILMC_filt(x，y)＝Round{[abs(Sum(x，y)×M_HP)+(1<<(N_HP-1))]>>N_HP}×

sign(Sum_HP(x，y)×M_HP)(29)

ILR_filt(x，t)＝Round{[abs(Sum_LP(x，y)×M_LP)+(1<<(N_LP-1))]>>N_LP}×

sign(Sum_LP(x，y)×M_LP)(30)

EILR(x，y)＝Clip(ILR_filt(x，y)+ILMC_filt(x，y)(31)

在这些等式中，abs(x)可表示的x的绝对值，<<x和>>x可以表示左和/或右比特移位x个比特位置。Sign(x)可以返回x的符号，以及min(x，y)和max(x，y)可以分别返回x和y的最小值和/或最大值。M和N的下标可以指示该因子是属于HP滤波器还是属于LP滤波器。在联合滤波器导出过程的情况下，所述因子针对这两个滤波器可以是相等的。Round()运算符是指后面的项下取舍到下一个整数值。1<<(N_LP/HP-1)项可以是该取舍运算的部分。在等式(22)，(26)和(31)中，EILR采样的值可以被修剪到被使用的位深的动态范围，例如到针对8比特采样的0至255的范围。

该ILR增强可以被选择性地启用和/或禁用。所生成的EILR图片可以能够或可以不能够改善用于EL视频序列的图片的层间预测，尤其是给定另外的信令开销，例如滤波器系数和参数，如归一化因子。为了这个目的，基于拉格朗日RD成本的比较可以用于启用和/或禁用对图片或片级的ILR增强方法。例如，关于是否启用或禁用EILR图片的使用的决定可以基于分别根据等式(32)和等式(33)比较当EILR图片被禁用时的情况(RD_ILR)和当EILR图片被启用时的情况的成本。

RD_ILR＝D_ILR(32)

RD_EILR＝D_EILR+λ×(num_bits_coeff+num_bits_factor)(33)

其中D_ILR和D_ElLR可以分别表示当与原始EL图片比较时ILR和EILR图片的失真。不同度量可被应用以导出失真，例如但不限于，平方差和(SSE)、绝对差和(SAD)和/或绝对变换差和(SATD)。num_bits_coeff可以是编码被量化的滤波器系数的开销，而num_bits_factor可以是编码因子M及其相应移位N的开销。λ可以是拉格朗日加权因子。如果RD_EILR小于RD_ILR，则EILR图片可以显示关于EL编码的性能比ILR图片更好的增强层间预测质量与增加开销之间的折中。该ILR增强方法可被启用用于EL图片。否则(例如，如果RD_ElLR大于或等于RD_ILR)，ILR增强可针对EL图片被禁用。ILR增强的使用可以通过高级信令方法用信号通知给解码器侧。

基于拉格朗日RD的图片级切换方法可以通过对ILR图片的采样应用基于区域的增强而被进一步改善。在使用图片级切换中相同的滤波器可以被应用到ILR图片的采样。虽然平均ILR图片质量能够得到改善，但是有可能的情况是该ILR图片的一些区域的质量可以增加，而其他区域的质量可能变差。为了改善ILR图片的质量，基于区域的切换方法可以用于决定增强方法是否应被应用于特定的区域。区域可以是在任何级别和任何尺寸的操作单元，例如，在图片中指定的尺寸和位置的区域，一组块(例如LCU、CU、PU)等等。针对基于区域的切换方法，所述EILR图片可以照常被生成。EILR图片和原始EL图片之间的失真及ILR图片和原始EL图片之间的失真可以分别在选择的操作级被比较。例如，基于区域的方法可在64×64块级操作。如果尺寸64×64的EILR单元的失真低于在给定位置的尺寸64×64的相应ILR单元的失真，则EILR单元的采样可以仍然被用于生成EILR图片。否则，例如，如果EILR失真大于或等于ILR失真，则ILR单元的采样可用于替代EILR单元的采样。该ILR增强的使用可以针对区域用信号通知，由此解码器能够生成用于解码的相同EILR图片。可以生成EILR图(map)。该EILR图可以包括用于区域(例如64×64块)的一个标志，指示区域是否被增强。为了降低比特流的开销，该EILR图可使用某些流行的源编码方法(例如，exponential-Goiomb码、游程长度码和/或算术码)被压缩。

图12示出了有和没有EILR图的示例ILR增强过程1200。在1202和1204，可以生成ILMC图片，而不管EILR图是否被使用。在1206和1208，一个或多个滤波器可被训练。在1210和1212，生成EILR图片，无论EILR图是否被使用。如果使用EILR图，可以生成EILR图片，并且所述EILR图片可被更新(在1214)。EL图片可以在1216被编码。图13示出了示例EILR图1300，描绘增强(EILR)块1302和未增强(ILR)块1304。

给定EILR图1300，编码器可以知道EILR采样质量可能超过ILR采样的质量的区域。这种知晓可以改善层间预测的效率，例如通过针对滤波器系数应用第二导出过程。在第二导出过程中，ILR增强被启用的区域1302的采样可用于训练滤波器系数，例如，可以省略的区域1304的采样。

图14示出了使用两个滤波器导出过程的示例ILR增强过程1400。在1402，可以生成ILMC图片。一个或多个滤波器可以在1404被训练。EILR图片可在1406被生成。EILR图可以在1408被生成。该图可以在1410用于滤波器训练。在1412，EILR图片可以基于EILR图被生成。

为了应用EL的层间预测的ILR增强，EILR图、量化的整数滤波器系数以及缩放因子可在比特流中作为片头的一部分用信号发送，让解码器再生成同样EILR图片用于解码。例如，表1示出当联合滤波器导出过程被应用具有滤波器系数的4比特精度的片头的修改的信令的示例。

表1.修改的片段头

标志eilr_enabled_flag可以具有1值，如果ILR增强针对当前片被启用。标志eilr_enabled_flag可以具有0值，如果ILR增强针对当前片被禁用。

值eilr_coeff_hp_plus8[i]减8可以指定用于ILR增强的高通滤波器的第i个系数。eilr_coeff_hp_plus8[i]的值应在0..15的范围中(包含两端)。

值eilr_coeff_lp_plus8[i]减8可以指定用于ILR增强的低通滤波器的第i个系数。eilr_coeff_lp_plus8[i]的值应在0..15的范围中(包含两端)。

值eilr_scaling_factor_abs可指定用于逆量化滤波器系数的缩放因子的绝对值。

值eilr_scaling_factor_sign可以指定用于逆量化滤波器系数的缩放因子的符号。

值eilr_bit_shift可以指定当逆量化滤波器系数时在缩放操作之后右移位的比特数。

语义元素num_coeff_hp和num_coeff_lp可以分包指定高通滤波器和低通滤波器的系数的数。

不同的ILR增强方法可以用于生成EILR图片。对选择哪种方法的决定能够针对序列级和/或图片/片级做出。如果针对序列级做出该决定，所选的方法可以用于多个图片，例如视频序列的所有图片。所选的ILR增强方法可以在任何参数集用信号发送，例如视频参数集(VPS)、序列参数集(SPS)和/或图片参数集(PPS)。如果对图片/片级做出决定，不同的图片/片能够使用不同的ILR增强方法。默认方法可以针对序列级被选择并且可以针对在图片级且在图片级用信号发送的特定图片选择不同的方法。

除了针对EL图片使用一个特定ILR增强方法的选择方法，也可能使用多个ILR增强方法，例如以生成多个EILR图片。EILR图片可以表现出不同的特性且当用作EL编码的参考图片时可以提供不同的预测信号。例如，一些EILR图片能够补偿BL图片的丢失的高频率，而一些EILR图片可以减轻BL图片的压缩伪像。如果从不同的方法生成的多个EILR图片被合并，则可以改善EL压缩效率。多个EILR图片可以通过选择EILR图片(例如，最好EILR图片)并将其添加到所述参考图片列表而被组合。多个EILR图片可以通过添加多个EILR图片到参考图片列表而被组合。通过在VPS、SPS、PPS或片头中用信号发送，关于如何组合多个EILR图片的决定能够在序列级和/或图片级被做出。

图15示出ILR增强的示例。给定第一参考图片1502和第二参考图片1504，其中两个参考图片可以在时刻t可用，预测器1506可以通过应用低通滤波器1508到第一参考图片1502的第一数据1510(例如，像素值)和应用高通滤波器1512到第二参考图片1504的第二数据1514而被生成。例如，第一参考图片1502可以是上采样，之前解码的基础层图片，例如，ILR图片。第二参考图片1504可以是之前解码的增强层图片，例如，ILMC图片。第二数据1514可以包括ILMC图片的运动补偿像素值。运动补偿可基于第一参考图片1502的一个或多个运动向量。可以在1516使用线性组合(例如相加或加权相加以生成预测器1506)来组合过滤的信号。

该预测器1506可以是第三参考图片，例如，E1LR图片。预测器1506可以被用于例如在基于混合DCT的视频编解码器中预测视频帧的像素值。

低通滤波器1508和/或高通滤波器1512的系数可以被编码到视频比特流。低通滤波器1508和/或高通滤波器1512可以被实施为全通滤波器，例如，在基层数据和/或增强层数据不执行滤波。

本文描述的过程和手段可以以任意组合应用，可以应用到其他无线技术，以及用于其他服务。

WTRU可以涉及物理设备的标识、或用户的标识，例如订阅相关的标识，例如，MSISDN，SIPURI等。WTRU可以涉及基于应用的标识，例如，可以被每个应用使用的用户名。

以上描述的过程可以用计算机程序、软件和/或固件实现，其可包含到由计算机和/或处理器执行的计算机可读介质中。计算机可读介质的示例包括但不限于电子信号(通过有线或无线连接传送)和/或计算机可读存储介质。计算机可读存储介质的示例包括，但不限制为，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质(例如但不限于内部硬盘和可移动磁盘)、磁光介质和光介质(例如CD-ROM盘和/或数字通用盘(DVD))。与软件关联的处理器可以用于实现射频收发信机，用于WTRU、UE、终端、基站、RNC或任何主计算机。

Claims (26)

1.一种视频编码方法，包括：

接收第一参考图片和第二参考图片；

使用高通滤波器处理所述第一参考图片以生成高频信息；

使用低通滤波器处理所述第二参考图片以生成低频信息；以及

根据所述高频信息和所述低频信息的线性组合生成预测器。

2.根据权利要求1所述的方法，还包括使用所述预测器来生成第三图片作为参考图片。

3.根据权利要求2所述的方法，其中所述第三图片包括增强层图片。

4.根据权利要求1所述的方法，其中所述第一参考图片和所述第二参考图片来自不同层。

5.根据权利要求1所述的方法，其中所述第一参考图片包括增强层参考图片。

6.根据权利要求5所述的方法，其中根据所述增强层参考图片的运动补偿像素值生成所述高频信息。

7.根据权利要求6所述的方法，其中基于来自所述基础层的运动信息生成所述运动补偿像素值的至少一些。

8.根据权利要求7所述的方法，其中来自所述基础层的所述运动信息被缩放。

9.根据权利要求1所述的方法，其中所述第二参考图片包括基础层参考图片。

10.根据权利要求1所述的方法，其中所述基础层参考图片被上采样。

11.根据权利要求1所述的方法，其中所述线性组合包括相加和加权相加中的至少一者。

12.根据权利要求1所述的方法，还包括在视频比特流中包括与所述高通滤波器相关联的第一多个滤波器系数和与所述低通滤波器相关联的第二多个滤波器系数。

13.根据权利要求1所述的方法，其中所述高通滤波器和所述低通滤波器的至少一者是全通滤波器。

14.一种视频编码设备，包括：

存储器，被配置成存储处理器可执行指令；以及

处理器，被配置成执行该处理器可执行指令，该处理器被配置成

接收第一参考图片和第二参考图片；

使用高通滤波器处理所述第一参考图片以生成高频信息；

使用低通滤波器处理所述第二参考图片以生成低频信息；以及

根据所述高频信息和所述低频信息的线性组合生成预测器。

15.根据权利要求14所述的视频编码设备，还包括使用所述预测器来生成图片作为参考图片。

16.根据权利要求15所述的视频编码设备，其中所述第三图片包括增强层图片。

17.根据权利要求14所述的视频编码设备，其中所述第一参考图片和所述第二参考图片来自不同层。

18.根据权利要求14所述的视频编码设备，其中所述第一参考图片包括增强层参考图片。

19.根据权利要求18所述的视频编码设备，其中根据所述增强层参考图片的运动补偿像素值生成所述高频信息。

20.根据权利要求14所述的视频编码设备，其中所述第二参考图片包括基础层参考图片。

21.根据权利要求20所述的视频编码设备，其中所述基础层参考图片被上采样。

22.根据权利要求14所述的视频编码设备，其中所述预测器包括增强层间参考EILR图片。

23.根据权利要求22所述的视频编码设备，其中所述处理器还被配置成使用所述EILR图片作为参考图片来编码增强层图片。

24.根据权利要求14所述的视频编码设备，其中所述线性组合包括相加和加权相加中的至少一者。

25.根据权利要求14所述的视频编码设备，其中所述处理器还被配置成在视频比特流中包括与所述高通滤波器相关联的第一多个滤波器系数和与所述低通滤波器相关联的第二多个滤波器系数。

26.根据权利要求14所述的视频编码设备，其中所述高通滤波器和所述低通滤波器的至少一者是全通滤波器。