CN104584553A - 层间残差预测 - Google Patents

层间残差预测 Download PDF

Info

Publication number
CN104584553A
CN104584553A CN201280075457.8A CN201280075457A CN104584553A CN 104584553 A CN104584553 A CN 104584553A CN 201280075457 A CN201280075457 A CN 201280075457A CN 104584553 A CN104584553 A CN 104584553A
Authority
CN
China
Prior art keywords
block
methods
prediction
layer
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280075457.8A
Other languages
English (en)
Inventor
张文豪
邱怡仁
徐理东
韩钰
邓智玭
蔡晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104584553A publication Critical patent/CN104584553A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了包含使用层间残差预测执行可缩放视频编码的系统、装置和方法。增强层编码单元、预测单元或变换单元中的层间残差预测可使用从基础层或从较低增强层获得的残差数据。残差可受到上采样滤波和/或精炼滤波。上采样或精炼滤波器系数可预先确定，或者可自适应确定。

Description

层间残差预测
背景技术
当前在由ISO/IEC运动画面专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的关于视频编码的联合协作团队(JCT-VC)开发下的高效率视频编码(HEVC)是规划在2012年完成的视频压缩标准。类似于先前视频编码标准，HEVC包含诸如内部/中间预测、变换、量化以及环内滤波和熵编码的基本功能模块。
HEVC将编码单元(CU)定义为采用具有可变大小的矩形块形式的画面子分区。在每个CU内，基于四叉树的分割方案规定CU划分模式。HECV还定义了预测单元(PU)和变换单元(TU)，其规定分别为了预测和变换目的要如何划分给定CU。在内部或中间预测之后，变换操作可应用于残余块以生成系数。然后系数被量化、扫描到一维阶，并且最后进行熵译码。
HEVC预期包含可缩放视频编码(SVC)扩展。HECV SVC位流提供以不同空间分辨率、帧速率、质量、位深度等表示源视频内容的若干子集位流。可缩放性然后使用一般包含基础层(BL)和至少一个增强层(EL)的多层编码结构实现。这允许根据较低层画面(例如BL画面)或在同一层中之前编码的画面预测属于EL的画面或部分画面(诸如PU)。在常规方法中，相对于同一层内画面的PU执行当前PU的预测。比如，常规上相对于同一EL的PU而不相对于另一EL或BL的PU执行EL PU的残差预测。
附图说明
本文描述的材料作为示例而非限制在附图中图示。为了图示的简洁和清晰起见，在附图中图示的元件不一定按比例绘制。例如，为了清晰起见，一些元件的尺寸相对于其它元件可能放大。进一步说，在合适的地方，附图标记在各图之间已经被重复以指示对应或类似元件。附图中：
图1是示例编码系统的示意图；
图2是示例译码系统的示意图；
图3是图示示例过程的流程图；
图4是示例系统的示意图；
图5是示例编码方案的示意图；
图6是示例位流的示意图；
图7是示例解码系统的示意图；
图8是图示示例过程的流程图；
图9是示例系统的示意图；以及
图10图示了全都按照本公开的至少一些实现布置的示例装置。
具体实施方式
现在参考附图描述一个或多个实施例或实现。虽然讨论了特定配置和布置，但应该理解，这仅是用于说明性目的。相关领域的技术人员将认识到，在不脱离本描述的精神和范围的情况下可采用其它配置和布置。相关领域的技术人员将明白，本文描述的技术和/或布置也可被用在不同于本文所描述的各种其它系统和应用中。
虽然如下描述阐述了可在例如诸如片上系统(SoC)架构的架构中表明的各种实现，但本文描述的技术和/或布置的实现不限于具体架构和/或计算系统，而是可为了类似目的由任何架构和/或计算系统实现。比如，例如采用多个集成电路(IC)芯片和/或封装的各种架构和/或各种计算装置和/或消费电子(CE)装置(诸如机顶盒、智能电话等)可实现本文描述的技术和/或布置。进一步说，虽然如下描述可阐述众多特定细节，诸如系统组件的逻辑实现、类型和相互关系、逻辑划分/集成选择等，但所要求保护的主题可在没有此类特定细节的情况下实行。在其它实例中，一些材料(诸如例如控制结构和全软件指令序列)可能未详细示出，以免使本文公开的材料模糊不清。
本文公开的材料可用硬件、固件、软件或它们的任何组合来实现。本文公开的材料还可被实现为存储在机器可读介质上的指令，所述指令可由一个或多个处理器读取和执行。机器可读介质可包含用于存储或传送由机器(例如计算装置)可读形式的信息的任何介质和/或机构。例如，机器可读介质可包含只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存装置；电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等)及其它。
在说明书中提到“一个实现”、“实现”、“示例实现”等指示所描述的实现可包含具体特征、结构或特性，但每一个实施例可能不一定包含该具体特征、结构或特性。而且，此类短语不一定是指同一实现。进一步说，当结合一个实施例描述具体特征、结构或特性时，认为结合不管本文是否明确描述的其它实现来实现此类特征、结构或特性在本领域技术人员的知识范围内。
下面描述包含用于采用层间残差预测的视频编码的操作的系统、设备、制品和方法。
如本文所使用的，术语“编码器（coder）”可指的是译码器（encoder）和/或解码器（decoder）。类似地，如本文所使用的，术语“编码”可指的是经由译码器译码和/或经由解码器解码。例如，视频译码器和视频解码器都可以是能够编码的编码器示例。此外，如本文所使用的，术语“编解码器”可指的是可实现译码器和/或解码器的任何过程、程序或操作集合，诸如例如软件、固件和/或硬件的任何组合。
在可缩放视频编码系统中，多层编码用于支持若干种可缩放性，包含空间可缩放性、时间可缩放性、质量可缩放性、位深度可缩放性等等。按照本公开，可使用各种层间残差预测方案增大可缩放视频编码系统中的编码效率和/或编码灵活性。
图1图示了按照本公开的示例可缩放视频编码(SVC)编码系统100。在各种实现中，系统100可根据一个或多个标准或规范(诸如例如高效率视频编码(HEVC)标准(见ISO/IECJTC/SC29/WG11和ITU-TSG16WP3, "High efficiency video coding (HEVC) text specification draft8" (JCTVC-J1003_d7), 2012年7月)以及其任何可缩放视频编码(SVC)扩展)承担视频压缩和解压缩和/或实现视频编解码器。尽管本文在HEVC标准的SVC扩展的上下文中描述了系统100和/或其它系统、方案或过程，但本公开不限于任何具体视频译码标准或规范或其扩展。
如所图示的，系统100包含具有多个视频译码器(包含层0或基础层(BL)译码器102、层1或第一增强层(EL)译码器104和层2或第二EL译码器106)的译码器子系统101。系统100还包含解码器子系统103的对应视频解码器，包含层0(BL)解码器108、层1(EL)解码器110和层2(EL)解码器112。一般而言，BL可以进行HEVC可兼容编码。当用等于N的层标识(ID)编码EL时，SVC编码方案保证了具有小于N的层ID的所有编码层可用于层间预测方案，使得可根据较低层画面(例如在具有较低层ID的BL或EL中)或同一层中之前编码的画面来预测属于具体EL的画面。
在各种实现中，HEVC规定了画面的最大编码单元(LCU)，其然后可被划分成采用具有可变大小的矩形块形式的编码单元(CU)。在每个LCU内，基于四叉树的分割方案规定CU划分模式。HECV还定义了预测单元(PU)和变换单元(TU)，其规定分别为了预测和变换目的要如何划分给定CU。CU通常包含一个亮度编码块(CB)和两个色度CB连同关联的语法，并且PU可进一步被分成预测块(PB)，大小范围从64x64个样本下至4x4个样本。如本文所使用的，术语“块”可以指的是视频画面的任何分区或子分区。例如，块可以指的是PU或PB。
按照本公开，如下面将更详细说明的，EL译码器104和106中任一个或二者可使用从译码器102或104获得的残差来执行层间残差预测。例如，在一些实现中，译码器104可使用从译码器102获得并由层间预测模块116处理的残差114执行层间残差预测。此外，在一些实现中，译码器106可使用分别从译码器102或译码器104获得并分别由层间预测模块120或层间预测模块122处理的残差114或残差118执行层间残差预测。
本文所使用的“层间残差预测”指的是使用从参考层画面获得的残差数据的增强层画面的中间预测。进一步说，本文所使用的“残差”指的是可通过从接收的或原始的帧中减去重构帧而生成的残差信号或残差数据集合。通过重新使用编码信息，诸如由参考层生成的残差，层间残差预测可改进SVC系统(诸如系统100)的压缩效率和编码灵活性和/或编解码器设计。在按照本公开的各种实现中，层间残差预测可应用在时间、空间和/或质量可缩放视频编码应用的任何组合中。
采用层间预测模块116、120和/或122、译码器102、104和106中的任一个或多个可向熵译码器124提供单独位流。熵译码器124然后可向解码器子系统103的熵解码器128提供压缩位流126，包含可缩放视频内容的多层。按照本公开，如也将在下面更详细地说明的，EL解码器110和112中的任一个或二者可使用从解码器108或110获得的残差执行层间残差预测。例如，在一些实现中，解码器110可使用从解码器108获得并由层间预测模块130处理的残差执行层间残差预测。此外，在一些实现中，解码器112可使用分别从解码器108或解码器110获得并分别由层间预测模块132或层间预测模块134处理的残差执行层间残差预测。
虽然图1将系统100图示为采用可缩放视频内容的三层以及子系统101中三个译码器和子系统103中三个解码器的对应集合，但按照本公开可利用任何数量的可缩放视频编码层和对应的译码器和解码器。进一步说，虽然系统100描绘了特定组件，但本公开不限于图1中图示的具体组件和/或布置系统100的各种组件的方式。比如，在各种实现中，系统100的一些元件，诸如例如译码器子系统101的层间预测模块116、120和122，可由耦合到所有三个译码器102、104和106等的单个层间预测模块实现。
进一步说，可认识到，译码器子系统101可与内容提供商系统(例如包含服务器系统)关联，并且位流126可由各种通信组件或系统(诸如在图1中未描绘的收发器、天线、网络系统等)传送或输送到解码器子系统103。还可认识到，解码器子系统103可与经由各种通信组件或系统(诸如图1中也未描绘的收发器、天线、网络系统等)接收位流126的客户端系统(诸如计算装置(例如计算机、智能电话等))关联。
图2图示了按照本公开的示例SVC译码系统200。系统200包含例如可分别对应于系统100的译码器102和译码器104的参考BL译码器202和目标EL译码器204。虽然系统200仅包含对应于两个SVC编码层的两个译码器202和204，但除了在图2中描绘的那些之外，按照本公开还可利用任何数量的SVC编码层和对应译码器。例如，对应于附加增强层的附加译码器可被包含在系统200中，并且可采用类似于下面相对于EL译码器204所描述的方式与BL译码器202交互。
当采用系统200承担SVC编码时，增强层中的画面或图像帧(诸如EL输入帧206)的各种块可由EL译码器204根据由BL译码器202处理的画面(诸如BL输入帧208)或之前由EL译码器204译码的同一增强层中的其它画面预测。如将在下面更详细描述的，当使用系统200承担层间残差预测操作时，层204中画面的像素(诸如EL输入帧206)可使用由BL译码器202提供的残差210进行预测。如上面所指出的，可在对应于像素值的一个或多个块的单元中编码EL输入帧206，并且要编码的块可以CU或PU的形式。进一步说，编码可应用在切片、画面或层级。
用于层间残差预测的残差210可使用包含变换和量化模块212、逆变换和逆量化模块214、内部预测模块216、中间预测模块218和环内滤波模块220的编码环，从BL输入帧208的处理中获得。具体地说，当操作BL译码器202以使用中间预测模块218执行中间预测时，残差210可从环内滤波模块220的输出获得。模块212、214、216、218和220的功能性在本领域已经得到了足够的认识，并且在本文将不再更详细描述。
如下面将更详细描述的，在一些实现中，残差210可由上采样模块222和/或精炼模块224处理，之后提供给EL译码器204。在各种实现中，上采样模块222和精炼模块224可以是层间预测模块(例如系统100的层间预测模块116)的组件。进一步说，在各种实现中，上采样模块222和精炼模块224的至少部分可由硬件逻辑(诸如固定功能电路)提供。
在EL译码器204，由精炼模块224提供的滤波残差226可用于使用包含变换和量化模块228以及逆变换和逆量化模块230的编码环预测EL输入帧206的残差227。当操作成承担EL输入帧206的层间残差预测时，EL译码器204可不采用内部预测模块232、中间预测模块234或环内滤波模块236中的任一个。再者，模块228、232、234和236的功能性在本领域已经得到了足够的认识，并且在本文将不再更详细描述。
在各种实现中，BL译码器202和EL译码器204中的任一个或二者可分别向熵译码器模块238提供对应于至少一些BL输入帧208和至少一些EL输入帧206的编码残差的压缩系数。模块238然后可执行残差的无损压缩，并提供包含译码残差的复用SVC位流作为来自系统200的输出。
图3图示了根据本公开各种实现的示例过程300的流程图。过程300可包含由图3的块301、302、304、306、308、310、312、314和316中的一个或多个所图示的一个或多个操作、功能或动作。作为非限制示例，过程300可形成由译码器系统200所承担的EL层的一部分(例如在此实现中是PU)的可缩放视频编码过程的至少一部分。
进一步说，过程300在本文还将参考使用图4的可缩放视频编码系统400对增强层PU编码来描述，其中系统400包含处理器402、SVC编解码器模块406和存储器408。处理器402可例示SVC编解码器模块406以按照本公开提供层间残差预测。在系统400的示例中，存储器408可存储包含至少一些BL输入帧208和/或至少一些EL输入帧206的视频内容，以及其它项目，诸如滤波器系数等，这将在下面更详细地说明。SVC编解码器模块406可由适合于实现编码系统200的软件逻辑、固件逻辑和/或硬件逻辑的任何组合提供。存储器408可以是任何类型的存储器，诸如易失性存储器(例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如闪存等)，诸如此类。在非限制示例中，存储器408可由高速缓冲存储器实现。
过程300可开始于块301，在此可以确定是否应该对于当前EL PU执行层间残差预测。在各种实现中，确定是否执行层间残差预测可基于速率失真成本。例如，SVC编解码器406可基于已知速率失真成本技术确定是否对于EL PU502执行层间残差预测。如果要执行层间残差预测，则过程300可在块302继续，然而如果不执行层间残差预测，则过程300可结束。
过程300可在块302继续，在此对于当前PU，可确定对应于PU的较低EL或BL的一个或多个协同定位块。例如，图5图示了EL输入帧206的当前PU502，其中PU502空间上对应于BL输入帧208的协同定位块504。在这个示例中，PU502对应于BL输入帧208的四个协同定位块504。然而，在各种实现中，根据EL和BL或较低级EL之间的空间缩放，可相对于具体PU协同定位任何数量的BL或较低级EL块。在其它实现中，仅一部分BL或较低级EL块可与EL PU协同定位。进一步说，在不应用空间缩放使得EL和较低EL或BL具有1的空间比的一些可缩放视频编码实现中(例如当在视频层之间应用质量缩放而没有空间缩放时)，在EL中的块与较低EL中或BL中的块之间可能存在一对一的对应关系。
相对于图5的示例，在块302确定协同定位块可涉及将块504标示或以别的方式标记为相对于当前PU502协同定位。进一步说，在各种实现中，BL或较低EL层中的协同定位块可被内部编码、中间编码，和/或可被混合内部/中间编码。此外，协同定位块的集合中的不同块可具有不同编码。比如，在非限制性示例中，协同定位块504可具有固定编码模式，使得其中两个协同定位块可被内部编码，其中一个协同定位块可被中间编码，并且剩余协同定位块可被混合内部/中间编码。
在各种实现中，可采用层间残差预测，不管协同定位的BL块已经被如何编码。在其它实现中，可基于应用到协同定位的BL块的编码，执行或者不执行层间残差预测。比如，在一些实现中，当EL PU的协同定位的BL块包含中间编码和内部编码块的混合时，可仅对于对应于中间编码BL块的PU的那个区域执行层间残差预测。相反，在其它实现中，可仅对于对应于内部编码BL块的PU的那个区域执行层间残差预测。在又一些实现中，当协同定位的BL块已经在各种编码模式(包含但不限于中间跳跃模式、inter_2Nx2N、inter_2NxN、inter_Nx2N、inter_NxN以及不对称运动分区(AMP)模式)中编码时，可执行层间残差预测。
过程300可在块304继续，在此可访问对应于协同定位块的残差。比如，参考图4和图5，块304可涉及SVC编解码器406使用处理器402从存储器408获得对应于协同定位块504的残差数据。比如，存储器408可充当用于暂时存储视频内容(诸如对应于块504的残差数据)的帧缓冲器。
在块306，可关于执行在块304获得的残差的上采样做出确定。比如，在PU502对应于四个协同定位块504的图5示例中，对应于块504的残差可能需要被上采样以匹配PU502的大小，并且过程300可进行到块308。在其它实现中，诸如当不提供空间可缩放性时，可不执行上采样，并且过程300可从块306跳到块310，使得可不执行块308。
在各种实现中，通过对残差应用内插滤波器可执行在块308对残差的上采样，不过本公开不限于任何具体形式的上采样滤波。在各种实现中，对残差上采样可改进层间残差预测的准确度，并且可导致EL的更好压缩性能。在各种实现中，在块308可应用固定内插滤波器或自适应内插滤波器。对于采用固定上采样滤波器的实现，滤波器系数可预先确定，并且可由译码器(例如系统200)和解码器(要在下面更详细描述)都使用。对于采用自适应上采样滤波器的实现，滤波器系数可在译码器自适应确定(例如通过训练)，并且然后可作为一部分位流发送到解码器，这将在下面进一步说明。在各种实现中，在块308应用的内插滤波器可以是多抽头多相内插滤波器。进一步说，在各种实现中，块308可涉及SVC编解码器406使用处理器402中的硬件逻辑(诸如固定功能电路)对残差应用从存储器408获得的内插滤波器系数。
过程300可在块310继续，在此可关于精炼在块304获得的残差或由块308产生的上采样残差做出确定。在各种实现中，对残差应用精炼滤波器可改进层间残差预测的准确度，并且可导致EL的更好压缩性能。如果选择精炼，则过程300可在一些实现中进行到块312，在此二维(2D)空间滤波器可被作为精炼滤波器应用，不过本公开不限于任何具体类型的精炼滤波器。在其它实现中，可不执行空间滤波，并且过程300可从块310跳到块314，使得可不执行块312。进一步说，在各种实现中，块312可涉及SVC编解码器406使用处理器402中的硬件逻辑(诸如固定功能电路)对残差应用从存储器408获得的精炼滤波器系数。
在各种实现中，如果r表示滤波之前的中心残差值，并且周围残差值(i,j=0,...,N)表示2D滤波器窗口，则在块312应用的精炼滤波器可根据下式确定对应滤波的中心残差值r'：
，
其中ai,j(i,j=0,...,N)是滤波器系数，并且b是偏移因子。
在各种实现中，滤波器系数ai,j可以是固定的，或者可以是自适应的。在滤波器系数固定的实现中，滤波器系数ai,j和偏移因子b可预先确定，并且由译码器和解码器二者采用。在滤波器系数自适应的实现中，滤波器系数ai,j和偏移因子b可在译码器自适应确定(例如通过训练)，并且然后可作为一部分位流发送到解码器，这将在下面进一步说明。
参考系统400，在各种实现中，SVC编解码器406可使用处理器402从存储器408获得滤波器系数来承担在块308和312应用滤波器。在自适应滤波器实现中，SVC编解码器406可使用处理器402自适应确定可以存储在或可以不存储在存储器408中的滤波器系数。
过程300可在块314继续，在此残差(滤波的或者别的方式的)可用于确定当前EL PU的预测残差。比如，SVC编解码器406可使用在块304获得的残差，并且在块308和/或在块310可进行滤波，以形成PU502的预测信号。在各种实现中，块314还可涉及使用在块304、308或310获得的较低层残差生成当前EL PU的残差。比如，SVC编解码器406可生成对应于从块504获得的较低层残差(滤波的或者别的方式的)与PU502的残差之间差的预测的残差。在各种实现中，可使用硬件逻辑(诸如固定功能电路)来执行确定预测残差所需的算术运算承担块314。而且，此类硬件逻辑可允许并行确定当前PU各种部分和/或多个PU的预测残差。本文所使用的“预测残差”可指的是可基于从一个或多个较低层的一个或多个PU获得的残差数据预测的当前PU中的残差数据值。
过程300可终止在块316，在此可对于当前EL PU形成位流。在各种实现中，块316可涉及形成对应于当前EL PU的位流部分，其中位流部分包含报头部分和数据部分，其中数据部分包含当前EL PU的压缩的预测残差。在各种实现中，报头部分可包含一个或多个指示符(诸如一个或多个标志)以指示是否执行当前EL PU的层间残差预测。
进一步说，在各种实现中，对应于块308的上采样滤波器系数或块312的精炼滤波器系数的滤波器系数可被指示在或包含在块316形成的位流中。例如，如果在块308或312采用自适应滤波器系数，则滤波器系数值可被包含在块316形成的位流的报头部分或数据部分中。在其它实现中，如果在块308或312中的任一个采用预先确定的滤波器系数，则所采用的滤波器系数例如可指示在块316形成的位流的报头部分中。
图6图示了按照本公开的各种实现对应于EL PU的示例位流部分600。部分600包含报头部分602和数据部分604。报头部分602包含一个或多个指示符606。比如，指示符606可包含指示符608，其值规定是否执行EL PU的层间残差预测。例如，在一个实现中，指示符608可被标记为“inter_layer_residual_prediction_flag”，并且可被添加到PU语法表以指示当前PU(例如PU502)是否使用层间残差预测。
虽然本文已经在图5的上下文中描述了过程300，但本公开不限于执行层间残差预测，其中根据从相同协同定位的BL块导出的残差数据来预测EL PU的所有像素。从而，在各种实现中，PU的一部分(例如仅PU的一些块)可仅相对于其中一些协同定位块进行预测，而PU的另一部分可相对于其它协同定位块进行预测。例如，对于对应于四个协同定位的BL块的PU，PU的第一上部分可基于两个上面的水平邻近的协同定位的BL块进行预测，而PU的第二下部分可基于两个下面的水平邻近的协同定位的BL块进行预测。
进一步说，在各种实现中，PU的不同部分可根据具有不同编码的不同协同定位的BL块进行预测。继续以上示例，两个上面的水平邻近的协同定位的BL块可能已经被内部编码，而两个下面的水平邻近的协同定位的BL块可能已经被中间编码。从而，PU的第一部分可根据内部编码的残差数据进行预测，而PU的第二部分可根据中间编码的残差数据进行预测。
图7图示了按照本公开的示例SVC解码系统700。系统700包含例如可分别对应于系统100的解码器108和解码器110的参考或BL解码器702和目标或EL译码器704。虽然系统700仅包含对应于两个SVC编码层的两个解码器702和704，但按照本公开，除了图7中描绘的那些之外，还可利用任何数量的SVC编码层和对应解码器。例如，对应于附加增强层的附加解码器可被包含在系统700中，并且可采用类似于下面相对于EL解码器704所描述的方式与BL解码器702交互。
当采用系统700承担SVC编码时，增强层中的画面或图像帧(诸如EL输出帧706)可由EL解码器704根据由BL解码器702处理的画面(诸如BL输出帧708)或之前由EL解码器704译码的同一增强层中的其它画面进行预测。如将在下面更详细描述的，当使用系统700承担层间残差预测操作时，层704中画面的残差(诸如EL输出帧706)可使用由BL解码器702提供的残差710进行预测。残差710可作为逆变换和逆量化模块712的输出获得。BL解码器702还可包含内部预测模块714、中间预测模块716和环内滤波模块718。
如下面所更详细描述的，残差710可在提供给EL解码器704之前由上采样模块720和精炼模块722处理。在各种实现中，上采样模块720和精炼模块722可以是层间预测模块(例如系统100的层间预测模块130)的组件。在EL解码器704，由精炼模块722提供的滤波残差724可用于结合逆变换和逆量化模块726、环内滤波模块728和中间预测模块730的输出预测EL输出帧706中的残差。当操作成承担EL输出帧706的层间残差样本预测时，EL解码器704可不采用内部预测模块732。
本文描述的系统的各种组件可用软件逻辑、固件逻辑和/或硬件逻辑和/或它们的任何组合实现。例如，系统700的各种组件可至少部分通过计算片上系统(SoC)的硬件来提供，诸如可在诸如例如智能电话的计算系统中所找到的。本领域技术人员可认识到，本文描述的系统可包含未在对应附图中描绘的附加组件。例如，系统200和700可包含为了简洁起见未在图2和图7中所描绘的附加组件，诸如位流复用器模块等。
图8图示了根据本公开各种实现的示例过程800的流程图。过程800可包含由图8的块802、804、806、808、810、812、814和816中的一个或多个所图示的一个或多个操作、功能或动作。作为非限制示例，过程800可形成由解码器系统700所承担的EL层的一部分(例如在此实现中是PU)的可缩放视频编码过程的至少一部分。进一步说，过程800在本文还将参考使用图4的可缩放视频编码系统400对增强层PU编码以及图6的示例位流600来描述，其中SVC编解码器模块406可例示解码器系统700。
过程800可开始于块802，在此可以确定是否承担正在解码的当前EL PU的跳跃模式，其中当前PU将基于一个或多个之前解码的PU进行解码。在各种实现中，SVC编解码器406可响应于在位流600的报头部分602中接收的指示符的值而承担块802。比如，如果指示符具有第一值(例如1)，则SVC编解码器406可确定承担当前PU的跳跃模式。另一方面，如果指示符具有第二值(例如0)，则SVC编解码器406可确定不承担当前PU的跳跃模式。
如果块802导致否定确定，则过程800可进行到块804，在此可确定是执行PU的内部编码还是中间编码。如果选择内部预测，则过程800可进行到块808，在此可使用已知内部预测技术执行层间内部预测。如果选择中间预测，则过程800可进行到块806，在此可使用已知中间预测技术执行层内中间预测。在各种实现中，SVC编解码器406可承担块804、806和808，例如使用解码器704的内部预测模块730承担块808，并使用解码器704的中间预测模块732承担块806。
过程800可在块810继续，在此可使用已知残差解码技术以及块806或808的结果承担残差解码。过程800然后可终止在块814，在此可使用已知技术和块812的结果重构PU像素值。
返回到块802的讨论，如果块802导致肯定确定，并且对于PU调用跳跃模式，则过程800可进行到块812，在此可确定是否执行当前PU的层间残差预测。在各种实现中，SVC编解码器406可响应于在位流600的报头部分602中接收的指示符608的值而承担块812。比如，如果指示符608具有第一值(例如1)，则SVC编解码器406可确定承担当前PU的层间残差样本预测。另一方面，如果指示符608具有第二值(例如0)，则SVC编解码器406可确定不承担当前PU的层间残差样本预测。
如果块812导致肯定确定，则过程800可进行到块814，在此可采用类似于上面相对于过程300描述的方式的方式，根据较低层残差确定预测残差。在各种实现中，SVC编解码器406可响应于具有第一值(例如1)的指示符608而承担块814。SVC编解码器406然后例如可获得对应于协同定位的较低EL或BL块的残差数据，可以对或可以不对残差应用上采样滤波，并且也可以对或者可以不对残差应用精炼滤波。进一步说，当承担残差数据的上采样滤波和/或精炼滤波时，SVC编解码器406可使用由位流600指示的或者在位流600中传送的滤波器系数这么做。过程800可终止在块814，在此可至少部分基于在块814执行的层间残差预测来重构当前PU的像素值。
虽然过程800在本文中被描述为EL PU的解码过程，但本公开不限于在PU级执行层间残差预测。从而，在各种实现中，过程800还可应用于CU或TU。进一步说，如之前所指出的，本文描述的所有层间残差预测过程(包含过程800)可应用在时间、空间和/或质量可缩放视频编码的任何组合的上下文中。
虽然图3和图8中所图示的示例过程300和800的实现可包含承担按所图示次序示出的所有块，但本公开不限于这方面，并且在各种示例中，过程300和800的实现可包含仅承担所示出和/或按与所图示的不同次序的块的子集。
此外，可响应于由一个或多个计算机程序产品提供的指令而承担图3和图8的任何一个或多个块。此类程序产品可包含提供指令的信号承载介质，所述指令例如当由处理器执行时可提供本文描述的功能性。计算机程序产品可以一个或多个机器可读介质的任何形式提供。从而，例如，包含一个或多个处理器核的处理器可响应于由一个或多个机器可读介质输送到处理器的程序代码和/或指令或指令集而承担图3和图8中示出的一个或多个块。一般而言，机器可读介质可输送以可使本文描述的任何装置和/或系统实现至少部分视频系统100、200和700和/或SVC代码块406的程序代码和/或指令或指令集形式的软件。
如在本文中描述的任何实现中所使用的，术语“模块”指的是配置成提供本文描述的功能性的软件、固件和/或硬件的任何组合。软件可实施为软件包、代码和/或指令集或指令，并且在本文描述的任何实现中所使用的“硬件”例如可以单个或任何组合方式包含存储由可编程电路执行的指令的硬连线电路、可编程电路、状态机电路和/或固件。模块可共同或单独实施为形成部分更大系统(例如集成电路(IC)、片上系统(SoC)等)的电路。
图9图示了按照本公开的示例系统900。在各种实现中，系统900可以是媒体系统，不过系统900不限于此上下文。例如，系统900可被合并到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置、相机(例如傻瓜相机、超级变焦相机、数码单反(DSLR)相机)等等中。
在各种实现中，系统900包含耦合到显示器920的平台902。平台902可从内容装置(诸如内容服务装置930或内容递送装置940或其它类似内容源)接收内容。包含一个或多个导航特征的导航控制器950可用于例如与平台902和/或显示器920交互。下面更详细描述这些组件中的每个组件。
在各种实现中，平台902可包含芯片集905、处理器910、存储器912、存储装置914、图形子系统915、应用916和/或无线电918的任何组合。芯片集905可提供处理器910、存储器912、存储装置914、图形子系统915、应用916和/或无线电918之间的互通信。例如，芯片集905可包含能够提供与存储装置914的互通信的存储装置适配器(未描绘)。
处理器910可实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集可兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各种实现中，处理器910可以是双核处理器、双核移动处理器等等。
存储器912可实现为易失性存储装置，诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储装置914可实现为非易失性存储装置，诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附连的存储装置、闪存、电池备份的SDRAM(同步DRAM)和/或网络可访问存储装置。在各种实现中，例如当包含多个硬驱时，存储装置914可包括用于增加有价值数字媒体的存储性能增强保护的技术。
图形子系统915可执行图像(诸如静止图像或视频)处理以便显示。图形子系统915例如可以是图形处理单元(GPU)或视觉处理单元(VPU)。可使用模拟接口或数字接口以通信方式耦合图形子系统915和显示器920。例如，接口可以是符合高清晰多媒体接口、显示端口、无线HDMI和/或无线HD的技术中的任何技术。图形子系统915可被集成到处理器910或芯片集905中。在一些实现中，图形子系统915可以是以通信方式耦合到芯片集905的独立装置。
本文描述的图形和/或视频处理技术可实现在各种硬件架构中。例如，图形和/或视频功能性可集成在芯片集内。备选地，可使用分立图形和/或视频处理器。作为又一实现，图形和/或视频功能可由通用处理器(包含多核处理器)提供。在另一实施例中，功能可实现在消费电子装置中。
收发器918可包含能够使用各种适合的无线通信技术传送和接收信号的一个或多个无线电。此类技术可涉及在一个或多个无线网络上的通信。示例无线网络包含(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在此类网络上的通信中，无线电918可按照任何版本的一个或多个可应用标准进行操作。
在各种实现中，显示器920可包含任何电视型监视器或显示器。显示器920例如可包含计算机显示屏、触摸屏显示器、视频监视器、电视类装置和/或电视。显示器920可以是数字的和/或模拟的。在各种实现中，显示器920可以是全息显示器。还有，显示器920可以是可接收视觉投影的透明表面。此类投影可输送各种形式的信息、图像和/或对象。例如，此类投影可以是用于移动增强现实(MAR)应用的视觉重叠。在一个或多个软件应用916的控制下，平台902可在显示器920上显示用户接口922。
在各种实现中，内容服务装置930可由任何国家、国际和/或独立服务托管，并且从而例如可经由因特网访问平台902。内容服务装置930可耦合到平台902和/或显示器920。平台902和/或内容服务装置930可耦合到网络960以向网络960和从网络960传递(例如发送和/或接收)媒体信息。内容递送装置940还可耦合到平台902和/或显示器920。
在各种实现中，内容服务装置930可包含有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的因特网使能装置或电器以及能够在内容提供商与平台902和/或显示器920之间经由网络960或直接单向或双向传递内容的任何其它类似装置。将认识到，可经由网络960向和从系统900中的任一组件和内容提供商单向和/或双向传递内容。内容示例可包含任何媒体信息，例如包含视频、音乐、医疗和游戏信息等等。
内容服务装置930可接收诸如有线电视节目的内容，包含媒体信息、数字信息和/或其它内容。内容提供商的示例可包含任何有线电视或卫星电视或者无线电或因特网内容提供商。所提供的示例不打算以任何方式限制按照本公开的实现。
在各种实现中，平台902可从具有一个或多个导航特征的导航控制器950接收控制信号。控制器950的导航特征例如可用于与用户接口922交互。在各种实施例中，导航控制器950可以是指点装置，其可以是允许用户将空间(例如连续和多维)数据输入到计算机中的计算机硬件组件(特别地，人工接口装置)。许多系统诸如图形用户接口(GUI)以及电视和监视器允许用户使用身体姿势控制数据并将数据提供给计算机或电视。
移动控制器950的导航特征可通过移动指针、光标、焦圈或显示在显示器上的其它视觉指示符来在显示器(例如显示器920)上复制。例如，在软件应用916的控制下，位于导航控制器950上的导航特征例如可映射到显示在用户接口922上的虚拟导航特征。在各种实施例中，控制器950可以不是单独的组件，而是可集成到平台902和/或显示器920中。然而，本公开不限于本文示出或描述的元件或上下文。
在各种实现中，驱动器(未示出)可包含在初始引导后(例如当启用时)使用户能够通过触摸按钮而立即打开和关闭平台902(如电视)的技术。当平台“关闭”时，程序逻辑可允许平台902向媒体适配器或其它内容服务装置930或内容递送装置940流播内容。此外，芯片集905例如可包含对于5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件支持。驱动器可包含用于集成图形平台的图形驱动器。在各种实施例中，图形驱动器可包括外围组件互连(PCI)快速图形卡。
在各种实现中，可集成系统900中示出的组件中的任何一个或多个。例如，平台902和内容服务装置930可被集成，或者平台902和内容递送装置940可被集成，或者例如平台902、内容服务装置930和内容递送装置940可被集成。在各种实施例中，平台902和显示器920可以是集成单元。例如，显示器920和内容服务装置930可被集成，或者显示器920和内容递送装置940可被集成。这些示例不打算限制本公开。
在各种实施例中，系统900可被实现为无线系统、有线系统或二者的组合。当实现为无线系统时，系统900可包含适合于通过无线共享介质(诸如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等)通信的组件和接口。无线共享介质的示例可包含部分无线频谱，诸如RF频谱等。当实现为有线系统时，系统900可包含适合于通过有线通信介质(诸如输入/输出(I/O)适配器、连接I/O适配器与对应有线通信介质的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等)通信的组件和接口。有线通信介质的示例可包含有线、电缆、金属引线、印刷电路板(PCB)、背板、开关组构、半导体材料、双绞线、同轴电缆、光纤等等。
平台902可建立一个或多个逻辑或物理信道以传递信息。信息可包含媒体信息和控制信息。媒体信息可指的是表示送往用户的内容的任何数据。内容的示例例如可包含来自语音对话、视频会议、流播视频、电子邮件("email")消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据例如可以是语音信息、沉默周期、背景噪声、舒适噪声、音调等等。控制信息可指的是表示送往自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息，或指令节点按预定方式处理媒体信息。然而，实施例不限于图9中示出或描述的元件或上下文。
如上所述，系统900可按变化的物理样式或形状因子实施。图10图示了可实施系统1000的小形状因子装置1000的实现。在各种实施例中，例如，装置1000可实现为具有无线能力的移动计算装置。移动计算装置可指的是例如具有处理系统和移动功率源或电源(诸如一个或更多电池)的任何装置。
如上所述，移动计算装置的示例可包含个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置、相机(例如傻瓜相机、超级变焦相机、数码单反(DSLR)相机)等等。
移动计算装置的示例还可包含布置成由人穿戴的计算机，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带扣计算机、臂带计算机、鞋计算机、衣服计算机以及其它可穿戴计算机。在各种实施例中，例如，移动计算装置可实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管一些实施例作为示例可用实现为智能电话的移动计算装置进行描述，但可认识到，其它实施例也可使用其它无线移动计算装置实现。实施例不限于此上下文。
如图10中所示，装置1000可包含外壳1002、显示器1004、输入/输出(I/O)装置1006和天线1008。装置1000还可包含导航特征1012。显示器1004可包含用于显示适合于移动计算装置的信息的任何适合的显示单元。I/O装置1006可包含用于将信息录入到移动计算装置中的任何适合的I/O装置。I/O装置1006的示例可包含字母数字键盘、数字键区、触摸盘、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别装置和软件等等。信息还可通过麦克风(未示出)录入到装置1000中。此类信息可通过语音识别装置(未示出)数字化。实施例不限于此上下文。
各种实施例可使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可包含处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包含软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任何组合。确定实施例是否使用硬件元件和/或软件元件来实现可按照许多因素(诸如期望的计算速率、功率级、耐热性、处理循环预算、输入数据速率、输出数据速率、存储资源、数据总线速度以及其它设计或性能约束)变化。
至少一个实施例的一个或多个方面可由存储在表示处理器内各种逻辑的机器可读介质上的代表性指令实现，这些指令当由机器读取时使机器制作执行本文描述的技术的逻辑。称为“IP核”的此类表示可存储在有形机器可读介质上，并被提供给各种顾客或制造设施，以加载到实际上制定逻辑或处理器的制作机器中。
虽然已经参考各种实现描述了本文阐述的某些特征，但此描述不打算视为限制意义。因此，对本公开涉及的领域的技术人员显然的本文描述的实现的各种修改以及其它实现被认为位于本公开的精神和范围内。
按照本公开，可在增强层视频解码器访问从基础层视频帧获得的残差，并且可至少部分响应于基础层残差执行至少一部分增强层帧的层间残差预测。在一些示例中，执行层间残差预测可包含生成预测残差。在一些示例中，增强层帧可以是时间、空间或质量增强层帧中的至少一个。在一些示例中，执行层间残差预测可包含执行有关切片、画面或层级中至少一个的层间残差预测。在一些示例中，增强层帧部分可以是编码单元(CU)、预测单元(PU)或变换单元(TU)之一。
按照本公开，执行层间残差预测可包含响应于在增强层视频解码器接收的位流中包含的指示符而执行层间残差预测。在第一状态中所述指示符规定增强层视频解码器执行层间残差预测，并且在第二状态中所述指示符规定增强层视频解码器不执行层间残差预测。在一些示例中，基于速率失真成本，可将指示符置于第一状态或第二状态之一。在一些示例中，部分增强层帧可包含增强层帧的一个或多个块，并且残差可对应于基础层帧的一个或多个协同定位块。在各种示例中，基础层帧的协同定位块可以是内部编码块、中间编码块或混合内部/中间编码块。
按照本公开，在执行层间残差预测之前可对残差应用上采样滤波器。上采样滤波器可具有固定上采样系数，或者可具有自适应上采样系数。进一步说，在执行层间残差预测之前可对残差应用精炼滤波器。在一些示例中，精炼滤波器可具有固定精炼系数，或者可具有自适应精炼系数。
按照本公开，可在增强层视频译码器访问从基础层视频帧获得的残差，并且可至少部分响应于残差执行至少一部分增强层帧的层间残差预测。在一些示例中，执行层间残差预测可包含生成预测残差。进一步说，在一些示例中，在执行层间残差预测之后可对增强层帧进行熵编码，并且可生成包含熵编码的增强层帧的位流。
按照本公开，可生成指示符，其中在第一状态中所述指示符规定对于部分增强层帧执行层间残差预测，并且其中在第二状态中所述指示符规定对于部分增强层帧不执行层间残差预测。在一些示例中，指示符然后可被置于位流中。在一些示例中，基于速率失真成本，可将指示符置于第一状态或第二状态之一。

Claims (34)

1. 一种方法，包括：
在增强层(EL)视频解码器：
至少部分基于从较低EL或基础层(BL)帧中的至少一个获得的残差确定EL帧的块的预测残差。
2. 如权利要求1所述的方法，进一步包括：访问存储器中的所述残差。
3. 如权利要求1所述的方法，其中所述EL帧包括时间、空间或质量EL帧中的至少一个。
4. 如权利要求1所述的方法，其中确定所述预测残差包括确定有关切片、画面或层级中的至少一个的所述预测残差。
5. 如权利要求1所述的方法，其中所述块包括编码单元(CU)、预测单元(PU)或变换单元(TU)之一。
6. 如权利要求1所述的方法，其中确定所述预测残差包括响应于在所述EL视频解码器接收的位流中包含的指示符而确定所述预测残差。
7. 如权利要求6所述的方法，其中在第一状态中所述指示符规定所述EL视频解码器将执行层间残差预测，并且其中在第二状态中所述指示符规定所述EL视频解码器将不执行层间残差预测。
8. 如权利要求7所述的方法，其中基于速率失真成本已经将所述指示符置于所述第一状态或所述第二状态之一。
9. 如权利要求1所述的方法，其中所述残差对应于所述较低EL或所述BL的一个或多个协同定位块。
10. 如权利要求9所述的方法，其中所述一个或多个协同定位块包括内部编码块、中间编码块或混合内部/中间编码块之一。
11. 如权利要求1所述的方法，进一步包括在确定所述预测残差之前对所述残差应用上采样滤波器。
12. 如权利要求11所述的方法，其中所述上采样滤波器包括固定上采样系数或自适应上采样系数之一。
13. 如权利要求1所述的方法，进一步包括在确定所述预测残差之前对所述残差应用精炼滤波器。
14. 如权利要求13所述的方法，其中所述精炼滤波器包括固定精炼系数或自适应精炼系数之一。
15. 至少一个机器可读介质，包括多个指令，所述指令响应于在计算装置上执行而使所述计算装置执行如权利要求1至14中任一项所述的方法。
16. 一种设备，当操作时配置成执行如权利要求1至14中任一项所述的方法。
17. 一种设备，包括用于执行如权利要求1至14中任一项所述的方法的部件。
18. 一种方法，包括：
在EL视频译码器：
至少部分基于从较低EL或基础层(BL)帧中的至少一个获得的残差确定EL帧的块的预测残差。
19. 如权利要求18所述的方法，进一步包括：访问存储器中的所述残差。
20. 如权利要求18所述的方法，进一步包括：
在确定所述预测残差之后对所述EL进行熵译码；以及
生成包含所述熵译码的EL帧的位流。
21. 如权利要求20所述的方法，进一步包括：
生成指示符，其中在第一状态中所述指示符规定对于所述块将执行层间残差预测，并且其中在第二状态中所述指示符规定对于所述块将不执行层间残差预测；以及
将所述指示符包含在所述位流中。
22. 如权利要求21所述的方法，进一步包括：
基于速率失真成本将所述指示符置于所述第一状态或所述第二状态之一。
23. 如权利要求18所述的方法，其中所述EL帧包括时间、空间或质量EL帧中的至少一个。
24. 如权利要求18所述的方法，其中确定所述预测残差包括确定有关切片、画面或层级中至少一个的所述预测残差。
25. 如权利要求18所述的方法，其中所述块包括编码单元(CU)、预测单元(PU)或变换单元(TU)之一。
26. 如权利要求18所述的方法，其中所述残差对应于所述较低级EL帧或所述BL帧的一个或多个协同定位块。
27. 如权利要求26所述的方法，其中所述一个或多个协同定位块包括内部编码块、中间编码块或混合内部/中间编码块中的至少一个。
28. 如权利要求18所述的方法，进一步包括在确定所述预测残差之前对所述残差应用上采样滤波器。
29. 如权利要求28所述的方法，其中所述上采样滤波器包括固定上采样系数或自适应上采样系数之一。
30. 如权利要求18所述的方法，进一步包括在确定所述预测残差之前对所述残差应用精炼滤波器。
31. 如权利要求30所述的方法，其中所述精炼滤波器包括固定精炼系数或自适应精炼系数之一。
32. 至少一个机器可读介质，包括多个指令，所述指令响应于在计算装置上执行而使所述计算装置执行如权利要求18至31中任一项所述的方法。
33. 一种设备，当操作时配置成执行如权利要求18至31中任一项所述的方法。
34. 一种设备，包括用于执行如权利要求18至31中任一项所述的方法的部件。
CN201280075457.8A 2012-09-28 2012-09-28 层间残差预测 Pending CN104584553A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/082312 WO2014047877A1 (en) 2012-09-28 2012-09-28 Inter-layer residual prediction

Publications (1)

Publication Number Publication Date
CN104584553A true CN104584553A (zh) 2015-04-29

Family

ID=50386852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075457.8A Pending CN104584553A (zh) 2012-09-28 2012-09-28 层间残差预测

Country Status (6)

Country Link
US (1) US10764592B2 (zh)
EP (1) EP2901694A4 (zh)
KR (1) KR101653511B1 (zh)
CN (1) CN104584553A (zh)
SG (1) SG11201500314WA (zh)
WO (1) WO2014047877A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228664A (zh) * 2018-10-31 2021-08-06 威诺瓦国际有限公司 用于可伸缩图像编码的方法、设备、计算机程序和计算机可读介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616573B2 (en) * 2013-01-07 2020-04-07 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
KR101866101B1 (ko) * 2016-12-27 2018-06-08 인하대학교 산학협력단 Hevc 인코딩에서 조도 센서 기반의 가중치 예측 방법 및 장치
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111436228B (zh) 2018-11-12 2024-06-21 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
CN113170097B (zh) 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
CN113424538A (zh) 2019-02-14 2021-09-21 北京字节跳动网络技术有限公司 解码器侧细化工具的选择性应用
WO2020177683A1 (en) 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Enabling bio based on the information in the picture header
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
KR20230169434A (ko) 2019-04-02 2023-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
SG11202111843XA (en) 2019-05-16 2021-11-29 Beijing Bytedance Network Technology Co Ltd Sub-region based determination of motion information refinement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056356A1 (en) * 2006-07-11 2008-03-06 Nokia Corporation Scalable video coding
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
CN101336549A (zh) * 2005-11-29 2008-12-31 三星电子株式会社 基于多层的可缩放视频编码方法及装置
CN101584217A (zh) * 2007-01-08 2009-11-18 高通股份有限公司 用于空间可缩放性的扩展的层间译码
CN101702963A (zh) * 2007-03-15 2010-05-05 诺基亚公司 用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US20070160137A1 (en) * 2006-01-09 2007-07-12 Nokia Corporation Error resilient mode decision in scalable video coding
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US8081680B2 (en) * 2006-11-28 2011-12-20 Microsoft Corporation Selective inter-layer prediction in layered video coding
BRPI0818665A2 (pt) 2007-10-25 2015-09-08 Nippon Telegraph & Telephone método de codificação e método de decodificação de vídeo escalável, aparelho para os mesmos, programas para os mesmos e meio de gravação onde os programas são gravados
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
KR20110066523A (ko) 2009-12-11 2011-06-17 한국전자통신연구원 스케일러블 비디오 디코딩 장치 및 방법
EP2559254B1 (en) * 2010-04-13 2019-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interpolation filter in a hybrid video decoder and encoder
US20110274178A1 (en) * 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Method and device for parallel decoding of video data units
CN102088605B (zh) * 2011-02-23 2012-12-05 浙江大学 可伸缩视频编码快速层间预测选择方法
WO2013174254A1 (en) * 2012-05-21 2013-11-28 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding
US9641836B2 (en) * 2012-08-07 2017-05-02 Qualcomm Incorporated Weighted difference prediction under the framework of generalized residual prediction
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
SG11201500311XA (en) 2012-09-28 2015-02-27 Intel Corp Inter-layer pixel sample prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
CN101336549A (zh) * 2005-11-29 2008-12-31 三星电子株式会社 基于多层的可缩放视频编码方法及装置
US20080056356A1 (en) * 2006-07-11 2008-03-06 Nokia Corporation Scalable video coding
CN101584217A (zh) * 2007-01-08 2009-11-18 高通股份有限公司 用于空间可缩放性的扩展的层间译码
CN101702963A (zh) * 2007-03-15 2010-05-05 诺基亚公司 用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANGLIN WANG 等: "《Improved Video Coding with Residual Prediction for Extended Spatial Scalability》", 《ISCCSP 2008》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228664A (zh) * 2018-10-31 2021-08-06 威诺瓦国际有限公司 用于可伸缩图像编码的方法、设备、计算机程序和计算机可读介质

Also Published As

Publication number Publication date
EP2901694A1 (en) 2015-08-05
US20150163499A1 (en) 2015-06-11
US10764592B2 (en) 2020-09-01
SG11201500314WA (en) 2015-02-27
KR101653511B1 (ko) 2016-09-01
EP2901694A4 (en) 2016-05-25
KR20150036761A (ko) 2015-04-07
WO2014047877A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
CN104541506A (zh) 层间像素样本预测
CN104584553A (zh) 层间残差预测
CN104541505A (zh) 层间内部模式预测
CN103918265B (zh) 跨通道残余预测
CN104937932B (zh) 可适性视频编码的增强参考区域利用
CN104321970A (zh) 层间编码单元四叉树模式预测
TWI559749B (zh) 層間移動資料繼承之技術
US10536710B2 (en) Cross-layer cross-channel residual prediction
CN104798373A (zh) 包括在多个独立编码流之间的共享运动估计的视频编码
CN104322062B (zh) 跨层跨通道样本预测
CN104272738A (zh) 用于可扩展视频编码的自适应滤波
CN104717501A (zh) 层间像素样本预测
CN104023238B (zh) 跨通道残余预测
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150429