CN104322062A - 跨层跨通道样本预测 - Google Patents

跨层跨通道样本预测 Download PDF

Info

Publication number
CN104322062A
CN104322062A CN201280073472.9A CN201280073472A CN104322062A CN 104322062 A CN104322062 A CN 104322062A CN 201280073472 A CN201280073472 A CN 201280073472A CN 104322062 A CN104322062 A CN 104322062A
Authority
CN
China
Prior art keywords
channel
layer
destination
sample
target prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280073472.9A
Other languages
English (en)
Other versions
CN104322062B (zh
Inventor
徐理东
韩钰
张文豪
邱怡仁
江宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104322062A publication Critical patent/CN104322062A/zh
Application granted granted Critical
Publication of CN104322062B publication Critical patent/CN104322062B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述了包含用于包含跨层跨通道样本预测的视频编码的操作的系统、设备和方法。

Description

跨层跨通道样本预测
背景技术
视频编码器压缩视频信息，使得通过给定带宽可发送更多信息。压缩信号然后可被传送到接收器，所述接收器在显示之前对信号解码或解压。
高效视频编码(HEVC)是计划到2012年底完成的新视频压缩标准。它当前在关于由ISO/IEC运动画面专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的视频编码(JCT-VC)的联合协作团队的开发下。该团队还将对HEVC标准的可定标视频编码(SVC)扩展进行标准化。
在当前HEVC规范中，画面在最大编码单元(LCU)的单元中编码。LCU可以是128x128块、64x64块、32x32块或16x16块。LCU可被直接编码或者被划分成4个编码单元(CU)以便进行下一级编码。对于一级中的CU，它可被直接编码或者进一步划分到下一级进行编码。最小CU是8x8。
一般而言，在每级，大小为2Nx2N的CU可被划分成不同大小的预测单元(PU)以便预测。对于内部编码，2Nx2N CU可被编码在1个2Nx2N PU中或4个NxN PU中。对于中间编码，2Nx2N CU可被编码在1个2Nx2N PU中、或2个2NxN PU中、或2个Nx2N PU中、或0.5Nx2N PU+1.5Nx2N PU中、或1.5Nx2N PU+0.5Nx2N PU中、或2Nx0.5N PU和2Nx1.5N PU中、或2Nx1.5N PU和2Nx0.5N PU中、或4个NxN PU中。
在非灰度画面中，画面由三个通道(即，亮度通道Y以及两个色度通道U和V)的数据构成。并且对应地，PU由一个亮度块Y以及两个色度块U和V构成。
在HEVC编码器中，在执行内部预测(帧内预测模块)或中间预测(运动估计和运动补偿模块)之后，对应于输入PU与预测PU之间的差异的预测样本被变换并量化以便进行熵编码。当PU在内部编码模式编码时，可应用不同内部预测模式，包含DC预测、平面预测、水平预测、垂直预测等等。
因为HEVC的主要部分的标准化即将达成，因此JCT-VC已经开始规划将可定标视频编码(SVC)扩展添加到HEVC标准中。SVC是应对现代视频服务环境中网络和装置的异质性的重要问题。SVC位流含有可自己解码的几个子集位流，并且这些子流表示具有不同分辨率、帧率、质量、位深度等的源视频内容。可定标性通过使用多层编码结构实现。一般而言，在SVC系统中存在一个基础层和几个增强层。
附图说明
本文描述的资料在附图中作为示例而非限制进行图示。为了图示的简洁和清晰起见，在附图中图示的元件不一定按比例绘制。例如，为了清晰起见，一些元件的尺寸相对于其它元件可能放大。进一步说，视情况而定，附图标记在各图之间已经被重复以指示对应或类似元件。附图中：
图1是示例视频编码系统的示意图；
图2是图示示例视频编码过程的流程图；
图3是操作中的示例视频编码过程的示意图；
图4是示例跨层跨通道样本预测方案的示意图；
图5是另外的示例跨层跨通道样本预测方案的示意图；
图6是示例视频编码系统的示意图；
图7是示例系统的示意图；以及
图8是示例系统的示意图，全都根据本公开的至少一些实现布置。
具体实施方式
现在参考附图描述实现的一个或多个实施例。虽然讨论了特定配置和布置，但应该理解，这只是用于说明性目的。相关领域技术人员将认识到，在不脱离本公开的精神和范围的情况下可采用其它配置和布置。相关领域技术人员将明白，本文描述的技术和/或布置还可用在不同于本文所描述的各种其它系统和应用中。
虽然以下描述阐述了可在例如诸如片上系统(SoC)架构的架构中标明的各种实现，但本文描述的技术和/或布置的实现未限定于具体架构和/或计算系统，而是可为了类似目的由任何架构和/或计算系统实现。比如，例如采用多个集成电路(IC)芯片和/或封装和/或各种计算装置和/或消费电子(CE)装置(诸如机顶盒、智能电话等)的各种架构可实现本文描述的技术和/或布置。进一步说，虽然以下描述可阐述众多特定细节，诸如系统组件的逻辑实现、类型和相互关系、逻辑分割/集成选择等，但是可在没有此类特定细节的情况下实行所要求权利的主题。在其它实例中，一些资料(诸如例如控制结构和全软件指令序列)可能未详细示出，以免使本文公开的资料模糊不清。
本文公开的资料可用硬件、固件、软件或它们的任何组合来实现。本文公开的资料还可实现为存储在机器可读介质上的指令，所述指令可由一个或多个处理器读取和执行。机器可读介质可包含用于存储和传送由机器(例如计算装置)可读形式的信息的任何介质和/或机构。例如，机器可读介质可包含只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存装置；电、光、声或其它形式传播信号(例如载波、红外信号、数字信号等)以及其它介质。
在说明书中提到“一个实现”、“实现”、“示例实现”等指示所描述的实现可包含具体特征、结构或特性，但每一个实现可能不一定都包含该具体特征、结构或特性。而且，此类短语不一定是指同一实现。进一步说，当结合一个实现描述具体特征、结构或特性时，认为它在本领域技术人员的知识范围内，以结合其它实现来实现此类特征、结构或特性，不管本文是否明确描述。
下面描述包含用于包含跨层跨通道样本预测的视频编码的操作的系统、设备、制品和方法。
如上面所描述的，在可定标视频编码中，可首先对基础层编码，并且然后可对增强层编码。在跨层预测中，可使用基础层的信息对增强层编码。当输入视频序列是按颜色格式时，它将具有三个颜色通道，即，一个亮度通道Y以及两个色度通道U和V。通常，三个通道可被单独预测、变换和量化以便进行熵编码。
然而，如将在下面更详细描述的，三个通道未完全被去相关。而且，如果三个通道中的任两个通道使用相同预测类型和/或相同预测模式，则这两个通道仍可具有强相关。因此，可利用跨层跨通道样本预测来改进增强层编码效率。
图1是根据本公开的至少一些实现布置的示例视频编码系统100的示意图。在一些示例中，视频编码系统100可包含为了清晰起见在图1中未示出的附加项目。例如，视频编码系统100可包含处理器、射频类型(RF)收发器、显示器和/或天线。视频编码系统100可包含为了清晰起见在图1中未示出的附加项目，诸如扬声器、麦克风、加速计、存储器、路由器、网络接口逻辑等。
如本文所使用的，术语“编码器（coder）”可指的是编码器（encoder）和/或解码器。类似地，如本文所使用的，术语“编码（coding）”可指的是经由编码器的编码（encoding）和/或经由解码器的解码。例如，视频编码器和视频解码器都可以是能够编码的编码器的示例。
如所图示的，视频编码系统100可包含具有一个参考层102(例如基础层或较低增强层)和一个目标层104(例如增强层)的SVC编码器。例如，图示了两层(例如较低参考层102和目标层104)；然而，除了基础层之外还可利用任何数量的增强层。基础层可用与HEVC标准兼容的方式编码，并且可标识为层0。增强层可被标识为层1、层2等。当对层标识等于N的目标层104进行编码时，层标识小于N的所有层都可能是可用的。在此类情形下，属于目标层104的画面可根据来自一个较低参考层102的画面或同一层中之前编码的画面进行预测。再用来自参考层102的编码信息的层间预测是确保SVC编解码设计的压缩效率的关键特征之一。
类似地，在参考层102上视频编码系统100操作期间，当前视频信息可以视频数据106的帧形式提供给空间抽取或位深度减小模块103。当前视频帧可被分裂成最大编码单元(LCU)，并且然后传递到变换量化环内滤波器熵编码模块108。变换量化环内滤波器熵编码模块108可执行已知的视频变换和量化过程，可执行已知的熵编码过程，并且可执行已知的去量化和逆变换过程以实现变换和量化操作的逆过程。内部预测和中间预测模块110可执行帧内预测和帧间预测操作。SNR(信噪比)可定标编码模块112可对来自变换量化环内滤波器熵编码模块108以及内部预测和中间预测模块110的输出执行可定标编码。
可对于目标层104经由变换量化环内滤波器熵编码模块128、内部预测和中间预测模块130和/或SNR可定标编码模块132执行类似操作。
多路复用模块140可接收来自参考层102的变换量化环内滤波器熵编码模块108、参考层102的SNR可定标编码模块112、目标层104的变换量化环内滤波器熵编码模块128和/或目标层104的SNR可定标编码模块132的输出，它们全都可被混合以便作为可定标位流142进行传送。
在操作中，视频编码系统100可实现跨层跨通道样本预测的操作。例如，当对目标层104的编码单元进行编码时，在参考层102中可发现共同定位的编码单元供此类预测之用。如将在下面更详细描述的，当前编码单元的目标预测样本可根据共同定位的参考层102重构参考样本来预测。在一些示例中，跨层跨通道样本预测的此类操作可发生在层间预测模块130期间。
如将在下面更详细讨论的，视频编码系统100可用于执行下面结合图2和/或图3讨论的各种功能中的一些或所有功能。
图2是根据本公开的至少一些实现布置的示例视频编码过程200的流程图。在所图示的实现中，过程200可包含由块202、204和/或206中的一个或多个所图示的一个或多个操作、功能或动作。作为非限制示例，本文将参考图1和/或图6的示例视频编码系统100描述过程200。
过程200可被用作用于跨层跨通道样本预测的计算机实现的方法。过程200可开始于块202，“重构视频数据的参考层中参考通道的参考样本”，其中可对于视频数据的参考层中参考通道重构参考样本。例如，可经由视频编码器对于视频数据的参考层中参考通道重构参考样本。
处理可从操作202继续到操作204，“经由跨层跨通道预测至少部分基于参考样本确定目标层中目标通道的目标预测样本”，其中可至少部分基于参考样本对于目标层中目标通道确定目标预测样本。例如，可经由音频编码器至少部分基于参考样本对于目标层中目标通道确定目标预测样本。此类确定可经由跨层跨通道预测进行。
处理可从操作204继续到操作206，“对目标通道编码”，其中目标通道可被编码。例如，至少部分基于确定的目标预测样本对目标通道编码。
在操作中，目标通道可以是与参考通道不同的通道。例如，当参考通道包含亮度通道时，目标通道可包含色度通道；而当参考通道包含色度通道时，目标通道可包含亮度通道或另一色度通道之一。
附加地或备选地，目标层可以是比参考层更高的层。例如，当参考层是基础层时，目标层可以是增强层；而当参考层是增强层时，目标层可以是更高增强层。在其它示例中，目标层可以在与参考层相同的层中。
与过程200相关的一些附加和/或备选细节可在下面相对于图3更详细讨论的实现的一个或多个实例中图示。
图3是根据本公开的至少一些实现布置的操作中的示例视频编码系统100和视频编码过程300的示意图。在所图示的实现中，过程300可包含由动作314、316、318、320和/或322中的一个或多个动作所图示的一个或多个操作、功能或动作。作为非限制示例，本文将参考图1和/或图6的示例视频编码系统100描述过程300。
在所图示的实现中，视频编码系统100可包含逻辑模块306等和/或它们的组合。例如，逻辑模块306可包含CU编码逻辑模块308、样本重构逻辑模块310、跨层跨通道预测逻辑模块312等和/或它们的组合。视频编码系统100的样本重构逻辑模块310可以通信方式耦合到一个或多个处理器，并配置成重构视频数据的参考层中参考通道的参考样本。视频编码系统100的跨层跨通道预测逻辑模块312可以通信方式耦合到样本重构逻辑模块310，并可配置成经由跨层跨通道预测至少部分基于参考样本确定目标层中目标通道的目标预测样本。目标通道可以是与参考通道不同的通道。尽管如图3所示的视频编码系统100可包含与具体模块关联的块或动作的一个具体集合，但这些块或动作可与不同于在此图示的具体模块的模块关联。
过程300可被用作用于跨层跨通道样本预测的计算机实现的方法。过程300可开始于块314，“开始对CU编码”，其中可开始编码。例如，可经由CU逻辑模块308对编码单元解码。尽管所图示的过程300被描绘成解码，但所描述的概念和/或操作一般可以相同或类似的方式应用于编码，包含编码。
处理可从操作314继续到操作316，“重构视频数据的参考层中参考通道的参考样本”，其中可对于视频数据的参考层中参考通道重构参考样本。例如，可经由样本预测逻辑模块310对于视频数据的参考层中的参考通道重构参考样本。
处理可从操作316继续到操作318，“重构视频数据的另外参考层和/或另外参考通道的另外参考样本”，其中可对于视频数据的另外参考层中的另外参考通道重构另外参考样本。例如，可经由样本预测逻辑模块310至少部分基于另外参考样本重构另外参考样本。
处理可从操作316和/或318继续到操作320，“经由跨层跨通道预测至少部分基于参考样本确定目标层中目标通道的目标预测样本”，其中可至少部分基于参考样本和/或另外参考样本对于目标层中的目标通道确定目标预测样本。例如，可经由视频编码器至少部分基于参考样本和/或另外参考样本对于目标层中的目标通道确定目标预测样本。此类确定可借助跨层跨通道预测逻辑模块312经由跨层跨通道预测进行。
处理可从操作320继续到操作322，“完成对CU的编码”，其中目标单元可被编码。例如，可经由CU编码逻辑模块308至少部分基于确定的目标预测样本对目标单元编码。
在处理从操作316继续到操作320的示例中，可至少部分基于在操作316重构的参考样本确定目标预测样本。与过程316相关的一些附加和/或备选细节可在下面相对于图4更详细讨论的实现的一个或多个实例中图示。
在处理从操作318继续到操作320的示例中，可至少部分基于在操作318重构的另外参考样本确定目标预测样本。备选地，除了在操作316重构的参考样本之外，可至少部分基于在操作318重构的另外参考样本确定目标预测样本。与过程318相关的一些附加和/或备选细节可在下面相对于图5更详细讨论的实现的一个或多个实例中图示。
在操作中，过程300(和/或过程200)可操作成使得目标预测样本的确定在包含空间定标、时间定标、质量定标和位深度定标的一个或多个可定标类型的可定标视频编码期间执行。
在一些示例中，目标层中目标通道的目标预测样本的确定可包含：在解码期间至少部分基于在编码期间与目标预测样本关联的标志选择参考层和参考通道。在其它示例中，视频解码器可计算在视频解码器中并行的那些计算，以便确定视频解码器将如何对视频数据编码。在此类示例中，视频解码器可无需在编码期间与目标预测样本块关联的此类标志而操作。
在一些示例中，参数值可通过经由编码器的解码器部分从编码器的编码器部分接收参数值来处理。备选地，参数值可通过经由编码器的解码器部分独立于且并行于编码器的编码器部分确定参数值来处理。此类参数值可与执行跨层跨通道预测关联。
在一些示例中，确定目标预测样本可包含：至少部分基于参数值应用线性关系模型或非线性关系模型之一。模型参数可通过自适应地应用一个或多个固定关系模型参数来确定目标预测样本进行处理。备选地，模型参数可通过响应于与一个或多个层和/或通道关联的模型参数而自适应地确定一个或多个关系模型参数来处理。可至少部分基于率失真成本（rate distortion cost）自适应应用经由跨层跨通道预测确定目标通道的目标预测样本。
更确切地说，过程300(和/或200)可利用跨层跨通道样本预测模型。在此类示例中，假定根据通道B的重构样本预测通道A的样本(类似过程可应用于根据通道B和C的重构样本预测通道A的样本，并且通道A、B和C可位于不同层中)，对于该预测可应用线性模型或非线性模型。比如，对于样本位置k，通道A样本值A(k)可使用如下表达式根据位置k的重构通道B样本值B'(k)预测。
　　　　　(1)
其中是预测值，f(·)可以是线性或非线性函数或变换。B'(k)可以是编码器侧和解码器侧中的预先定义层。否则，B'(k)可以是任何可用层，这取决于最优化计算的结果，有关B'(k)的信息将被发送到解码器。在各种实现中，f(·)的参数可以是预先定义的固定值，或者可自适应生成。用于生成f(·)的参数的样本可以是输入样本和/或重构样本。在各种实现中，用于生成f(·)的参数的样本和用于预测通道A的样本可在同一层中或不在同一层中。在各种实现中，用于生成f(·)的参数的样本可在共同定位的位置或在相邻的位置。然后可使用诸如例如线性最小二乘法、非线性最小二乘法、加权最小二乘法或其它最优化方法的技术来获得f(·)的参数，如果它们不是固定值的话。
一般而言，f(·)的线性形式可表达为如下：
　　　　　(2)
其中a和b是模型参数。它们可以是固定值，或在解码器侧确定，或在编码器侧确定并且然后被传送到解码器侧。
一般而言，f(·)的非线性形式可表达为如下：
　　　　　(3)
其中a(k)和b(k)是非线性方程参数。在各种实现中，参数a(k)和b(k)可由B'(k)的值确定。例如，B'(k)的值范围可被划分成样本值的M个更小子集S(k)。每个子集S(k)然后可被指配不同值用于在方程(3)中要使用的a(k)和b(k)，使得当具体样本位置的B'(k)的值位于给定子集S(k)内时，应用a(k)和b(k)的对应值预测那个位置的样本值Ap(k)。
增强层中的f(·)参数也可根据基础层和/或较低层中的f(·)参数预测。在各种实现中，f(·)的参数可在解码器侧自适应生成，或者被传送到解码器。
例如，过程300(和/或200)可根据同一层中的其它模型参数自适应生成模型参数，根据基础层模型参数自适应生成增强层模型参数，和/或根据较低层模型参数自适应生成较高层模型参数。
类似地，过程300(和/或200)可基于同一层中的重构样本的信息生成解码器侧的模型参数，基于基础层中的重构样本的信息自适应生成解码器侧的增强层模型参数，基于基础层和同一增强层中的重构样本的信息自适应生成解码器侧的增强层模型参数，和/或基于较低层中的重构样本的信息自适应生成解码器侧的较高层模型参数。
同样，过程300(和/或200)可使用重构样本自适应生成编码器侧的最优模型参数，然后向解码器传送生成方法的信息(例如，可根据当前层、较低层或基础层中的重构样本生成模型参数)；基于同一层中的输入样本和重构样本自适应生成编码器侧的增强层模型参数，并且然后对所生成的模型参数编码并传送到解码器；基于此层中的输入样本和基础层中的重构样本自适应生成编码器侧的增强层模型参数，并且然后对所生成的模型参数编码并传送到解码器；和/或基于此层中的输入样本和较低层中的重构样本自适应生成编码器侧的较高层模型参数，并且然后对所生成的模型参数编码并传送到解码器。
虽然图2和图3中所图示的示例过程200和300的实现可包含采取按所图示次序示出的所有块，但本公开不限于这方面，并且在各种示例中，过程200和300的实现可包含仅采取所示块的子集和/或按不同于所图示次序的次序。
此外，可响应于由一个或多个计算机程序产品提供的指令而采取图2和图3的任何一个或多个块。此类程序产品可包含提供指令的信号承载介质，所述指令例如当由处理器执行时可提供本文描述的功能性。计算机程序产品可以任何形式的计算机可读介质提供。从而，例如，包含一个或多个处理器核的处理器可响应于由计算机可读介质传递到处理器的指令而采取图2和图3中示出的一个或多个块。
如在本文中描述的任何实现中所使用的，术语“模块”是指配置成提供本文描述的功能性的软件、固件和/或硬件的任何组合。软件可实施为软件包、代码和/或指令集或指令，并且在本文描述的任何实现中所使用的“硬件”例如可包含单个或任何组合的硬连线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可共同或单独实施为形成部分更大系统(例如集成电路(IC)、片上系统(SoC)等)的电路。
图4是根据本公开的至少一些实现的示例跨层跨通道样本预测方案的示意图。在所图示的实现中，图1的系统100可实现方案400。在方案400中，第一层(例如参考层，诸如基础层或较低增强层)中的第一通道(B或C)的重构预测样本用于预测第二层(例如目标层，诸如较高增强层)中的第二通道(A)的样本，并且然后参考层通道B或C的编码样本和目标层通道A的作为结果的跨层跨通道预测样本(在编码后)要受到熵编码。
在各种实现中，通道A、B或C可位于各种层中。例如，当与通道B关联的参考层是基础层时，与通道A关联的目标层可以是增强层。同样，当与通道B关联的参考层是增强层时，与通道A关联的目标层可以是更高增强层。备选地，在一些示例中，通道A和通道B可位于同一层中。
在各种实现中，通道A、B或C可以是亮度通道(Y)或色度通道(U和V)中的任何通道，并且通道A、B或C中的每个通道可截然不同(即，与其它通道不同)。在各种实现中，通道A可以是亮度通道，而通道B和C可以是色度通道。在其它实现中，通道A可以是色度通道，并且通道B和C之一可以是亮度通道，而通道B和C中的另一通道可以是另一色度通道。
因而，基于通道类型的变化、层类型的变化或层类型的变化和通道类型的变化，目标层通道A可不同于参考层通道B。
如方案400中所描绘的，参考层通道B或C的预测样本可在块402重构，并提供给跨层跨通道预测块406。在块406，参考层通道B或C的重构样本可用于预测目标层通道A的样本。目标层通道A的预测样本然后可在块410进行熵编码之前在块408变换和量化，连同从块402获得的变换和量化的参考层通道B或C样本。
在操作中，可利用方案400根据基础层、较低层或与通道A相同的层中的通道B或通道C的重构样本预测增强层中通道A的样本。
图5是根据本公开的至少一些实现的另外示例跨层跨通道样本预测方案的示意图。在所图示的实现中，图1的系统100可实现方案500。在方案500中，通道A的目标预测样本可至少部分基于通道B的参考样本和通道C的另外参考样本确定。
在方案500中，使用两个通道(参考层通道B和另外参考层通道C)的重构预测样本来预测第三通道(A)的样本，并且然后参考层通道B和另外参考层通道C的编码样本以及目标层通道A的跨层跨通道预测样本(在编码后)要受到熵编码。
在各种实现中，通道A、B或C可位于各种层中。例如，当与通道B关联的参考层是基础层时，与通道A关联的目标层可以是增强层。同样，当与通道B关联的参考层是增强层时，与通道A关联的目标层可以是更高增强层。类似地，与通道C关联的另外参考层可在和与通道B关联的参考层相同或不同的层中。
在各种实现中，通道A、B或C可以是亮度通道(Y)或色度通道(U和V)中的任何通道，并且通道A、B或C中的每个通道可截然不同(即，与其它通道不同)。在各种实现中，通道A可以是亮度通道，而通道B和C可以是色度通道。在其它实现中，通道A可以是色度通道，并且通道B和C之一可以是亮度通道，而通道B和C中的另一通道可以是另一色度通道。
因而，基于通道类型的变化、层类型的变化或层类型的变化和通道类型的变化，目标层通道A可不同于参考层通道B，并且不同于另外参考层通道C。
如方案500中所描绘的，参考层通道B的预测样本可如在块502重构的，并提供给跨层跨通道预测块506。类似地，另外参考通道C的预测样本可在块508重构，并且提供给跨通道预测块506。在块506，参考层通道B和另外参考层通道C的重构样本都可用于预测目标层通道A的样本，如本文所描述的。目标层通道A的作为结果的预测样本然后可在块514进行熵编码之前在块512变换和量化，连同通道B和C的编码样本。
在操作中，可利用方案500根据基础层、较低层或与通道A相同的层中的通道B和通道C的重构样本预测增强层中通道A的样本。此参考通道B或C可通过跨层跨通道样本预测进行编码。
在一些示例中，当输入YUV数据以YUV420或YUV422格式时，U和V通道的样本块大小比Y通道的样本块大小更小。在这些情况下，如果Y通道和U或V通道在同一空间分辨率层中，则：如果它用于预测U和/或V通道样本块，则可对Y通道样本块应用下采样，或者如果它们用于预测Y通道样本块，则可对U和/或V样本块应用上采样。
图6是根据本公开的至少一些实现布置的示例视频编码系统100的示意图。在所图示的实现中，视频编码系统100可包含成像装置601、视频编码器602、天线603、视频解码器604、一个或多个处理器606、一个或多个存储器库608、显示器610和/或逻辑模块306。逻辑模块306可包含CU编码逻辑模块308、样本重构逻辑模块310、跨层跨通道预测逻辑模块312等和/或它们的组合。
如所图示的，天线603、视频解码器604、处理器606、存储器库608和/或显示器610可能能够彼此通信和/或与部分逻辑模块306通信。类似地，成像装置601和视频编码器602可能能够彼此通信和/或与部分逻辑模块306通信。相应地，视频解码器604可包含所有或部分逻辑模块306，而视频编码器602可包含类似逻辑模块。尽管如图6所示的视频编码系统100可包含与具体模块关联的块或动作的一个具体集合，但这些块或动作可与不同于在此图示的具体模块的模块关联。
在一些示例中，视频编码系统100可包含天线603、视频解码器604等和/或它们的组合。天线603可配置成接收视频数据的编码位流。视频解码器604可以通信方式耦合到天线603，并且可配置成对编码位流解码。视频解码器604可配置成重构视频数据的参考层中参考通道的参考样本。可经由跨层跨通道预测至少部分基于参考样本确定目标层中目标通道的目标预测样本，其中目标通道可以是与参考通道不同的通道。至少部分基于目标预测样本对目标通道编码。
在其它示例中，视频编码系统100可包含显示装置610、一个或多个处理器606、一个或多个存储器库608、CU编码逻辑模块308、样本重构逻辑模块310、跨层跨通道预测逻辑模块312等和/或它们的组合。显示器610可配置成呈现视频数据。处理器606可以通信方式耦合到显示器610。存储器库608可以通信方式耦合到一个或多个处理器606。视频解码器604(或其它示例中的视频编码器602)的样本重构逻辑模块310可以通信方式耦合到一个或多个处理器606，并可配置成重构视频数据的参考层中参考通道的参考样本。视频解码器604(或其它示例中的视频编码器602)的跨层跨通道预测逻辑模块312可以通信方式耦合到样本重构逻辑模块310，并可配置成经由跨层跨通道预测至少部分基于参考样本确定目标层中目标通道的目标预测样本。目标通道可以是与参考通道不同的通道。CU编码逻辑模块308可以通信方式耦合到跨层跨通道预测逻辑模块312，并可配置成至少部分基于目标预测样本对目标通道编码。
在各种实施例中，CU编码逻辑模块308、样本重构逻辑模块310和/或跨层跨通道预测逻辑模块312可用硬件实现，而软件可实现其它逻辑模块。例如，在一些实施例中，跨层跨通道预测逻辑模块312可由专用集成电路(ASIC)逻辑实现，而样本重构逻辑模块310可由诸如处理器606的逻辑所执行的软件指令提供。然而，本公开不限于这方面，并且CU编码逻辑模块308、样本重构逻辑模块310和/或跨层跨通道预测逻辑模块312可由硬件、固件和/或软件的任何组合实现。此外，存储器库608可以是任何类型存储器，诸如易失性存储器(例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如闪存等)等等。在非限制示例中，存储器库608可由高速缓冲存储器实现。
图7图示了根据本公开的示例系统700。在各种实现中，系统700可以是媒体系统，不过系统700不限于此上下文。例如，系统700可被结合到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置等等中。
在各种实现中，系统700包含耦合到显示器720的平台702。平台702可从内容装置(诸如内容服务装置730或内容递送装置740或其它类似内容源)接收内容。包含一个或多个导航特征的导航控制器750可用于例如与平台702和/或显示器720交互。下面更详细描述这些组件中的每个组件。
在各种实现中，平台702可包含芯片集705、处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电718的任何组合。芯片集705可提供处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电718之间的互通信。例如，芯片集705可包含能够提供与存储装置714的互通信的存储装置适配器(未描绘)。
处理器710可实现为复指令集计算机(CISC)或缩减指令集计算机(RISC)处理器、x86指令集可兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各种实现中，处理器710可以是双核处理器、双核移动处理器等等。
存储器712可实现为易失性存储器件，诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储装置714可实现为非易失性存储装置，诸如但不限于磁盘驱动器、光盘驱动器、带驱动器、内部存储装置、附连的存储装置、闪存、电池支持的SDRAM(同步DRAM)和/或网络可访问存储装置。在各种实现中，例如当包含多个硬驱时，存储装置714可包括增加有价值数字媒体的存储性能增强保护的技术。
图形子系统715可执行图像处理，诸如静止图像或视频以便显示。图形子系统715例如可以是图形处理单元(GPU)或视觉处理单元(VPU)。可使用模拟接口或数字接口以通信方式耦合图形子系统715和显示器720。例如，接口可以是遵循高清多媒体接口、显示端口、无线HDMI和/或无线HD的技术中的任何技术。图形子系统715可集成到处理器710或芯片集705中。在一些实现中，图形子系统715可以是以通信方式耦合到芯片集705的独立卡。
本文描述的图形和/或视频处理技术可在各种硬件架构中实现。例如，图形和/或视频功能性可集成在芯片集内。备选地，可使用分立图形和/或视频处理器。作为又一实现，图形和/或视频功能可由通用处理器(包含多核处理器)提供。在另外实施例中，功能可在消费电子装置中实现。
无线电718可包含能够使用各种适合的无线通信技术传送和接收信号的一个或多个无线电。此类技术可涉及在一个或多个无线网络上的通信。示例无线网络包含(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在此类网络上的通信中，无线电718可按照任何版本的一个或多个可应用标准进行操作。
在各种实现中，显示器720可包含任何电视型监视器或显示器。显示器720例如可包含计算机显示屏、触摸屏、视频监视器、电视类装置和/或电视。显示器720可以是数字的和/或模拟的。在各种实现中，显示器720可以是全息显示器。还有，显示器720可以是可接收视觉投射的透明表面。此类投射可传递各种形式的信息、图像和/或对象。例如，此类投射可以是移动扩增实境(MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台702可在显示器720上显示用户接口722。
在各种实现中，内容服务装置730可由任何国家、国际和/或独立服务托管，并且从而例如可经由因特网对平台702访问。内容服务装置730可耦合到平台702和/或显示器720。平台702和/或内容服务装置730可耦合到网络760以向网络760和从网络760传递(例如发送和/或接收)媒体信息。内容递送装置740还可耦合到平台702和/或显示器720。
在各种实现中，内容服务装置730可包含有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的因特网使能的装置或电器以及能够在内容提供商与平台702和/或显示器720之间经由网络760或直接单向或双向传递内容的任何其它类似装置。将认识到，可经由网络760向和从系统700中的任一组件和内容提供商单向和/或双向传递内容。内容的示例可包含任何媒体信息，例如包含视频、音乐、医疗和游戏信息等等。
内容服务装置730可接收诸如有线电视节目编排的内容，包含媒体信息、数字信息和/或其它内容。内容提供商的示例可包含任何有线电视或卫星电视或者无线电或因特网内容提供商。所提供的示例不意图以任何方式限制根据本公开的实现。
在各种实现中，平台702可从具有一个或多个导航特征的导航控制器750接收控制信号。控制器750的导航特征例如可用于与用户接口722交互。在实施例中，导航控制器750可以是定点装置，定点装置可以是允许用户将空间(例如连续和多维)数据输入到计算机中的计算机硬件组件(特别是人工接口装置)。许多系统诸如图形用户接口(GUI)以及电视和监视器允许用户使用身体姿势控制和提供数据给计算机或电视。
控制器750的导航特征的移动可通过指针、光标、焦圈或在显示器上显示的其它视觉指示符的移动在显示器(例如显示器720)上复制。例如，在软件应用716的控制下，位于导航控制器750上的导航特征例如可被映射到在用户接口722上显示的虚拟导航特征。在实施例中，控制器750可以不是单独组件，但可集成到平台702和/或显示器720中。然而，本公开不限于本文示出或描述的元件或上下文。
在各种实现中，驱动(未示出)可包含在初始引导后(例如当启用时)使用户能够通过触摸按钮而即刻开启和关闭平台702(如电视)的技术。程序逻辑可允许平台702将内容流播到媒体适配器或其它内容服务装置730或内容递送装置740，甚至当平台被“关闭”时。此外，芯片集705例如可包含对于8.1环绕声音频和/或高清(7.1)环绕声音频的硬件和/或软件支持。驱动可包含用于集成图形平台的图形驱动。在实施例中，图形驱动可包括外围组件互连(PCI)快速图形卡。
在各种实现中，在系统700中示出的组件中的任何一个或多个组件可被集成。例如，平台702和内容服务装置730可被集成，或者平台702和内容递送装置740可被集成，或者例如平台702、内容服务装置730和内容递送装置740可被集成。在各种实施例中，平台702和显示器720可以是集成单元。例如，显示器720和内容服务装置730可被集成，或者显示器720和内容递送装置740可被集成。这些示例不意图限制本公开。
在各种实施例中，系统700可被实现为无线系统、有线系统或二者的组合。当实现为无线系统时，系统700可包含适合于通过无线共享介质(诸如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等)通信的组件和接口。无线共享介质的示例可包含无线频谱部分，诸如RF频谱等。当实现为有线系统时，系统700可包含适合于通过有线通信介质(诸如输入/输出(I/O)适配器、连接I/O适配器与对应有线通信介质的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等)通信的组件和接口。有线通信介质的示例可包含有线、电缆、金属引线、印刷电路板(PCB)、底板、开关构造、半导体材料、双绞线、同轴电缆、光纤等等。
平台702可建立一个或多个逻辑或物理通道以传递信息。信息可包含媒体信息和控制信息。媒体信息可以指表示送往用户的内容的任何数据。内容的示例例如可包含来自语音对话、视频会议、流视频、电子邮件("email")消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据例如可以是言语信息、沉默周期、背景噪声、舒适噪声、音调等等。控制信息可以指表示送往自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息，或指令节点按预定方式处理媒体信息。然而，实施例不限于图7中示出或描述的元件或上下文。
如上所述，系统700可按变化的物理样式或形状因子实施。图8图示了可实施系统800的小形状因子装置800的实现。在实施例中，例如，装置800可实现为具有无线能力的移动计算装置。移动计算装置可以指例如具有处理系统和移动功率源或电源(诸如一个或更多电池)的任何装置。
如上所述，移动计算装置的示例可包含个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置等等。
移动计算装置的示例还可包含布置成由人穿戴的计算机，诸如腕上计算机、指上计算机、戒指上计算机、眼镜上计算机、皮带扣上计算机、臂带上计算机、鞋上计算机、衣上计算机以及其它可穿戴计算机。在各种实施例中，例如，移动计算装置可实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管可描述移动计算装置作为示例实现为智能电话的一些实施例，但可认识到，也可使用其它无线移动计算装置实现其它实施例。实施例不限于此上下文。
如图8中所示，装置800可包括外壳802、显示器804、输入/输出(I/O)装置806和天线808。装置800还可包含导航特征812。显示器804可包含用于显示对于移动计算装置适当的信息的任何适合显示单元。I/O装置806可包含用于将信息录入到移动计算装置中的任何适合的I/O装置。I/O装置806的示例可包含字母数字键盘、数字键区、触摸盘、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别装置和软件等等。信息还可通过麦克风(未示出)录入到装置800中。此类信息可通过语音识别装置(未示出)数字化。实施例不限于此上下文。
可使用硬件元件、软件元件或二者的组合实现各种实施例。硬件元件的示例可包含处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等等。软件的示例可包含软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任何组合。确定是否使用硬件元件和/或软件元件来实现实施例可根据许多因素变化，诸如期望的计算速率、功率级、耐热性、处理循环预算、输入数据速率、输出数据速率、存储资源、数据总线速度以及其它设计或性能约束。
至少一个实施例的一个或多个方面可由存储在表示处理器内各种逻辑的机器可读介质上的代表性指令实现，这些指令当由机器读取时使机器制作执行本文描述的技术的逻辑。称为“IP核”的此类表示可存储在有形机器可读介质上，并提供给各种消费者或制造设施，以加载到实际上制定逻辑或处理器的制作机器中。
虽然已经参考各种实现描述了本文阐述的某些特征，但此描述不意图视为限制意义。因此，对本公开涉及的领域的技术人员显然的本文描述的实现的各种修改以及其它实现被认为位于本公开的精神和范围内。
如下示例涉及另外实施例。
在一个示例中，用于视频编码的计算机实现的方法可包含重构视频数据的参考层中参考通道的参考样本。可经由跨层跨通道预测至少部分基于参考样本确定目标层中目标通道的目标预测样本，其中目标通道可以是与参考通道不同的通道。可至少部分基于目标预测样本对目标通道编码。
在另一示例中，用于视频编码的计算机实现的方法可进一步包含重构视频数据的另外参考层和/或另外参考通道的另外参考样本。目标层中目标通道的目标预测样本的确定除了参考样本之外还可至少部分基于另外参考样本。在一些示例中，目标层可以是与参考层相同的层。在其它示例中，目标层可以是比另外参考层更高的层，和/或目标通道可以是与另外参考通道不同的通道。当参考层是基础层时，目标层可以是增强层。当参考层是增强层时，目标层可以是更高增强层。当参考通道是亮度通道时，目标通道可以是色度通道。当参考通道是色度通道时，目标通道可与是亮度通道或另一色度通道之一。目标预测样本的确定可在包含空间定标、时间定标、质量定标和位深度定标的一个或多个可定标类型的可定标视频编码期间执行。目标层中目标通道的目标预测样本的确定可包含：在解码期间至少部分基于在编码期间与目标预测样本关联的标志选择参考层和参考通道。参数值可通过经由编码器的解码器部分从编码器的编码器部分接收参数值来处理。备选地，参数值可通过经由编码器的解码器部分独立于且并行于编码器的编码器部分确定参数值来处理。参数值可与执行跨层跨通道预测关联。确定目标预测样本可包含：至少部分基于参数值应用线性关系模型或非线性关系模型之一。模型参数可通过自适应地应用一个或多个固定关系模型参数来确定目标预测样本进行处理。备选地，模型参数可通过响应于与一个或多个层和/或通道关联的模型参数而自适应地确定一个或多个关系模型参数来处理。可至少部分基于率失真成本自适应应用经由跨层跨通道预测确定目标通道的目标预测样本。
在其它示例中，用于计算机上的视频编码的系统可包含显示装置、一个或多个处理器、一个或多个存储器库、样本重构逻辑模块、跨层跨通道预测逻辑模块等和/或它们的组合。显示装置可配置成呈现视频数据。一个或多个处理器可以通信方式耦合到显示装置。一个或多个存储器库可以通信方式耦合到一个或多个处理器。视频编码器的样本重构逻辑模块可以通信方式耦合到一个或多个处理器，并可配置成重构视频数据的参考层中参考通道的参考样本。视频编码器的跨层跨通道预测逻辑模块可以通信方式耦合到样本重构逻辑模块，并可配置成经由跨层跨通道预测至少部分基于参考样本确定目标层中目标通道的目标预测样本，其中目标通道可以是与参考通道不同的通道。
在另一示例中，用于计算机上视频编码的系统可进一步包含样本重构逻辑模块，其进一步配置成重构视频数据的另外参考层和/或另外参考通道的另外参考样本。目标层中目标通道的目标预测样本的确定除了参考样本之外还可至少部分基于另外参考样本。在一些示例中，目标层可以是与参考层相同的层。在其它示例中，目标层可以是比另外参考层更高的层，和/或目标通道可以是与另外参考通道不同的通道。当参考层是基础层时，目标层可以是增强层。当参考层是增强层时，目标层可以是更高增强层。当参考通道是亮度通道时，目标通道可以是色度通道。当参考通道是色度通道时，目标通道可与是亮度通道或另一色度通道之一。目标预测样本的确定可在包含空间定标、时间定标、质量定标和位深度定标的一个或多个可定标类型的可定标视频编码期间执行。目标层中目标通道的目标预测样本的确定可包含：在解码期间至少部分基于在编码期间与目标预测样本关联的标志选择参考层和参考通道。参数值可通过经由编码器的解码器部分从编码器的编码器部分接收参数值来处理。备选地，参数值可通过经由编码器的解码器部分独立于且并行于编码器的编码器部分确定参数值来处理。参数值可与执行跨层跨通道预测关联。确定目标预测样本可包含：至少部分基于参数值应用线性关系模型或非线性关系模型之一。模型参数可通过自适应地应用一个或多个固定关系模型参数来确定目标预测样本进行处理。备选地，模型参数可通过响应于与一个或多个层和/或通道关联的模型参数而自适应地确定一个或多个关系模型参数来处理。可至少部分基于率失真成本自适应应用经由跨层跨通道预测确定目标通道的目标预测样本。
在另外示例中，至少一个机器可读介质可包含多个指令，所述指令响应于在计算装置上的执行使所述计算装置执行根据以上示例中任一示例的方法。
在又一示例中，设备可包含用于执行根据以上示例的任一示例的方法的部件。
以上示例可包含特征的特定组合。然而，此类以上示例不限于这方面，并且在各种实现中，以上示例可包含仅采取此类特征的子集、采取此类特征的不同次序、采取此类特征的不同组合和/或采取不同于明确列出的那些特征的附加特征。例如，相对于示例方法描述的所有特征都可相对于示例设备、示例系统和/或示例制品实现，并且反之亦然。

Claims (28)

1. 一种用于视频编码的计算机实现的方法，所述方法包括：
重构视频数据的参考层中参考通道的参考样本；
经由跨层跨通道预测至少部分基于所述参考样本确定目标层中目标通道的目标预测样本，其中所述目标通道是与所述参考通道不同的通道；以及
至少部分基于所述目标预测样本对所述目标通道编码。
2. 如权利要求1所述的方法，其中所述目标层是与所述参考层相同的层。
3. 如权利要求1所述的方法，其中当所述参考层包括基础层时，所述目标层包括增强层；并且其中当所述参考层包括增强层时，所述目标层包括更高增强层。
4. 如权利要求1所述的方法，其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；并且其中当所述参考通道包括色度通道时，所述目标通道包括亮度通道或另一色度通道之一。
5. 如权利要求1所述的方法，其中所述目标预测样本的确定在包含空间定标、时间定标、质量定标和位深度定标的一个或多个可定标类型的可定标视频编码期间执行。
6. 如权利要求1所述的方法，进一步包括：
重构所述视频数据的另外参考层和/或另外参考通道的另外参考样本。
7. 如权利要求1所述的方法，进一步包括：
重构所述视频数据的另外参考层和/或另外参考通道的另外参考样本，
其中所述目标层中所述目标通道的所述目标预测样本的确定除了所述参考样本之外还至少部分基于所述另外参考样本，并且
其中所述目标层是比所述另外参考层更高的层，和/或所述目标通道是与所述另外参考通道不同的通道。
8. 如权利要求1所述的方法，其中所述目标层中所述目标通道的所述目标预测样本的确定包括：在解码期间至少部分基于在编码期间与所述目标预测样本关联的标志选择所述参考层和参考通道。
9. 如权利要求1所述的方法，其中确定所述目标预测样本包括：应用线性关系模型或非线性关系模型之一。
10. 如权利要求1所述的方法，进一步包括：
经由编码器的解码器部分从所述编码器的编码器部分接收参数值，其中所述参数值与执行跨层跨通道预测关联，并且
其中确定所述目标预测样本包括：至少部分基于所述参数值应用线性关系模型或非线性关系模型之一。
11. 如权利要求1所述的方法，进一步包括：
经由编码器的解码器部分独立于且并行于所述编码器的编码器部分确定参数值，其中所述参数值与执行跨层跨通道预测关联，并且
其中确定所述目标预测样本包括：至少部分基于所述参数值应用线性关系模型或非线性关系模型之一。
12. 如权利要求1所述的方法，其中模型参数经由如下操作中的一个或多个进行处理：通过自适应应用一个或多个固定关系模型参数之一来确定所述目标预测样本，并响应于与一个或多个层和/或通道关联的模型参数而自适应确定一个或多个关系模型参数。
13. 如权利要求1所述的方法，其中至少部分基于率失真成本自适应应用经由跨层跨通道预测确定所述目标通道的所述目标预测样本。
14. 如权利要求1所述的方法，进一步包括：
重构所述视频数据的另外参考层和/或另外参考通道的另外参考样本，
其中所述目标层中所述目标通道的所述目标预测样本的确定除了所述参考样本之外还至少部分基于所述另外参考样本，
其中所述目标层是比所述另外参考层更高的层，和/或所述目标通道是与所述另外参考通道不同的通道，
其中当所述参考层包括基础层时，所述目标层包括增强层；并且其中当所述参考层包括增强层时，所述目标层包括更高增强层，
其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；并且其中当所述参考通道包括色度通道时，所述目标通道包括亮度通道或另一色度通道之一，
其中所述目标预测样本的确定在包含空间定标、时间定标、质量定标和位深度定标的一个或多个可定标类型的可定标视频编码期间执行，
其中所述目标层中所述目标通道的所述目标预测样本的确定包括：在解码期间至少部分基于在编码期间与所述目标预测样本关联的标志选择所述参考层和参考通道，
其中参数值经由如下操作中的一个或多个进行处理：经由编码器的解码器部分从所述编码器的编码器部分接收参数值，并经由编码器的解码器部分独立于且并行于所述编码器的编码器部分确定参数值，其中所述参数值与执行跨层跨通道预测关联，
其中确定所述目标预测样本包括：至少部分基于所述参数值应用线性关系模型或非线性关系模型之一，
其中模型参数经由如下操作中的一个或多个进行处理：通过自适应应用一个或多个固定关系模型参数之一来确定所述目标预测样本，并响应于与一个或多个层和/或通道关联的模型参数而自适应确定一个或多个关系模型参数，并且
其中至少部分基于率失真成本自适应应用经由跨层跨通道预测确定所述目标通道的所述目标预测样本。
15. 一种用于计算机上的视频编码的系统，所述系统包括：
显示装置，配置成呈现视频数据；
一个或多个处理器，以通信方式耦合到所述显示装置；
一个或多个存储器库，以通信方式耦合到所述一个或多个处理器；
所述视频编码器的样本重构逻辑模块，以通信方式耦合到所述一个或多个处理器，并配置成重构视频数据的参考层中参考通道的参考样本；以及
视频编码器的跨层跨通道预测逻辑模块，以通信方式耦合到所述样本重构逻辑模块，并配置成经由跨层跨通道预测至少部分基于所述参考样本确定目标层中目标通道的目标预测样本，其中所述目标通道是与所述参考通道不同的通道。
16. 如权利要求15所述的系统，其中所述目标层是与所述参考层相同的层。
17. 如权利要求15所述的系统，其中当所述参考层包括基础层时，所述目标层包括增强层；并且其中当所述参考层包括增强层时，所述目标层包括更高增强层。
18. 如权利要求15所述的系统，其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；并且其中当所述参考通道包括色度通道时，所述目标通道包括亮度通道或另一色度通道之一。
19. 如权利要求15所述的系统，其中所述样本重构逻辑模块进一步配置成重构所述视频数据的另外参考层和/或另外参考通道的另外参考样本，
其中所述目标层中所述目标通道的所述目标预测样本的确定除了所述参考样本之外还至少部分基于所述另外参考样本，并且
其中所述目标层是比所述另外参考层更高的层，和/或所述目标通道是与所述另外参考通道不同的通道。
20. 如权利要求15所述的系统，其中所述目标层中所述目标通道的所述目标预测样本的确定包括：在解码期间至少部分基于在编码期间与所述目标预测样本关联的标志选择所述参考层和参考通道。
21. 如权利要求15所述的系统，其中所述样本重构逻辑模块进一步配置成重构所述视频数据的另外参考层和/或另外参考通道的另外参考样本，
其中所述目标层中所述目标通道的所述目标预测样本的确定除了所述参考样本之外还至少部分基于所述另外参考样本，
其中所述目标层是比所述另外参考层更高的层，和/或所述目标通道是与所述另外参考通道不同的通道，
其中当所述参考层包括基础层时，所述目标层包括增强层；并且其中当所述参考层包括增强层时，所述目标层包括更高增强层，
其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；并且其中当所述参考通道包括色度通道时，所述目标通道包括亮度通道或另一色度通道之一，
其中所述目标预测样本的确定在包含空间定标、时间定标、质量定标和位深度定标的一个或多个可定标类型的可定标视频编码期间执行，
其中所述目标层中所述目标通道的所述目标预测样本的确定包括：在解码期间至少部分基于在编码期间与所述目标预测样本关联的标志选择所述参考层和参考通道，
其中参数值经由如下操作中的一个或多个进行处理：经由编码器的解码器部分从所述编码器的编码器部分接收参数值，并经由编码器的解码器部分独立于且并行于所述编码器的编码器部分确定参数值，其中所述参数值与执行跨层跨通道预测关联，
其中确定所述目标预测样本包括：至少部分基于所述参数值应用线性关系模型或非线性关系模型之一，
其中模型参数经由如下操作中的一个或多个进行处理：通过自适应应用一个或多个固定关系模型参数之一来确定所述目标预测样本，并响应于与一个或多个层和/或通道关联的模型参数而自适应确定一个或多个关系模型参数，并且
其中至少部分基于率失真成本自适应应用经由跨层跨通道预测确定所述目标通道的所述目标预测样本。
22. 一种系统，包括：
天线，配置成接收视频数据的编码位流；以及
视频解码器，以通信方式耦合到所述天线，并配置成对所述编码位流解码，其中所述视频解码器配置成：
重构视频数据的参考层中参考通道的参考样本；
经由跨层跨通道预测至少部分基于所述参考样本确定目标层中目标通道的目标预测样本，其中所述目标通道是与所述参考通道不同的通道；以及
至少部分基于所述目标预测样本对所述目标通道解码。
23. 如权利要求22所述的系统，其中所述目标层是与所述参考层相同的层。
24. 如权利要求22所述的系统，其中当所述参考层包括基础层时，所述目标层包括增强层；并且其中当所述参考层包括增强层时，所述目标层包括更高增强层。
25. 如权利要求22所述的系统，其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；并且其中当所述参考通道包括色度通道时，所述目标通道包括亮度通道或另一色度通道之一。
26. 如权利要求22所述的系统，其中所述视频解码器进一步配置成重构所述视频数据的另外参考层和/或另外参考通道的另外参考样本，
其中所述目标层中所述目标通道的所述目标预测样本的确定除了所述参考样本之外还至少部分基于所述另外参考样本，并且
其中所述目标层是比所述另外参考层更高的层，和/或所述目标通道是与所述另外参考通道不同的通道。
27. 如权利要求22所述的系统，其中所述目标层中所述目标通道的所述目标预测样本的确定包括：在解码期间至少部分基于在编码期间与所述目标预测样本关联的标志选择所述参考层和参考通道。
28. 如权利要求22所述的系统，其中所述视频解码器进一步配置成重构所述视频数据的另外参考层和/或另外参考通道的另外参考样本，
其中所述目标层中所述目标通道的所述目标预测样本的确定除了所述参考样本之外还至少部分基于所述另外参考样本，
其中所述目标层是比所述另外参考层更高的层，和/或所述目标通道是与所述另外参考通道不同的通道，
其中当所述参考层包括基础层时，所述目标层包括增强层；并且其中当所述参考层包括增强层时，所述目标层包括更高增强层，
其中当所述参考通道包括亮度通道时，所述目标通道包括色度通道；并且其中当所述参考通道包括色度通道时，所述目标通道包括亮度通道或另一色度通道之一；
其中所述目标预测样本的确定在包含空间定标、时间定标、质量定标和位深度定标的一个或多个可定标类型的可定标视频编码期间执行，
其中所述目标层中所述目标通道的所述目标预测样本的确定包括：在解码期间至少部分基于在编码期间与所述目标预测样本关联的标志选择所述参考层和参考通道，
其中参数值经由如下操作中的一个或多个进行处理：经由编码器的解码器部分从所述编码器的编码器部分接收参数值，并经由编码器的解码器部分独立于且并行于所述编码器的编码器部分确定参数值，其中所述参数值与执行跨层跨通道预测关联，
其中确定所述目标预测样本包括：至少部分基于所述参数值应用线性关系模型或非线性关系模型之一；
其中模型参数经由如下操作中的一个或多个进行处理：通过自适应应用一个或多个固定关系模型参数之一来确定所述目标预测样本，并响应于与一个或多个层和/或通道关联的模型参数而自适应确定一个或多个关系模型参数，并且
其中至少部分基于率失真成本自适应应用经由跨层跨通道预测确定所述目标通道的所述目标预测样本。
CN201280073472.9A 2012-06-26 2012-06-26 跨层跨通道样本预测 Expired - Fee Related CN104322062B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/077514 WO2014000154A1 (en) 2012-06-26 2012-06-26 Cross-layer cross-channel sample prediction

Publications (2)

Publication Number Publication Date
CN104322062A true CN104322062A (zh) 2015-01-28
CN104322062B CN104322062B (zh) 2016-12-21

Family

ID=49782025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073472.9A Expired - Fee Related CN104322062B (zh) 2012-06-26 2012-06-26 跨层跨通道样本预测

Country Status (4)

Country Link
US (1) US9860533B2 (zh)
EP (1) EP2865185A4 (zh)
CN (1) CN104322062B (zh)
WO (1) WO2014000154A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033270A (zh) * 2023-10-08 2023-11-10 腾讯科技（深圳）有限公司 一种芯片、设备以及数据处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104322062B (zh) 2012-06-26 2016-12-21 英特尔公司 跨层跨通道样本预测
JP6060394B2 (ja) 2012-06-27 2017-01-18 インテル・コーポレーション クロスレイヤー・クロスチャネル残差予測
WO2021093801A1 (en) * 2019-11-14 2021-05-20 Beijing Bytedance Network Technology Co., Ltd. Coding of low bit-depth visual media data
WO2023013966A1 (ko) * 2021-08-06 2023-02-09 삼성전자 주식회사 Ai 기반의 영상의 부호화 및 복호화 장치, 및 이에 의한 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226786A (zh) * 1997-11-07 1999-08-25 通用仪器公司 用于立体视频编码的视图偏移估算
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样
CN101977315A (zh) * 2010-10-18 2011-02-16 无锡中星微电子有限公司 一种跨层预测编码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4815107B2 (ja) 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化／復号化方法及び装置
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US20090279614A1 (en) * 2008-05-10 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
CN102656885B (zh) * 2009-12-14 2016-01-27 汤姆森特许公司 合并编码比特流
US20130083855A1 (en) * 2011-09-30 2013-04-04 Dane P. Kottke Adaptive color space selection for high quality video compression
US8615138B2 (en) * 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
CN104322062B (zh) 2012-06-26 2016-12-21 英特尔公司 跨层跨通道样本预测

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226786A (zh) * 1997-11-07 1999-08-25 通用仪器公司 用于立体视频编码的视图偏移估算
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
CN101977315A (zh) * 2010-10-18 2011-02-16 无锡中星微电子有限公司 一种跨层预测编码方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033270A (zh) * 2023-10-08 2023-11-10 腾讯科技（深圳）有限公司 一种芯片、设备以及数据处理方法
CN117033270B (zh) * 2023-10-08 2024-01-26 腾讯科技（深圳）有限公司 一种芯片、设备以及数据处理方法

Also Published As

Publication number Publication date
EP2865185A4 (en) 2016-08-03
US9860533B2 (en) 2018-01-02
WO2014000154A1 (en) 2014-01-03
US20140192877A1 (en) 2014-07-10
EP2865185A1 (en) 2015-04-29
CN104322062B (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
CN103918265B (zh) 跨通道残余预测
CN104541506A (zh) 层间像素样本预测
CN104541505B (zh) 层间内部模式预测方法、设备及装置
CN104321970B (zh) 层间编码单元四叉树模式预测
CN104584553A (zh) 层间残差预测
CN104219524A (zh) 使用感兴趣对象的数据对视频成码的比特率控制
CN104937932B (zh) 可适性视频编码的增强参考区域利用
CN103581665A (zh) 转码视频数据
KR20140089482A (ko) 스케일러블 비디오 코딩의 층 간 예측을 위한 리파이닝 필터
CN104169971A (zh) 使用非线性缩放和自适应源块大小的分层运动估计
CN104322062B (zh) 跨层跨通道样本预测
TWI559749B (zh) 層間移動資料繼承之技術
US10536710B2 (en) Cross-layer cross-channel residual prediction
CN104798373A (zh) 包括在多个独立编码流之间的共享运动估计的视频编码
CN104272738A (zh) 用于可扩展视频编码的自适应滤波
CN103975594B (zh) 用于残差预测的运动估计方法
CN104023238B (zh) 跨通道残余预测
CN104717501A (zh) 层间像素样本预测
CN104854865A (zh) 编码单元比特数限制

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161221

Termination date: 20210626