CN104756498B - 跨层运动向量预测 - Google Patents

跨层运动向量预测 Download PDF

Info

Publication number
CN104756498B
CN104756498B CN201280075377.2A CN201280075377A CN104756498B CN 104756498 B CN104756498 B CN 104756498B CN 201280075377 A CN201280075377 A CN 201280075377A CN 104756498 B CN104756498 B CN 104756498B
Authority
CN
China
Prior art keywords
layer
predicted motion
motion vectors
motion vector
reference predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280075377.2A
Other languages
English (en)
Other versions
CN104756498A (zh
Inventor
徐理东
邱怡仁
张文豪
韩钰
X.蔡
Z.A.邓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104756498A publication Critical patent/CN104756498A/zh
Application granted granted Critical
Publication of CN104756498B publication Critical patent/CN104756498B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文中描述了包括跨层运动向量预测的用于视频编码的操作的系统、设备和方法。

Description

跨层运动向量预测
背景技术
视频编码器压缩视频信息以便能够通过给定带宽发送更多信息。随后可将压缩的信号传送到在显示前解码或解压缩信号的接收器。
高效视频编码(HEVC)是计划在2012底年完成的新视频压缩标准。当前,它由ISO/IEC移动图像专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的视频编码联合协作小组(JCT-VC)开发。该小组也将标准化HEVC标准的可缩放视频编码(SVC)扩展。
在HEVC的主要部分的标准化接近完成时,JCT-VC已开始计划将可缩放视频编码(SVC)扩展添加到HEVC标准。SVC是处理现代视频服务环境中网络和装置的异构性的重要问题。SVC比特流包含本身能够被解码的几个子集比特流,并且这些子流表示带有不同分辨率、帧速率、质量、比特深度等等的来源视频内容。可缩放性通过使用多层编码结构来实现。通常,在SVC系统中一般有一个基层和几个增强层。
SVC比特流一般包含一个基层比特流和至少一个增强层比特流。基层比特流能够独立解码以重构基层视频。增强层比特流不可单独解码,这是因为增强层帧可编码有来自更低层的预测,这称为跨层预测或层间预测。更低层可以是基层或更低增强层。因此,增强层比特流可与更低层数据一起解码以构建输出视频。
如果将增强层图片中的块编码有帧间预测,则可将运动向量(MV)和参考索引编码以便实现在解码器侧的运动补偿。通常,块的MV可类似于其空间和时间相邻块的MV。因此,对于当前块MV编码,可从相邻块MV生成预测的MV,并且随后可将在当前块MV与预测的MV之间的MV差(MVD)编码。在H.264/AVC和以前的基于H.264的SVC标准中,可通过从例如左侧、顶侧和右上方(或者如果右上方不可用,则为左上方)邻居块等三个空间相邻块对MV进行中值滤波,生成预测的MV。在最新HEVC编码标准中,MV候选列表可先从空间和时间相邻块生成,随后,编码器可判定哪个候选对于预测当前块MV是最佳的,并且将最佳候选的索引显式传送到解码器。在解码器侧,解码器可从相邻解码的块MV构建相同候选列表,并且随后获得带有从比特流解码的索引的最佳候选。如果最佳候选很好,足够用于当前块编码,则可不存在编码的MVD需要,这在HEVC标准中称为“合并”模式,并且候选列表称为“合并候选列表”。否则,MVD需要编码,这称为“AMVP”(高级MV预测)模式,并且候选列表称为“AMVP候选列表”。
附图说明
本文中所述的材料在附图中以示例而非限制的方式示出。为确保示图的简明和清晰起见,图中所示元素不一定按比例画出。例如,为清晰起见,一些元素的尺寸相对其它元素可能显得过大。此外,在认为视当之处,标号已在图中重复以指示一致或类似的元素。在附图中:
图1是示例视频编码系统的说明性图形;
图2是示出示例视频编码过程的流程图;
图3是在操作中的示例视频编码系统的说明性图形;
图4是示例跨层运动向量预测方案的说明性图形;
图5是示例视频编码系统的说明性图形;
图6是示例系统的说明性图形;以及
图7示出全部根据本公开内容的至少一些实现布置的示例系统的说明性图形。
具体实施方式
现在参照附图描述一个或多个实施例或实现。虽然论述了特定的配置和布置,但应理解的是,这只是为了便于说明。相关领域技术人员将认识到,在不脱离描述的精神和范围的情况下,可采用其它配置和布置。相关领域技术人员将明白,本文中所述技术和/或布置也可在与本文中所述不同的多种其它系统和应用中采用。
虽然下面的描述陈述了可在诸如芯片上系统(SoC)体系结构等体系结构中显露的各种实现,但本文中所述技术和/或布置的实现不限于特定体系结构和/或计算系统,并且可由用于类似目的的任何体系结构和/或计算系统实现。例如,采用例如多个集成电路(IC)芯片和/或封装和/或诸如机顶盒、智能电话等各种计算装置和/或消费者电子(CE)装置的各种体系结构可实现本文中所述的技术和/或布置。此外,虽然以下描述可陈述诸如逻辑实现、系统组件的类型和相互关系、逻辑分割/集成选择等各种特定细节,但实践所述主题可无需此类特定细节。在其它情况下,诸如控制结构和完全软件指令序列等一些材料可未详细示出以免混合本文中公开的材料。
本文中公开的材料可以硬件、固件、软件或其任何组合的形式实现。本文中公开的材料也可实现为存储在机器可读介质上,可由一个或多个处理器读取和执行的指令。机器可读介质可包括用于以机器(例如,计算装置)可读形式存储或传送信息的任何介质和/或机制。例如,机器可读介质可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置、电、光、声或其它形式传播信号(例如,载波、红外信号、数字信号等)及其它。
说明书中对“一个实现”、“实现”、“示例实现”等的引用指所述实施例可包括特定特征、结构或特性,但每个实现可不一定包括特定特征、结构或特性。另外,此类词语不一定指同一实现。此外,在结合实某个实现描述某个特定特征、结构或特性时,应认为结合无论本文中是否显式描述的其它实现来达到此类特征、结构或特性是在本领域技术人员的认知之内。另外,来自一实施例的任何特征、结构、方面、元素或特性能够与无论本文中是否显式描述的任何其它实施例的任何特征、结构、方面、元素或特性组合。
下面描述包括有跨层运动向量预测的用于视频编码的操作的系统、设备、制品和方法。
如上所述,如果将增强层图片中的块编码有帧间预测,则可将运动向量(MV)和参考索引编码以便实现在解码器侧的运动补偿。通常,块的MV可类似于其空间和时间相邻块的MV。因此,对于当前块MV编码,可从相邻块MV生成预测的MV。在H.264/AVC和以前的基于H.264的SVC标准中,可通过从例如左侧、顶侧和右上方(或者如果右上方不可用,则为左上方)邻居块等三个空间相邻块对MV进行中值滤波,生成预测的MV。在最新HEVC编码标准中,MV候选列表可先从空间和时间相邻块生成,随后,编码器可判定哪个候选对于预测当前块MV是最佳的,并且将最佳候选的索引显式传送到解码器。通常,如果当前编码块的MV是mv,并且其预测的MV是pmv,则将在mv与pmv之间称为MVD的MV差编码到比特流中。在MPEG2中,使用左侧相邻块的MV获得pmv。在H.264/AVC中,通过对左侧、顶侧和右上方的空间相邻块的MV进行中值滤波,获得pmv。在HEVC中,使用两个MV预测模式,例如,AMVP模式和MERGE模式。在AMVP模式中,先通过分别来自左侧空间邻居块、顶侧空间邻居块和并置时间邻居块的三个MV构建双条目AMVP候选列表。随后,编码器判定使用哪个候选预测当前块MV,并且随后将候选索引及MVD编码到比特流中。在MERGE模式中,先通过来自空间邻居块的四个(MV,Refldx)对和来自时间右下侧或并置邻居块的一个(MV, Refldx)对构建最多五条目MERGE候选列表,其中,Refldx是MV指向的参考图片的索引。之后,编码器判定使用哪个候选(MV,Refldx)对将当前块编码并且随后将候选索引编码到比特流中。在MERGE模式中,选择的(MV, Refldx)对直接用于将当前块编码,并且MVD信息无需编码。在编码器能够配置合并候选的数量,最多五个合并候选。
然而,如下面将更详细描述的一样,下一代SVC标准是基于HEVC的SVC标准,例如,基层可能与HEVC规范兼容。增强层编码技术可用于不但从空间和时间相邻块的MV而且从经跨层运动向量预测的更低层块的MV预测增强层块的MV。在传统视频编码标准中,仅空间和时间邻居块MV用于预测当前块的MV。相反,下面讨论的方法为下一代SVC增强层块编码应用跨层(例如,层间)MV预测,例如,使用更低层块的MV预测增强层块的MV。
图1是根据本公开内容的至少一些实现布置的示例视频编码系统100的说明性图形。在各种实现中,视频编码系统100可配置成根据一个或更多个高级视频编解码器标准,进行视频编码和/或实现视频编解码器,这些标准如由ISO/IEC移动图像专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的视频编码联合协作小组(JCT-VC)开发的高效视频编码(HEVC,也称为H.265)视频压缩标准。此外,在各种实施例中,视频编码系统100可实现为图像处理器、视频处理器和/或媒体处理器的一部分,并且可进行帧间预测、帧内预测、预测编码和/或残差预测,包括根据本公开内容的残差预测。
在本文中使用时,术语“编码器”可指编码器和/或解码器。类似地,在本文中使用时,术语“编码”可指经编码器的编码和/或经解码器的解码。
在一些示例中,视频编码系统100可包括为清晰起见而在图1中尚未示出的另外项目。例如,视频编码系统100可包括处理器、射频型(RF)收发器、显示器和/或天线。此外,视频编码系统100可包括诸如扬声器、麦克风、加速计、存储器、路由器、网络接口逻辑等为简明起见而在图1中尚未示出的另外项目。
在一些示例中,视频编码系统100可执行SVC操作。例如,示出了两个空间分辨率层(例如,基层101'和增强层101);然而,除基层101'外,可利用任何数量的增强层。可经HEVC兼容的编码器处理基层101'。与基层相关联的信息(例如,预测模式、重构的像素等等)可用于增强层101的编码。
例如,在增强层101上的视频编码系统100的操作期间,当前视频信息可以视频数据的帧的形式提供到内部比特深度增大模块102,并且要通过变换与量化模块108进行已知视频变换和量化过程。变换与量化模块108的输出可提供到熵编码模块109和去量化与逆变换模块110。去量化与逆变换模块110可实现通过变换与量化模块108进行的操作的逆操作。本领域技术人员可认识到,如本文中所述的变换与量化模块和去量化与逆变换模块可采用缩放技术。去量化与逆变换模块110的输出可提供到包括去块滤波器114、样本自适应偏移滤波器116、自适应环路滤波器118、缓冲器120、运动估计模块122、运动补偿模块124及帧内预测模块126的环路。如图1所示,运动补偿模块124或帧内预测模块126任一的输出和去量化与逆变换模块110的输出组合成到去块滤波器114的输入。
例如,在视频编码系统100中,当前视频帧可提供到运动估计模块122。系统100可以光栅扫描顺序以图像宏块的单位处理当前帧。视频编码系统100在帧内预测模式中操作时,运动估计模块122可响应当前视频帧和参考视频帧生成残差信号。运动补偿模块124随后可使用参考视频帧和运动估计模块122提供的残差信号生成预测的帧。随后可从当前帧减去预测的帧,并且将结果提供到变换与量化模块108。随后,可(使用块变换)变换和量化块以生成量化的变换系数集,系数可由熵编码模块109进行重新排序和熵编码以生成由视频编码系统100提供的一部分压缩的比特流(例如,网络抽象层(NAL)比特流)。在各种实现中,除用于将每个块解码的补充信息(例如,预测模式、量化参数、运动向量信息等等)外,视频编码系统100提供的比特流可包括熵编码的系数,并且可提供到如本文中所述的其它系统和/或装置以便传送或存储。
变换与量化模块108的输出可提供到去量化与逆变换模块110。去量化与逆变换模块110可实现变换与量化模块108进行的操作的逆操作,并且去量化与逆变换模块110的输出可与预测的帧组合以生成重构的帧。视频编码系统100在帧内预测模式中操作时,帧内预测模块126可使用重构的帧进行在本文中将不更详细描述的已知帧内预测方案。
通常,通过划分成编码树块的一个或更多个切片(例如,64x64亮度样本与对应色度样本),当前帧可由系统100分割以便进行压缩。每个编码树块也可在四叉树拆分方案中划分成编码单元(CU)。此外,四叉树上的每个叶CU可划分成分区单元(PU)以便进行运动补偿预测。在根据本公开内容的各种实现中,CU可具有各种大小,包括但不限于64x64、32x32、16x16和8x8,而对于2Nx2N CU,对应PU也可具有各种大小,包括但不限于2Nx2N、2NxN、Nx2N、NxN、2Nx0.5N、2Nxl.5N、0.5Nx2N、1.5Nx2N。然而,应注意的是,前面所述只是示例CU分区和PU分区形状和大小,本公开内容不限于任何特定CU分区和PU分区形状和/或大小。在本文中使用时,术语“块”可指CU或视频数据的PU。
在各种实现中,切片可指定为I(帧内)、P(预测)、B(双预测)、SP(交换P)、SI(交换I)型切片或诸如此类。通常,帧可包括不同切片类型。此外,帧可指定为非参考帧或指定为可用作用于帧间预测的参考的参考帧。在P切片中,通过估计在帧之间的运动 ,可进行时间(而不是空间)预测。在B切片中,表示每PU的两个运动估计的两个运动向量可用于时间预测或运动估计。另外,可相对于显示顺序,从在过去或将来发生的多个图片估计运动。在各种实现中,可在对应于上面提及的各种CU或PU级别估计运动。
在各种实现中,可为每个CU和PU将不同的运动向量编码。在运动估计处理期间,可搜索一系列的CU形状候选(例如,64x64、32x32、16x16和8x8)和PU形状候选(例如,2Nx2N、2NxN、Nx2N、NxN、2Nx0.5N、2Nxl.5N、0.5Nx2N、1.5Nx2N),并且可实现利用跨层运动向量预测的运动估计方案。
类似地,在基层101'上的视频编码系统100的操作期间,当前视频信息可以视频数据的帧的形式提供到空间抽取或比特深度减小模块103,并且随后传递到变换与量化模块108'。变换与量化模块108'可执行已知的视频变换和量化过程。变换与量化模块108'的输出可提供到去量化与逆变换模块110'。去量化与逆变换模块110'可实现变换与量化模块108'进行的操作的逆操作,以提供输出到包括去块滤波器114'、样本自适应偏移滤波器116'、自适应环路滤波器118'、缓冲器120'、运动估计模块122'、运动补偿模块124'及帧内预测模块126'的环路。本领域技术人员可认识到,如本文中所述的变换与量化模块和去量化与逆变换模块可采用缩放技术。如图1所示,运动补偿模块124'或帧内预测模块126'任一的输出和去量化与逆变换模块110'的输出组合成到去块滤波器114'的输入。运动估计模块122'的输出(由图1的箭头150示出,示出跨层运动向量预测操作)可反馈到运动估计模块122(例如,运动估计模块122用于处理与基层101'相对的增强层101)。
在操作中,在解码期间,可将两层SVC比特流去复用成两个单独的比特流(例如,基层101'比特流和增强层101比特流)以便进行解码。基层101'比特流能够独立解码以重构基层输出视频。对于基于HEVC的SVC,基层101'比特流能够独立解码,而增强层101比特流不能独立解码以重构输出视频。增强层101比特流可与基层重构的视频一起解码,这是因为层间预测可用于一些增强层块的编码。可在为层间预测应用基层101'重构的视频前处理该视频。可选择性地执行用于空间可缩放性的图片上采样、用于比特深度可缩放性的图片色调映射、用于交错-渐进式可缩放性的去交错或某一其它种的处理的另外操作。
如下面更详细描述的一样,图1中的箭头150示出跨层运动向量预测操作。基层或更低增强层101'块的解码运动向量能够用于预测增强层101的块的运动向量。
如下面将更详细描述的一样,视频编码系统100可用于执行下面结合图2和/或3讨论的一些或所有各种功能。
图2是示出根据本公开内容的至少一些实现布置的示例视频编码系统200的流程图。在所示实现中,过程200可包括如框202和/或204的一个或更多框所示的一个或更多个操作、功能或动作。作为非限制性示例,本文中将参照图1和/或5的示例视频编码系统100描述过程200。
过程200可用作用于跨层运动向量预测的计算机实现的方法。过程200可在框202“确定在视频数据的参考层中的参考预测运动向量”中开始,其中,可在视频数据的参考层中确定参考预测运动向量。例如,可经视频编码器在视频数据的参考层中确定参考预测运动向量。
处理可从操作202继续到操作204“至少部分地基于参考预测运动向量,确定在目标层中的目标预测运动向量”,其中,可在视频数据的目标层中确定目标预测运动向量。例如,至少部分地基于参考预测运动向量,可经视频编码器确定在视频数据的目标层中的目标预测运动向量。此类确定可经跨层运动向量预测做出。在一些示例中,目标层可以是比参考层更高的层。
在操作中,目标层可以是比参考层更高的层。例如,在参考层包括基层时,目标层可包括增强层;并且在参考层包括增强层时,目标层可包括更高增强层。
与过程200有关的一些另外和/或备选细节可在下面相对于图3更详细讨论的实现的一个或更多个示例中示出。
图3是根据本公开内容的至少一些实现布置的在操作中的示例视频编码系统100和视频编码过程300的说明性图形。在所示实现中,过程300可包括如一个或更多个动作312、314、316、318、320、322、324和/或326所示的一个或更多个操作、功能或动作。作为非限制性示例,本文中将参照图1和/或5的示例视频编码系统100描述过程300。
在所示实现中,视频编码系统100可包括逻辑模块306、诸如此类和/或其组合。例如,逻辑模块306可包括跨层运动向量预测逻辑模块308、诸如此类和/或其组合。视频编码系统100的跨层运动向量预测逻辑模块308可配置成确定在视频数据的参考层中的参考预测运动向量,并且至少部分地基于参考预测运动向量,经跨层运动向量预测确定在目标层中的目标预测运动向量。目标层可以是比参考层更高的层。虽然如图3所示的视频编码系统100可包括与特定模块相关联的块或动作的一个特定集,但这些块或动作可与和此处所示特定模块不同的模块相关联。
过程300可用作用于跨层运动向量预测的计算机实现的方法。过程300可在框312“开始将块编码”开始,并且继续到操作314“确定在视频数据的参考层中的参考预测运动向量”,其中,可在视频数据的参考层中确定参考预测运动向量。例如,可经视频编码器在视频数据的参考层中确定参考预测运动向量。
在一些示例中,目标层可以是比参考层更高的层。例如,在参考层包括基层时,目标层可包括增强层;并且在参考层包括增强层时,目标层可包括更高增强层。
处理可从操作316继续到操作318“确定用于视频数据的参考层的一个或更多个其它参考预测运动向量”,其中,可确定用于视频数据的参考层的一个或更多个其它参考预测运动向量。例如,可经视频编码器确定用于视频数据的参考层的一个或更多个其它参考预测运动向量。
在一些实现中,一个或更多个其它参考预测运动向量和参考预测运动向量可包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项。
另外或备选,在一些示例中,一个或更多个其它参考预测运动向量和参考预测运动向量可包括缩放的运动向量。在一些情况下,可在参考预测运动向量应用到目标预测运动前缩放向量。例如,基于在图片与其参考图片之间的距离,缩放参考预测运动向量,并且如果是空间缩放性,则可基于在增强层图片大小与基层/更低层图片大小之间的比率,缩放基层/更低层参考预测运动向量。
处理可从操作316继续到操作318“确定用于视频数据的目标层的一个或更多个层中参考预测运动向量”,其中,可确定用于视频数据的目标层的一个或更多个层中参考预测运动向量。例如,可经视频编码器确定用于视频数据的目标层的一个或更多个层中参考预测运动向量。
在一些实现中,一个或更多个层中参考预测运动向量可包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项。
处理可从操作318和/或操作316继续到操作320“确定一个或更多个滤波的参考预测运动向量”,其中,可确定一个或更多个滤波的参考预测运动向量。例如,可经视频编码器进行一个或更多个其它参考预测运动向量、一个或更多个层中参考预测运动向量和/或参考预测运动向量的滤波,以形成一个或更多个滤波的参考预测运动向量。
在一些实现中,滤波可包括一个或更多个以下操作:平均型滤波、加权平均型滤波、中值型滤波、诸如此类和/或其组合。
处理可从操作320、操作316和/或操作318继续到操作322“选择最佳参考预测运动向量”,其中,可选择最佳参考预测运动向量。例如,至少在一定程度内基于运动向量候选列表,在编码期间经视频编码器选择最佳参考预测运动向量。
在一些实现中,运动向量候选列表可与两个或更多个以下运动向量相关联:参考预测运动向量、一个或更多个其它参考预测运动向量、一个或更多个层中参考预测运动向量、缩放的运动向量和一个或更多个滤波的参考预测运动向量。
处理可从操作314-322的任何操作继续到操作324“至少部分地基于选择的最佳参考预测运动向量,确定在目标层中的目标预测运动向量”,其中,可在视频数据的目标层中确定目标预测运动向量。例如,至少部分地基于选择的最佳参考预测运动向量,可经视频编码器确定在视频数据的目标层中的目标预测运动向量。此类确定可经跨层运动向量预测做出。
处理可从操作324继续到操作326“完成将块编码”,其中,可至少部分地基于目标预测运动向量,完成数据块的编码。
在操作中,过程300(和/或过程200)可操作,以便目标预测运动向量的确定可包括通过改进通用增强层块的运动向量编码,改进SVC增强层编码效率的机制。此外,通过应用层间MV预测(例如,从更低层块的MV预测增强层块的MV),可改进SVC增强层运动向量(MV)编码。此处,更低层块能够是在与当前增强层图片在相同时间捕获的更低层图片中的块,或者与当前增强层图片在不同时间捕获的更低层图片中的块。在一些示例中,通过只应用层间MV预测,可完成SVC增强层MV编码。在其它示例中,通过联合应用空间、时间和/或跨层MV预测,可完成SVC增强层MV编码。在还有的其它示例中,从更低层块的MV和/或从更低块的缩放的MV,可预测增强层块的MV。在其它示列中,可从指定更低层块的MV(或缩放的MV)预测增强层块的MV。在一些示例中,滤波的MV可使用多个更低层块的MV(和/或缩放的MV)产生,并且随后滤波的MV可用于预测增强层块的MV。在其它示例中,滤波的MV可使用多个更低层块、空间相邻块和/或时间相邻块的MV(和/或缩放的MV)产生,并且随后滤波的MV可用于预测增强层块的MV。在还有的其它示例中,MV候选列表可使用多个更低层块的MV(和/或缩放的MV)产生,并且随后编码器可判定使用哪个候选预测增强层块的MV,并且将候选索引显式传送到解码器以便进行MV解码。类似地,解码器能够产生与编码器产生的相同MV候选列表,并且随后使用收到的候选索引获得MV预测器。在其它示例中,MV候选列表可使用多个更低层块的MV(和/或缩放的MV)、空间相邻块和/或时间相邻块产生,并且随后编码器可判定使用哪个候选预测增强层块的MV,并且将候选索引显式传送到解码器以便进行MV解码。类似地,解码器能够产生与编码器产生的相同MV候选列表,并且随后使用收到的候选索引获得MV预测器。
虽然如图2和3所示的示例过程200和300的实现可包括以所示顺序进行示出的所有框,但本公开内容在此方面并无限制,并且在各种示例中,过程200和300的实现可包括只进行示出的框的子集和/或以与所示不同的顺序进行。
另外,可响应一个或多个计算机程序产品提供的指令,进行图2和3的任何一个或更多个框。此类程序产品可包括提供指令的信号承载介质,指令在由例如处理器执行时,可执行本文中所述功能性。计算机程序产品可能以计算机可读介质的任何形式提供。因此,例如,响应由计算机可读介质输送到处理器的指令,包括一个或多个处理器核的处理器可进行图2和3所示一个或多个框。
在本文中所述任何实现中使用时,术语“模块”指配置成提供本文中所述功能性的软件、固件和/或硬件的任何组合。软件可实施为软件包、代码和/或指令集或指令,并且在本文中所述任何实现中使用时,“硬件”可例如单独或以任何组合方式包括硬连线电路、可编程电路、状态机器电路和/或存储可编程电路执行的指令的固件。模块可全体或单独实施为形成更大系统的一部分的电路,例如,集成电路(IC)、系统芯片(SOC)等。
图4是根据本公开内容的至少一些实现的示例跨层运动向量预测方案的说明性图形。在所示实现中,图1的系统100可实现方案400。在方案400中,在将增强层当前图片402中当前块404的预测运动向量(MV) 406编码时,来自空间、时间和/或跨层(例如,层间)邻居块的多个MV能够用于生成预测的MV 406,如图2所示。其中,表示在时间t的基层图片412(例如,同时图片412),表示在时间t的增强层图片402(例如,当前图片402),表示在基层图片中位于的块414的MV 416,并且表示在增强层图片中位于的块444的MV 446。
如下面将更详细讨论的一样,可为增强层MV预测确定各种MV候选。假设当前增强编码图片402 中的当前块404是位于的当前编码块,并且通过运动估计获得的相关联MV 406是是显示顺序中在当前增强图片402前编码的增强层图片452。是显示顺序中在当前增强图片402后的编码的增强层图片462。是对应于当前增强层图片402 的基层/更低层图片412(例如,同时图片412)。是显示顺序中在当前增强层图片402 前编码的基层/更低层图片422。是显示顺序中在当前增强层图片402 后编码的基层/更低层图片432。
如下面将更详细描述的一样,下面列出的MV能够用于生成用于当前块404的预测的MV 406。
当前图片402 中的空间邻居块444 MV 446可表示为:,其中,k=0,1, ..., K。在一些实施例中,K能够为0,这意味着将不使用无空间相邻块MV。
来自层中更早图片452 的时间邻居块454 MV 456可表示为:,其中,m > 0,并且i=0, 1,..., I。在一些实施例中,I能够为0,这意味着将不使用此种时间相邻块MV。
来自层中更迟图片462 的时间邻居块464 MV 466可表示为:,其中,n > 0,并且j=0, 1,..., J。在一些实施例中,J能够为0,这意味着将不使用此种时间相邻块MV。
来自同时图片412 的层间邻居块414 MV 416可表示为:,其中,s=0, 1,..., S。在一些实施例中,S能够为0,这意味着将不使用此种跨层相邻块MV。
来自跨层更早图片422 f B (t-m)的时间层间块424 MV 426可表示为,其中,m > 0,并且h=0, 1, ..., H。在一些实施例中,H能够为0,这意味着将不使用此种时间跨层相邻块MV。
来自跨层更迟图片432 的时间跨层块434 MV 436可表示为:, 其中,n > 0,并且l=0, 1,..., L。在一些实施例中,L能够为0,这意味着将不使用此种时间跨层相邻块MV。
在一些情况下,在应用上面列出的MV以预测前,应缩放这些MV。例如,基于在图片与其参考图片之间的距离缩放MV,并且如果是空间可缩放性,则可基于在增强层图片大小与基层/更低层图片大小之间的比率,缩放基层/更低层MV。此处,我们将上面列出的MV的缩放的MV表示为
如下面将更详细描述的一样,有可应用以使用上面列出的可能候选,生成用于当前增强层块MV的预测的MV 的各种跨层MV预测方案。下面是一些可能方案:
1) 只应用跨层MV预测方案,例如,从更低层MV和/或缩放的更低层MV预测
1.1) 使用更低层MV或缩放的更低层MV之一作为预测。在标准规范中可描述使用哪个更低层MV,以便编码器和解码器使用与在预测中所使用的相同的一个MV。
1.2) 使用多个更低层MV和/或缩放的更低层MV以产生。借助于来自更低层的多个选择的MV,通过在选择的MV上应用平均滤波、加权平均滤波,中值滤波或某一其它种的滤波,能够获得MV预测。在标准规范中可描述此类滤波(关于应选择哪个更低层MV和应应用哪种滤波),以便编码器和解码器能够产生相同的MV预测。
1.3) 构建带有多个更低MV和/或缩放的更低层MV的MV候选列表,并且随后让编码器将一个候选选择为MV预测,并且将选择的候选的索引显式传送到解码器。可在标准规范中描述此类操作(有关如何构建候选列表),以便编码器和解码器能够构建相同的候选列表。
1.4) 在如1.3中所述构建MV候选列表中,候选也能够是通过在多个选择的更低层MV和/或缩放的更低层MV上应用平均滤波、加权平均滤波,中值滤波或某一其它种的滤波获得的新MV。
2) 联合应用空间、时间和跨层MV预测,例如,可不但从更低层(缩放的)MV,而且从空间和时间相邻(缩放的)MV预测
2.1) 使用来自空间、时间和更低层块的多个选择的MV和/或缩放的MV以产生。借助于多个选择的MV,通过在选择的MV上应用平均滤波、加权平均滤波,中值滤波或某一其它种的滤波,能够获得MV预测。在标准规范中可描述此类操作(关于应选择哪个MV和应应用哪种滤波),以便编码器和解码器能够产生相同的MV预测。
2.2) 构建带有来自空间、时间和更低层块的多个MV和/或缩放的MV的MV候选列表,并且随后让编码器将一个候选选择为预测,并且将选择的候选的索引显式传送到解码器。可在标准规范中描述此类操作(有关如何构建候选列表),以便编码器和解码器能够构建相同的候选列表。
2.3) 在如2.2中所述构建MV候选列表时,候选也能够是通过在空间、时间和更低层块的多个选择的MV和/或缩放的MV上应用平均滤波、加权平均滤波,中值滤波或某一其它种的滤波获得的新MV。
图5是根据本公开内容的至少一些实现布置的示例视频编码系统100的说明性图形。在所示实现中,视频编码系统100可包括成像装置501、视频编码器502、天线503、视频解码器504、一个或更多个处理器506、一个或更多个存储器库508、显示器510和/或逻辑模块306。逻辑模块306可包括跨层运动向量预测逻辑模块308、诸如此类和/或其组合。
如图所示,天线503、视频解码器504、处理器506、存储器库508和/或显示器510可以能够相互进行通信和/或与部分的逻辑模块306进行通信。类似地,成像装置501和视频编码器502可以能够相互进行通信和/或与部分的逻辑模块306进行通信。相应地,视频解码器504可包括全部或部分的逻辑模块306,而视频编码器502可包括类似的逻辑模块。虽然如图5所示的视频编码系统100可包括与特定模块相关联的块或动作的一个特定集,但这些块或动作可与和此处所示特定模块不同的模块相关联。
在一些示例中,视频编码系统100可包括天线503、视频解码器504、诸如此类和/或其组合。天线503可配置成接收视频数据的编码比特流。视频解码器504可以通信方式耦合到天线503,并且可配置成将编码的比特流解码。视频解码器504可配置成确定在视频数据的参考层中的参考预测运动向量,并且至少部分地基于经跨层运动向量预测的参考预测运动向量,确定在目标层中的目标预测运动向量,其中,目标层是比参考层更高的层。
在其它示例中,视频编码系统100可包括显示装置510、一个或更多个处理器506、一个或更多个存储器库508、跨层运动向量预测逻辑模块308、诸如此类和/或其组合。显示器510可配置成显示视频数据。处理器506可以通信方式耦合到显示器510。存储器库508可配置成以通信方式耦合到一个或更多个处理器506。视频解码器504的跨层运动向量预测逻辑模块308(或在其它示例中的视频编码器502)可以通信方式耦合到一个或更多个处理器506,并且可配置成确定在视频数据的参考层中的参考预测运动向量,并且至少部分地基于经跨层运动向量预测的参考预测运动向量,确定在目标层中的目标预测运动向量,其中,目标层是比参考层更高的层。
在各种实施例中,跨层运动向量预测逻辑模块308可在硬件中实现,而软件可实现其它逻辑模块。例如,在一些实施例中,跨层运动向量预测逻辑模块308可通过专用集成电路(ASIC)实现,而其它逻辑模块可通过由诸如处理器506等逻辑执行的软件指令提供。然而,本公开内容在此方面不受限制,并且跨层运动向量预测逻辑模块308和/或其它逻辑模块可通过硬件、固件和/或软件的任何组合实现。另外,存储器库508可以是任何类型的存储器,如易失性存储器(例如,静态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如,闪存存储器等)等等。在非限制性示例中,存储器库508可通过高速缓冲存储器实现。
图6示出根据本公开内容的示例系统600。在各种实现中,系统600可以是媒体系统,但系统600不限于此上下文。例如,系统600可包含到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如,智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置等等。
在各种实现中,系统600包括耦合到显示器620的平台602。平台602可接收来自诸如内容服务装置630或内容输送装置640等内容装置或其它类似内容源的内容。包括一个或多个导航特征的导航控制器650可用于与例如平台602和/或显示器620交互。下面更详细地描述每个这些组件。
在各种实现中,平台602可包括芯片集605、处理器610、存储器612、存储装置614、图形子系统615、应用616和/或无线电618的任何组合。芯片集605可在处理器610、存储器612、存储装置614、图形子系统615、应用616和/或无线电618之间提供相互通信。例如,芯片集605可包括能够提供与存储装置614的相互通信的存储适配器(未示出)。
处理器610可实现为复复杂指令集计算机(CISC)、精简指令集计算机(RISC)、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各种实现中,处理器610可以是双核处理器、双核移动处理器等等。
存储器612可实现为易失性存储器装置,诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM (SRAM)。
存储装置614可实现为非易失性存储装置,诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附接的存储装置、闪存存储器、电池备份SDRAM(同步DRAM)和/或网络可访问的存储装置。在各种实现中,存储装置614可包括在例如包括多个硬盘驱动器时增大对宝贵数字媒体的存储性能增强保护的技术。
图形子系统615可执行诸如静态或视频等图像的处理以便显示。图形子系统615例如可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可用于以通信方式耦合图形子系统615和显示器620。例如,接口可以是高清晰多媒体接口、显示端口、无线HDMI和/或符合无线HD标准的技术的任何项。图形子系统615可集成到处理器610或芯片集605中。在一些实现中,图形子系统615可以是以通信方式耦合到芯片集605的独立卡。
本文中所述的图形和/或视频处理技术可在各种硬件体系结构中实现。例如,图形和/或视频功能可集成在芯片集内。备选,可使用离散图形和/或视频处理器。作为仍有的另一实现,图形和/或视频功能可由包括多核处理器的通用处理器提供。在其它实施例中,功能可在消费者电子装置中实现。
无线电618可包括能够使用各种适合无线通信技术传送和接收信号的一个或多个无线电。此类技术可涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨此类网络进行通信中,无线电618可根据任何版本的一个或多个适用标准操作。
在各种实现中,显示器620可包括任何电视类型监视器或显示器。显示器620例如可包括计算机显示屏幕、触摸屏显示器、视频监视器、电视状装置和/或电视。显示器620可以是数字和/或模拟显示器。在各种实现中,显示器620可以是全息显示器。此外,显示器620可以是可接收视觉投影的透明表面。此类投影可传达各种形式的信息、图像和/或对象。例如,此类投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用616的控制下,平台602可在显示器620上显示用户接口622。
在各种实现中,内容服务装置630可由任何国家、国际和/或独立服务托管,并且因此可由平台602经例如因特网访问。内容服务装置630可耦合到平台602和/或显示器620。平台602和/或内容服务装置630可耦合到网络660以便传递(例如,发送和/或接收)网络660的媒体信息。内容输送装置640也可耦合到平台602和/或显示器620。
在各种实现中,内容服务装置630可包括有线电视盒、个人计算机、网络、电话、因特网启用的装置或能够输送数字信息和/或内容的家电及能够经网络660或直接在内容提供商与平台602和/或显示器620之间单向或双向传递内容的任何其它类似装置。将领会的是,可经网络660单向和/或双向传递系统600中的任何一个组件和内容提供商接收和传送的内容。内容的示例可包括任何媒体信息,例如包括视频、音乐、医疗和游戏信息等等。
内容服务装置630可接收诸如包括媒体信息、数字信息和/或其它内容的有线电视节目的内容。内容提供商的示例可包括任何有线或卫星电视或无线电或因特网内容提供商。提供的示例无意于以任何方式限制根据本公开内容的实现。
在各种实现中,平台602可接收来自具有一个或多个导航特征的导航控制器650的控制信号。控制器650的导航特征可用于与例如用户接口622交互。在实施例中,导航控制器650可以是指点装置,指点装置可以是允许用户输入空间(例如,连续和多维)数据到计算机中的计算机硬件组件(具体而言,人机接口装置)。诸如图形用户界面(GUI)和电视与监视器等许多系统允许用户使用物理手势控制和提供数据到计算机或电视。
通过在显示器上显示的指针、光标、焦环或其它视觉指示器的移动,控制器650的导航特征的移动可在显示器(例如,显示器620)上复现。例如,在软件应用616的控制下,位于导航控制器650上的导航特征可映射到在例如用户接口622上显示的虚拟导航特征。在实施例中,控制器650可以不是单独的组件,而可以集成到平台602和/或显示器620中。然而,本公开内容不限于本文中所示或所述元素或上下文中。
在各种实现中,例如,在启用时,驱动程序(未示出)可包括允许用户在初始引导后通过按钮的点触立即开启和关闭像电视等平台602的技术。即使平台“关闭”,程序逻辑也可允许平台602将内容流传送到媒体适配器或其它内容服务装置630或内容输送装置640。另外,芯片集605例如可包括对环绕立体声音频和/或高清晰(7.1)环绕立体声的硬件和/或软件支持。驱动程序可包括用于集成图形平台的图形驱动程序。在实施例中,图形驱动程序可包括外围组件互连(PCI) 高速图形卡。
在各种实现中,系统600中所示任何一个或多个组件均可集成。例如,平台602和内容服务装置630可集成,或者平台602和内容输送装置640可集成,或者平台602、内容服务装置630和内容输送装置640可集成。在各种实施例中,平台602和显示器620可以是集成单元。例如,显示器620和内容服务装置630可集成,或者显示器620和内容输送装置640可集成。这些示例无意限制本公开内容。
在各种实施例中,系统600可实现为无线系统、有线系统或两者的组合。在实现为无线系统时,系统600可包括适合通过无线共享介质通信的组件和接口,如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享介质的一个示例可包括部分无线频谱,如RF频谱等。在实现为有线系统时,系统600可包括适合通过有线通信介质通信的组件和接口,如输入/输出(I/O)适配器、将I/O适配器与对应有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器及诸如此类。有线通信介质的示例可包括导线、电缆、金属引脚、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
平台602可建立一个或多个逻辑或物理信道以传递信息。信息可包括媒体信息和控制信息。媒体信息可指表示对用户有意义的内容的任何数据。内容的示例例如可包括来自话音交谈、视频会议、流传送视频、电子邮件(“email”)消息、话音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自话音交谈的数据例如可以是语音信息、静音期间、背景噪声、柔和噪声、音调等等。控制信息可指表示对自动化系统有意义的命令、指令或控制字的任何数据。例如,控制信息可用于通过系统路由媒体信息,或者指示节点以预定方式处理媒体信息。然而,实施例不限于图6中所示或所述元件或上下文中。
如上所述,系统600可以变化的物理样式或外形实施。图7示出可实施系统700的小型装置600的实现。在实施例中,例如,装置700可实现为具有无线功能的移动计算装置。移动计算装置例如可指具有处理系统和如一个或多个电池等移动电源的任何装置。
如上所述,移动计算装置的示例可包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如,智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置等等。
移动计算装置的示例也可包括布置成由人佩戴的计算机,如腕部计算机、手指计算机、指环计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、衣服计算机及其它可穿戴计算机。在各种实施例中,例如,移动计算装置可实现为能够执行计算机应用程序及话音通信和/或数据通信的智能电话。虽然一些实施例可通过示例,借助于实现为智能电话的移动计算装置进行描述,但可理解,其它实施例也可使用其它无线移动计算装置实现。实施例在此上下文中并不受限制。
如图7所示,装置700可包括外壳702、显示器704、输入/输出(I/O)装置706及天线708。装置700也可包括导航特征712。显示器704可包括用于显示对移动计算装置适当的信息的任何适合的显示单元。I/O装置706可包括用于将信息输入移动计算装置中的任何合适的I/O装置。I/O装置706的示例可包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇壁开关、麦克风、扬声器、话音识别装置和软件等等。信息也可通过麦克风(未示出)输入装置700中。此类信息可由话音识别装置(未示出)进行数字化。实施例在此上下文中并不受限制。
各种实施例中使用硬件元素、软件元素或两者的组合实现。硬件元素的示例可包括处理器、微处理器、电路、电路元素(例如,晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包括软件组件、程序、应用程序、计算机程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元素和/或软件元素实现可根据任何数量的因素而变化,这些因素如所需的计算速率、功率电平、耐热度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度及其它设计或性能约束。
至少一个实施例的一个或多个方面可由在表示处理器内各种逻辑的机器可读介质上存储的代表性指令实现,指令在由机器读取时,促使机器制造逻辑以执行本文中所述技术。称为“IP核”的此类表示可存储在有形的机器可读介质上,并且提供到各种客户或生产设施以加载到实际形成逻辑或处理器的制造机中。
虽然本文中陈述的某些特征已参照各种实现进行了描述,但描述并无限制意义。因此,本公开内容有关领域的技术人员明白本文中所述实现的各种修改及其它实现,这些均应视为在本公开内容的精神和范围内。
以下示例涉及其它实施例。
在一个示例中,用于视频编码的计算机实现的方法可包括经视频编码器确定在视频数据的参考层中的参考预测运动向量。至少部分地可基于经跨层运动向量预测的参考预测运动向量,经视频编码器确定在目标层中的目标预测运动向量,其中,目标层是比参考层更高的层。
在另一示例中,用于视频编码的计算机实现的方法可还包括经视频编码器确定用于视频数据的参考层的一个或更多个其它参考预测运动向量。一个或更多个其它参考预测运动向量和参考预测运动向量可包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项。一个或更多个其它参考预测运动向量和参考预测运动向量可包括缩放的运动向量。如果参考层包括基层,则目标层可包括增强层。类似地,如果参考层包括增强层,则目标层可包括更高增强层。经视频编码器,可确定用于视频数据的目标层的一个或更多个层中参考预测运动向量。一个或更多个层中参考预测运动向量可包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项。可经视频编码器进行一个或更多个其它参考预测运动向量、一个或更多个层中参考预测运动向量和/或参考预测运动向量的滤波,以形成一个或更多个滤波的参考预测运动向量。滤波可包括一个或更多个以下操作:平均型滤波、加权平均型滤波、中值型滤波、诸如此类和/或其组合。可至少部分地基于运动向量候选列表,经视频编码器选择在编码期间的最佳参考预测运动向量。运动向量候选列表可与两个或更多个以下运动向量相关联:参考预测运动向量、一个或更多个其它参考预测运动向量、一个或更多个层中参考预测运动向量、缩放的运动向量和一个或更多个滤波的参考预测运动向量。经视频编码器,用于目标层的目标预测运动向量的确定可至少部分地基于选择的最佳参考预测运动向量。
在其它示例中,用于计算机上视频编码的系统可包括显示装置、一个或更多个处理器、一个或更多个存储器库、跨层运动向量预测逻辑模块、诸如此类和/或其组合。显示器可配置成显示视频数据。一个或更多个处理器可以通信方式耦合到显示装置。一个或更多个存储器库可以通信方式耦合到一个或更多个处理器。视频解码器的跨层运动向量预测逻辑模块可以通信方式耦合到一个或更多个处理器,并且可配置成确定在视频数据的参考层中的参考预测运动向量,并且至少部分地基于经跨层运动向量预测的参考预测运动向量,确定在目标层中的目标预测运动向量,其中,目标层是比参考层更高的层。
在还有的其它示例中,系统可包括天线、视频解码器、诸如此类和/或其组合。天线可配置成接收视频数据的编码比特流。视频解码器可以通信方式耦合到天线,并且可配置成将编码的比特流解码。视频解码器可配置成确定在视频数据的参考层中的参考预测运动向量,并且至少部分地基于经跨层运动向量预测的参考预测运动向量,确定在目标层中的目标预测运动向量,其中,目标层是比参考层更高的层。
在又示例中,至少一种机器可读介质可包括多个指令,指令响应在计算装置上被执行,促使计算装置执行如上述示例的任何一个示例的方法。
在还有的其它示例中,设备可包括用于执行如上述示例的任何一个示例的方法。
上述示例可包括特征的特定组合。然而,此类上述示例在此方面不受限制,并且在各种实现中,上述示例可包括只进行此类特征的子集,进行不同顺序的此类特征,进行此类特征的不同组合,和/或进行与显式列出的那些特征不同的另外特征。例如,相对于示例方法描述的所有特征可相对于示例设备、示例系统和/或示例制品实现,且反之亦然。

Claims (36)

1.一种用于视频编码的计算机实现的方法,包括:
经视频编码器确定在视频数据的参考层中的第一参考预测运动向量;
经所述视频编码器确定在目标层中的第二参考预测运动向量;以及
经所述视频编码器,至少部分地基于所述第一和第二参考预测运动向量通过联合应用空间、时间和跨层运动向量预测来确定在所述目标层中的目标预测运动向量,其中所述目标层是比所述参考层更高的层,
其中所述第一参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居或显示顺序中编码的跨层更迟时间邻居,并且
其中所述第二参考预测运动向量包括所述目标层中显示顺序中编码的更早时间邻居和显示顺序中编码的更迟时间邻居中的一个或多个。
2.如权利要求1所述的方法,其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层。
3.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的又一参考预测运动向量。
4.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量。
5.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项。
6.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项,
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量。
7.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量;
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项。
8.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
经所述视频编码器将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个滤波的参考预测运动向量。
9.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表,经所述视频编码器在编码期间选择最佳参考预测运动向量:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量和所述一个或更多个层中参考预测运动向量;以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
10.如权利要求1所述的方法,还包括:
经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量,
其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层;
经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
经所述视频编码器将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;
至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表,经所述视频编码器在编码期间选择最佳参考预测运动向量:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量、所述缩放的运动向量和所述一个或更多个滤波的参考预测运动向量;以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
11.一种用于计算机上的视频编码的系统,包括:
显示装置,配置成显示视频数据;
一个或更多个处理器,以通信方式耦合到所述显示装置;
一个或更多个存储器库,以通信方式耦合到所述一个或更多个处理器;
视频编码器的跨层预测逻辑模块,以通信方式耦合到所述一个或更多个处理器,并且配置成:
确定在视频数据的参考层中的第一参考预测运动向量,
确定在目标层中的第二参考预测运动向量;以及
至少部分地基于所述第一和第二参考预测运动向量通过联合应用空间、时间和跨层运动向量预测来确定在所述目标层中的目标预测运动向量,其中所述目标层是比所述参考层更高的层,
其中所述第一参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居或显示顺序中编码的跨层更迟时间邻居,并且
其中所述第二参考预测运动向量包括所述目标层中显示顺序中编码的更早时间邻居和显示顺序中编码的更迟时间邻居中的一个或多个。
12.如权利要求11所述的系统,其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层。
13.如权利要求11所述的系统,其中所述跨层预测逻辑还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项。
14.如权利要求11所述的系统,其中所述跨层预测逻辑还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量。
15.如权利要求11所述的系统,其中所述跨层预测逻辑还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;以及
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个滤波的参考预测运动向量。
16.如权利要求11所述的系统,其中所述跨层预测逻辑还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表在编码期间选择最佳参考预测运动向量:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量和所述一个或更多个层中参考预测运动向量;以及
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
17.如权利要求11所述的系统,其中所述跨层预测逻辑还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量,
其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层;
确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;
至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表在编码期间选择最佳参考预测运动向量:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量、所述缩放的运动向量和所述一个或更多个滤波的参考预测运动向量;以及
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
18.至少一种计算机可读介质,包括:
多个指令,所述指令响应在计算装置上被执行,促使所述计算装置执行如权利要求1到10任一项所述的方法。
19.一种用于视频编码的设备,包括:
用于执行如权利要求1到10任一项所述方法的部件。
20.一种用于视频编码的系统,包括:
天线,配置成接收视频数据的编码比特流;以及
视频解码器,以通信方式耦合到所述天线,并且配置成将所述编码比特流解码,其中所述视频解码器配置成:
确定在视频数据的参考层中的第一参考预测运动向量,
确定在目标层中的第二参考预测运动向量;以及
至少部分地基于所述第一和第二参考预测运动向量通过联合应用空间、时间和跨层运动向量预测来确定在所述目标层中的目标预测运动向量,其中所述目标层是比所述参考层更高的层,
其中所述第一参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居或显示顺序中编码的跨层更迟时间邻居,并且
其中所述第二参考预测运动向量包括所述目标层中显示顺序中编码的更早时间邻居和显示顺序中编码的更迟时间邻居中的一个或多个。
21.如权利要求20所述的系统,其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层。
22.如权利要求20所述的系统,其中所述视频解码器还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项。
23.如权利要求20所述的系统,其中所述视频解码器还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量。
24.如权利要求20所述的系统,其中所述视频解码器还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;以及
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个滤波的参考预测运动向量。
25.如权利要求20所述的系统,其中所述视频解码器还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表在编码期间选择最佳参考预测运动向量:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量和所述一个或更多个层中参考预测运动向量;以及
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
26.如权利要求20所述的系统,其中所述视频解码器还配置成:
确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量,
其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层;
确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;
至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表在编码期间选择最佳参考预测运动向量:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量、所述缩放的运动向量和所述一个或更多个滤波的参考预测运动向量;以及
其中用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
27.一种用于视频编码的设备,包括:
用于经视频编码器确定在视频数据的参考层中的第一参考预测运动向量的装置;
用于经所述视频编码器确定在目标层中的第二参考预测运动向量的装置;以及
用于经所述视频编码器,至少部分地基于所述第一和第二参考预测运动向量通过联合应用空间、时间和跨层运动向量预测来确定在所述目标层中的目标预测运动向量的装置,其中所述目标层是比所述参考层更高的层,
其中所述第一参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居或显示顺序中编码的跨层更迟时间邻居,并且
其中所述第二参考预测运动向量包括所述目标层中显示顺序中编码的更早时间邻居和显示顺序中编码的更迟时间邻居中的一个或多个。
28.如权利要求27所述的设备,其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层。
29.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的又一参考预测运动向量的装置。
30.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量的装置,以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量。
31.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量的装置,
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项。
32.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量的装置,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项,
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量。
33.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量的装置,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
用于经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量的装置;
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量,以及
其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项。
34.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量的装置,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
用于经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量的装置,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
用于经所述视频编码器将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量的装置,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于所述一个或更多个滤波的参考预测运动向量。
35.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量的装置,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括编码跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项;
用于经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量的装置,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
用于至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表,经所述视频编码器在编码期间选择最佳参考预测运动向量的装置:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量和所述一个或更多个层中参考预测运动向量;以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
36.如权利要求27所述的设备,还包括:
用于经所述视频编码器确定用于所述视频数据的所述参考层的一个或更多个其它参考预测运动向量的装置,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括跨层空间邻居、显示顺序中编码的跨层更早时间邻居和显示顺序中编码的跨层更迟时间邻居中的两项或更多项,其中所述一个或更多个其它参考预测运动向量和所述参考预测运动向量包括缩放的运动向量,
其中在所述参考层包括基层时,所述目标层包括增强层;以及其中在所述参考层包括增强层时,所述目标层包括更高增强层;
用于经所述视频编码器确定用于所述视频数据的所述目标层的一个或更多个层中参考预测运动向量的装置,其中所述一个或更多个层中参考预测运动向量包括编码的层中空间邻居、显示顺序中编码的层中更早时间邻居和显示顺序中编码的层中更迟时间邻居中的一项或更多项;
用于经所述视频编码器将所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量和/或所述参考预测运动向量滤波,以形成一个或更多个滤波的参考预测运动向量的装置,其中所述滤波包括以下操作的一项或更多项:平均型滤波、加权平均型滤波、中值型滤波;
用于至少部分地基于与两个或更多个以下运动向量相关联的运动向量候选列表,经所述视频编码器在编码期间选择最佳参考预测运动向量的装置:所述参考预测运动向量、所述一个或更多个其它参考预测运动向量、所述一个或更多个层中参考预测运动向量、所述缩放的运动向量和所述一个或更多个滤波的参考预测运动向量;以及
其中经所述视频编码器,用于所述目标层的所述目标预测运动向量的所述确定至少部分地基于选择的最佳参考预测运动向量。
CN201280075377.2A 2012-09-21 2012-09-21 跨层运动向量预测 Expired - Fee Related CN104756498B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/081722 WO2014043885A1 (en) 2012-09-21 2012-09-21 Cross-layer motion vector prediction

Publications (2)

Publication Number Publication Date
CN104756498A CN104756498A (zh) 2015-07-01
CN104756498B true CN104756498B (zh) 2019-04-23

Family

ID=50340544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075377.2A Expired - Fee Related CN104756498B (zh) 2012-09-21 2012-09-21 跨层运动向量预测

Country Status (5)

Country Link
US (1) US20140247878A1 (zh)
EP (1) EP2898671A4 (zh)
CN (1) CN104756498B (zh)
SG (1) SG11201500308RA (zh)
WO (1) WO2014043885A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9900593B2 (en) * 2012-08-29 2018-02-20 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US9491459B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
WO2014047881A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Inter-layer intra mode prediction
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US10116931B2 (en) * 2013-01-03 2018-10-30 Texas Instruments Incorporated Hierarchical inter-layer prediction in multi-loop scalable video coding
US9525883B2 (en) * 2013-07-15 2016-12-20 Qualcomm Incorporated Cross-layer alignment of intra random access point pictures
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
EP3590259A4 (en) 2017-02-23 2020-08-19 RealNetworks, Inc. STRUCTURE AND SYNTAX OF CODING BLOCK BINARY FLOWS IN VIDEO CODING SYSTEMS AND METHODS
US20220279204A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Efficient video encoder architecture
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
WO2012044487A1 (en) * 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
AU2012275789B2 (en) * 2011-06-30 2016-09-08 Vidyo, Inc. Motion prediction in scalable video coding
JP6060394B2 (ja) * 2012-06-27 2017-01-18 インテル・コーポレーション クロスレイヤー・クロスチャネル残差予測

Also Published As

Publication number Publication date
SG11201500308RA (en) 2015-02-27
EP2898671A1 (en) 2015-07-29
CN104756498A (zh) 2015-07-01
WO2014043885A1 (en) 2014-03-27
US20140247878A1 (en) 2014-09-04
EP2898671A4 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
US10659777B2 (en) Cross-channel residual prediction
CN104756498B (zh) 跨层运动向量预测
KR101636269B1 (ko) 3차원 비디오 코딩을 위한 뷰 간 필터 파라미터 재사용
US9571809B2 (en) Simplified depth coding with modified intra-coding for 3D video coding
TWI548263B (zh) 用於可縮放視訊編碼的層間預估的細化濾波器
US9532048B2 (en) Hierarchical motion estimation employing nonlinear scaling and adaptive source block size
US9860558B2 (en) Inter-layer intra mode prediction
US9497485B2 (en) Coding unit size dependent simplified depth coding for 3D video coding
EP2901694A1 (en) Inter-layer residual prediction
TWI559749B (zh) 層間移動資料繼承之技術
US10536710B2 (en) Cross-layer cross-channel residual prediction
US9860533B2 (en) Cross-layer cross-channel sample prediction
WO2013095322A1 (en) Exhaustive sub-macroblock shape candidate save and restore protocol for motion estimation
US20130148732A1 (en) Variable block sized hierarchical motion estimation
WO2014168643A1 (en) Coding unit size dependent simplified depth coding for 3d video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190423

Termination date: 20190921