CN104137547A - 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定 - Google Patents

用于时间预测的共位图片的隐式确定以及组合隐式和显式确定 Download PDF

Info

Publication number
CN104137547A
CN104137547A CN201280057222.6A CN201280057222A CN104137547A CN 104137547 A CN104137547 A CN 104137547A CN 201280057222 A CN201280057222 A CN 201280057222A CN 104137547 A CN104137547 A CN 104137547A
Authority
CN
China
Prior art keywords
reference picture
list
photo current
picture
sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280057222.6A
Other languages
English (en)
Other versions
CN104137547B (zh
Inventor
余越
克里特·帕努索波内
王利民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology Holding Co
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN104137547A publication Critical patent/CN104137547A/zh
Application granted granted Critical
Publication of CN104137547B publication Critical patent/CN104137547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

在一个实施例中,一种方法确定当前图片,并且确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个。分析当前图片与第一列表参考图片和第二列表参考图片中的至少一个中的至少一部分参考图片之间的时间距离。然后,该方法在分析后的至少一部分参考图片中选择离当前图片在时间距离上最近的参考图片。所选参考图片被设置为用于当前图片的共位图片,并且在用于当前图片的时间预测处理中使用所选参考图片。

Description

用于时间预测的共位图片的隐式确定以及组合隐式和显式确定
相关申请的交叉引用
本公开要求以下优先权:
于2011年11月21日提交的名为“An Implicit Way for SignalingCollocated Picture for HEVC”的美国临时申请No.61/561,931;以及
于2011年11月21日提交的名为“A Combined Way for SignalingCollocated Picture for HEVC”的美国临时申请No.61/562,426,其全部内容通过引用结合于此。
本公开涉及于2012年11月19日提交的名为“An Explicit Way forSignaling a Collocated Picture for High Efficiency Video Coding(HEVC)”的美国专利申请No.13/680,531,其全部内容通过引用结合于此。
背景技术
视频压缩系统采用用于大多数压缩操作的块处理。块是一组邻近像素,并且可以根据压缩操作被视为一个编译单元。理论上,优选较大编译单元,以利用直接邻近像素之间的相关性。例如运动图像专家组(MPEG-1)、MPEG-2、和MPEG-4的多种视频压缩标准使用4x4、8x8、和16x16(称为宏块(MB))的块尺寸。
高效视频编译(HEVC)还是基于块的混合空间和时间预测编译方案。HEVC将输入图片划分为被称为编译树单元(CTU)的正方形块,如图1中所示。不像现有编译标准,CTU可以为128x128像素那样大。每个CTU都可以被划分为被称为编译单元(CU)的较小正方形块。图2示出CU的CTU划分的实例。CTU100首先被划分为四个CU102。每个CU102还可以被进一步分割为四个更小的CU102,其是CU102的尺寸的四分之一。该划分处理可以基于特定准则被重复,诸如,可以施加对可以划分CU的次数的限制。如图所示,CU102-1、102-3和102-4是CTU100的尺寸的四分之一。而且,CU102-2已被分割为四个CU102-5、102-6、102-7和102-8。
每个CU102都可以包括可以被称为预测单元(PU)的一个或多个块。图3示出PU的CU划分的实例。PU可以用于执行空间预测或时间预测。CU可以被空间或时间预测编译。如果CU在帧内模式下被编译,则CU的每个PU可以具有其自己的空间预测方向。如果CU在帧间模式下被编译,则CU的每个PU可以具有其自己的运动矢量和关联参考图片。
在HEVC中,运动矢量(MV)在时间预测处理中被预测编译。对于具有一个当前运动矢量和关联参考索引的当前PU,从当前PU的空间邻近或时间共位PU的运动矢量导出运动矢量预测因子(MVP)。然后,当前运动矢量和MVP之间的差值被确定和编译。这减少了开销,因为仅发送差值而不是用于当前运动矢量的信息。而且,当在合并模式下,单个运动矢量可以被应用至一组空间邻近或时间共位PU。
给定当前图片中的当前PU,关联共位PU驻留在关联共位图片中。共位PU被用作用于MVP的候选者之一或者在合并/跳转模式下用于当前PU。共位图片是在列表0或列表1中指定的参考图片。标记可以被设置成指示应当从哪个列表定义共位PU。例如,标记可以被设置为1,以指示将从列表0定义包含共位划分的参考图片,否则,将从列表1定义参考图片。
一旦编码器或解码器确定包含共位图片(collocated picture)的列表,则编码器或解码器就使用列表0或列表1中的第一参考图片。即,选择在列表0或列表1中具有索引0的参考图片。在一些情况下,列表0或列表1中的第一参考图片可以不是当执行用于当前PU的时间预测处理时使用的最佳参考图片。
发明内容
在一个实施例中,一种方法确定当前图片,并且确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个。分析在当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离。然后,该方法在分析后的至少一部分参考图片中,选择离当前图片在时间距离上最近的参考图片。将所选参考图片设置为用于当前图片的共位图片,并且在用于当前图片的时间预测处理中使用所选参考图片。
在一个实施例中,提供一种方法,包括:由计算设备确定当前图片;由计算设备确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个;由计算设备分析在当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离;由计算设备在分析后的至少一部分参考图片中,选择离当前图片在时间距离上最近的参考图片;以及由计算设备将所选参考图片设置为用于当前图片的共位图片,其中,在用于当前图片的时间预测处理中使用所选参考图片。
在一个实施例中,提供一种方法,包括:由计算设备确定指示使用第一列表参考图片或第二列表参考图片中的哪个的标记的值;如果该值是第一值,则由计算设备在第一列表中的合格参考图片中选择离当前图片具有最小绝对时间距离的参考图片;如果该值是第二值,则由计算设备在第二列表中的合格参考图片中选择离当前图片具有最小绝对时间距离的参考图片;由计算设备设置变量的值,以指示第一列表或第二列表中的所选参考图片的位置,其中,所选参考图片包括到当前图片中的当前块的共位块,用于在时间预测处理中使用。
在一个实施例中,提供一种解码器,包括:一个或多个计算机处理器;以及非暂时性计算机可读存储介质,包括当被执行时,控制一个或多个计算机处理器被配置用于以下的指令:确定当前图片;确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个;分析当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离;在分析后的至少一部分参考图片中,选择离当前图片在时间距离上最近的参考图片;以及将所选参考图片设置为用于当前图片的共位图片,其中,所选参考图片被用于在时间预测处理中解码当前图片。
在一个实施例中,提供一种编码器,包括:一个或多个计算机处理器;以及非暂时性计算机可读存储介质,包括当被执行时,控制一个或多个计算机处理器被配置用于以下的指令:确定当前图片;确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个;分析当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离;在分析后的至少一部分参考图片中,选择离当前图片在时间距离上最近的参考图片;以及将所选参考图片设置为用于当前图片的共位图片,其中,所选参考图片被用于在时间预测处理中对当前图片编码。
以下详细说明和附图提供特定实施例的性质和优点的更好理解。
附图说明
图1示出被划分为称为编译树单元(CTU)的正方形块的输入图片。
图2示出CU的CTU划分的实例。
图3示出PU的CU划分的实例。
图4示出根据一个实施例的用于对视频内容编码和解码的系统的实例。
图5示出根据一个实施例的离当前图片具有不同时间距离的参考图片的实例。
图6示出根据一个实施例的列表0和列表1的实例。
图7示出根据一个实施例的用于确定共位图片的方法的简化流程图。
图8示出根据一个实施例的用于从列表0和列表1选择的以上语义的简化流程图。
图9示出根据一个实施例的用于从列表0和列表1中的第一参考图片选择的方法的简化流程图。
图10提供图示用于使用两个参考图片列表—列表0和列表1来识别在解码当前图片时使用的共位参考图片的一个实施例的语法列表。
图11图示用于解释如何确定当前图片和参考图片之间的图片顺序计数的差异的一组图片。
图12提供图示可以用于识别共位图片以实现当前图片的解码和编码的编辑(compilation)语法步骤的流程图。
图13提供图示用于使用共有参考图片列表识别在解码当前图片时使用的共位图片的另一个实施例的语法列表。
图14A示出根据一个实施例的编码器的实例。
图14B示出根据一个实施例的解码器的实例。
具体实施方式
在此描述用于视频压缩系统的技术。在以下说明书中,为了解释的目的,阐述大量实例和特定详情,以便提供特定实施例的透彻理解。由权利要求限定的特定实施例可以单独或结合以下描述的其他特征包括这些实例中的一些或所有特征,并且可以进一步包括在此描述的特征和概念的修改和等同物。
共位图片的隐式确定
概述
图4示出根据一个实施例的用于编码和解码视频内容的系统400的实例。编码器402和解码器403可以使用HEVC编码和解码比特流;然而,还可以想到其他视频压缩标准。
编码器402包括共位图片管理器404-1,并且解码器403包括共位图片管理器404-2。在特定实施例中,共位图片管理器404-1和404-2“隐式地”确定将用作用于当前图片的共位图片的参考图片。通过隐式地确定将用作共位图片的参考图片,在没有选择哪个共位图片的任何信令的情况下,编码器402和解码器403可以独立地作出该确定。例如,编码器402不将编码器选择哪个参考图片作为共位图片信号发送至解码器403。而是,共位图片管理器404-1和共位图片管理器404-2独立地确定相同参考图片用作用于当前图片的共位图片。以下将更详细地描述用于确定用作共位图片的参考图片的算法。
所选共位图片包括可以在时间预测处理中使用的运动矢量(MV)信息。例如,在共位图片中用于划分的运动矢量可以用作高级运动矢量预测(AMVP)中的时间运动矢量预测因子(MVP)或合并处理中的时间合并/跳转候选运动矢量。当共位块的运动矢量被用作时间MVP时,共位块的运动矢量和当前块的当前运动矢量的差值被编译并且从编码器402被发送至解码器403。当在合并处理中使用共位块的运动矢量时,当前块和共位块被合并,并且使用共位块的相同运动矢量。
时间MVP或时间合并/跳转候选MV被定义为所选共位块的MV,所选共位块驻留在参考图片中并且具有与当前图片中的当前块相同的几何位置。在一个实例中,给定当前图片中的PU,关联共位PU可以驻留在时间上在前或在后的PU中。共位PU可以被用作候选者,以实现用于当前PU的MVP和合并/跳转模式。像PU那样,共位块可以被提供用于变换单元(TU)、CU或图片本身。随后论述将参考图片,尽管其可以应用至图片或片的任何所列子分量。另外,可以参考块,其可以是PU,但是还可以是TU、CU、图片或片。
当多个参考图片都可以时,与来自离当前图片具有较小时间距离的参考图片的共位块相比,使用来自离当前图片具有较大时间距离的参考图片的共位块可能不太有效。这是因为当线性运动发生时,来自在时间距离上更接近的共位块的运动矢量将很可能更类似于当前块的当前运动矢量。这在编译处理中更有效,因为可能存在共位块的运动矢量与当前运动矢量的更少差异。
为了图示时间距离上的差异,图5示出根据一个实施例的离当前图片具有不同时间距离的参考图片的实例。应当理解,可以考虑未来和过去两者的参考图片。当前图片在502处被示出,并且包括在503处示出的当前块。附加参考图片#1、#2、和#3分别在504-1、504-2、和504-3处示出。每个参考图片都是离当前图片的不同时间距离。例如,在504-1处的参考图片包括时间距离TR=1,参考图片504-2包括时间距离TR=2,并且参考图片504-3包括时间距离TR=3,其中,用于TR的更高值是离当前图片的更大时间距离。
运动矢量MV_1是在参考图片#1中的在508-1处示出的共位块的运动矢量,并且运动矢量MV_2是在参考图片#2中的用于在508-2处所示的共位块的运动矢量。运动矢量MV_1或MV_2可以被用作用于当前图片中的当前块的时间MVP或时间合并/跳转候选MV。如在510处所示,运动矢量MVP_1基于运动矢量MV_1,并且在512处,运动矢量MVP_2基于运动矢量MV_2。特定实施例选择运动矢量MV_1用作时间MVP或时间合并/跳转候选MV,这是因为参考图片#1在时间距离上最接近当前图片。如果被用作时间MVP,则假定线性运动,运动矢量MV_1很可能更类似于用于当前块的当前运动矢量。
从而,特定实施例通过基于当前图片和参考图片的候选集合之间的时间距离选择共位图片来改进编译性能。如上所述,可以从被称为列表0或列表1的两个列表之一中指定的参考图片,选择共位图片。根据列表0或列表1中的参考图片的布置,所选共位图片可能不是列表0或列表1中的第一参考图片。图6示出根据一个实施例的列表0和列表1的实例。如图所示,列表0和列表1按照索引被布置,其中,索引中的第一位置是[0],第二位置是[1],以此类推。不同参考图片可以在索引位置上相关联,其可以通过变量RefPicList0[i]或RefPicList[j]指出。例如,对于列表0,从图5看,RefPicList0[0]指向参考图片#2,RefPicList0[1]指向参考图片#1,并且RefPicList0[2]指向参考图片#3。类似地,列表1包括相同索引位置,但是可以包括不同参考图片或在列表0中发现的一些相同参考图片,但是可能在不同位置。例如,RefPicList1[0]指向参考图片#3,RefPicList1[1]指向参考图片#2,并且RefPicList1[2]指向参考图片#1。从而,如果要选择具有离当前图片最小时间距离的参考图片,然后,如果使用列表0,则使用位置RefPicList0[1],或者如果使用列表0,则使用位置RefPicList1[2]。
单个列表实例
在一个实施例中,可以使用标记为collocated_from_l0_flag的标记,以指定应当被用于识别共位图片的列表0或列表1的两个列表之一。例如,如果标记collocated_from_l0_flag等于0,则应当使用列表1。即,从列表1中的参考图片确定共位图片。可替换地,如果标记collocated_from_l0_flag等于1,则使用列表0。即,从列表0中的参考图片确定共位图片。特别是,以下提供可以在一种方法中使用以识别共位图片的语义。在该语义中,以上识别的标记collocated_from_l0_flag与识别被标记为RefPicList1[j]和RefPicList1[i]的列表0和列表1的变量一起被使用。附加变量colPic识别共位图片。
在一些实施例中,语法可以通过以下语义表达:
-如果slice_type等于B并且collocated_from_l0_flag等于0,则变量colPic如通过RefPicList1[j]所指定的来指定包含共位划分的图片,其中,j是与在不被编译为RefPicList1中的帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
-否则(slice_type等于B并且collocated_from_l0_flag等于1或slice_type等于P),变量colPic如通过RefPicList0[i]所指定的来指定包含共位划分的图片,其中,i是与在不被编译为RefPciList0中的帧内图片的所有可用参考中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
在以上语义中,如果用于当前图片的片类型是B片,并且collocated_from_l0_flag等于0,则变量colPic被设置为指定列表1中的离当前图片在时间距离上最近的参考图片。例如,使用RefPicList1[j],其中,j是对于离当前图片为最小绝对时间距离的参考图片的索引。不考虑不被编译为帧内图片的参考图片,这是因为由于这些图片被帧内编译,它们不包括运动矢量。而且,因为在时间上在当前图片之前或之后可以是参考图片,所以使用最小绝对时间距离。
可替换地,如果当前图片的片类型等于B并且collocated_from_l0_flag等于1,或者片类型等于P(当片类型等于P时,仅使用列表0),则变量colPic被设置到列表0中的与当前图片在时间距离上最近的参考图片。例如,设置RefPicList0[i],其中,i是列表0中的索引,用于与当前图片为最小绝对时间距离的参考图片。再次,不考虑不被编译为帧内图片的参考图片,因为由于这些图片被帧内编译,它们不包括运动矢量。
图7示出根据一个实施例的用于确定共位图片的方法的简化流程图700。该方法可以在编码器402或解码器403处隐式地执行。在702处,共位图片管理器404(在编码器402或解码器403中)确定正被编码或解码的当前图片的片类型是B片还是P片。如果当前片是B片,则在704处,共位图片管理器404确定标记collocated_from_l0_flag等于0还是1。如果标记collocated_from_l0_flag等于1,则在706处,共位图片管理器404分析用于列表0中的参考图片的时间距离。另外,如果如在702中确定的正在处理P片,则还执行在706处的处理。在一个实施例中,可以分析用于不被编译为帧内图片的列表0中的参考图片的时间距离。
在708处,共位图片管理器404从在706处分析的共位图片中,选择离当前图片为最小绝对时间距离的参考图片。在710处,共位图片管理器404将变量colPic设置为所选参考图片。
如果标记collocated_from_l0值是0,则在706、708和710中描述的处理被执行用于列表1。例如,在712处,共位图片管理器404分析用于列表1中的参考图片的时间距离。在一个实施例中,可以分析用于不被编译为帧内图片的列表1中的参考图片的时间距离。
在714处,共位图片管理器404从在712处分析的共位图片中,选择离当前图片最小绝对时间距离的参考图片。在714处,共位图片管理器404将变量colPic设置为所选参考图片。然后,编码器402或解码器403可以使用用于共位图片的运动矢量作为时间MVP或时间合并/跳转候选MV。
组合列表实例
在另一个实施例中,可以从列表0和列表1中可用的所有合格参考图片当中的参考图片,选择共位图片。即,共位图片被定义为在列表0和列表1中可用的所有合格参考当中的离当前图片具有最小绝对时间距离的参考图片。当使用该限制时,collocated_from_l0_flag的语法可能不需要并且可以被去除。不需要使用标记,因为特定实施例不需要指定列表0和列表1之间的哪个列表用于确定共位图片。即,搜索列表0和列表1,认为指示搜素哪个列表的标记是不必要的。在一个实施例中,用于以上语法改变的语义可以被定义为:
-如果slice_type等于B,则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList0[i],如果i是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
■否则,RefPicList1[j],如果j是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
可替换地,在另一个实施例中,语义可以为:
-如果slice_type等于B,则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList1[i],如果i是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片最小具有绝对时间距离的帧内图片的参考相对应的索引。
■否则,RefPicList0[j],如果j是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
在第一语义中,如果当前图片的slice_type是B片,则变量colPic被设置为包括与当前图片在时间距离上最近的参考图片的列表中-在列表0或列表1中-的索引之一。例如,可以搜索列表0,以确定包括离当前图片具有最小绝对时间距离的参考图片的索引位置。搜索在列表0中不被编译为帧内图片的所有参考。然后,可以搜索列表1,以确定对于与当前图片在时间距离上最近的参考图片的索引位置。变量colPic被设置为最接近当前图片的共位图片的列表0中的索引位置或列表1中的索引位置。例如,如果列表0中的参考图片比列表1中的所确定参考图片更接近,则colPic被设置为RefPicList0[i],其中,i是到当前图片具有最小绝对时间距离的参考图片的索引位置。否则,colPic被设置为RefPicList1[j],其中,j是对于到当前图片为最小绝对时间距离的参考图片的索引位置。替代语义首先搜索列表1,并且然后搜素列表0。另外,在其他实施例中,在列表0和列表1中不被帧内编译的所有参考图片可以被组合并且被搜索用于到当前图片具有最小绝对距离的参考图片。
图8示出根据一个实施例的用于从列表0和列表1选择的以上语义的简化流程图800。该方法可以在编码器402或解码器403处隐式地执行。在802处,共位图片管理器404(在编码器402或解码器403中)确定用于列表0和列表1中的合格参考图片的所有时间距离。如上所述,仅不被编译为帧内图片的参考图片可能是合格的,并且可以确定最小绝对时间距离。
在804处,共位图片管理器404确定列表0或列表1中的哪个包括具有绝对最小时间距离的参考图片。如果列表0包括该参考图片,则在806处,共位图片管理器404选择列表0中的参考图片作为用于当前图片的共位图片。如上所述,变量colPic可以被设置成指定列表0中的所选参考图片的索引。如果在804中选择列表1,则在808处,共位图片管理器404选择列表1中的参考图片作为共位图片。如上所述,列表1中的索引位置可以被设置为变量colPic。
仅考虑第一参考图片的组合列表实例
在还有的另一个实施例中,共位图片管理器404可以考虑列表0或列表1中的第一参考图片。然后,共位图片管理器404确定列表0或列表1中的第一参考图片中的哪个与当前图片在时间距离上更近。例如,共位图片管理器404选择列表0中的第一参考图片和列表1中的第一参考图片中的哪个离当前图片具有较小绝对时间距离。在该情况下,该参考图片被设置为共位图片。当使用该语义时,包括标记collocated_from_l0_flag的语法可能不需要并且可以被去除。这是因为考虑列表0和列表1,并且不需要定义将使用列表0和列表1中的哪个的标记。该语法可以通过以下语义概括:
-如果slice_type等于B,则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList0[0],如果RefPicList[0]不被编译为帧内图片并且具有比RefPicList1[0]离当前图片/片更小的绝对时间距离。
■否则,如果RefPicList1[0]不被编译为帧内图片,则使用RefPicList1[0]。
可替换地,语义可以为:
-如果slice_type等于B,则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList1[0],如果RefPicList1[0]不被编译为帧内图片并且比RefPicList0[0]离当前图片具有更小的绝对时间距离。
■否则,如果RefPicList0[0]不被编译为帧内图片,则使用RefPicList0[0]。
以上语义确定列表0和列表1中的第一参考图片,并且将变量colPic设置为列表0和列表1中到当前图片具有最小绝对时间距离的第一参考图片。如果第一参考图片之一被编译为帧内图片,则使用另一个参考图片(如果也不被编译为帧内图片)。
图9示出根据一个实施例的用于从列表0和列表1中的第一参考图片选择的方法的简化流程图900。该方法可以在编码器402或解码器403处隐式地执行。在902处,共位图片管理器404(在编码器402或解码器403处)确定列表0中的第一参考图片。在904处,共位图片管理器404确定列表1中的第一参考图片。在906处,确定离当前图片的用于列表0中的第一参考图片和列表1中的第一参考图片中的每个的时间距离。
在908处,共位图片管理器404选择哪个参考图片离当前图片具有绝对最小时间距离。然后,在910处,共位图片管理器404将离当前图片具有绝对最小时间距离的参考图片设置为来自列表0或列表1的共位图片。例如,如上所述,变量colPic可以被设置到列表0或列表1中的第一索引位置。
从而,特定实施例提供用于隐式地确定将用于当前图片的共位图片的不同方法。编码器402和解码器403可以执行类似处理,以确定用于当前图片的共位图片。这不需要显式地信号发送在诸如列表0或列表1中的参考图片的参考图片集合中使用哪个参考图片。由于可能需要在比特流中发送更少的比特,所以这可以提高编译效率。
信号发送共位图片的显式方法
在本部分中的显式方法基于于2012年11月19日提交的名为“AnExplicit Way for Signaling a Collocated Picture for High Efficiency VideoCoding(HEVC)”的美国专利申请No.[]。
为了具有选择最佳共位图片的灵活性,可以显式地而不是隐式地信号发送共位图片。对于显式信号发送,使用语法元素,以通过使用包括可以不使用列表0或列表1中的第一条目参考图片的实施例的过程,显式地表示共位图片,或者可替换地,参考一图片,以识别来自单个列表而不是两个单独列表的共位参考图片。根据应用新语法元素来显式地表示共位图片的情况,一个或两个语法元素可能需要用于列表0和列表1,或者有效地去除对参考列表0和列表1的需要的单个列表可能在更有效编译中被可替换地使用。
A.使用列表0和列表1的显式语法
在显式地识别共位图片的一个实施例中,使用绝对图片顺序计数(POC)差来表示参考图片。该方法通过使用POC以及当前图片POC和参考图片POC之差来实现。POC和ΔPOC被用于构造参考图片集合(RPS)。然后,使用RPS来创建识别可以用于编码和解码当前图片的共位图片的两个列表,列表0和列表1。可以使用图9的语法来执行识别共位图片的该实施例的方法。
图10开始于识别参考图片集合索引ref_pic_set(idx),并且识别用于该参考图片集合的负和正图片的数目。与列表0和列表1中的图片的数目相等的用于识别负和正变量的数目的语法变量是num_negaive_pics和num_pos_pics。如可以参考图10解释的,负和正图片帮助确定列表0和列表1中的图片。图11图示具有用于从0到6范围的图片的图片顺序计数(POC)的一组七个图片中的当前图片3。负图片或在当前图片3之前的图片包括图片0-2。正图片或在当前图片3之后的图片包括图片4-6。如在图片指示符之上所示,列表0中的负图片在当前图片3之后按顺序被表示为L0[2,1,0],其中,括号中的那些数字是列表0中的参考图片的POC数目,并且例如,列表0的第一条目是POC2,并且列表0的第二条目是POC1等。类似地,列表1中的正图片在当前图片3之后按顺序表示为L1[4,5,6]。谨记,具有POC0,1,2,4,5和6的图片在图片3之前被编码或解码。
图10的语法继续,确定POC中的当前图片和参考图片之差。这使得图10中所示的用于L0和L1的列表值能够通过使用差编译被转换为更合理值。例如,通过语法步骤:
for(I=0;I<num_negative_pics;i++)
delta_poc_s0_minusl[i]
used_by_current_pic_s0_flag[i]
这些步骤从POC中的当前图片减去所列图片,以将列表L0[2,1,0]转换为新ΔPOC列表L0[1,2,3],使得更容易对ΔPOC而不是POC本身编译。同时,又一步骤通过使用used_by_current_pic_s0_flag设置当前图片,以指示是否使用参考列表0中的图片。类似地,通过语法步骤:
for(I=0;I<num_positive_pics;i++)
delta_poc_s1_minusl[i]
used_by_current_pic_s1_flag[i]
这些步骤从POC中的当前图片减去所列图片,以将列表L1[4,5,6]转换为新ΔPOC列表L1[-1,-2,-3],并且通过使用used_by_current_pic_s1_flag设置当前图片,以指示是否使用参考列表1中的图片。
图10进一步包括标记有“*”的重要语法。在该语法中,两个变量被提供用于参考图片集合ref_pic_set(idx)中的列表0和列表1的索引,这些变量被标记为collocated_picture_idx_list0和collocated_picture_idx_list1,它们分别指定用于列表0和列表1中的共位图片的索引。而且,在该重要语法中,提供标记为NumRpsCurr0和NumRpsCurr1的用于当前参考图片的数目的两个变量,其还分别被已知为用于列表0和列表1的图片的数目。变量NumRpsCurr0和NumRpsCurr1分别识别当前参考图片集合RefPicSetCurr0和RefPicSetCurr1中的条目的数目。
通过图10中的该重要语法,分别通过collocated_picture_idx_list0和collocated_picture_idx_list1,在列表0和列表1之一中显式地信号发送共位图片。首先,在重要语法中,用于列表0中的当前参考图片集合中的图片的数目NumRpsCurr0被检验,以确定其是否大于1。如果NumRpsCurr0是零,则在列表0中什么也没有,并且如果NumRpsCurr0是1,则列表0中所列的一个参考图片必须是共位图片。然而,如果NumRpsCurr0大于1,则检查语法collocated_picture_idx_list0,以确定哪个参考图片被指定为共位图片。如果collocated_picture_idx_list0不存在,则其被推断为等于0。
第二,在图10的重要语法中,用于列表1的当前参考图片集合中的图片的数目NumRpsCurr1被检验,以确定其是否大于1。如果NumRpsCurr1是零,则在列表1中什么也没有,并且如果NumRpsCurr1是1,则列表1中所列的一个参考图片必须是共位图片。然而,如果NumRpsCurr1大于1,则检查语法collocated_picture_idx_list1,以确定哪个参考图片被指定为共位图片。如果collocated_picture_idx_list1不存在,则其被推断为等于0。
虽然在图10的语法中未示出,但是可以提供单独标记,以识别两个列表中的哪个(列表0或列表1)识别共位图片。用于将具有两个状态1和0的标记的变量是collocated_from_l0_flag。如果collocated_from_l0_flag等于1,则由collocated_picture_idx_list0指示的列表0中的参考图片将被用于共位图片,否则,由collocated_picture_idx_list1指示的列表1中的参考图片将被用作共位图片。
对于除了B型之外的片/图片类型,collocated_from_l0_flag不存在,并且将被设置为1作为默认值,以指示列表0将默认被使用。对于B片图片,collocated_from_l0_flag可以具有0或1值,以指示将使用列表0或列表1中的哪个。
实际上,由图10的语法所示的方法可以被实现,以将来自图片集合的图片选择为用于当前图片的共位图片参考。以下提供多个实例。
在使用图10的语法的第一实例中,collocated_from_l0_flag是1,并且NumRpsCurr0是5。被标记为RefPicSetCurr0的参考图片集合中的参考图片的ΔPOC是{2,5,1,4,3}。如果collocated_picture_idx_list0是2,则来自列表0的具有ΔPOC为1的参考图片将被用作用于当前图片/片的共位图片。
在第二实例中,collocated_from_l0_flag是0,并且NumRpsCurr1是5。RefPicSetCurr1中的参考图片的ΔPOC是{3,1,2,4,5}。如果collocated_picture_idx_list1是1,则来自列表1的具有ΔPOC为1的参考图片将被用作用于当前图片/片的共位图片。
图12提供图示可以用于识别共位图片以实现当前图片的解码和编码的语法步骤的编辑的流程图。首先,在步骤1200中,提供被识别用于编码或解码的一组图片中的当前图片。在步骤1202中,识别当前图片的片类型,以确定其是否是B型。如果是,则在步骤1204中必须访问标记,以确定共位图片在列表0还是在列表1中被识别。如果图片不是B型,则方法直接进行至步骤1206,并且假设具有共位图片的列表是列表0。使用确定步骤1204,标记状态确定该方法是进行至步骤1206,以检验用于共位图片的列表0,还是进行至步骤1208,以检验列表1。
如果列表0将被检验,则步骤1206查看列表0中的图片的当前数目是否大于1。如果是,则控制进行至步骤1210,以识别来自列表0的共位图片。如果在步骤1206中,图片的数目等于1,则处理进行至步骤1212,以将共位图片识别为列表0中的仅有图片。
如果列表1将被检验,则步骤1208查看列表1中的图片的当前数目是否大于1。如果是,则控制进行至步骤1214,以识别来自列表1的共位图片。如果在步骤1208中,图片的数目等于1,则处理进行至步骤1216,以将共位图片识别为列表1中的仅有图片。
最后,一旦共位图片被识别,方法就进行至步骤1218。步骤1218提供共位图片,以实现对当前图片编码或解码。
B.使用单个参考列表的显式语法
作为由图10的语法所示的处理的替代,一种方案可以使用一个语法,collocated_picture_idx,其指定用于列表0或列表1处的共位图片的索引,在片头部处,显式地信号发送用于当前片的共位图片,如图13的语法列表中所示。该方法还使用collocated_from_l0_flag,以确定在访问参考图片列表之前,将使用列表0或列表1中的哪个。然而,语法collocated_picture_idx可以被放在collocated_from_l0_flag之后。通过该排序,将不需要具有两个语法。从而,图13的语法可以提供比图9的语法更有效的系统。
对于图13的语法,最初,通过语法变量slice_type识别片类型。如果片类型是B,则参考标记collocated_from_l0_flag,以确定共位图片将来自列表0还是列表1。对于其他片类型,collocated_from_l0_flag不存在,并且collocated_from_l0_flag的值被推导为等于1,这意味着共位图片一直来自列表0,并且“else”语句不需要被检验。类似地,如果collocated_from_l0_flag是0,则“if”语句不需要被检验。
不像图10的实施例,在图13中,查阅可以识别共位图片的单个collocated_picture_idx。该标记可以被设置为1,以指示将从通过使用来自列表0的collocated_picture_idx检验图片的“if”语法,导出包含共定位划分的图片,否则将在来自列表1的“else”语句之后导出共位图片。
类似于图10的实施例,在图13中,提供被标记为NumPpsCurr0和NumRpsCurr1的用于当前参考图片的数目的两个变量。变量NumPpsCurr0和NumRpsCurr1分别是列表0和列表1中的参考图片的数目,识别当前参考图片集合中的条目的数目。从而,在语法中,根据用于确定其是否大于1的“if”和“else”条件,检验NumPpsCurr0和NumRpsCurr1。如果为0,则集合为空,并且不需要被评估。如果为1,则一个索引值识别共位图片,这是因为在集合中仅有一个,并且意味着collocated_picture_idx的默认值应当是0,并且共位图片是对应参考列表中仅有的图片。如果大于1,则collocated_picture_idx语法可以被用于识别共位参考图片。
C.具有有效语法的显式共位图片
用于以上部分A和B的语法共有的特征说明了可以如何执行显式方法以识别共位图片。部分A的语法要求更多资源来识别共位图片。例如,必须执行搜索两个单独列表collocated_picture_idx_list0和collocated_picture_idx_list1,以识别共位图片。通过在部分B的系统中采用高级步骤,来消除通过最初参考标记collocated_from_l0_flag搜索列表之一的需要,部分B的语法消除了所要求的资源。而且,在部分B中,在甚至参考该标记之前,检查片类型,这是因为如果片类型是I型或者P型而不是B型,则标记状态将预先被知晓。
类似于从部分A到部分B的语法的改变,可以执行语法的其他修改,以使共位图片的识别更有效。部分A和部分B的语法的共有特征包括:(1)识别用于解码或编码的一组图片中的当前图片;(2)提供用于识别该组图片中的共位参考图片的语法;以及(3)使用所识别的共位图片解码或编码当前图片。
可以以多种方式执行通过图10和图13建议的语法的编译和编码。对collocated_picture_idx_list0、collocated_picture_idx_list1或collocated_picture_idx编译的一种可能方式是使用固定长度编译。用于这些语法的最多比特被指定为变量Ceil(Log2(max_num_ref_frames)),其中,max_num_ref_frames指定参考帧、互补参考字段对、以及非成对参考字段的最大数目,用于序列中的任何图片的帧间预测的解码处理可以使用非成对参考字段。
对于实际编码,应用多种条件。例如,如果collocated_from_l0_flag是1并且NumRpsCurr0也是1,则collocated_picture_idx_list0和collocated_picture_idx均不被编译。同样地,如果collocated_from_l0_flag是0并且NumRpsCurr1是1,则collocated_picture_idx_list1和collocated_picture_idx均不被编译。根据编译过程,按照用于编码的语法编译规则的处理可以被用于解码。
信号发送共位图片的组合方法
如上所述,已经描述了信号发送哪个参考图片将被用作共位图片的显式和隐式方式。在一个实施例中,编码器402和解码器403两者可以在显式和隐式方法之间切换。从而,特定实施例可以使用标记explicit_collocated_picture来指示应当使用哪个方法。例如,标记explicit_collocated_picture可以被设置为1,并且从编码器402被信号发送至解码器403。然后,解码器403使用在显式信令中描述的处理。如果编码器402将explicit_collocated_picture标记设置为0,并且将该标记信号发送至解码器403,则解码器403使用如上所述的隐式方法。以下描述可以在图片参考集合(PPS)中提供标记explicit_collocated_picture的语法:
图片参数集合RBSP语法
pie_parameter_sct_rbsp(){ 描述符
pie_parameter_set_id ue(v)
seq_parameter_set_id uc(v)
entropy_coding_mode_flag u(1)
num_temporal_1ayer_switching_point_flags ue(v)
for(i=0;i<num_temporal_laycr_switching_point_flags;i++)
temporal_layer_switching_point_flag[i] u(1)
num_ref_idx10_default_active_minus1 ue(v)
num_ref_idx_11_default_active_minus1 ue(v)
pic_init_qp_minus26/*relative to26*/ se(v)
constrained_intra_pred_flag u(1)
slice_granularity u(2)
shared_pps_info_enabled_flag u(1)
explicit_collocated_picture u(1)
if(sharcd_pps_info_enabled_flag)
if(adaptive_loop_filter_enabled_flag)
alf_param()
if(cu_qp_delta_enabled_flag)
max_cu_qp_delta_depth u(4)
rbsp_trailing_bits()
}
编码器和解码器实例
在各种实施例中,所描述的编码器402可以被结合或者另外与头端处的代码转换器或编码装置相关联,并且解码器403可以被结合或者另外与下游设备相关联,诸如,移动设备、机顶盒或代码转换器。图14A示出根据一个实施例的编码器402的实例。现在将描述编码器402的一般操作;然而,将理解,基于在此的公开和教导,本领域技术人员将会想到关于所描述的编码处理的变体。
对于当前PU,x,通过空间预测或时间预测获得预测PU,x’。然后,从当前PU减去预测PU,得到残差PU,e。空间预测涉及帧内模式图片。帧内模式编译可以使用来自当前输入图像的数据,而不参考其他图像,以对I图片编译。空间预测块1404可以包括每PU不同空间预测方向,诸如水平、垂直、45度对角线、135度对角线、DC(平坦求平均)、以及平面、或任何其他方向。用于PU的空间预测方向可以被编译为语法元素。在一些实施例中,用于PU的辉度(brightness)信息(亮度(Luma))和颜色信息(色度)可以单独被预测。在一个实施例中,用于所有块尺寸的亮度帧内预测模式的数目是35。在替代实施例中,用于任何尺寸的块的亮度帧内预测模式的数目可以是35。附加模式可以被用于色度帧内预测模式。在一些实施例中,色度预测模式可以被称为“IntraFromLuma”。
时间预测块1406执行时间预测。帧间模式编译可以使用来自当前输入图像和一个或多个参考图像的数据,以对“P”图片和/或“B”图片编译。在一些情况和/或实施例中,帧间模式编译可以得到比帧内模式编译更高的压缩。在帧间模式下,PU204可以在时间上被预测编译,使得CU202的每个PU204可以具有一个或多个运动矢量和一个或多个关联参考图像。可以通过运动估计操作执行时间预测,运动估计操作在关联参考图像中搜索用于PU的最佳匹配预测。最佳匹配预测可以通过运动矢量和关联参考图像描述。P图片使用来自当前输入图像和一个或多个先前参考图像的数据。B图片使用来自当前输入图像以及先前和随后参考图像的数据,并且可以具有多达两个运动矢量。运动矢量和参考图片可以被编译在HEVC比特流中。在一些实施例中,运动矢量可以是语法元素“MV”,并且参考图片可以是语法元素“refIdx”。在一些实施例中,帧间模式可以允许空间和时间预测编译。最佳匹配预测通过运动矢量(MV)和关联参考图片索引(refIdx)描述。运动矢量和关联参考图片索引被包括在编译后的比特流中。
变换块1407通过残差PU,e执行变换操作。可以对CU执行不同尺寸的块集合变换,使得一些PU可以被划分为更小的TU,并且其他PU可以具有与PU相同的尺寸的TU。CU和PU到TU20的划分可以通过四叉树表示示出。变换块1407在变换域E中输出残差PU。
然后,量化器1408量化残差PU的变换系数E。量化器1408将变换系数转换为有限数目的可能值。在一些实施例中,这是有损操作,其中,量化的数据损失可能是不可恢复的。在变换系数被量化之后,熵编译块1410对量化后的系数熵编码,这得到将被传送的最终压缩比特。可以使用不同熵编译方法,诸如,上下文自适应可变长度编译(CAVLC)或上下文自适应二进制算术编译(CABAC)。
而且,在编码器402内的解码处理中,反量化器1412反量化残差PU的量化后的变换系数。然后,反量化器1412输出残差PU的反量化后的变换系数E’。反变换块1414接收反量化后的变换系数,其然后被反变换,得到重构残差PU,e’。然后,重构PU,e’在空间或时间上被添加至对应预测x’,以形成新的重构PU,x”。在确定预测时使用特定实施例,诸如,在预测处理中使用共位图片管理器404,以确定要使用的共位图片。循环滤波器1416对重构PU,x”执行解块,以减少块效应。另外,循环滤波器1416可以在完成用于解码后的图片的解块滤波处理之后,执行取样自适应偏移处理,其补偿重构像素和原始像素之间的像素值偏移。而且,循环滤波器1416可以对重构PU执行自适应循环滤波,这最小化了输入和输出图片之间的编译失真。另外,如果重构图片是参考图片,则将参考图片存储在参考缓冲器1418中,用于未来时间预测。帧内模式编译图像可以是在不需要附加重构图像的情况下解码可以开始的可能点。
图14B示出根据一个实施例的解码器403的实例。现在将描述解码器403的一般操作;然而,将理解,基于在此的公开和教导,本领域技术人员将会想到关于所描述的解码处理的变体。解码器403从编码器402接收输入比特,以用于编码后的视频内容。
熵解码块1430对输入比特流执行熵解码,以生成残差PU的量化后的变换系数。反量化器1432反量化残差PU的量化后的变换系数。然后,反量化器1432输出残差PU的反量化后的变换系数E’。反变换块1434接收反量化后的变换系数,其然后被反变换,得到重构的残差PU,e’。
然后,重构PU,e’在空间或时间上被添加至对应预测x’,以形成新的重构PU,x’。循环滤波器1436对重构PU,x”执行解块,以减少块效应。另外,循环滤波器1436可以在完成用于解码后的图片的解块滤波处理之后执行取样自适应偏移处理,这补偿重构像素和原始像素之间的像素值偏移。而且,循环滤波器1436可以对重构PU执行自适应循环滤波,这最小化了输入和输出图片之间的编译失真。另外,如果重构图片是参考图片,则参考图片被存储在参考缓冲器1438中,以用于未来时间预测。
通过空间预测或时间预测获得预测PU,x’。空间预测块1440可以接收每PU的解码后空间预测方向,诸如水平、垂直、45度对角线、135度对角线、DC(平坦求平均)、以及平面。空间预测方向被用于确定预测PU,x’。
时间预测块1406通过运动估计操作执行时间预测。可以在确定预测时使用特定实施例,诸如,在预测处理中使用共位图片管理器404,以确定要使用的共位图片。使用解码后的运动矢量,以确定预测PU,x’。可以在运动估计操作中使用内插。
特定实施例可以在非暂时性计算机可读存储介质中实现,用于由或结合指令执行系统、装置、系统或机器使用。计算机可读存储介质包含用于控制计算机系统执行通过特定实施例描述的方法的指令。当由一个或多个计算机处理器执行时,指令可操作以执行在特定实施例中描述的方法。
如在此的说明书中并且贯穿权利要求中使用的,除非另外明确地指示,“一”、“一个”、和“该”包括复数个引用。而且,如在此的说明书中并且贯穿权利要求中使用的,除非另外明确指示,“在...中”的意义包括“在...中”和“在...上”。
以上说明书示出多种实施例以及可以如何实现特定实施例的多个方面的实例。以上实例和实施例应当不被认为是仅有的实施例,并且被提供以说明如由权利要求限定的特定实施例的灵活性和优点。基于以上公开和权利要求,可以在不脱离由权利要求限定的其范围的情况下,采用其他布置、实施例、实现和等同物。

Claims (31)

1.一种方法,包括:
由计算设备确定当前图片;
由所述计算设备确定用于所述当前图片的第一列表参考图片和第二列表参考图片中的至少一个;
由所述计算设备分析在所述当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分所述参考图片之间的时间距离;
由所述计算设备,在分析后的至少一部分所述参考图片中,选择离所述当前图片在时间距离上最近的参考图片;以及
由所述计算设备,将所选参考图片设置为用于所述当前图片的共位图片,其中,在用于所述当前图片的时间预测处理中使用所选参考图片。
2.根据权利要求1所述的方法,其中,仅分析所述第二列表参考图片,所述方法进一步包括:
从所述当前图片确定用于所述第二列表中的至少一部分参考图片的时间距离,其中,具有最小绝对时间距离的来自所述第二列表中的所述至少一部分参考图片的参考图片被选择为所述共位图片。
3.根据权利要求2所述的方法,其中,当标记被设置为指示仅应当分析所述第二列表的值并且所述当前图片内容的片类型等于B时,仅分析所述第二列表。
4.根据权利要求1所述的方法,其中,仅分析所述第一列表参考图片,所述方法进一步包括:
从所述当前图片确定用于所述第一列表中的至少一部分参考图片的时间距离,其中,具有绝对最小时间距离的来自所述第一列表中的所述至少一部分参考图片的参考图片被选择为共位图片。
5.根据权利要求4所述的方法,其中,当标记被设置为指示仅应当分析所述第一列表的值并且所述当前图片的片类型等于B或所述片类型等于P时,仅分析所述第一列表。
6.根据权利要求1所述的方法,其中:
所述当前图片包括第一块,以及
所选参考图片中的第二块被选择为用于所述第一块的共位块。
7.根据权利要求6所述的方法,其中,所述共位块的运动矢量被用作用于所述第一块的时间运动矢量预测因子(MVP)或时间合并/跳转候选运动矢量。
8.根据权利要求1所述的方法,其中,在不通信指示在所述编码器和所述解码器之间选择哪个参考图片的信息的情况下,编码器或解码器隐式地选择所述参考图片。
9.根据权利要求1所述的方法,其中,分析所述第一列表和所述第二列表两者中的参考图片,所述方法进一步包括:
确定用于所述第一列表和所述第二列表两者中的至少一部分参考图片的时间距离,其中,具有最小绝对时间距离的来自所述第一列表和所述第二列表两者中的所述至少一部分参考图片的参考图片被选择为所述共位图片。
10.根据权利要求9所述的方法,其中,指示要分析所述第一列表和所述第二列表中的哪个列表的标记不从编码器被信号发送至解码器。
11.根据权利要求1所述的方法,其中,分析所述第一列表和所述第二列表两者中的第一参考图片,所述方法进一步包括:
确定用于所述第一列表和所述第二列表两者中的所述第一参考图片的时间距离,其中,具有最小绝对时间距离的来自所述第一参考图片的参考图片被选择为所述共位图片。
12.根据权利要求11所述的方法,其中,指示要分析所述第一列表和所述第二列表中的哪个列表的标记不从编码器被信号发送至解码器。
13.根据权利要求1所述的方法,其中:
编码器使用用于另一个当前图片的显式方法,选择另一个参考图片,所述显式方法要求从所述编码器到解码器的选择所述另一个参考图片的通信,以及
所述编码器将标记设置为指示使用所述显式方法的第一值,所述方法进一步包括:
将所述标记从所述编码器发送至所述解码器,以向所述解码器指示在时间预测处理中使用所述显式方法来选择所述另一个参考图片。
14.根据权利要求13所述的方法,其中,所述显式方法包括:
识别用于编码的一组图片中的所述另一个当前图片;
使用语法识别所述一组图片中的共位图片,以确定是否应当访问共位图片索引,以识别所述共位图片;以及
使用所述共位图片对所述另一个当前图片编码。
15.根据权利要求13所述的方法,其中:
分析、选择和设置包括隐式方法,其中,所述隐式方法不要求从所述编码器到所述解码器的选择所述参考图片的通信,以及
当使用隐式方法时,所述标记被设置为第二值,所述方法进一步包括:
将所述标记从所述编码器发送至所述解码器,以向所述解码器指示在所述时间预测处理中使用所述隐式方法来选择所述参考图片。
16.一种方法,包括:
由计算设备,确定指示使用第一列表参考图片或第二列表参考图片中的哪个的标记的值;
如果所述值是第一值,则由所述计算设备,在所述第一列表中的合格参考图片中选择具有离当前图片的最小绝对时间距离的参考图片;
如果所述值是第二值,则由所述计算设备,在所述第二列表中的合格参考图片中选择具有离当前图片的最小绝对时间距离的参考图片;
由所述计算设备设置变量的值,以指示所述第一列表或所述第二列表中的所选参考图片的位置,其中,所选参考图片包括到所述当前图片中的当前块的共位块,以用于在时间预测处理中使用。
17.根据权利要求16所述的方法,其中,所选参考图片的所述共位块的运动矢量被用作用于所述当前块的时间运动矢量预测因子(MVP)或时间合并/跳转候选运动矢量。
18.根据权利要求16所述的方法,其中,如果所述当前图片的片类型等于B片或P片,则使用所述第一列表,并且如果所述片类型等于所述B片,则使用所述第二列表。
19.根据权利要求16所述的方法,其中,所述变量被设置为所述第一列表或所述第二列表中的索引。
20.一种解码器,包括:
一个或多个计算机处理器;以及
非暂时性计算机可读存储介质,包括当被执行时,控制所述一个或多个计算机处理器被配置用于以下的指令:
确定当前图片;
确定用于所述当前图片的第一列表参考图片和第二列表参考图片中的至少一个;
分析所述当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分所述参考图片之间的时间距离;
在分析后的至少一部分所述参考图片中,选择离所述当前图片在时间距离上最近的参考图片;以及
将所选参考图片设置为用于所述当前图片的共位图片,其中,所选参考图片被用于在时间预测处理中解码所述当前图片。
21.根据权利要求20所述的解码器,其中,仅分析所述第二列表参考图片,所述解码器进一步被配置用于:
从所述当前图片确定用于所述第二列表中的至少一部分参考图片的时间距离,其中,具有最小绝对时间距离的来自所述第二列表中的所述至少一部分参考图片的参考图片被选择为所述共位图片。
22.根据权利要求21所述的解码器,其中,当标记被设置为指示仅应当分析所述第二列表的值并且所述当前图片内容的片类型等于B时,仅分析所述第二列表。
23.根据权利要求20所述的解码器,其中:
所述当前图片包括第一块,以及
所选参考图片中的第二块被选择为用于所述第一块的所述共位块。
24.根据权利要求23所述的解码器,其中,所述共位块的运动矢量被用作用于所述第一块的时间运动矢量预测因子(MVP)或用作时间合并/跳转候选运动矢量。
25.根据权利要求20所述的解码器,其中,在不接收指示从编码器选择哪个参考图片的信息的通信时,所述解码器隐式地选择所述参考图片。
26.一种编码器,包括:
一个或多个计算机处理器;以及
非暂时性计算机可读存储介质,包括当被执行时,控制所述一个或多个计算机处理器被配置用于以下的指令:
确定当前图片;
确定用于所述当前图片的第一列表参考图片和第二列表参考图片中的至少一个;
分析所述当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分所述参考图片之间的时间距离;
在分析后的至少一部分所述参考图片中,选择离所述当前图片在时间距离上最近的参考图片;以及
将所选参考图片设置为用于所述当前图片的共位图片,其中,所选参考图片被用于在时间预测处理中对所述当前图片编码。
27.根据权利要求26所述的编码器,其中,仅分析所述第二列表参考图片,所述编码器进一步被配置用于:
从所述当前图片确定用于所述第二列表中的至少一部分参考图片的时间距离,其中,具有最小绝对时间距离的来自所述第二列表中的所述至少一部分参考图片的参考图片被选择为所述共位图片。
28.根据权利要求27所述的编码器,其中,当标记被设置为指示仅应当分析所述第二列表的值并且所述当前图片内容的片类型等于B时,仅分析所述第二列表。
29.根据权利要求26所述的编码器,其中:
所述当前图片包括第一块,以及
所选参考图片中的第二块被选择为用于所述第一块的所述共位块。
30.根据权利要求29所述的编码器,其中,所述共位块的运动矢量用作用于所述第一块的时间运动矢量预测因子(MVP)或用作时间合并/跳转候选运动矢量。
31.根据权利要求26所述的编码器,其中,在不发送指示选择哪个参考图片到解码器的信息的通信的情况下,所述编码器隐式地选择所述参考图片。
CN201280057222.6A 2011-11-21 2012-11-20 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定 Active CN104137547B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161561931P 2011-11-21 2011-11-21
US201161562426P 2011-11-21 2011-11-21
US61/561,931 2011-11-21
US61/562,426 2011-11-21
PCT/US2012/066146 WO2013078248A1 (en) 2011-11-21 2012-11-20 Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction
US13/682,590 2012-11-20
US13/682,590 US9467694B2 (en) 2011-11-21 2012-11-20 Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction

Publications (2)

Publication Number Publication Date
CN104137547A true CN104137547A (zh) 2014-11-05
CN104137547B CN104137547B (zh) 2018-02-23

Family

ID=48426927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280057222.6A Active CN104137547B (zh) 2011-11-21 2012-11-20 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定

Country Status (6)

Country Link
US (1) US9467694B2 (zh)
EP (1) EP2783510A1 (zh)
KR (1) KR101607038B1 (zh)
CN (1) CN104137547B (zh)
BR (1) BR112014012187A2 (zh)
WO (1) WO2013078248A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944183A (zh) * 2018-09-23 2020-03-31 北京字节跳动网络技术有限公司 在帧间模式下利用非子块空时运动矢量预测
CN113242432A (zh) * 2018-08-29 2021-08-10 北京达佳互联信息技术有限公司 视频解码的方法、计算设备和存储介质
CN114009039A (zh) * 2019-06-25 2022-02-01 高通股份有限公司 视频译码中的时间运动矢量预测候选的推导

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635385B2 (en) * 2011-04-14 2017-04-25 Texas Instruments Incorporated Methods and systems for estimating motion in multimedia pictures
CN107483925B (zh) * 2011-09-09 2020-06-19 株式会社Kt 用于解码视频信号的方法
BR112014012038A2 (pt) 2011-11-18 2017-05-30 Motorola Mobility Llc armazenamento eficiente de informação de movimento para codificação de vídeo de alta eficiência
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
BR112014012006A2 (pt) * 2011-11-18 2017-05-30 Motorola Mobility Llc uma forma explícita para sinalizar uma imagem colocalizada para codificação de vídeo de alta eficiência (hevc)
BR112014015790A2 (pt) * 2011-12-26 2018-05-22 Motorola Mobility Llc determinação implícita de figura colocalizada para predição temporal
JP6078927B2 (ja) * 2012-01-10 2017-02-15 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、及び、動画像復号装置
WO2013154674A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Evaluation of signaling of collocated reference picture for temporal prediction
US9210425B2 (en) 2012-04-11 2015-12-08 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) flag for temporal prediction
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
AU2015256052A1 (en) * 2014-05-07 2016-11-10 Medimmune, Llc Methods of using anti-Ang2 antibodies
US20180249176A1 (en) * 2015-03-11 2018-08-30 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
WO2017159901A1 (ko) * 2016-03-18 2017-09-21 엘지전자 주식회사 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
CN107402928A (zh) * 2016-05-20 2017-11-28 上海画擎信息科技有限公司 一种文档渲染方法
KR102602827B1 (ko) * 2018-09-04 2023-11-15 후아웨이 테크놀러지 컴퍼니 리미티드 양방향 인터 예측에 적용되는 참조 프레임 획득 방법 및 장치
CN117615125A (zh) * 2018-10-08 2024-02-27 华为技术有限公司 用于译码块的几何划分块的帧间预测的装置及方法
CN111416977B (zh) * 2019-01-07 2024-02-09 浙江大学 视频编码器、视频解码器及相应方法
TW202106027A (zh) * 2019-06-21 2021-02-01 南韓商三星電子股份有限公司 用於解碼動作資訊的裝置及方法和用於編碼動作資訊的方法
CN118337987A (zh) * 2020-03-26 2024-07-12 阿里巴巴(中国)有限公司 一种非暂时性计算机可读介质
US11785254B2 (en) * 2020-05-29 2023-10-10 Tencent America LLC Implicit mode dependent primary transforms

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469632A (zh) * 2002-06-17 2004-01-21 株式会社东芝 视频编码/解码方法和设备
CN1497981A (zh) * 2002-07-16 2004-05-19 ���ǵ�����ʽ���� 用于编码和解码运动矢量的方法和装置
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information
CN101043626A (zh) * 2002-07-15 2007-09-26 株式会社日立制作所 动态图像编码方法及解码方法
US20080219351A1 (en) * 2005-07-18 2008-09-11 Dae-Hee Kim Apparatus of Predictive Coding/Decoding Using View-Temporal Reference Picture Buffers and Method Using the Same

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466843B2 (en) 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
AU2001290670A1 (en) 2000-09-20 2002-04-02 Dataplay, Inc. Etched micro lens and method and apparatus for fabricating
US6961055B2 (en) 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
US7822120B2 (en) 2002-07-26 2010-10-26 Panasonic Corporation Moving picture encoding method, moving picture decoding method, and recording medium
US7227901B2 (en) 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
EP1625488A2 (en) 2003-05-20 2006-02-15 Lego A/S Method and system for manipulating a digital representation of a three-dimensional object
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
JP4262014B2 (ja) 2003-07-31 2009-05-13 キヤノン株式会社 画像撮影装置および画像処理方法
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7400681B2 (en) 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
JP3879741B2 (ja) 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
KR20070032633A (ko) 2004-04-08 2007-03-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티미디어 데이터에 적용되는 코딩 방법
EP1589763A2 (en) 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
IL165190A (en) 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
US7261266B2 (en) 2005-03-31 2007-08-28 Satterfield Johnny A Deployable video arm
US8385427B2 (en) 2005-04-15 2013-02-26 Apple Inc. Reduced resolution video decode
JP5155157B2 (ja) 2006-05-12 2013-02-27 パナソニック株式会社 動画像復号化装置
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8908765B2 (en) 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
WO2011050641A1 (en) 2009-10-28 2011-05-05 Mediatek Singapore Pte. Ltd. Video coding methods and video encoders and decoders with localized weighted prediction
US8594200B2 (en) 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
US9083984B2 (en) 2010-03-19 2015-07-14 Texas Instruments Incorporated Adaptive coding structure and adaptive FCode determination in video coding
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
KR101532665B1 (ko) 2011-03-14 2015-07-09 미디어텍 인크. 시간적 움직임 백터 예측을 도출하기 위한 방법 및 장치
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
BR112014012038A2 (pt) 2011-11-18 2017-05-30 Motorola Mobility Llc armazenamento eficiente de informação de movimento para codificação de vídeo de alta eficiência
BR112014012006A2 (pt) 2011-11-18 2017-05-30 Motorola Mobility Llc uma forma explícita para sinalizar uma imagem colocalizada para codificação de vídeo de alta eficiência (hevc)
BR112014015790A2 (pt) 2011-12-26 2018-05-22 Motorola Mobility Llc determinação implícita de figura colocalizada para predição temporal
WO2013154674A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Evaluation of signaling of collocated reference picture for temporal prediction
US9210425B2 (en) 2012-04-11 2015-12-08 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) flag for temporal prediction
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
US20140056356A1 (en) 2012-08-21 2014-02-27 Motorola Mobility Llc Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469632A (zh) * 2002-06-17 2004-01-21 株式会社东芝 视频编码/解码方法和设备
CN101043626A (zh) * 2002-07-15 2007-09-26 株式会社日立制作所 动态图像编码方法及解码方法
CN1497981A (zh) * 2002-07-16 2004-05-19 ���ǵ�����ʽ���� 用于编码和解码运动矢量的方法和装置
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information
US20080219351A1 (en) * 2005-07-18 2008-09-11 Dae-Hee Kim Apparatus of Predictive Coding/Decoding Using View-Temporal Reference Picture Buffers and Method Using the Same

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IL-KOO KIM,YOUNGO PARK,NIKOLAY SHLYAKHOV,JEONGHOON PARK: "Restriction on motion vector scaling for Merge and AMVP", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
MOTOHARU UEDA: "TE1: Refinement Motion Compensation using Decoder-side Motion Estimation", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
RICKARD SJöBERG, JONATAN SAMUELSSON: "Absolute signaling of reference pictures", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
SHUY FANG,YUE YU,LIMIN WANG: "The Construction of Combined List for HEVC", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113242432A (zh) * 2018-08-29 2021-08-10 北京达佳互联信息技术有限公司 视频解码的方法、计算设备和存储介质
CN113242432B (zh) * 2018-08-29 2022-01-25 北京达佳互联信息技术有限公司 视频解码的方法、计算设备和存储介质
US11368713B2 (en) 2018-08-29 2022-06-21 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using subblock-based temporal motion vector prediction
US11936901B2 (en) 2018-08-29 2024-03-19 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using subblock-based temporal motion vector prediction
CN110944183A (zh) * 2018-09-23 2020-03-31 北京字节跳动网络技术有限公司 在帧间模式下利用非子块空时运动矢量预测
US11546601B2 (en) 2018-09-23 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Utilization of non-sub block spatial-temporal motion vector prediction in inter mode
US11575903B2 (en) 2018-09-23 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. 8-parameter affine mode
CN110944183B (zh) * 2018-09-23 2023-09-05 北京字节跳动网络技术有限公司 在帧间模式下利用非子块空时运动矢量预测
US11778194B2 (en) 2018-09-23 2023-10-03 Beijing Bytedance Network Technology Co., Ltd MV planar mode with block level
CN114009039A (zh) * 2019-06-25 2022-02-01 高通股份有限公司 视频译码中的时间运动矢量预测候选的推导

Also Published As

Publication number Publication date
WO2013078248A1 (en) 2013-05-30
US9467694B2 (en) 2016-10-11
BR112014012187A2 (pt) 2017-05-30
CN104137547B (zh) 2018-02-23
KR20140083033A (ko) 2014-07-03
US20130128977A1 (en) 2013-05-23
EP2783510A1 (en) 2014-10-01
KR101607038B1 (ko) 2016-04-11

Similar Documents

Publication Publication Date Title
CN104137547A (zh) 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定
JP7481538B2 (ja) 変換行列選択の係数依存コーディング
KR101606661B1 (ko) 고효율 비디오 코딩(hevc)을 위한 병치된 화상을 시그널링하기 위한 명시적 방법
CN110858906B (zh) 组合的基于历史的运动矢量预测符和多运动模型解码
JP2022172260A (ja) 1つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコードに使用する概念
CN113924771B (zh) 子块Merge模式中的语法信令
CN104303500B (zh) 对于时间预测的并列图片的隐式确定
CN113286153B (zh) 对视频流中的图片组编码/解码的方法和编码/解码器
RU2636692C2 (ru) Синтаксические расширения высокого уровня для высокоэффективного видеокодирования
CN117915083A (zh) 块内拷贝模式和帧间预测工具之间的交互
CN104937939B (zh) 用于时间运动矢量预测符标志的编码器和解码器及其方法
JP7288084B2 (ja) 変換スキップモードにおける信号通知
CN113302917B (zh) 局部照明补偿的改进方法
CN113574890A (zh) 基于指定的候选的成对运动候选列的构造

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160316

Address after: American California

Applicant after: Technology Holdings Co., Ltd of Google

Address before: Illinois State

Applicant before: Motorola Mobility, Inc.

GR01 Patent grant
GR01 Patent grant