CN104137547B - 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定 - Google Patents

用于时间预测的共位图片的隐式确定以及组合隐式和显式确定 Download PDF

Info

Publication number
CN104137547B
CN104137547B CN201280057222.6A CN201280057222A CN104137547B CN 104137547 B CN104137547 B CN 104137547B CN 201280057222 A CN201280057222 A CN 201280057222A CN 104137547 B CN104137547 B CN 104137547B
Authority
CN
China
Prior art keywords
list
reference picture
picture
photo current
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280057222.6A
Other languages
English (en)
Other versions
CN104137547A (zh
Inventor
余越
克里特·帕努索波内
王利民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google Technology Holdings LLC
Original Assignee
Google Technology Holdings LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google Technology Holdings LLC filed Critical Google Technology Holdings LLC
Publication of CN104137547A publication Critical patent/CN104137547A/zh
Application granted granted Critical
Publication of CN104137547B publication Critical patent/CN104137547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

在一个实施例中，一种方法确定当前图片，并且确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个。分析当前图片与第一列表参考图片和第二列表参考图片中的至少一个中的至少一部分参考图片之间的时间距离。然后，该方法在分析后的至少一部分参考图片中选择离当前图片在时间距离上最近的参考图片。所选参考图片被设置为用于当前图片的共位图片，并且在用于当前图片的时间预测处理中使用所选参考图片。

Description

用于时间预测的共位图片的隐式确定以及组合隐式和显式 确定
相关申请的交叉引用
本公开要求以下优先权：
于2011年11月21日提交的名为“An Implicit Way for Signaling CollocatedPicture for HEVC”的美国临时申请No.61/561,931；以及
于2011年11月21日提交的名为“A Combined Way for Signaling CollocatedPicture for HEVC”的美国临时申请No.61/562,426，其全部内容通过引用结合于此。
本公开涉及于2012年11月19日提交的名为“An Explicit Way for Signaling aCollocated Picture for High Efficiency Video Coding(HEVC)”的美国专利申请No.13/680,531，其全部内容通过引用结合于此。
背景技术
视频压缩系统采用用于大多数压缩操作的块处理。块是一组邻近像素，并且可以根据压缩操作被视为一个编译单元。理论上，优选较大编译单元，以利用直接邻近像素之间的相关性。例如运动图像专家组(MPEG-1)、MPEG-2、和MPEG-4的多种视频压缩标准使用4x4、8x8、和16x16(称为宏块(MB))的块尺寸。
高效视频编译(HEVC)还是基于块的混合空间和时间预测编译方案。HEVC将输入图片划分为被称为编译树单元(CTU)的正方形块，如图1中所示。不像现有编译标准，CTU可以为128x128像素那样大。每个CTU都可以被划分为被称为编译单元(CU)的较小正方形块。图2示出CU的CTU划分的实例。CTU 100首先被划分为四个CU 102。每个CU 102还可以被进一步分割为四个更小的CU 102，其是CU 102的尺寸的四分之一。该划分处理可以基于特定准则被重复，诸如，可以施加对可以划分CU的次数的限制。如图所示，CU 102-1、102-3和102-4是CTU 100的尺寸的四分之一。而且，CU 102-2已被分割为四个CU 102-5、102-6、102-7和102-8。
每个CU 102都可以包括可以被称为预测单元(PU)的一个或多个块。图3示出PU的CU划分的实例。PU可以用于执行空间预测或时间预测。CU可以被空间或时间预测编译。如果CU在帧内模式下被编译，则CU的每个PU可以具有其自己的空间预测方向。如果CU在帧间模式下被编译，则CU的每个PU可以具有其自己的运动矢量和关联参考图片。
在HEVC中，运动矢量(MV)在时间预测处理中被预测编译。对于具有一个当前运动矢量和关联参考索引的当前PU，从当前PU的空间邻近或时间共位PU的运动矢量导出运动矢量预测因子(MVP)。然后，当前运动矢量和MVP之间的差值被确定和编译。这减少了开销，因为仅发送差值而不是用于当前运动矢量的信息。而且，当在合并模式下，单个运动矢量可以被应用至一组空间邻近或时间共位PU。
给定当前图片中的当前PU，关联共位PU驻留在关联共位图片中。共位PU被用作用于MVP的候选者之一或者在合并/跳转模式下用于当前PU。共位图片是在列表0或列表1中指定的参考图片。标记可以被设置成指示应当从哪个列表定义共位PU。例如，标记可以被设置为1，以指示将从列表0定义包含共位划分的参考图片，否则，将从列表1定义参考图片。
一旦编码器或解码器确定包含共位图片(collocated picture)的列表，则编码器或解码器就使用列表0或列表1中的第一参考图片。即，选择在列表0或列表1中具有索引0的参考图片。在一些情况下，列表0或列表1中的第一参考图片可以不是当执行用于当前PU的时间预测处理时使用的最佳参考图片。
发明内容
在一个实施例中，一种方法确定当前图片，并且确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个。分析在当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离。然后，该方法在分析后的至少一部分参考图片中，选择离当前图片在时间距离上最近的参考图片。将所选参考图片设置为用于当前图片的共位图片，并且在用于当前图片的时间预测处理中使用所选参考图片。
在一个实施例中，提供一种方法，包括：由计算设备确定当前图片；由计算设备确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个；由计算设备分析在当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离；由计算设备在分析后的至少一部分参考图片中，选择离当前图片在时间距离上最近的参考图片；以及由计算设备将所选参考图片设置为用于当前图片的共位图片，其中，在用于当前图片的时间预测处理中使用所选参考图片。
在一个实施例中，提供一种方法，包括：由计算设备确定指示使用第一列表参考图片或第二列表参考图片中的哪个的标记的值；如果该值是第一值，则由计算设备在第一列表中的合格参考图片中选择离当前图片具有最小绝对时间距离的参考图片；如果该值是第二值，则由计算设备在第二列表中的合格参考图片中选择离当前图片具有最小绝对时间距离的参考图片；由计算设备设置变量的值，以指示第一列表或第二列表中的所选参考图片的位置，其中，所选参考图片包括到当前图片中的当前块的共位块，用于在时间预测处理中使用。
在一个实施例中，提供一种解码器，包括：一个或多个计算机处理器；以及非暂时性计算机可读存储介质，包括当被执行时，控制一个或多个计算机处理器被配置用于以下的指令：确定当前图片；确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个；分析当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离；在分析后的至少一部分参考图片中，选择离当前图片在时间距离上最近的参考图片；以及将所选参考图片设置为用于当前图片的共位图片，其中，所选参考图片被用于在时间预测处理中解码当前图片。
在一个实施例中，提供一种编码器，包括：一个或多个计算机处理器；以及非暂时性计算机可读存储介质，包括当被执行时，控制一个或多个计算机处理器被配置用于以下的指令：确定当前图片；确定用于当前图片的第一列表参考图片和第二列表参考图片中的至少一个；分析当前图片与第一列表参考图片和第二列表参考图片中的所述至少一个中的至少一部分参考图片之间的时间距离；在分析后的至少一部分参考图片中，选择离当前图片在时间距离上最近的参考图片；以及将所选参考图片设置为用于当前图片的共位图片，其中，所选参考图片被用于在时间预测处理中对当前图片编码。
以下详细说明和附图提供特定实施例的性质和优点的更好理解。
附图说明
图1示出被划分为称为编译树单元(CTU)的正方形块的输入图片。
图2示出CU的CTU划分的实例。
图3示出PU的CU划分的实例。
图4示出根据一个实施例的用于对视频内容编码和解码的系统的实例。
图5示出根据一个实施例的离当前图片具有不同时间距离的参考图片的实例。
图6示出根据一个实施例的列表0和列表1的实例。
图7示出根据一个实施例的用于确定共位图片的方法的简化流程图。
图8示出根据一个实施例的用于从列表0和列表1选择的以上语义的简化流程图。
图9示出根据一个实施例的用于从列表0和列表1中的第一参考图片选择的方法的简化流程图。
图10提供图示用于使用两个参考图片列表—列表0和列表1来识别在解码当前图片时使用的共位参考图片的一个实施例的语法列表。
图11图示用于解释如何确定当前图片和参考图片之间的图片顺序计数的差异的一组图片。
图12提供图示可以用于识别共位图片以实现当前图片的解码和编码的编辑(compilation)语法步骤的流程图。
图13提供图示用于使用共有参考图片列表识别在解码当前图片时使用的共位图片的另一个实施例的语法列表。
图14A示出根据一个实施例的编码器的实例。
图14B示出根据一个实施例的解码器的实例。
具体实施方式
在此描述用于视频压缩系统的技术。在以下说明书中，为了解释的目的，阐述大量实例和特定详情，以便提供特定实施例的透彻理解。由权利要求限定的特定实施例可以单独或结合以下描述的其他特征包括这些实例中的一些或所有特征，并且可以进一步包括在此描述的特征和概念的修改和等同物。
共位图片的隐式确定
概述
图4示出根据一个实施例的用于编码和解码视频内容的系统400的实例。编码器402和解码器403可以使用HEVC编码和解码比特流；然而，还可以想到其他视频压缩标准。
编码器402包括共位图片管理器404-1，并且解码器403包括共位图片管理器404-2。在特定实施例中，共位图片管理器404-1和404-2“隐式地”确定将用作用于当前图片的共位图片的参考图片。通过隐式地确定将用作共位图片的参考图片，在没有选择哪个共位图片的任何信令的情况下，编码器402和解码器403可以独立地作出该确定。例如，编码器402不将编码器选择哪个参考图片作为共位图片信号发送至解码器403。而是，共位图片管理器404-1和共位图片管理器404-2独立地确定相同参考图片用作用于当前图片的共位图片。以下将更详细地描述用于确定用作共位图片的参考图片的算法。
所选共位图片包括可以在时间预测处理中使用的运动矢量(MV)信息。例如，在共位图片中用于划分的运动矢量可以用作高级运动矢量预测(AMVP)中的时间运动矢量预测因子(MVP)或合并处理中的时间合并/跳转候选运动矢量。当共位块的运动矢量被用作时间MVP时，共位块的运动矢量和当前块的当前运动矢量的差值被编译并且从编码器402被发送至解码器403。当在合并处理中使用共位块的运动矢量时，当前块和共位块被合并，并且使用共位块的相同运动矢量。
时间MVP或时间合并/跳转候选MV被定义为所选共位块的MV，所选共位块驻留在参考图片中并且具有与当前图片中的当前块相同的几何位置。在一个实例中，给定当前图片中的PU，关联共位PU可以驻留在时间上在前或在后的PU中。共位PU可以被用作候选者，以实现用于当前PU的MVP和合并/跳转模式。像PU那样，共位块可以被提供用于变换单元(TU)、CU或图片本身。随后论述将参考图片，尽管其可以应用至图片或片的任何所列子分量。另外，可以参考块，其可以是PU，但是还可以是TU、CU、图片或片。
当多个参考图片都可以时，与来自离当前图片具有较小时间距离的参考图片的共位块相比，使用来自离当前图片具有较大时间距离的参考图片的共位块可能不太有效。这是因为当线性运动发生时，来自在时间距离上更接近的共位块的运动矢量将很可能更类似于当前块的当前运动矢量。这在编译处理中更有效，因为可能存在共位块的运动矢量与当前运动矢量的更少差异。
为了图示时间距离上的差异，图5示出根据一个实施例的离当前图片具有不同时间距离的参考图片的实例。应当理解，可以考虑未来和过去两者的参考图片。当前图片在502处被示出，并且包括在503处示出的当前块。附加参考图片#1、#2、和#3分别在504-1、504-2、和504-3处示出。每个参考图片都是离当前图片的不同时间距离。例如，在504-1处的参考图片包括时间距离TR＝1，参考图片504-2包括时间距离TR＝2，并且参考图片504-3包括时间距离TR＝3，其中，用于TR的更高值是离当前图片的更大时间距离。
运动矢量MV_1是在参考图片#1中的在508-1处示出的共位块的运动矢量，并且运动矢量MV_2是在参考图片#2中的用于在508-2处所示的共位块的运动矢量。运动矢量MV_1或MV_2可以被用作用于当前图片中的当前块的时间MVP或时间合并/跳转候选MV。如在510处所示，运动矢量MVP_1基于运动矢量MV_1，并且在512处，运动矢量MVP_2基于运动矢量MV_2。特定实施例选择运动矢量MV_1用作时间MVP或时间合并/跳转候选MV，这是因为参考图片#1在时间距离上最接近当前图片。如果被用作时间MVP，则假定线性运动，运动矢量MV_1很可能更类似于用于当前块的当前运动矢量。
从而，特定实施例通过基于当前图片和参考图片的候选集合之间的时间距离选择共位图片来改进编译性能。如上所述，可以从被称为列表0或列表1的两个列表之一中指定的参考图片，选择共位图片。根据列表0或列表1中的参考图片的布置，所选共位图片可能不是列表0或列表1中的第一参考图片。图6示出根据一个实施例的列表0和列表1的实例。如图所示，列表0和列表1按照索引被布置，其中，索引中的第一位置是[0]，第二位置是[1]，以此类推。不同参考图片可以在索引位置上相关联，其可以通过变量RefPicList0[i]或RefPicList[j]指出。例如，对于列表0，从图6看，RefPicList0[0]指向参考图片#2，RefPicList0[1]指向参考图片#1，并且RefPicList0[2]指向参考图片#3。类似地，列表1包括相同索引位置，但是可以包括不同参考图片或在列表0中发现的一些相同参考图片，但是可能在不同位置。例如，RefPicList1[0]指向参考图片#3，RefPicList1[1]指向参考图片#2，并且RefPicList1[2]指向参考图片#1。从而，如果要选择具有离当前图片最小时间距离的参考图片，然后，如果使用列表0，则使用位置RefPicList0[1]，或者如果使用列表0，则使用位置RefPicList1[2]。
单个列表实例
在一个实施例中，可以使用标记为collocated_from_l0_flag的标记，以指定应当被用于识别共位图片的列表0或列表1的两个列表之一。例如，如果标记collocated_from_l0_flag等于0，则应当使用列表1。即，从列表1中的参考图片确定共位图片。可替换地，如果标记collocated_from_l0_flag等于1，则使用列表0。即，从列表0中的参考图片确定共位图片。特别是，以下提供可以在一种方法中使用以识别共位图片的语义。在该语义中，以上识别的标记collocated_from_l0_flag与识别被标记为RefPicList1[j]和RefPicList1[i]的列表0和列表1的变量一起被使用。附加变量colPic识别共位图片。
在一些实施例中，语法可以通过以下语义表达：
-如果slice_type等于B并且collocated_from_l0_flag等于0，则变量colPic如通过RefPicList1[j]所指定的来指定包含共位划分的图片，其中，j是与在不被编译为RefPicList1中的帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
-否则(slice_type等于B并且collocated_from_l0_flag等于1或slice_type等于P)，变量colPic如通过RefPicList0[i]所指定的来指定包含共位划分的图片，其中，i是与在不被编译为RefPciList0中的帧内图片的所有可用参考中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
在以上语义中，如果用于当前图片的片类型是B片，并且collocated_from_l0_flag等于0，则变量colPic被设置为指定列表1中的离当前图片在时间距离上最近的参考图片。例如，使用RefPicList1[j]，其中，j是对于离当前图片为最小绝对时间距离的参考图片的索引。不考虑被编译为帧内图片的参考图片，这是因为由于这些图片被帧内编译，它们不包括运动矢量。而且，因为在时间上在当前图片之前或之后可以是参考图片，所以使用最小绝对时间距离。
可替换地，如果当前图片的片类型等于B并且collocated_from_l0_flag等于1，或者片类型等于P(当片类型等于P时，仅使用列表0)，则变量colPic被设置到列表0中的与当前图片在时间距离上最近的参考图片。例如，设置RefPicList0[i]，其中，i是列表0中的索引，用于与当前图片为最小绝对时间距离的参考图片。再次，不考虑被编译为帧内图片的参考图片，因为由于这些图片被帧内编译，它们不包括运动矢量。
图7示出根据一个实施例的用于确定共位图片的方法的简化流程图700。该方法可以在编码器402或解码器403处隐式地执行。在702处，共位图片管理器404-1或共位图片管理器404-2(在编码器402或解码器403中)确定正被编码或解码的当前图片的片类型是B片还是P片。如果当前片是B片，则在704处，共位图片管理器404-1或共位图片管理器404-2确定标记collocated_from_l0_flag等于0还是1。如果标记collocated_from_l0_flag等于1，则在706处，共位图片管理器404-1或共位图片管理器404-2分析用于列表0中的参考图片的时间距离。另外，如果如在702中确定的正在处理P片，则还执行在706处的处理。在一个实施例中，可以分析用于不被编译为帧内图片的列表0中的参考图片的时间距离。
在708处，共位图片管理器404-1或共位图片管理器404-2从在706处分析的共位图片中，选择离当前图片为最小绝对时间距离的参考图片。在710处，共位图片管理器404-1或共位图片管理器404-2将变量colPic设置为所选参考图片。
如果标记collocated_from_l0值是0，则在706、708和710中描述的处理被执行用于列表1。例如，在712处，共位图片管理器404-1或共位图片管理器404-2分析用于列表1中的参考图片的时间距离。在一个实施例中，可以分析用于不被编译为帧内图片的列表1中的参考图片的时间距离。
在714处，共位图片管理器404-1或共位图片管理器404-2从在712处分析的共位图片中，选择离当前图片最小绝对时间距离的参考图片。在714处，共位图片管理器404-1或共位图片管理器404-2将变量colPic设置为所选参考图片。然后，编码器402或解码器403可以使用用于共位图片的运动矢量作为时间MVP或时间合并/跳转候选MV。
组合列表实例
在另一个实施例中，可以从列表0和列表1中可用的所有合格参考图片当中的参考图片，选择共位图片。即，共位图片被定义为在列表0和列表1中可用的所有合格参考当中的离当前图片具有最小绝对时间距离的参考图片。当使用该限制时，collocated_from_l0_flag的语法可能不需要并且可以被去除。不需要使用标记，因为特定实施例不需要指定列表0和列表1之间的哪个列表用于确定共位图片。即，搜索列表0和列表1，认为指示搜素哪个列表的标记是不必要的。在一个实施例中，用于以上语法改变的语义可以被定义为：
-如果slice_type等于B，则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList0[i]，如果i是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
■否则，RefPicList1[j]，如果j是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
可替换地，在另一个实施例中，语义可以为：
-如果slice_type等于B，则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList1[i]，如果i是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片最小具有绝对时间距离的帧内图片的参考相对应的索引。
■否则，RefPicList0[j]，如果j是与在RefPicList1和RefPicList0中不被编译为帧内图片的所有可用参考当中的不被编译为离当前图片/片具有最小绝对时间距离的帧内图片的参考相对应的索引。
在第一语义中，如果当前图片的slice_type是B片，则变量colPic被设置为包括与当前图片在时间距离上最近的参考图片的列表中-在列表0或列表1中-的索引之一。例如，可以搜索列表0，以确定包括离当前图片具有最小绝对时间距离的参考图片的索引位置。搜索在列表0中不被编译为帧内图片的所有参考。然后，可以搜索列表1，以确定对于与当前图片在时间距离上最近的参考图片的索引位置。变量colPic被设置为最接近当前图片的共位图片的列表0中的索引位置或列表1中的索引位置。例如，如果列表0中的参考图片比列表1中的所确定参考图片更接近，则colPic被设置为RefPicList0[i]，其中，i是到当前图片具有最小绝对时间距离的参考图片的索引位置。否则，colPic被设置为RefPicList1[j]，其中，j是对于到当前图片为最小绝对时间距离的参考图片的索引位置。替代语义首先搜索列表1，并且然后搜素列表0。另外，在其他实施例中，在列表0和列表1中不被帧内编译的所有参考图片可以被组合并且被搜索用于到当前图片具有最小绝对距离的参考图片。
图8示出根据一个实施例的用于从列表0和列表1选择的以上语义的简化流程图800。该方法可以在编码器402或解码器403处隐式地执行。在802处，共位图片管理器404-1或共位图片管理器404-2(在编码器402或解码器403中)确定用于列表0和列表1中的合格参考图片的所有时间距离。如上所述，仅不被编译为帧内图片的参考图片可能是合格的，并且可以确定最小绝对时间距离。
在804处，共位图片管理器404-1或共位图片管理器404-2确定列表0或列表1中的哪个包括具有绝对最小时间距离的参考图片。如果列表0包括该参考图片，则在806处，共位图片管理器404-1或共位图片管理器404-2选择列表0中的参考图片作为用于当前图片的共位图片。如上所述，变量colPic可以被设置成指定列表0中的所选参考图片的索引。如果在804中选择列表1，则在808处，共位图片管理器404-1或共位图片管理器404-2选择列表1中的参考图片作为共位图片。如上所述，列表1中的索引位置可以被设置为变量colPic。
仅考虑第一参考图片的组合列表实例
在还有的另一个实施例中，共位图片管理器404-1或共位图片管理器404-2可以考虑列表0或列表1中的第一参考图片。然后，共位图片管理器404-1或共位图片管理器404-2确定列表0或列表1中的第一参考图片中的哪个与当前图片在时间距离上更近。例如，共位图片管理器404-1或共位图片管理器404-2选择列表0中的第一参考图片和列表1中的第一参考图片中的哪个离当前图片具有较小绝对时间距离。在该情况下，该参考图片被设置为共位图片。当使用该语义时，包括标记collocated_from_l0_flag的语法可能不需要并且可以被去除。这是因为考虑列表0和列表1，并且不需要定义将使用列表0和列表1中的哪个的标记。该语法可以通过以下语义概括：
-如果slice_type等于B，则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList0[0]，如果RefPicList[0]不被编译为帧内图片并且具有比RefPicList1[0]离当前图片/片更小的绝对时间距离。
■否则，如果RefPicList1[0]不被编译为帧内图片，则使用RefPicList1[0]。
可替换地，语义可以为：
-如果slice_type等于B，则变量colPic如通过以下所指定的来指定包含共位划分的图片
■RefPicList1[0]，如果RefPicList1[0]不被编译为帧内图片并且比RefPicList0[0]离当前图片具有更小的绝对时间距离。
■否则，如果RefPicList0[0]不被编译为帧内图片，则使用RefPicList0[0]。
以上语义确定列表0和列表1中的第一参考图片，并且将变量colPic设置为列表0和列表1中到当前图片具有最小绝对时间距离的第一参考图片。如果第一参考图片之一被编译为帧内图片，则使用另一个参考图片(如果也不被编译为帧内图片)。
图9示出根据一个实施例的用于从列表0和列表1中的第一参考图片选择的方法的简化流程图900。该方法可以在编码器402或解码器403处隐式地执行。在902处，共位图片管理器404-1或共位图片管理器404-2(在编码器402或解码器403处)确定列表0中的第一参考图片。在904处，共位图片管理器404-1或共位图片管理器404-2确定列表1中的第一参考图片。在906处，确定离当前图片的用于列表0中的第一参考图片和列表1中的第一参考图片中的每个的时间距离。
在908处，共位图片管理器404-1或共位图片管理器404-2选择哪个参考图片离当前图片具有绝对最小时间距离。然后，在910处，共位图片管理器404-1或共位图片管理器404-2将离当前图片具有绝对最小时间距离的参考图片设置为来自列表0或列表1的共位图片。例如，如上所述，变量colPic可以被设置到列表0或列表1中的第一索引位置。
从而，特定实施例提供用于隐式地确定将用于当前图片的共位图片的不同方法。编码器402和解码器403可以执行类似处理，以确定用于当前图片的共位图片。这不需要显式地信号发送在诸如列表0或列表1中的参考图片的参考图片集合中使用哪个参考图片。由于可能需要在比特流中发送更少的比特，所以这可以提高编译效率。
信号发送共位图片的显式方法
在本部分中的显式方法基于于2012年11月19日提交的名为“An Explicit Wayfor Signaling a Collocated Picture for High Efficiency Video Coding(HEVC)”的美国专利申请No.[]。
为了具有选择最佳共位图片的灵活性，可以显式地而不是隐式地信号发送共位图片。对于显式信号发送，使用语法元素，以通过使用包括可以不使用列表0或列表1中的第一条目参考图片的实施例的过程，显式地表示共位图片，或者可替换地，参考一图片，以识别来自单个列表而不是两个单独列表的共位参考图片。根据应用新语法元素来显式地表示共位图片的情况，一个或两个语法元素可能需要用于列表0和列表1，或者有效地去除对参考列表0和列表1的需要的单个列表可能在更有效编译中被可替换地使用。
A.使用列表0和列表1的显式语法
在显式地识别共位图片的一个实施例中，使用绝对图片顺序计数(POC)差来表示参考图片。该方法通过使用POC以及当前图片POC和参考图片POC之差来实现。POC和ΔPOC被用于构造参考图片集合(RPS)。然后，使用RPS来创建识别可以用于编码和解码当前图片的共位图片的两个列表，列表0和列表1。可以使用图9的语法来执行识别共位图片的该实施例的方法。
图10开始于识别参考图片集合索引ref_pic_set(idx)，并且识别用于该参考图片集合的负和正图片的数目。与列表0和列表1中的图片的数目相等的用于识别负和正变量的数目的语法变量是num_negaive_pics和num_pos_pics。如可以参考图10解释的，负和正图片帮助确定列表0和列表1中的图片。图11图示具有用于从0到6范围的图片的图片顺序计数(POC)的一组七个图片中的当前图片3。负图片或在当前图片3之前的图片包括图片0-2。正图片或在当前图片3之后的图片包括图片4-6。如在图片指示符之上所示，列表0中的负图片在当前图片3之后按顺序被表示为L0[2，1，0]，其中，括号中的那些数字是列表0中的参考图片的POC数目，并且例如，列表0的第一条目是POC2，并且列表0的第二条目是POC1等。类似地，列表1中的正图片在当前图片3之后按顺序表示为L1[4，5，6]。谨记，具有POC0，1，2，4，5和6的图片在图片3之前被编码或解码。
图10的语法继续，确定POC中的当前图片和参考图片之差。这使得图10中所示的用于L0和L1的列表值能够通过使用差编译被转换为更合理值。例如，通过语法步骤：
for(I＝0；I<num_negative_pics；i++)
delta_poc_s0_minus1[i]
used_by_current_pic_s0_flag[i]
这些步骤从POC中的当前图片减去所列图片，以将列表L0[2，1，0]转换为新ΔPOC列表L0[1，2，3]，使得更容易对ΔPOC而不是POC本身编译。同时，又一步骤通过使用used_by_current_pic_s0_flag设置当前图片，以指示是否使用参考列表0中的图片。类似地，通过语法步骤：
for(I＝0；I<num_positive_pics；i++)
delta_poc_s1_minus1[i]
used_by_current_pic_s1_flag[i]
这些步骤从POC中的当前图片减去所列图片，以将列表L1[4,5,6]转换为新ΔPOC列表L1[-1,-2,-3]，并且通过使用used_by_current_pic_s1_flag设置当前图片，以指示是否使用参考列表1中的图片。
图10进一步包括标记有“*”的重要语法。在该语法中，两个变量被提供用于参考图片集合ref_pic_set(idx)中的列表0和列表1的索引，这些变量被标记为collocated_picture_idx_list0和collocated_picture_idx_list1，它们分别指定用于列表0和列表1中的共位图片的索引。而且，在该重要语法中，提供标记为NumRpsCurr0和NumRpsCurr1的用于当前参考图片的数目的两个变量，其还分别被已知为用于列表0和列表1的图片的数目。变量NumRpsCurr0和NumRpsCurr1分别识别当前参考图片集合RefPicSetCurr0和RefPicSetCurr1中的条目的数目。
通过图10中的该重要语法，分别通过collocated_picture_idx_list0和collocated_picture_idx_list1，在列表0和列表1之一中显式地信号发送共位图片。首先，在重要语法中，用于列表0中的当前参考图片集合中的图片的数目NumRpsCurr0被检验，以确定其是否大于1。如果NumRpsCurr0是零，则在列表0中什么也没有，并且如果NumRpsCurr0是1，则列表0中所列的一个参考图片必须是共位图片。然而，如果NumRpsCurr0大于1，则检查语法collocated_picture_idx_list0，以确定哪个参考图片被指定为共位图片。如果collocated_picture_idx_list0不存在，则其被推断为等于0。
第二，在图10的重要语法中，用于列表1的当前参考图片集合中的图片的数目NumRpsCurr1被检验，以确定其是否大于1。如果NumRpsCurr1是零，则在列表1中什么也没有，并且如果NumRpsCurr1是1，则列表1中所列的一个参考图片必须是共位图片。然而，如果NumRpsCurr1大于1，则检查语法collocated_picture_idx_list1，以确定哪个参考图片被指定为共位图片。如果collocated_picture_idx_list1不存在，则其被推断为等于0。
虽然在图10的语法中未示出，但是可以提供单独标记，以识别两个列表中的哪个(列表0或列表1)识别共位图片。用于将具有两个状态1和0的标记的变量是collocated_from_l0_flag。如果collocated_from_l0_flag等于1，则由collocated_picture_idx_list0指示的列表0中的参考图片将被用于共位图片，否则，由collocated_picture_idx_list1指示的列表1中的参考图片将被用作共位图片。
对于除了B型之外的片/图片类型，collocated_from_l0_flag不存在，并且将被设置为1作为默认值，以指示列表0将默认被使用。对于B片图片，collocated_from_l0_flag可以具有0或1值，以指示将使用列表0或列表1中的哪个。
实际上，由图10的语法所示的方法可以被实现，以将来自图片集合的图片选择为用于当前图片的共位图片参考。以下提供多个实例。
在使用图10的语法的第一实例中，collocated_from_l0_flag是1，并且NumRpsCurr0是5。被标记为RefPicSetCurr0的参考图片集合中的参考图片的ΔPOC是{2,5,1,4,3}。如果collocated_picture_idx_list0是2，则来自列表0的具有ΔPOC为1的参考图片将被用作用于当前图片/片的共位图片。
在第二实例中，collocated_from_l0_flag是0，并且NumRpsCurr1是5。RefPicSetCurr1中的参考图片的ΔPOC是{3,1,2,4,5}。如果collocated_picture_idx_list1是1，则来自列表1的具有ΔPOC为1的参考图片将被用作用于当前图片/片的共位图片。
图12提供图示可以用于识别共位图片以实现当前图片的解码和编码的语法步骤的编辑的流程图。首先，在步骤1200中，提供被识别用于编码或解码的一组图片中的当前图片。在步骤1202中，识别当前图片的片类型，以确定其是否是B型。如果是，则在步骤1204中必须访问标记，以确定共位图片在列表0还是在列表1中被识别。如果图片不是B型，则方法直接进行至步骤1206，并且假设具有共位图片的列表是列表0。使用确定步骤1204，标记状态确定该方法是进行至步骤1206，以检验用于共位图片的列表0，还是进行至步骤1208，以检验列表1。
如果列表0将被检验，则步骤1206查看列表0中的图片的当前数目是否大于1。如果是，则控制进行至步骤1210，以识别来自列表0的共位图片。如果在步骤1206中，图片的数目等于1，则处理进行至步骤1212，以将共位图片识别为列表0中的仅有图片。
如果列表1将被检验，则步骤1208查看列表1中的图片的当前数目是否大于1。如果是，则控制进行至步骤1214，以识别来自列表1的共位图片。如果在步骤1208中，图片的数目等于1，则处理进行至步骤1216，以将共位图片识别为列表1中的仅有图片。
最后，一旦共位图片被识别，方法就进行至步骤1218。步骤1218提供共位图片，以实现对当前图片编码或解码。
B.使用单个参考列表的显式语法
作为由图10的语法所示的处理的替代，一种方案可以使用一个语法，collocated_picture_idx，其指定用于列表0或列表1处的共位图片的索引，在片头部处，显式地信号发送用于当前片的共位图片，如图13的语法列表中所示。该方法还使用collocated_from_l0_flag，以确定在访问参考图片列表之前，将使用列表0或列表1中的哪个。然而，语法collocated_picture_idx可以被放在collocated_from_l0_flag之后。通过该排序，将不需要具有两个语法。从而，图13的语法可以提供比图9的语法更有效的系统。
对于图13的语法，最初，通过语法变量slice_type识别片类型。如果片类型是B，则参考标记collocated_from_l0_flag，以确定共位图片将来自列表0还是列表1。对于其他片类型，collocated_from_l0_flag不存在，并且collocated_from_l0_flag的值被推导为等于1，这意味着共位图片一直来自列表0，并且“else”语句不需要被检验。类似地，如果collocated_from_l0_flag是0，则“if”语句不需要被检验。
不像图10的实施例，在图13中，查阅可以识别共位图片的单个collocated_picture_idx。该标记可以被设置为1，以指示将从通过使用来自列表0的collocated_picture_idx检验图片的“if”语法，导出包含共定位划分的图片，否则将在来自列表1的“else”语句之后导出共位图片。
类似于图10的实施例，在图13中，提供被标记为NumPpsCurr0和NumRpsCurr1的用于当前参考图片的数目的两个变量。变量NumPpsCurr0和NumRpsCurr1分别是列表0和列表1中的参考图片的数目，识别当前参考图片集合中的条目的数目。从而，在语法中，根据用于确定其是否大于1的“if”和“else”条件，检验NumPpsCurr0和NumRpsCurr1。如果为0，则集合为空，并且不需要被评估。如果为1，则一个索引值识别共位图片，这是因为在集合中仅有一个，并且意味着collocated_picture_idx的默认值应当是0，并且共位图片是对应参考列表中仅有的图片。如果大于1，则collocated_picture_idx语法可以被用于识别共位参考图片。
C.具有有效语法的显式共位图片
用于以上部分A和B的语法共有的特征说明了可以如何执行显式方法以识别共位图片。部分A的语法要求更多资源来识别共位图片。例如，必须执行搜索两个单独列表collocated_picture_idx_list0和collocated_picture_idx_list1，以识别共位图片。通过在部分B的系统中采用高级步骤，来消除通过最初参考标记collocated_from_l0_flag搜索列表之一的需要，部分B的语法消除了所要求的资源。而且，在部分B中，在甚至参考该标记之前，检查片类型，这是因为如果片类型是I型或者P型而不是B型，则标记状态将预先被知晓。
类似于从部分A到部分B的语法的改变，可以执行语法的其他修改，以使共位图片的识别更有效。部分A和部分B的语法的共有特征包括：(1)识别用于解码或编码的一组图片中的当前图片；(2)提供用于识别该组图片中的共位参考图片的语法；以及(3)使用所识别的共位图片解码或编码当前图片。
可以以多种方式执行通过图10和图13建议的语法的编译和编码。对collocated_picture_idx_list0、collocated_picture_idx_list1或collocated_picture_idx编译的一种可能方式是使用固定长度编译。用于这些语法的最多比特被指定为变量Ceil(Log2(max_num_ref_frames))，其中，max_num_ref_frames指定参考帧、互补参考字段对、以及非成对参考字段的最大数目，用于序列中的任何图片的帧间预测的解码处理可以使用非成对参考字段。
对于实际编码，应用多种条件。例如，如果collocated_from_l0_flag是1并且NumRpsCurr0也是1，则collocated_picture_idx_list0和collocated_picture_idx均不被编译。同样地，如果collocated_from_l0_flag是0并且NumRpsCurr1是1，则collocated_picture_idx_list1和collocated_picture_idx均不被编译。根据编译过程，按照用于编码的语法编译规则的处理可以被用于解码。
信号发送共位图片的组合方法
如上所述，已经描述了信号发送哪个参考图片将被用作共位图片的显式和隐式方式。在一个实施例中，编码器402和解码器403两者可以在显式和隐式方法之间切换。从而，特定实施例可以使用标记explicit_collocated_picture来指示应当使用哪个方法。例如，标记explicit_collocated_picture可以被设置为1，并且从编码器402被信号发送至解码器403。然后，解码器403使用在显式信令中描述的处理。如果编码器402将explicit_collocated_picture标记设置为0，并且将该标记信号发送至解码器403，则解码器403使用如上所述的隐式方法。以下描述可以在图片参考集合(PPS)中提供标记explicit_collocated_picture的语法：
图片参数集合RBSP语法
编码器和解码器实例
在各种实施例中，所描述的编码器402可以被结合或者另外与头端处的代码转换器或编码装置相关联，并且解码器403可以被结合或者另外与下游设备相关联，诸如，移动设备、机顶盒或代码转换器。图14A示出根据一个实施例的编码器402的实例。现在将描述编码器402的一般操作；然而，将理解，基于在此的公开和教导，本领域技术人员将会想到关于所描述的编码处理的变体。
对于当前PU,x，通过空间预测或时间预测获得预测PU,x’。然后，从当前PU减去预测PU，得到残差PU,e。空间预测涉及帧内模式图片。帧内模式编译可以使用来自当前输入图像的数据，而不参考其他图像，以对I图片编译。空间预测块1404可以包括每PU不同空间预测方向，诸如水平、垂直、45度对角线、135度对角线、DC(平坦求平均)、以及平面、或任何其他方向。用于PU的空间预测方向可以被编译为语法元素。在一些实施例中，用于PU的辉度(brightness)信息(亮度(Luma))和颜色信息(色度)可以单独被预测。在一个实施例中，用于所有块尺寸的亮度帧内预测模式的数目是35。在替代实施例中，用于任何尺寸的块的亮度帧内预测模式的数目可以是35。附加模式可以被用于色度帧内预测模式。在一些实施例中，色度预测模式可以被称为“IntraFromLuma”。
时间预测块1406执行时间预测。帧间模式编译可以使用来自当前输入图像和一个或多个参考图像的数据，以对“P”图片和/或“B”图片编译。在一些情况和/或实施例中，帧间模式编译可以得到比帧内模式编译更高的压缩。在帧间模式下，PU 204可以在时间上被预测编译，使得CU 202的每个PU 204可以具有一个或多个运动矢量和一个或多个关联参考图像。可以通过运动估计操作执行时间预测，运动估计操作在关联参考图像中搜索用于PU的最佳匹配预测。最佳匹配预测可以通过运动矢量和关联参考图像描述。P图片使用来自当前输入图像和一个或多个先前参考图像的数据。B图片使用来自当前输入图像以及先前和随后参考图像的数据，并且可以具有多达两个运动矢量。运动矢量和参考图片可以被编译在HEVC比特流中。在一些实施例中，运动矢量可以是语法元素“MV”，并且参考图片可以是语法元素“refIdx”。在一些实施例中，帧间模式可以允许空间和时间预测编译。最佳匹配预测通过运动矢量(MV)和关联参考图片索引(refIdx)描述。运动矢量和关联参考图片索引被包括在编译后的比特流中。
变换块1407通过残差PU,e执行变换操作。可以对CU执行不同尺寸的块集合变换，使得一些PU可以被划分为更小的TU，并且其他PU可以具有与PU相同的尺寸的TU。CU和PU到TU 20的划分可以通过四叉树表示示出。变换块1407在变换域E中输出残差PU。
然后，量化器1408量化残差PU的变换系数E。量化器1408将变换系数转换为有限数目的可能值。在一些实施例中，这是有损操作，其中，量化的数据损失可能是不可恢复的。在变换系数被量化之后，熵编译块1410对量化后的系数熵编码，这得到将被传送的最终压缩比特。可以使用不同熵编译方法，诸如，上下文自适应可变长度编译(CAVLC)或上下文自适应二进制算术编译(CABAC)。
而且，在编码器402内的解码处理中，反量化器1412反量化残差PU的量化后的变换系数。然后，反量化器1412输出残差PU的反量化后的变换系数E’。反变换块1414接收反量化后的变换系数，其然后被反变换，得到重构残差PU,e’。然后，重构PU,e’在空间或时间上被添加至对应预测x’，以形成新的重构PU,x”。在确定预测时使用特定实施例，诸如，在预测处理中使用共位图片管理器404-1或共位图片管理器404-2，以确定要使用的共位图片。循环滤波器1416对重构PU,x”执行解块，以减少块效应。另外，循环滤波器1416可以在完成用于解码后的图片的解块滤波处理之后，执行取样自适应偏移处理，其补偿重构像素和原始像素之间的像素值偏移。而且，循环滤波器1416可以对重构PU执行自适应循环滤波，这最小化了输入和输出图片之间的编译失真。另外，如果重构图片是参考图片，则将参考图片存储在参考缓冲器1418中，用于未来时间预测。帧内模式编译图像可以是在不需要附加重构图像的情况下解码可以开始的可能点。
图14B示出根据一个实施例的解码器403的实例。现在将描述解码器403的一般操作；然而，将理解，基于在此的公开和教导，本领域技术人员将会想到关于所描述的解码处理的变体。解码器403从编码器402接收输入比特，以用于编码后的视频内容。
熵解码块1430对输入比特流执行熵解码，以生成残差PU的量化后的变换系数。反量化器1432反量化残差PU的量化后的变换系数。然后，反量化器1432输出残差PU的反量化后的变换系数E’。反变换块1434接收反量化后的变换系数，其然后被反变换，得到重构的残差PU,e’。
然后，重构PU,e’在空间或时间上被添加至对应预测x’，以形成新的重构PU,x’。循环滤波器1436对重构PU,x”执行解块，以减少块效应。另外，循环滤波器1436可以在完成用于解码后的图片的解块滤波处理之后执行取样自适应偏移处理，这补偿重构像素和原始像素之间的像素值偏移。而且，循环滤波器1436可以对重构PU执行自适应循环滤波，这最小化了输入和输出图片之间的编译失真。另外，如果重构图片是参考图片，则参考图片被存储在参考缓冲器1438中，以用于未来时间预测。
通过空间预测或时间预测获得预测PU,x’。空间预测块1440可以接收每PU的解码后空间预测方向，诸如水平、垂直、45度对角线、135度对角线、DC(平坦求平均)、以及平面。空间预测方向被用于确定预测PU,x’。
时间预测块1442通过运动估计操作执行时间预测。可以在确定预测时使用特定实施例，诸如，在预测处理中使用共位图片管理器404-1或共位图片管理器404-2，以确定要使用的共位图片。使用解码后的运动矢量，以确定预测PU,x’。可以在运动估计操作中使用内插。
特定实施例可以在非暂时性计算机可读存储介质中实现，用于由或结合指令执行系统、装置、系统或机器使用。计算机可读存储介质包含用于控制计算机系统执行通过特定实施例描述的方法的指令。当由一个或多个计算机处理器执行时，指令可操作以执行在特定实施例中描述的方法。
如在此的说明书中并且贯穿权利要求中使用的，除非另外明确地指示，“一”、“一个”、和“该”包括复数个引用。而且，如在此的说明书中并且贯穿权利要求中使用的，除非另外明确指示，“在...中”的意义包括“在...中”和“在...上”。
以上说明书示出多种实施例以及可以如何实现特定实施例的多个方面的实例。以上实例和实施例应当不被认为是仅有的实施例，并且被提供以说明如由权利要求限定的特定实施例的灵活性和优点。基于以上公开和权利要求，可以在不脱离由权利要求限定的其范围的情况下，采用其他布置、实施例、实现和等同物。

Claims (25)

1.一种用于对当前图片进行编码或解码的方法，包括：
由计算设备确定用于所述当前图片的参考图片列表，所述参考图片列表具有顺序值的索引列表，所述顺序值识别所述参考图片中的相应一个参考图片；
由所述计算设备分析在所述当前图片与所述参考图片列表中的至少一部分所述参考图片之间的时间距离；
由所述计算设备并且基于所述分析的结果，在所述参考图片列表中选择下述参考图片：该参考图片离所述当前图片在时间距离上最近、不是帧内编译的并且不是所述参考图片列表中的第一参考图片；以及
通过将至少一部分共位图片的运动矢量用作时间运动矢量预测因子(MVP)或者时间合并/跳转候选运动矢量，由所述计算设备将所选参考图片用作对所述当前图片进行编码或解码的时间预测处理中的共位图片。
2.根据权利要求1所述的方法，其中，所述参考图片列表是参考图片的第一列表或参考图片的第二列表中的一个，每个具有顺序值的相应索引列表，所述顺序值识别所述参考图片中的相应一个参考图片，并且其中，分析所述时间距离包括：通过下述方式，仅分析在所述当前图片与所述参考图片的第二列表之间的时间距离：
从所述当前图片确定用于所述第二列表中的至少一部分参考图片的时间距离，其中，具有最小绝对时间距离的、不是帧内编译并且不是所述第二列表中的第一参考图片的、来自所述第二列表中的所述至少一部分参考图片的参考图片被选择为所述共位图片。
3.根据权利要求2所述的方法，其中，当标记被设置为指示所述第二列表的值并且所述当前图片内容的片类型等于B时，发生仅分析在所述当前图片与所述参考图片的第二列表之间的所述时间距离。
4.根据权利要求1所述的方法，其中，所述参考图片列表是参考图片的第一列表或参考图片的第二列表中的一个，每个具有顺序值的相应索引列表，所述顺序值识别所述参考图片中的相应一个参考图片，并且其中，分析所述时间距离包括：通过下述方式，仅分析在所述当前图片与所述参考图片的第一列表之间的时间距离：
从所述当前图片确定用于所述第一列表中的至少一部分参考图片的时间距离，其中，具有绝对最小时间距离的、不是帧内编译的并且不是所述第一列表内的第一参考图片的、来自所述第一列表中至少一部分参考图片的参考图片被选择为共位图片。
5.根据权利要求4所述的方法，其中，当标记被设置为指示所述第一列表的值并且所述当前图片的片类型等于B或所述片类型等于P时，发生仅分析在所述当前图片与所述参考图片的第一列表之间的所述时间距离。
6.根据权利要求1所述的方法，其中：
所述当前图片包括第一块，以及
所选参考图片中的第二块被选择为用于所述第一块的共位块，其中，所述共位块的运动矢量被用作所述第一块的时间运动矢量预测因子(MVP)或时间合并/跳转候选运动矢量。
7.根据权利要求1所述的方法，其中，所述参考图片列表是参考图片的第一列表或参考图片的第二列表中的一个，每个具有顺序值的相应索引列表，所述顺序值识别所述参考图片中的相应一个参考图片，并且其中，分析所述时间距离包括：
确定用于所述第一列表和所述第二列表中每一个的至少一部分参考图片的时间距离，其中，具有最小绝对时间距离的、不是帧内编译的并且不是所述第一列表和所述第二列表的组合内的第一参考图片的、来自所述第一列表和所述第二列表中每一个的所述至少一部分参考图片的参考图片被选择为所述共位图片。
8.根据权利要求7所述的方法，进一步包括：
选择要分析所述第一列表和所述第二列表中的哪个列表，其中：
当所述计算设备包括编码器时，所述计算设备在编码之后将所述当前图片发送到解码器，而不用信号通知指示要分析所述第一列表和第二列表中哪个列表的标记；以及
当所述计算设备包括解码器时，所述计算设备在编码之后从编码器接收所述当前图片，而不接收指示要分析所述第一列表和所述第二列表中哪个列表的标记。
9.根据权利要求1所述的方法，其中，所述参考图片列表是参考图片的第一列表或参考图片的第二列表中的一个，每个具有顺序值的相应索引列表，所述顺序值识别所述参考图片中的相应一个参考图片，并且其中，分析所述时间距离包括：
确定用于所述第一列表和所述第二列表中每一个中的具有最低索引值的第一参考图片的时间距离，其中，具有最小绝对时间距离的来自所述第一参考图片的参考图片被选择为所述共位图片。
10.根据权利要求1所述的方法，其中，所述计算设备包括编码器，所述方法还包括：
使用用于另一个当前图片的显式方法，选择另一个参考图片，所述显式方法要求从所述编码器到解码器的选择所述另一个参考图片的通信；
将标记设置为指示使用所述显式方法的第一值；
将所述标记从所述编码器发送至所述解码器，以向所述解码器指示使用所述显式方法来选择所述另一个参考图片用于对所述另一个当前图像进行编码的时间预测处理。
11.根据权利要求10所述的方法，其中，所述显式方法包括：
识别用于编码的一组图片中的所述另一个当前图片；
使用语法识别所述一组图片中的共位图片，以确定是否应当访问共位图片索引，以识别所述共位图片；以及
使用所述共位图片对所述另一个当前图片编码。
12.根据权利要求10所述的方法，其中：
所述分析、所述选择和所述使用包括隐式方法，其中，所述隐式方法不要求从所述编码器到所述解码器的选择所述参考图片的通信；
将所述标记设置为第二值，所述第二值指示在所述时间预测处理中由编码器使用所述隐式方法来选择用于所述当前图片的所述参考图片；以及
将所述标记从所述编码器发送至所述解码器，以向所述解码器指示在所述时间预测处理中使用所述隐式方法来选择用于所述当前图片的所述参考图片。
13.一种用于对当前图片进行编码或解码的方法，包括：
由计算设备确定指示使用参考图片的第一列表或参考图片的第二列表中的哪个的标记的值，所述第一列表和所述第二列表中的每个具有顺序值的索引列表，所述顺序值识别所述参考图片中的相应一个参考图片；
如果所述值是第一值，则由所述计算设备，在所述第一列表中的合格参考图片中选择具有离当前图片的最小绝对时间距离的参考图片，其中所述第一列表中的所述合格参考图片不包括所述参考图片的第一列表中的帧内编译图片；
如果所述值是第二值，则由所述计算设备，在所述第二列表中的合格参考图片中选择具有离当前图片的最小绝对时间距离的参考图片，其中所述第二列表中的所述合格参考图片不包括所述参考图片的第二列表中的帧内编译图片；
由所述计算设备将变量的值设置为所述第一列表或所述第二列表中的所选参考图片的索引值，其中，所选参考图片包括到所述当前图片中的当前块的共位块，以用于在时间预测处理中使用；以及
使用在由所述值识别的所述第一列表或所述第二列表中的所选参考图片来执行时间预测处理，以对所述当前图片进行编码或解码；其中：
当所述计算设备包括编码器时，所述计算设备使用所述时间预测处理来对所述当前图片进行编码，并且在编码之后将所述当前图片发送到解码器，而不将所选索引值发送到所述解码器；以及
当所述计算设备包括解码器时，所述计算设备在编码之后，从编码器接收所述当前图片，而不从所述编码器接收所选索引值，并使用所述时间预测处理来对所述当前图片进行解码。
14.根据权利要求13所述的方法，其中，所选参考图片的所述共位块的运动矢量被用作所述当前块的时间运动矢量预测因子(MVP)或时间合并/跳转候选运动矢量，并且所选参考图片的索引值不是所述第一列表或所述第二列表中的最低索引值。
15.根据权利要求13所述的方法，其中，如果所述当前图片的片类型等于B片或P片，则使用所述第一列表，并且如果所述片类型等于所述B片，则使用所述第二列表。
16.一种用于对当前图片进行解码的解码器，包括：
一个或多个计算机处理器；以及
非暂时性计算机可读存储介质，包括当被执行时，控制所述一个或多个计算机处理器被配置用于以下的指令：
确定要解码的所述当前图片的参考图片列表，所述参考图片列表具有顺序值的索引列表，所述顺序值识别所述参考图片中的相应一个参考图片；
分析所述当前图片与所述参考图片列表中至少一部分所述参考图片之间的时间距离；
基于所述分析的结果，在所述参考图片中选择下述参考图片：该参考图片离所述当前图片在时间距离上最近、不是帧内编译的并且不是所述参考图片列表中的第一参考图片；以及
通过将至少一部分共位图片的运动矢量用作时间运动矢量预测因子(MVP)或者时间合并/跳转候选运动矢量，来将所选参考图片用作对所述当前图片进行解码的时间预测处理中的共位图片。
17.根据权利要求16所述的解码器，其中，所述参考图片列表是参考图片的第一列表或参考图片的第二列表中的一个，每个具有顺序值的相应索引列表，所述顺序值识别所述参考图片中的相应一个参考图片，并且其中，分析所述时间距离包括：仅分析在所述当前图片与所述参考图片的第二列表之间的时间距离，所述解码器进一步被配置用于：
从所述当前图片确定用于所述第二列表中的至少一部分参考图片的时间距离，其中，具有最小绝对时间距离的、不是帧内编译的并且不是所述第二列表中的第一参考图片的、来自所述第二列表中所述至少一部分参考图片中的参考图片被选择为所述共位图片。
18.根据权利要求17所述的解码器，其中，当标记被设置为指示所述第二列表的值并且所述当前图片内容的片类型等于B时，发生仅分析在所述当前图片与所述参考图片的第二列表之间的所述时间距离。
19.根据权利要求16所述的解码器，其中：
所述当前图片包括第一块，以及
所选参考图片中的第二块被选择为用于所述第一块的共位块，其中，所述共位块的运动矢量被用作所述第一块的时间运动矢量预测因子(MVP)或时间合并/跳转候选运动矢量。
20.根据权利要求16所述的解码器，其中，所述解码器在编码之后接收所述当前图片，而不从编码器接收所选参考图像的索引值。
21.一种用于对当前图片进行编码的编码器，包括：
一个或多个计算机处理器；以及
非暂时性计算机可读存储介质，包括当被执行时，控制所述一个或多个计算机处理器被配置用于以下的指令：
确定要编码的所述当前图片的参考图片列表，所述参考图片列表具有顺序值的索引列表，所述顺序值识别所述参考图片中的相应一个参考图片；
分析在所述当前图片与所述参考图片列表中的至少一部分所述参考图片之间的时间距离；
基于所述分析的结果，在所述参考图片列表中选择下述参考图片：该参考图片离所述当前图片在时间距离上最近、不是帧内编译的并且不是所述参考图片列表中的第一参考图片；以及
通过将至少一部分共位图片的运动矢量用作时间运动矢量预测因子(MVP)或者时间合并/跳转候选运动矢量，来将所选参考图片用作在时间预测处理中对所述当前图片进行编码的共位图片。
22.根据权利要求21所述的编码器，其中，所述参考图片列表是参考图片的第一列表或参考图片的第二列表中的一个，每个具有顺序值的相应索引列表，所述顺序值识别所述参考图片中的相应一个参考图片，所述编码器进一步被配置用于：
从所述当前图片确定仅在所述第二列表中的至少一部分参考图片的时间距离，其中，具有最小绝对时间距离的、不是帧内编译的并且不是所述第二列表中的第一参考图片的、来自所述第二列表中的所述至少一部分参考图片中的参考图片被选择为所述共位图片。
23.根据权利要求22所述的编码器，其中，当标记被设置为指示所述第二列表的值并且所述当前图片内容的片类型等于B时，发生确定仅在所述第二列表中的至少一部分参考图片的时间距离。
24.根据权利要求21所述的编码器，其中：
所述当前图片包括第一块，以及
所选参考图片中的第二块被选择为用于所述第一块的共位块，其中，所述共位块的运动矢量被用作所述第一块的时间运动矢量预测因子(MVP)或时间合并/跳转候选运动矢量。
25.根据权利要求21所述的编码器，其中，所述编码器在编码后发送所述当前图片，而不将所选参考图片的索引值发送到解码器。
CN201280057222.6A 2011-11-21 2012-11-20 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定 Active CN104137547B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161562426P 2011-11-21 2011-11-21
US201161561931P 2011-11-21 2011-11-21
US61/561,931 2011-11-21
US61/562,426 2011-11-21
US13/682,590 2012-11-20
US13/682,590 US9467694B2 (en) 2011-11-21 2012-11-20 Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction
PCT/US2012/066146 WO2013078248A1 (en) 2011-11-21 2012-11-20 Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction

Publications (2)

Publication Number Publication Date
CN104137547A CN104137547A (zh) 2014-11-05
CN104137547B true CN104137547B (zh) 2018-02-23

Family

ID=48426927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280057222.6A Active CN104137547B (zh) 2011-11-21 2012-11-20 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定

Country Status (6)

Country Link
US (1) US9467694B2 (zh)
EP (1) EP2783510A1 (zh)
KR (1) KR101607038B1 (zh)
CN (1) CN104137547B (zh)
BR (1) BR112014012187A2 (zh)
WO (1) WO2013078248A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635385B2 (en) * 2011-04-14 2017-04-25 Texas Instruments Incorporated Methods and systems for estimating motion in multimedia pictures
BR112013022641B1 (pt) 2011-09-09 2022-07-12 Kt Corporation Método para derivar um vetor de predição de movimento candidato
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
CN103959774B (zh) 2011-11-18 2017-11-24 谷歌技术控股有限责任公司 用于高效视频编码的运动信息的有效存储
US9386309B2 (en) * 2011-11-18 2016-07-05 Google Technology Holdings LLC Explicit way for signaling a collocated picture for high efficiency video coding (HEVC) using a single reference list
US9300959B2 (en) * 2011-12-26 2016-03-29 Google Technology Holdings LLC Implicit determination of collocated picture for temporal prediction
WO2013105207A1 (en) * 2012-01-10 2013-07-18 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
CN104937939B (zh) 2012-04-11 2018-10-23 谷歌技术控股有限责任公司 用于时间运动矢量预测符标志的编码器和解码器及其方法
US9549177B2 (en) 2012-04-11 2017-01-17 Google Technology Holdings LLC Evaluation of signaling of collocated reference picture for temporal prediction
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
AU2015256052A1 (en) * 2014-05-07 2016-11-10 Medimmune, Llc Methods of using anti-Ang2 antibodies
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
KR102546142B1 (ko) * 2016-03-18 2023-06-21 로즈데일 다이나믹스 엘엘씨 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
CN107402928A (zh) * 2016-05-20 2017-11-28 上海画擎信息科技有限公司 一种文档渲染方法
MX2021002201A (es) * 2018-08-29 2021-05-14 Beijing Dajia Internet Information Tech Co Ltd Metodos y aparato de codificacion de video mediante la prediccion de vector de movimiento temporal basada en subbloques.
MX2021002488A (es) 2018-09-04 2021-07-16 Huawei Tech Co Ltd Método de obtención de trama de referencia y aparato aplicado a la interpredicción bidireccional.
CN110944183B (zh) 2018-09-23 2023-09-05 北京字节跳动网络技术有限公司 在帧间模式下利用非子块空时运动矢量预测
JP7328328B2 (ja) * 2018-10-08 2023-08-16 ホアウェイ・テクノロジーズ・カンパニー・リミテッド コーディングブロックの三角形パーティションのインター予測のための装置および方法
CN111416977B (zh) * 2019-01-07 2024-02-09 浙江大学 视频编码器、视频解码器及相应方法
BR112021023392A2 (pt) * 2019-06-21 2022-04-19 Samsung Electronics Co Ltd Método, realizado por um aparelho de decodificação, para decodificação de informação de movimento, aparelho para decodificar informação de movimento, método realizado por um aparelho de codificação, de codificação de informação de movimento, e aparelho para codificar informação de movimento
US11601666B2 (en) * 2019-06-25 2023-03-07 Qualcomm Incorporated Derivation of temporal motion vector prediction candidates in video coding
WO2021195584A1 (en) * 2020-03-26 2021-09-30 Alibaba Group Holding Limited Method and apparatus for deriving temporal motion information
US11785254B2 (en) * 2020-05-29 2023-10-10 Tencent America LLC Implicit mode dependent primary transforms

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466843B2 (en) 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
AU2001290670A1 (en) 2000-09-20 2002-04-02 Dataplay, Inc. Etched micro lens and method and apparatus for fabricating
US6961055B2 (en) 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
CN101039424B (zh) 2002-07-15 2010-05-26 株式会社日立制作所 动态图像编码方法
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
AU2003241696A1 (en) 2002-07-26 2004-02-16 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method, moving picture decoding method, and recording medium
US7227901B2 (en) 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
CA2524031C (en) 2003-05-20 2015-07-07 Interlego Ag Method and system for manipulating a digital representation of a three-dimensional object
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
JP4262014B2 (ja) 2003-07-31 2009-05-13 キヤノン株式会社 画像撮影装置および画像処理方法
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7400681B2 (en) 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
JP3879741B2 (ja) 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
CN1943247A (zh) 2004-04-08 2007-04-04 皇家飞利浦电子股份有限公司 应用于多媒体数据的编码方法
EP1589763A2 (en) 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
IL165190A (en) 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7261266B2 (en) 2005-03-31 2007-08-28 Satterfield Johnny A Deployable video arm
US8385427B2 (en) 2005-04-15 2013-02-26 Apple Inc. Reduced resolution video decode
WO2007011147A1 (en) * 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US8270492B2 (en) 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8908765B2 (en) 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US20120230405A1 (en) 2009-10-28 2012-09-13 Media Tek Singapore Pte. Ltd. Video coding methods and video encoders and decoders with localized weighted prediction
US8594200B2 (en) 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
US9083984B2 (en) 2010-03-19 2015-07-14 Texas Instruments Incorporated Adaptive coding structure and adaptive FCode determination in video coding
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
EP3139611A1 (en) 2011-03-14 2017-03-08 HFI Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US9386309B2 (en) 2011-11-18 2016-07-05 Google Technology Holdings LLC Explicit way for signaling a collocated picture for high efficiency video coding (HEVC) using a single reference list
CN103959774B (zh) 2011-11-18 2017-11-24 谷歌技术控股有限责任公司 用于高效视频编码的运动信息的有效存储
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
US9300959B2 (en) 2011-12-26 2016-03-29 Google Technology Holdings LLC Implicit determination of collocated picture for temporal prediction
US9549177B2 (en) 2012-04-11 2017-01-17 Google Technology Holdings LLC Evaluation of signaling of collocated reference picture for temporal prediction
CN104937939B (zh) 2012-04-11 2018-10-23 谷歌技术控股有限责任公司 用于时间运动矢量预测符标志的编码器和解码器及其方法
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
US20140056356A1 (en) 2012-08-21 2014-02-27 Motorola Mobility Llc Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TE1: Refinement Motion Compensation using Decoder-side Motion Estimation;Motoharu Ueda;《Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20100728;全文 *

Also Published As

Publication number Publication date
KR20140083033A (ko) 2014-07-03
WO2013078248A1 (en) 2013-05-30
CN104137547A (zh) 2014-11-05
BR112014012187A2 (pt) 2017-05-30
EP2783510A1 (en) 2014-10-01
KR101607038B1 (ko) 2016-04-11
US20130128977A1 (en) 2013-05-23
US9467694B2 (en) 2016-10-11

Similar Documents

Publication Publication Date Title
CN104137547B (zh) 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定
JP7502380B2 (ja) １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコードに使用する概念
JP7367018B2 (ja) 履歴ベースの動きベクトル予測の簡略化
CN110677666B (zh) Lamvr中取整和修剪的顺序
KR102669354B1 (ko) 모션 벡터 예측
CN106797476B (zh) 用于编码/解码视频数据的方法和视频解码装置
JP7481538B2 (ja) 変換行列選択の係数依存コーディング
CN104303500B (zh) 对于时间预测的并列图片的隐式确定
CN105580372B (zh) 用于3d视频译码的组合式双向预测合并候选者
CN104937939B (zh) 用于时间运动矢量预测符标志的编码器和解码器及其方法
CN106797477B (zh) 用于解码及编码视频数据的方法和设备
CN106717004B (zh) 视频译码中的跨分量预测和自适应色彩变换的协调
KR102109803B1 (ko) 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN104584549B (zh) 用于视频编码的方法和装置
JP5498963B2 (ja) ピクセルブロックに分割された画像または画像のシーケンスの符号化及び復号化
CN104160706B (zh) 对图像进行编码的方法和装置以及对图像比特流进行解码的方法和装置
CN109792533A (zh) 在视频译码中用于仿射运动模型的运动向量预测
CN113924771B (zh) 子块Merge模式中的语法信令
CN109792531A (zh) 用于视频译码的运动向量译码
CN108370441A (zh) 在图像编译系统中用于系数引起的帧内预测的方法和装置
CN107431820A (zh) 视频译码中运动向量推导
CN109076235A (zh) 用于在视频译码中的并置参考索引的一致性约束
CN103959793A (zh) 参考图像集的有效率发信号
CN106231321A (zh) 解码方法和解码设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160316

Address after: American California

Applicant after: Technology Holdings Co., Ltd of Google

Address before: Illinois State

Applicant before: Motorola Mobility, Inc.

GR01 Patent grant
GR01 Patent grant