CN111642141A - 分辨率自适应视频编码 - Google Patents

分辨率自适应视频编码 Download PDF

Info

Publication number
CN111642141A
CN111642141A CN201980007183.0A CN201980007183A CN111642141A CN 111642141 A CN111642141 A CN 111642141A CN 201980007183 A CN201980007183 A CN 201980007183A CN 111642141 A CN111642141 A CN 111642141A
Authority
CN
China
Prior art keywords
frame
motion
resolution
current frame
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980007183.0A
Other languages
English (en)
Other versions
CN111642141B (zh
Inventor
孙域晨
楼剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of CN111642141A publication Critical patent/CN111642141A/zh
Application granted granted Critical
Publication of CN111642141B publication Critical patent/CN111642141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

通过获得比特流的当前帧，从参考帧缓存获得一个或更多个参考图片，对获得的一个或更多个参考图片中具有与当前帧的分辨率不同分辨率的图片进行上采样或下采样，和基于所述一个或更多个参考图片和当前帧的所选的运动候选从所述当前帧生成重建帧，提供了用于以运动预测编码格式实现分辨率自适应视频编码方法的系统和方法，从而实现在视频编码和递送过程中网络传输成本的大幅缩减，而无需传输会抵消或损害这些节省的其他数据。

Description

分辨率自适应视频编码
相关申请的交叉引用
本公开要求于2018年12月31日提交的美国申请号16/237,073的优先权权益，其全部内容通过引用合并于此。
背景技术
在诸如H.264/AVC(高级视频编码)和H.265/HEVC(高效率视频编码)标准的常规视频编码格式中，序列中的视频帧的大小和分辨率以序列级记录在头部。因此，为了改变帧分辨率，必须从帧内编码帧开始生成新的视频序列，与帧间编码帧相比，帧内编码帧要传输的带宽成本要大得多。因此，尽管期望当网络带宽变低、减小或节流时在网络上自适应地发送下采样(down sampled)的低分辨率视频，但是由于自适应下采样的带宽成本抵消了带宽增益，在使用常规视频编码格式时难以实现带宽节省。
已经对在传输帧间编码帧时支持改变分辨率进行了研究。在由AOM开发的AV1编解码器的实现中，提供了一种称为切换帧(switch_frame)的新帧类型，可以以与以前的帧不同的分辨率进行传输。但是，由于switch_frame的运动矢量编码不能参考先前帧的运动矢量，因此switch_frame的使用受到限制。此类参考通常提供降低带宽成本的另一种方法，因此使用switch_frames仍会维持更大的带宽消耗，从而抵消了带宽增益。
在下一代视频编解码器规范VVC/H.266的开发中，提供了几种新的运动预测编码工具，以进一步支持参考先前帧的运动矢量编码。需要新技术以便针对这些新编码工具在比特流中实现分辨率变化。
附图说明
详细说明参照附图得以阐述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记表示相似或相同的项目或特征。
图1示出了从由TMVP编码的帧的块中选择运动候选的示例。
图2A示出了SbTMVP预测器的示例推导。
图2B示出了SbTMVP预测器的示例推导。
图3示出了利用与当前帧具有第一时间和第二时间距离的第一参考帧和第二参考帧的示例的双向预测。
图4说明视频编码过程的实例框图。
图5A示出了实现分辨率自适应视频编码的视频编码方法的示例流程图。
图5B示出了实现分辨率自适应视频编码的视频编码方法的示例流程图。
图6示出了实现分辨率自适应视频编码的视频编码方法的另一示例流程图。
图7示出了对参考图片进行上采样的示例循环内向上采样器。
图8示出了用于在运动预测编码格式中实现分辨率自适应视频编码的过程和方法的示例系统。
图9示出了用于在运动预测编码格式中实现分辨率自适应视频编码的过程和方法的示例系统。
具体实施例
本文讨论的系统和方法旨在实现视频编码中的自适应分辨率，并且更具体地涉及基于由VVC/H.266标准提供的运动预测编码工具实施重建帧的上采样和下采样以实现帧间自适应分辨率改变。
根据本公开的示例实施例，运动预测编码格式可以指通过包括对一个或更多个其它帧的运动信息和一个以上的预测单元(PU)的一个或更多个参考来对帧的运动信息和一个以上的预测单元进行编码的数据格式。运动信息可以指的是描述帧或其单元或子单元的块结构的运动的数据，例如以及对当前帧或另一帧的块的运动矢量和参考。PU可指代帧的多个块结构中的与块结构相对应的一个单元或多个子单元，例如编码单元(CU)，其中，基于帧数据对块进行划分，并根据已建立的视频编解码器对块进行编码。对应于预测单元的运动信息可以描述由任何运动矢量编码工具编码的运动预测，包括但不限于本文所述的那些。
根据本公开的示例实施例，运动预测编码格式可以包括时间运动矢量预测器(TMVP)，子块临时运动矢量预测器(SbTMVP)和双向光流(BIO)。这里将描述与本公开的示例实施例有关的这些运动预测编码格式的特征。
TMVP编码格式的解码器可以获得以TMVP编码格式编码的比特流的当前帧，并获得重建帧(“TMVP重建帧”)。TMVP重建帧的块的运动信息可以包括运动候选列表。运动候选列表可以是包含对多个运动候选的参考的数据结构。运动候选可以是块结构或其子单元，例如像素或当前帧的块结构的任何其他合适的细分，或者可以是对另一帧的运动候选的参考。运动候选可以是空间运动候选或时间运动候选。通过应用运动矢量竞争(MVC)，解码器可以从运动候选列表中选择运动候选，并得出运动候选的运动矢量作为重建帧的块的运动矢量。
相同块的运动候选可以通过诸如帧中的左右或上下关系之类的空间关系相互关联。参照另一帧的块的一运动候选的运动候选可以通过与当前帧的时间关系相互关联，诸如当前帧的块与另一帧的块之间的时间搭配关系。
图1示出了根据本公开的示例实施例的从由TMVP编码的帧的块中选择运动候选的示例。
如图1所示，示出了帧的块的多个候选运动。帧的空间运动候选可以是沿着块的最左列的块子单元和沿着块的最上一行的块子单元。空间运动候选具有与图1的左右方向和上下方向相对应的左右关系和上下关系。块的时间运动候选可以是参考图片的块结构的块子单元的参考，参考图片在时间上与当前帧并置，并且参考图片的块在时间上与当前帧的并置。
参考图片可以是参考图片列表所参考的帧，所述参考图片列表可以参考多个帧。参考图片列表可以是多个参考图片列表之一，每个参考图片列表都参考参考帧缓存的某些帧，其中参考图片列表可以被指定为例如列表0或列表1。
可以根据几种帧间编码的运动预测模式之一来编码用于TMVP重建帧的块的运动候选的运动候选列表。根据帧间编码运动预测模式编码的帧的块的运动信息可以指的是另一帧的运动信息。
可以在帧间编码帧中编码运动候选列表。
可以如下从块的空间运动候选中选择左部空间运动候选和上部空间运动候选。可以根据MVC或在相关技术中找到的同样合适的搜索标准，通过从最左下空间运动候选向上搜索到最左上空间运动候选并选择第一个可用空间运动候选来选择左部空间运动候选，在此不做详细说明。例如，如图1所示，可以执行从块子单元A0到块子单元A1的向上搜索，其中沿着搜索遇到的第一个可用块子单元被选择为左部空间运动候选。可以根据MVC或在相关技术中找到的类似合适的搜索标准，通过从最右上方的空间运动候选向左搜索到最左上方的空间运动候选并选择第一个可用空间运动候选来选择上部空间运动候选，在此不做详细说明。例如，如图1所示，可以从块子单元B0到块子单元B1执行向左搜索，其中沿着搜索遇到的第一可用块子单元被选择为上部空间运动候选。
根据本公开的示例实施例，其中TMVP重建帧的帧间运动预测模式是帧间模式，帧的编码可以包括帧间预测指示器。帧间预测指示器可以指示参考被称为列表0的第一参考图片列表的列表0预测，参考被称为列表1的第二参考图片列表的列表1预测或参考分别被称为列表0和列表1两个参考图片的双向预测。在帧间预测指示器指示列表0预测或列表1预测的情况下，帧的编码可以包括参考索引，该参考索引参考分别由列表0或列表1参考的参考帧缓存的参考图片。在帧间预测指示器指示双向预测的情况下，帧的编码可以包括：第一参考索引，其参考列表0所参考的参考帧缓存的第一参考图片；以及第二参考索引，其参考列表1参考的参考帧的第二参考图片。
帧间预测指示器可以被编码为帧间编码的帧的切片头中的标志。一个或更多个参考索引可以被编码在帧间编码的帧的切片头中。分别对应于一个或更多个参考索引的一个或两个运动矢量差(MVD)可以进一步被编码。
可以从时间上并置的块的子单元中选择时间运动候选，所述时间上并置的块为帧间预测指示器和一个或更多个参考索引所参考的、时间上并置的参考图片的块,在这里将时间上并置的图片指定为参考图片。可以根据MVC或在相关技术中找到的同样合适的搜索标准，通过在时间上并置的块的子单元中搜索并选择第一个可用的时间运动候选来选择时间运动候选，在此不对其进行详细说明。例如，如图1所示，可以在时间上并置的块的块子单元TBR和TCT中执行搜索，其中TBR是相对于当前帧的块的右下块，TCT是相对于当前帧的块的中心块，然后选择TBR和TCT中的第一个可用块子单元作为时间运动候选。
因此，根据作为帧间模式的帧间编码运动预测模式编码的帧的块的运动候选列表可以包括以下运动候选：
左部空间运动候选(在A0和A1中可用的第一块子单元)；
上部空间运动候选(B0、B1和B2中可用的第一块子单元)；和
时间运动候选(在TBR和TCT中可用的第一块子单元)。
在选择时间运动候选的情况下，因为参考图片的块的运动矢量不以编码的方式存在于帧中，所以解码器可以在获得重建帧时获得参考图片的时间并置的块的运动矢量。
根据本公开的示例实施例，其中TMVP重建帧的帧间编码运动预测模式是跳过模式或合并模式，运动候选列表可以是合并候选列表。帧的编码可以包括合并索引。合并索引可以指合并候选列表的运动候选。
通过图1的示例，根据帧间编码运动预测模式(是跳过模式或合并模式)编码的帧的合并候选列表可以包括以下运动候选：
左部空间运动候选者(A1)；
上部空间运动候选者(B1)；
右上部空间运动候选者(B0)；
左下部空间运动候选者(A0)；
左上部空间运动候选者(B2)；和
时间候选(在TBR和TCT中可用的第一块子单元)。
当前帧的编码可以包括合并索引。合并索引可以指代合并候选列表中的选定运动候选。基于所述合并索引，在当前帧中编码的PU的运动信息可以参考所选择的合并候选的帧间预测指示器；选定合并候选者的一个或更多个参考索引；所选择的合并候选的MVD，而没有帧间预测指示器，一个或更多个参考索引，或在当前帧中被编码的MVD。
可以根据MVC或在相关技术中找到的合适的选择标准，从合并候选列表的运动候选中选择合并候选。例如，在合并候选是空间候选的情况下，除非所有其他空间运动候选都不可选择，否则不选择左上部空间运动候选(在图1所示的示例中为B2)。选择标准的细节通常不在此详述。
在选择时间运动候选的情况下，因为参考图片的块的运动矢量不以编码的方式存在于帧中，所以解码器可以在获得重建帧中获得参考图片的时间并置的块的运动矢量。
可以为TMVP重建帧编码序列参数集(SPS)标志。可以设置SPS标志以启用用于TMVP重建帧的SbTMVP模式。根据本公开的示例实施例，在为重建帧启用SbTMVP模式的情况下，该帧的候选列表还可以包括：
SbTMVP预测器。
根据本公开的示例实施例，其中的针对TMVP重建帧启用SbTMVP模式，多个子单元对应于帧的块结构，例如编码单元(CU)，使得每个子单元都是所述块的子分区。块结构的子单元可以具有自适应确定的宽度和高度，其可以基于启用了SbTMVP模式的帧的切片头中的大小指示器以及基于如下的块结构的宽度和/或高度来确定：
可以将帧的块结构的子单元的宽度和高度(以诸如像素为单位)设置为以下项中的最小值：
在所述帧的切片头中的大小指示器；
所述块结构的宽度；和
所述]块结构的高度。
根据本公开的示例实施例，可以根据VVC/H.266标准来实现启用SbTMVP模式的切片头，其中大小指示器可以是4个像素或8个像素。
根据本公开的示例实施例，可以基于与当前帧相同的时间层的最后编码图片的块大小统计并基于预设的阈值，将大小指示器(在下面的示例中表示为SbTMVP_size)设置为4像素或8像素。例如，块大小统计可以是由相同时间层的最后编码图片的SbTMVP模式编码的CU中的平均块宽度和高度(在下面的示例中表示为avg_size)，其中，给定通过SbTMVP模式编码的每个CU的各自的块大小为S0,S1,...,SN–1,可以通过公式
Figure BDA0002564138860000072
计算平均块大小，并且可以将阈值设置为例如对于非低延迟图片是27x27或对于低延迟图为75x75。所述大小指示器然后可以设置如下：
Figure BDA0002564138860000071
在不存在相同时间层的最后编码图片的情况下，即当前帧是时间层的第一图片，大小指示器可以设置为4个像素。
根据本公开的示例实施例，可以以与针对由TMVP编码的重建帧的空间运动候选和时间运动候选的选择相似的方式来选择空间运动候选或时间运动候选，除此之外，对于P或B切片中的每个CU，均执行附加速率失真(RD)检查，以决定是否选择SbTMVP候选对象。此外，在选择时间运动候选的情况下，由于参考图片的块的运动矢量不以编码的方式存在于帧中，解码器可针对与时间上并置的参考图片的选定时间运动候选并置的当前帧的块执行以下步骤：
选择当前帧的块的空间上相邻的块，并从所选择的块的运动矢量中得出运动偏移；
将获得的运动偏移应用于当前帧的块；和
在获得重建帧时，获得参考图片的时间上并置的块的运动矢量。
将所获得的运动偏移应用于当前帧的块可以包括将运动偏移添加到当前帧的块的坐标。
图2A和图2B示出了根据本公开的示例实施例的SbTMVP预测器的以上推导的步骤。
如图2所示，示出了当前帧202的块的空间上相邻的块A0、A1、B0和B1。块A0可以是当前帧202的块之下的块；块A1可以是当前帧202的块的左边的块；块B0可以是当前帧202的块的右边的块；块B1可以是当前帧202的块之上的块。每个空间上相邻的块相对于当前帧202的块或彼此之间的相对位置将不被进一步限制。关于每个空间上相邻的块与当前帧202的块或彼此之间的相对大小没有限制。
可以以A1、B1、B0和A0的顺序搜索上述空间相邻的块，以寻找具有参考时间上并置的参考图片的运动矢量的第一空间相邻的块。在找到这样的第一空间相邻的块的情况下，从第一空间相邻的块获得运动偏移。在上述空间相邻的块中没有找到这样的第一空间相邻的块的情况下，可以设置中性的运动偏移，诸如(0，0)的运动偏移。
在从第一空间上相邻的块获得运动偏移的情况下，可以将运动偏移添加到帧202的当前块的坐标，以使得该块的每个子单元的运动信息(例如运动矢量和参考索引)是从参考时间上并置的参考图片的运动矢量中而得出。
在设置了中性运动偏移的情况下，帧202的当前块的坐标可以保持不变。
如图2B所示，当前帧202与时间上并置的参考图片204并置，并且当前帧202的块206与时间上并置的参考图片204的选择的时间运动候选208并置。块206具有多个子单元。假设选择了块206左侧的块206的空间相邻块A1作为块206的第一空间相邻块，因此，运动偏移是从块A1与空间相邻块A1'之间得出，所述空间相邻块A1'为相对于当前帧202和时间上并置的参考图片204的选择的时间运动候选208。块208的每个子单元可以对应于时间运动候选208的一子单元，从而可以从对应于时间运动候选208的子单元的运动信息中获得块206的子单元的运动信息，其中应用时间运动缩放以将时间运动候选208的运动矢量与块206的运动矢量对准。
如图2B所示，单线箭头表示参考列表0的运动矢量，而双线箭头表示参考列表1的运动矢量。虚线表示在已经应用时间运动缩放之后的运动矢量。
BIO编码格式的解码器可以获得以BIO编码格式编码的比特流的当前帧，并获得重建帧(“BIO重建帧”)。解码器可以基于参考帧缓存的参考图片对当前帧执行基于块的运动补偿。
接下来，可以进一步对当前帧执行双向预测，以使得重建帧的块的运动信息可以包括对第一参考帧的运动信息和第二参考帧的运动信息的参考，第一参考帧距当前帧具有第一时间距离和第二参考帧距当前帧具有第二时间距离。第一时间距离和第二时间距离可以在距当前帧相同的时间方向上，或者可以在距当前帧不同的时间方向上。
给定I(k)作为块运动补偿后参考k(k＝0，1)的亮度值，以及
Figure BDA0002564138860000091
分别为I(k)梯度的水平分量和垂直分量。假设光流有效，则运动矢量场(vx,vy)由以下公式给出：
Figure BDA0002564138860000092
将该光流方程与Hermite插值相结合以求解每个样本的运动轨迹，将得出一个唯一在两端都匹配函数值I(k)和导数
Figure BDA0002564138860000093
的三阶多项式。该多项式在t＝0处的值是BIO预测：
Figure BDA0002564138860000094
其中τ0和τ1分别表示到参考帧的第一时间距离和第二时间距离，如图3所示。可以基于第一参考帧301(Ref0)和第二参考帧302(Ref1)的图片顺序计数(POC)来计算第一和第二时间距离τ0和τ1：τ0＝POC(当前)-POC(Ref0)，τ1＝POC(Ref1)-POC(当前)。如果两个预测都来自相同的时间方向(或者都自过去，或者都来自将来)，则符号不同(即τ0·τ1<0)。在这种情况下，仅当预测不是来自同一时间(即τ0≠τ1)时才应用BIO，两个参考帧的参考区域具有非零运动(即MVx0,MVy0,MVx1,MVy1≠0))0)和块运动矢量与时间距离成正比(即MVx0/MVx1＝MVy0/MVy1＝–τ0/τ1)。
运动矢量场(vx,vy)可以通过最小化点A和点B(图3的运动轨迹与参考帧平面的交点)之间的差值Δ来确定。模型对Δ仅使用局部泰勒展开的第一线性项：
Figure BDA0002564138860000101
上式中的所有值都取决于样本位置(i′，j′)，到目前为止，从符号中省略了它们。假设运动在本地周围区域是一致的，则在以当前预测点(i，j)为中心的(2M+1)×(2M+1)正方形窗口Ω内将Δ最小化，其中M等于2：
Figure BDA0002564138860000102
图4示出了根据本公开的示例实施例的视频编码过程400的示例框图。
视频编码过程400可以从诸如比特流410之类的源获得编码帧。根据本公开的示例实施例，给定当前帧412在比特流中具有位置N，在比特流中具有位置N-1的前一帧414的分辨率可以大于或小于当前帧的分辨率，并且在比特流中具有位置N+1的下一帧416可以具有大于或小于当前帧的分辨率。
视频编码系统400可以解码当前帧412以生成重建帧418，并且在诸如参考帧缓存490或显示缓存492的目的地处输出重建帧418。可以将当前帧412输入到编码循环420中，其可以包括重复以下步骤：将当前帧412输入到视频解码器422中；基于参考帧缓存490的先前重建帧494生成重建帧418；将重建帧418输入到循环内上采样器或下采样器424，生成上采样或下采样的重建帧496，并将所述上采样或下采样的重建帧496输出到参考帧缓存490中。可替代地，重建帧418可以从循环中输出，其可以包括将重建的帧输入到循环后上采样器或下采样器426中，生成上采样或下采样的重建帧498，并将上采样或下采样的重建帧498输出到显示缓存492中。
根据本公开的示例实施例，视频解码器422可以是实现运动预测编码格式的任何解码器，包括但不限于本文描述的那些编码格式。基于参考帧缓存490的先前重建帧生成重建帧可以包括如本文所述的帧间编码运动预测，其中该先前重建帧可以是在先前的编码循环期间由循环内上采样器或下采样器422输出的上采样或下采样的重建帧。并且所述先前重建帧用作帧间编码运动预测中的参考图片。
根据本公开的示例实施例，循环内上采样器或下采样器424和循环后上采样器或下采样器426每一个都可以实现分别适合于以运动预测编码格式编码的帧的至少上采样或下采样的编码像素信息的上采样或下采样算法。循环内上采样器或下采样器424和循环后上采样器或下采样器426可各自实现进一步适于分别按比例放大和按比例缩小运动信息(例如运动矢量)的上采样或下采样算法。
与循环后上采样器或下采样器426所使用的算法相比，循环内上采样器或下采样器424可以相对简单地使用上采样或下采样算法，并且具有更高的计算速度，足以使得在需要上采样或下采样的重建帧496在编码循环420的后续迭代中用作前一重建帧之前，将由循环内上采样器或下采样器424输出的上采样或下采样的重建帧496输入到参考帧缓存490中。而由循环后上采样器或下采样器426输出的上采样或下采样的重建帧498可能在需要上采样或下采样的重建帧496之前不能及时输出。例如，循环内上采样器可以利用不依赖训练的插值、平均或双线性上采样算法，而循环后上采样器可以利用训练后的上采样算法。
因此，在为当前帧412生成重建帧418时用作参考图片的帧，例如先前的重建帧494，可以根据相对于前一帧414和下一帧416分辨率的当前帧412的分辨率被上采样或下采样。例如，在当前帧412的分辨率大于前一帧414和下一帧416中任一者或两者的分辨率的情况下，可以对用作参考图片的帧进行上采样。在当前帧412具有小于前一帧414和下一帧416之一或两者的分辨率的情况下，可以对用作参考图片的帧进行下采样。
图5A和图5B示出了根据本公开的示例实施方式的实现分辨率自适应视频编码的视频编码方法500的流程图，其中，帧由TMVP或SbTMVP编码。
在步骤502，视频解码器可以获得以TMVP编码格式编码的比特流的当前帧，其中，还可以根据帧的帧头来启用SbTMVP。当前帧可以具有位置N。在比特流中具有位置N-1的前一帧的分辨率可以大于或小于当前帧的分辨率，而在比特流中具有位置N+1的下一帧可以具有大于或小于当前帧的分辨率。
在步骤504，视频解码器可从参考帧缓存获得一个或更多个参考图片，并将所述一个或更多个参考图片的分辨率与当前帧的分辨率进行比较。
在步骤506，在视频解码器确定一个或更多个参考图片的一个或更多个分辨率与当前帧的分辨率不同时，视频解码器可以从参考帧缓存中选择具有与当前帧的分辨率相同分辨率的帧。
根据本公开的示例实施例，具有与当前帧的分辨率相同的分辨率的帧可以是参考帧缓存中具有与当前帧的分辨率相同分辨率的很新的帧，但不一定是参考帧缓存的最新的帧。
根据本公开的示例实施例，循环内上采样器或下采样器可以根据当前帧的分辨率来对一个或更多个参考图片上采样或下采样。
在步骤508，循环内上采样器或下采样器可以确定当前帧的分辨率与一个或更多个参考图片的分辨率的比率；根据所述比率对所述一个或更多个参考图片进行上采样或下采样以匹配当前帧的分辨率；并根据该比率缩放一个或更多个参考图片的运动矢量。
根据本公开的示例实施例，缩放运动矢量可以包括增加或减小运动矢量的大小。
在步骤510，视频解码器可获得当前帧的块的运动候选列表或合并候选列表。运动候选列表或合并候选列表的获得可根据本文所述的前述步骤来执行。在运动候选列表或合并候选列表的获得中，SbTMVP预测器的获得可以进一步根据在此描述的前述步骤来执行。
根据本公开的示例实施例，在运动候选列表或合并候选列表的获得过程中，作为另一帧的候选参考的候选(其中另一帧具有与当前帧的分辨率相同的分辨率)可以被插入运动候选列表或合并候选列表的前面，或者以在位置上优先的其他方式。
在步骤512中，根据本文所述的前述步骤，视频解码器可以从获得的运动候选列表或合并候选列表中选择一运动候选，并获得运动候选的运动矢量作为重建帧的块的运动矢量。视频解码器还可根据本文所述的前述步骤来提取参考图片的时间上并置的块的运动矢量或从参考图片的时间上并置的块中获得运动偏移。
在步骤514，视频解码器可基于一个或更多个参考图片和所选运动候选从当前帧生成重建帧。
可以通过参考具有与当前帧相同的分辨率的所选参考图片或通过参考帧缓存中的被上采样或下采样到具有与当前帧相同的分辨率的帧的其他帧来预测重建帧。
在步骤516，可以将重建帧输入到循环内上采样器或下采样器以及循环后上采样器或下采样器中的至少一个中。
在步骤518中，所述循环内上采样器或下采样器或循环后上采样器或下采样器中的至少一个可基于所述重建帧生成一上采样或下采样的重建帧。
可以根据比特流所支持的多个分辨率的不同分辨率来分别生成多个上采样或下采样的重建帧。
在步骤520，可将重建帧和一个或更多个上采样或下采样的重建帧中的至少一个输入到参考帧缓存和显示缓存中的至少一个中。
在将重建帧输入到参考帧缓存中的情况下，可以如上文关于步骤506所描述的那样，获得重建帧作为参考图片，并且随后在后续的编码循环迭代中进行上采样或下采样。在将一个或更多个上采样或下采样的重建帧输入到参考帧缓存的情况下，可以选择一个或更多个上采样或下采样帧中的一个作为与在后续编码循环迭代中具有与当前帧相同的分辨率的帧。
图6示出了根据本公开示例实施例的实现分辨率自适应视频编码的视频编码方法600的示例流程图，其中，帧由BIO编码。
在步骤602，视频解码器可以获得以BIO编码格式编码的比特流的当前帧。当前帧可以具有位置N。在比特流中具有位置N-1的前一帧的分辨率可以大于或小于当前帧的分辨率，和在比特流中具有位置N+1的下一帧可以具有分辨率大于或小于当前帧的分辨率。
在步骤604，视频解码器可从参考帧缓存获得一个或更多个参考图片，并将所述一个或更多个参考图片的分辨率与当前帧的分辨率进行比较。
在步骤606，在视频解码器确定一个或更多个参考图片的一个或更多个分辨率与当前帧的分辨率不同时，循环内上采样器或下采样器可以根据当前帧的分辨率对一个或更多个参考图片进行上采样或下采样。
根据本公开的示例实施例，视频解码器可以从参考帧缓存中选择具有与当前帧的分辨率相同的分辨率的帧。具有与当前帧的分辨率相同的分辨率的帧可以是具有与当前帧的分辨率相同的分辨率的参考帧缓存的很新的帧，但可以不是参考帧缓存的最新帧。
在步骤608，视频解码器可基于参考帧缓存的参考图片对当前帧执行基于块的运动补偿。
在步骤610，根据本文所述的前述步骤，视频解码器可基于参考帧缓存的第一参考帧和第二参考帧对当前帧执行双向预测。
在步骤612，视频解码器可基于第一参考帧和第二参考帧从当前帧生成重建帧。
可以通过参考具有与当前帧相同的分辨率的所选参考图片或通过参考帧缓存中的被上采样或下采样到具有与当前帧相同的分辨率的帧的其他帧来预测重建帧。
在步骤614，可以将重建帧输入到循环内上采样器或下采样器和循环后上采样器或下采样器中的至少一个中。
在步骤616，循环内上采样器或下采样器或循环后上采样器或下采样器中的至少一个可基于所述重建帧来生成上采样或下采样的重建帧。
可以根据比特流所支持的多个分辨率的不同分辨率来分别生成多个上采样或下采样的重建帧。
在步骤618，可以将重建帧和一个或更多个上采样或下采样重建帧中的至少一个输入到参考帧缓存和显示缓存中的至少一个中。
在将重建帧输入到参考帧缓存的情况下，以如上文有关步骤506所描述的那样，获得重建帧作为参考图片，并且随后在后续编码循环迭代中对重建帧上采样或下采样。在将一个或更多个上采样或下采样的重建帧输入到参考帧缓存的情况下，可以选择一个或更多个上采样或下采样帧中的一个作为在后续编码循环的迭代中具有与当前帧分辨率相同的分辨率的帧。
根据本公开的示例性实施例，当循环内上采样器对较低分辨率的参考图片进行上采样以匹配高分辨率帧的分辨率时，可以保留与低分辨率参考图像的像素相同的上采样的参考图片的部分像素。例如，图7示出了示例性内循环上采样器将参考图片从4×4像素分辨率702向上采样到8×8像素分辨率704。在图7的右侧，示出了上采样器的输出，其中，上采样的8×8参考图片的用灰色标记的部分像素可以与4×4参考图片的像素相同。
因此，当在方法500或方法600中将上采样的重建帧输入到参考帧缓存或显示缓存中的至少一个时，参考帧缓存中的上采样的重建帧的与参考图片的像素相同的部分像素可以在所述参考图片和上采样的重建帧之间共享。此外，循环内上采样器和循环后上采样器可以避免将滤波器应用于所述部分像素，以便于共享所述部分像素。
图8示出了实施上述用于以运动预测编码格式来实现分辨率自适应视频编码的过程和方法的示例系统800。
本文描述的技术和机制可以由系统800的多个实例以及由任何其他计算设备、系统和/或环境来实现。图8所示的系统800仅是系统的一个示例，并且无意于提出对用于执行上述处理和/或过程的任何计算设备的使用范围或功能的任何限制。适用于实施例的其他众所周知的计算设备、系统、环境和/或配置包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、游戏机、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述任何系统或设备的分布式计算环境、使用现场可编程门阵列(“FPGA”)的实现以及专用集成电路(“ASIC”)等。
系统800可以包括一个或更多个处理器802和可通信地耦合到所述一个或更多个处理器802的系统存储器804。所述一个或更多个处理器802可以执行一个或更多个模块和/或处理以使一个或更多个处理器802执行各种功能。在一些实施例中，一个或更多个处理器802可以包括中央处理单元(CPU)、图形处理单元(GPU)、CPU和GPU两者都包括、或者本领域已知的其他处理单元或组件。另外，一个或更多个处理器802中的每一个都可以拥有其自己的本地存储器，该本地存储器还可以存储程序模块、程序数据和/或一个或更多个操作系统。
取决于系统800的确切配置和类型，系统存储器804可以是易失性的，例如RAM，或者非易失性的，例如ROM、闪存、微型硬盘驱动器、存储卡等，或者它们的某种组合。系统存储器804可以包括一个或更多个可由一个或更多个处理器802执行的计算机可执行模块(模块)806。
模块806可以包括但不限于解码器模块808和上采样器或下采样器模块810。解码器模块808可以包括帧获得模块812、参考图片获得模块814、帧选择模块816、候选列表获得模块818、运动预测模块820、重建帧生成模块822、以及上采样器或下采样器输入模块824。上采样器或下采样器模块810可以包括比率确定模块826、上采样或下采样模块828、缩放模块830、上采样或下采样的重建帧生成模块832以及缓存输入模块834。
帧获得模块812可以被配置如以上参考图5所述为获得以TMVP编码格式编码的比特流的当前帧。
参考图片获得模块814可以被配置为从参考帧缓存获得一个或更多个参考图片，并且将所述一个或更多个参考图片的分辨率与当前帧的分辨率进行比较，如以上参照图5所述方式。
帧选择模块816可以被配置为在参考图片获得模块814确定一个或更多个参考图片的一个或更多个与当前帧的分辨率不同之后，从参考帧缓存中选择具有与当前帧的分辨率相同的分辨率的帧。如以上参考图5所述方式。
候选列表获得模块818可以被配置为针对当前帧的块获得运动候选列表或合并候选列表，根据本公开的一些示例实施例，可选地获得SbTMVP预测器，并在所述列表的前面或以其他位置上优先的方式插入作为参考另一帧候选者的候选者，其中所述另一帧具有与当前帧的分辨率相同的分辨率，如以上参考图5所述的方式。
运动预测模块820可以被配置为从获得的运动候选列表或合并候选列表中选择运动候选，并且获得所述运动候选的运动矢量作为重建帧的块的运动矢量，并且可选地，根据本公开的示例实施例，获得参考图片的时间上并置的块的运动矢量或从参考图片的时间上并置的块获得运动偏移，如上面参考图5所述的方式。
重建帧生成模块822可以被配置为基于一个或更多个参考图片和所选择的运动候选从当前帧生成重建帧。
上采样器或下采样器输入模块824可以被配置为将重建帧输入到上采样器或下采样器模块810中。
比率确定模块826可以被配置为确定当前帧的分辨率与一个或更多个参考图片的分辨率的比率。
上采样或下采样模块828可以被配置为根据该比率上采样或下采样一个或更多个参考图片以匹配当前帧的分辨率。
缩放模块830可以被配置为根据该比例来缩放一个或更多个参考图片的运动矢量。
上采样或下采样的重建帧生成模块832可以被配置为基于重建帧生成上采样或下采样的重建帧。
缓存输入模块834可以被配置为将上采样或下采样的重建帧输入到参考帧缓存和显示缓存中的至少一个，以便在上采样的重建帧和参考帧中的参考图片之间相同的部分像素可以共享，如上面参考图5所述的方式。
系统800可以另外包括输入/输出(I/O)接口840，接口840用于接收要处理的比特流数据，并且用于将重建帧输出到参考帧缓存和/或显示缓存中。系统800还可以包括通信模块850，其允许系统800通过网络(未示出)与其他设备(未示出)通信。该网络可以包括互联网，诸如有线网络或直接有线连接之类的有线介质，以及诸如声学、射频(RF)、红外和其他无线介质之类的无线介质。
图9示出了用于实施上述用于以运动预测编码格式来实现分辨率自适应视频编码的过程和方法的示例系统900。
本文描述的技术和机制可以由系统900的多个实例以及由任何其他计算设备、系统和/或环境来实现。图9所示的系统900仅是系统的一个示例，并且无意于暗示对用于执行上述过程和/或程序的任何计算设备的使用范围或功能的任何限制。适用于实施例的其他众所周知的计算设备、系统、环境和/或配置包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、游戏机、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述任何系统或设备的分布式计算环境、使用现场可编程门阵列(FPGA”)的实现以及专用集成电路(“ASIC”)等。
系统900可以包括一个或更多个处理器902和可通信地连接到所述一个或更多个处理器902的系统存储器904。所述一个或更多个处理器902可以执行一个或更多个模块和/或处理以使所述一个或更多个处理器902执行各种功能。在一些实施例中，所述一个或更多个处理器902可以包括中央处理单元(CPU)、图形处理单元(GPU)、CPU和GPU，或者本领域已知的其他处理单元或组件。另外，所述一个或更多个处理器902中的每一个均可以拥有其自己的本地存储器，该本地存储器还可以存储程序模块、程序数据和/或一个或更多个操作系统。
取决于系统900的确切配置和类型，系统存储器904可以是易失性的，例如RAM，也可以是非易失性的，例如ROM、闪存、微型硬盘驱动器、存储卡等，或者它们的某种组合。系统存储器904可以包括一个或更多个可由一个或更多个处理器902执行的计算机可执行模块(模块)906。
模块906可以包括但不限于解码器模块908和上采样器或下采样器模块910。解码器模块908可以包括帧获得模块912、参考图片获得模块914、运动补偿模块916、双向预测模块918、重建帧生成模块920、以及上采样器或下采样器输入模块922。所述上采样器或下采样器模块910可以包括上采样或下采样重建帧生成模块924、和缓存输入模块926。
帧获得模块912可以被配置为获得以BIO编码格式编码的比特流的当前帧，如以上参考图6所述的方式。
参考图片获得模块914可以被配置为从参考帧缓存获得一个或更多个参考图片，并且将一个或更多个参考图片的分辨率与当前帧的分辨率进行比较，如以上参考图6所述的方式。
运动补偿模块916可以被配置为基于参考帧缓存的参考图片对当前帧执行基于块的运动补偿，如以上参考图6所述的方式。
双向预测模块918可以被配置为基于参考帧缓存的第一参考帧和第二参考帧对当前帧执行双向预测，如以上参考图6所述的方式。
重建帧生成模块920可以被配置为基于第一参考帧和第二参考帧从当前帧生成重建帧。
上采样器或下采样器输入模块922可以被配置为将重建帧输入到上采样器或下采样器模块910中。
上采样或下采样的重建帧生成模块924可以被配置为基于重建帧生成上采样或下采样的重建帧。
缓存输入模块926可以被配置为将上采样或下采样的重建帧输入到参考帧缓存和显示缓存中的至少一个中，使得参考帧缓存中的在上采样的重建帧和参考图片之间相同的部分像素可以共享，如以上参考图6所述的方式。
系统900可以另外包括输入/输出(I/O)接口940，该输入/输出(I/O)接口940用于接收要处理的比特流数据，并且用于将重建的帧输出到参考帧缓存和/或显示缓存中。系统900还可包括通信模块950，该通信模块950允许系统900通过网络(未示出)与其他设备(未示出)通信。该网络可以包括互联网，诸如有线网络或直接有线连接之类的有线介质，以及诸如声学、射频(RF)红外和其他无线介质之类的无线介质。
如上所述的方法的一些或全部操作可以通过执行存储在计算机可读存储介质上的计算机可读指令来执行，如下所述。在说明书和权利要求书中使用的术语“计算机可读指令”包括例程、应用程序、应用程序模块、程序模块、程序、组件、数据结构、算法等。可以在各种系统配置上执行计算机可读指令，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的设备、可编程消费电子产品，及其组合等。
计算机可读存储介质可以包括易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM)，闪存等)。计算机可读存储介质还可包括其他可移动存储和/或不可移动存储，包括但不限于可提供计算机的可读指令、数据结构、程序模块等存储的非易失性存储闪存、磁存储、光存储和/或磁带存储。
非暂时性计算机可读存储介质是计算机可读介质的示例。计算机可读介质包括至少两种类型的计算机可读介质，即计算机可读存储介质和通信介质。计算机可读存储介质包括以任何处理或技术实现的用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质包括但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他存储技术、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储或其他磁性存储设备、或可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以在诸如载波的调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义，计算机可读存储介质不包括通信介质。
存储在一个或更多个非暂时性计算机可读存储介质上的计算机可读指令，当由一个或更多个处理器执行时，该计算机可读指令可以执行以上参考图1至图9所描述的操作。通常，计算机可读指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被理解为限制，并且可以以任何顺序和/或并行地组合任意数量的所描述的操作以执行处理。
通过上述技术方案，本公开提供了运动预测编码格式支持的帧间编码的分辨率自适应视频编码，通过使得在要编码的帧间改变分辨率同时允许运动矢量参考先前帧，提高了在多运动预测编码格式下的视频编码处理。因此，保持了帧间编码的带宽节省，实现了运动预测编码的带宽节省，从而允许使用参考帧来预测后续帧的运动矢量，并且实现了根据可用带宽自适应上采样和下采样的带宽节省。还可以同时实现带宽可用性，从而在视频编码和内容交付期间实现了网络成本的显着改善，同时减少了会抵消或损害这些节省的额外数据的传输。
条款示例
A.一种方法，包括：获得比特流的当前帧；从参考帧缓存中获得一个或更多个参考图片；对所获得的所述一个或更多个参考图片中的与当前帧的分辨率不同的图片进行上采样或下采样；基于所述一个或更多个参考图片和所述当前帧的一个或更多个块的运动信息，从当前帧生成重建帧，所述运动信息包括对另一帧的运动信息的至少一参考。
B.如段落A所述的方法，还包括：将所述一个或更多个参考图片的分辨率与当前帧的分辨率进行比较；在确定所述一个或更多个参考图片的一个或更多个分辨率与当前帧的分辨率不同时，从参考帧缓存中选择具有与当前帧的分辨率相同的分辨率的帧；确定当前帧的分辨率与一个或更多个参考图片的分辨率的比率；根据所述比率，对所述一个或更多个参考图片进行上采样或下采样，以匹配当前帧的分辨率；根据所述比率缩放所述一个或更多个参考图片的运动矢量。
C.如段落A所述的方法，还包括：获得当前帧的运动候选列表或合并候选列表；从获得的运动候选列表或合并候选列表中选择运动候选者，并获得所述运动候选的运动矢量作为重建帧的块的运动矢量。
D.如段落C所述的方法，其进一步包括：提取参考图片的时间上并置的块的运动矢量或从参考图片的时间上并置的块获得运动偏移。
E.如段落A所述的方法，还包括：基于所述一个或更多个参考图片和当前帧的运动信息，从所述当前帧生成重建帧；以及将所述重建帧输入到循环内上采样器或下采样器和循环后上采样器或下采样器中的至少一个中；基于所述重建帧生成上采样或下采样的重建帧；将所述上采样或下采样的重建帧输入参考帧缓存和显示缓存的至少其中之一。
F.一种方法，包括：获得比特流的当前帧；从参考帧缓存中获得一个或更多个参考图片，并将所述一个或更多个参考图片的分辨率与当前帧的分辨率进行比较；当确定所述一个或更多个参考图片的一个或更多个分辨率与当前帧的分辨率不同时，根据当前帧的分辨率对一个或更多个参考图片进行上采样或下采样。
G.如段落F所述的方法，还包括：基于参考帧缓存的参考图片，对当前帧执行基于块的运动补偿。
H.如段落G所述的方法，还包括：基于参考帧缓存的第一参考帧和第二参考帧，对当前帧执行双向预测。
I.如段落H所述的方法，还包括基于所述第一参考帧和所述第二参考帧从当前帧生成重建帧；将所述重建帧输入到循环内上采样器或下采样器和循环后上采样器或下采样器中的至少一个中；基于所述重建帧生成上采样或下采样的重建帧；将所述上采样或下采样的重建帧输入参考帧缓存和显示缓存的至少其中之一。
J.一种方法，包括：获得比特流的当前帧，所述比特流包括具有多个分辨率的帧；从参考帧缓存中获得一个或更多个参考图片；基于所述一个或更多个参考图片和当前帧的一个或更多个块的运动信息从当前帧生成重建帧，该运动信息包括至少一个对另一帧的运动信息的参考；针对多个分辨率中的每个分辨率对当前重建帧进行上采样或下采样，以生成与各个分辨率匹配的上采样或下采样的重建帧。
K.如段落J所述的方法，其中，所述一个或更多个参考图片选自参考帧缓存中具有与当前帧的分辨率相同的分辨率的帧。
L.如段落K所述的方法，其中，所述一个或更多个参考图片不包括参考帧缓存的很新的帧。
M.如段落J所述的方法，还包括将重建帧和每个上采样或下采样的重建帧输入到参考帧缓存中。
N.一种系统，包括：一个或更多个处理器和可通信地连接到所述一个或更多个处理器的存储器，该存储器存储可由所述一个或更多个处理器执行的计算机可执行模块，该模块在由所述一个或更多个处理器执行时，执行相关操作，所述计算机可执行模块包括：帧获得模块，所述帧获得模块被配置为获得比特流的当前帧；参考图片获得模块，所述参考图片获得模块被配置为从参考帧缓存中获得一个或更多个参考图片，并将所述一个或更多个参考图片的分辨率与当前帧的分辨率进行比较。
O.如段落N所述的系统，还包括：帧选择模块，所述帧选择模块被配置为在所述参考图片获得模块确定所述一个或更多个参考图片的一个或更多个分辨率与当前帧的分辨率不同时，从参考帧缓存选择具有与当前帧的分辨率相同分辨率的帧。
P.如段落O所述的系统，还包括：候选列表获得模块，所述候选列表获得模块被配置为获得当前帧的块的运动候选列表或合并候选列表。
Q.如段落P所述的系统，其中，候选列表获得模块还被配置为根据本公开的一些示例实施例，获得SbTMVP预测因子，并在列表前面或以其他在位置上优先方式插入参考另一帧候选的候选，其中所述另一帧的分辨率与当前帧的分辨率相同。
R.如段落Q所述的系统，还包括运动预测模块，所述运动预测模块被配置为从所获得的运动候选列表或合并候选列表中选择运动候选，并获得所述运动候选的运动矢量作为所述重建的帧的块的运动矢量。
S.如段落R所述的系统，其中，运动预测模块还被配置为获得参考图片的时间上并置的块的运动矢量或从参考图片的时间上并置的块获得运动偏移。
T.如段落N所述的系统，还包括：重建帧生成模块，所述重建帧生成模块被配置为基于一个或更多个参考图片和所选择的运动候选从当前帧中生成重建帧；上采样器或下采样器输入模块，所述上采样器或下采样器输入模块被配置为将重建帧输入到上采样器或下采样器模块；比率确定模块，所述比率确定模块被配置为确定当前帧的分辨率与一个或更多个参考图片的分辨率的比率；上采样或下采样模块，所述上采样或下采样模块被配置为根据所述比率对所述一个或更多个参考图片进行上采样或下采样以匹配当前帧的分辨率；缩放模块，所述缩放模块用于根据所述比率缩放所述一个或更多个参考图片的运动矢量；上采样或下采样的重建帧生成模块，所述上采样或下采样的重建帧生成模块块被配置为基于所述重建帧生成上采样或下采样的重建帧；缓存输入模块，所述缓存输入模块被配置为将上采样或下采样的重建帧输入到参考帧缓存和显示缓存中的至少一个中，使得上采样的重建帧和参考图片之间的部分相同像素可以在参考帧缓存中被共享。
U.一种系统，包括：一个或更多个处理器和可通信地连接到所述一个或更多个处理器的存储器，该存储器存储可由所述一个或更多个处理器执行的计算机可执行模块，该模块在由所述一个或更多个处理器执行时执行，执行相关操作，所述计算机可执行模块包括：帧获得模块，所述帧获得模块被配置为获得比特流的当前帧；参考图片获得模块，所述参考图片获得模块被配置为从参考帧缓存中获得一个或更多个参考图片，并将所述一个或更多个参考图片的分辨率与当前帧的分辨率进行比较。
V.如段落U所述的系统，还包括：运动补偿模块，所述运动补偿模块被配置为基于参考帧缓存的参考图片对当前帧执行基于块的运动补偿。
W.如段落V所述的系统，还包括：双向预测模块，所述双向预测模块被配置为基于参考帧缓存的第一参考帧和第二参考帧对当前帧执行双预测。
X.如段落W所述的系统，还包括：重建帧生成模块，所述重建帧生成模块被配置为基于第一参考帧和第二参考帧从当前帧生成重建帧；上采样器或下采样器输入模块，所述上采样器或下采样器输入模块被配置为将重建帧输入到上采样器或下采样器模块；上采样或下采样的重建帧生成模块，上采样或下采样的重建帧生成模块被配置为基于所述重建帧生成上采样或下采样的重建帧；缓存输入模块，所述缓存输入模块被配置为将上采样或下采样的重建帧输入到参考帧缓存和显示缓存中的至少一个中，使得上采样的重建帧和参考图片之间的部分相同像素可以在参考帧中的缓存中被共享。
尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书中定义的主题不必限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现权利要求的示例性形式。

Claims (20)

1.一种方法，包括：
获得比特流的当前帧；
从参考帧缓存中获得一个或更多个参考图片；
对所获得的参考图片中的与所述当前帧的分辨率不同的图片进行上采样或下采样；和
基于所述一个或更多个参考图片和所述当前帧的一个或更多个块的运动信息从所述当前帧生成重建帧，所述运动信息包括对另一帧的运动信息的至少一参考。
2.根据权利要求1所述的方法，其中，根据所述当前帧的分辨率与所述一个或更多个参考图片的分辨率的比率来执行对所述一个或更多个参考图片的上采样或下采样，以匹配所述当前帧的分辨率；并且进一步包括：
将所述重建帧输入到所述参考帧缓存中作为参考图片。
3.根据权利要求2所述的方法，其进一步包含根据所述比率缩放所述一个或更多个参考图片的运动矢量。
4.根据权利要求1所述的方法，其进一步包括获得用于所述当前帧的块的运动候选列表，所述运动候选列表包括多个运动候选。
5.根据权利要求4所述的方法，其中获得所述运动候选列表进一步包括获得SbTMVP预测器。
6.根据权利要求4所述的方法，其中，获得所述运动候选列表还包括：对参考具有与所述当前帧的分辨率相同的分辨率的另一帧的运动候选进行优先级排序。
7.根据权利要求4所述的方法，还包括：
从所述获得的运动候选列表中选择一候选运动；和
获得所述运动候选的运动信息作为所述当前帧的块的运动信息。
8.根据权利要求8所述的方法，其中，所述运动候选包括对参考图片的参考，并且获得所述运动候选的运动信息还包括：
提取与所述当前帧的块在时间上并置的参考图片的块的运动信息。
9.一种方法，包括：
获得比特流的当前帧；
从参考帧缓存中获得一个或更多个参考图片；
基于所述一个或更多个参考图片和所述当前帧的一个或更多个块的运动信息从当前帧生成重建帧，所述运动信息包括至少一个对另一帧的运动信息的参考；和
根据多个分辨率的每个分辨率对所述当前重建帧进行上采样或下采样，以生成与各个分辨率匹配的上采样或下采样的重建帧。
10.根据权利要求9所述的方法，其中所述一个或更多个参考图片选自所述参考帧缓存中具有与所述当前帧的分辨率相同的分辨率的帧。
11.根据权利要求10所述的方法，其中，所述一个或更多个参考图片不包括所述参考帧缓存的很新的帧。
12.根据权利要求9所述的方法，还包括：将所述重建帧和每个上采样或下采样的重建帧输入到所述参考帧缓存中作为参考图片。
13.一种系统，包括：
一个或更多个处理器；和
存储器，所述存储器可通信地连接到所述一个或更多个处理器，所述存储器存储可由所述一个或更多个处理器执行的计算机可执行模块，该计算机可执行模块在由所述一个或更多个处理器执行时，执行相关的操作，该计算机可执行模块包括：
帧获得模块，所述帧获得模块被配置为获得比特流的当前帧；
参考帧获得模块，所述参考帧获得模块被配置为从参考帧缓存中获得一个或更多个参考图片；
上采样或下采样模块，所述上采样或下采样模块被配置为对所获得的一个或更多个具有与所述当前帧的分辨率不同分辨率的参考图片进行上采样或下采样；和
重建帧生成模块，所述重建帧生成模块被配置为基于所述一个或更多个参考图片和当前帧的一个或更多个块的运动信息从当前帧生成重建帧，所述运动信息包括对另一帧的运动信息的至少一参考。
14.根据权利要求13所述的系统，其中，所述上采样或下采样模块还被配置为根据所述当前帧的分辨率与所述一个或更多个参考图片的分辨率的比率，基于所述当前帧的分辨率，对所述一个或更多个参考图片进行上采样或下采样，以匹配所述当前帧的分辨率；并且进一步包括：
缓存输入模块，所述缓存输入模块被配置为将所述重建帧输入到参考帧缓存中作为参考图片。
15.根据权利要求14所述的系统，还包括：
缩放模块，所述缩放模块被配置为根据所述比率来缩放所述一个或更多个参考图片的运动矢量。
16.如权利要求13所述的系统，其特征在于，还包括候选列表获得模块，所述候选列表获得模块被配置为获得所述当前帧的块的运动候选列表，所述运动候选列表包括多个运动候选。
17.根据权利要求16所述的系统，其中，所述候选列表获得模块还被配置为获得SbTMVP预测器。
18.如权利要求16所述的系统，其特征在于，所述候选列表获得模块还被配置为对参考具有与所述当前帧的分辨率相同的分辨率的另一帧的运动候选进行优先级排序。
19.根据权利要求16所述的系统，其进一步包含运动预测模块，所述运动预测模块被配置为以从所获得的运动候选列表中选择运动候选并获得所述运动候选的运动信息作为所述重建帧的块的运动信息。
20.根据权利要求19所述的系统，其中，所述运动候选包括对参考图片的运动信息的参考，并且所述运动预测模块还被配置为：
获得在时间上与当前帧的块并置的参考图片的块的运动信息。
CN201980007183.0A 2018-12-31 2019-12-27 一种分辨率自适应视频编码方法和系统 Active CN111642141B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/237,073 US10764603B2 (en) 2018-12-31 2018-12-31 Resolution-adaptive video coding
US16/237,073 2018-12-31
PCT/CN2019/128976 WO2020140834A1 (en) 2018-12-31 2019-12-27 Resolution-adaptive video coding

Publications (2)

Publication Number Publication Date
CN111642141A true CN111642141A (zh) 2020-09-08
CN111642141B CN111642141B (zh) 2022-06-21

Family

ID=71121944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007183.0A Active CN111642141B (zh) 2018-12-31 2019-12-27 一种分辨率自适应视频编码方法和系统

Country Status (5)

Country Link
US (2) US10764603B2 (zh)
EP (1) EP3777158A4 (zh)
JP (1) JP2022514802A (zh)
CN (1) CN111642141B (zh)
WO (1) WO2020140834A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301332A (zh) * 2021-04-12 2021-08-24 阿里巴巴新加坡控股有限公司 视频解码方法、系统和介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
US11055901B2 (en) * 2019-03-07 2021-07-06 Alibaba Group Holding Limited Method, apparatus, medium, and server for generating multi-angle free-perspective video data
KR102653570B1 (ko) * 2019-05-12 2024-04-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 참조 픽처 리샘플링을 위한 신호
US11233988B2 (en) * 2019-05-17 2022-01-25 Qualcomm Incorporated Reference picture resampling and inter-coding tools for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104255032A (zh) * 2012-03-29 2014-12-31 Lg电子株式会社 层间预测方法和使用其的编码设备和解码设备
CN104602019A (zh) * 2014-12-31 2015-05-06 乐视网信息技术（北京）股份有限公司 一种视频编码方法及装置
CN108924553A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
US20180376160A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4193406B2 (ja) 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
JP4724351B2 (ja) 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
EP1790166A2 (en) * 2004-08-31 2007-05-30 Koninklijke Philips Electronics N.V. A method and apparatus for motion estimation
CN1319383C (zh) * 2005-04-07 2007-05-30 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
KR101299848B1 (ko) 2005-07-21 2013-08-23 톰슨 라이센싱 스케일러블 비디오 코딩용 가중 예측을 위한 방법 및 장치
KR100791299B1 (ko) 2006-04-11 2008-01-04 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법 및 장치
US7773672B2 (en) 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
JP4915350B2 (ja) 2008-01-16 2012-04-11 日本電気株式会社 エントロピ符号化器、映像符号化装置、映像符号化方法および映像符号化プログラム
EP2286595A1 (en) 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
KR101085963B1 (ko) 2008-08-11 2011-11-22 에스케이플래닛 주식회사 동영상 부호화 장치 및 방법
CN101778275B (zh) * 2009-01-09 2012-05-02 深圳市融创天下科技股份有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
EP2428042B1 (en) 2009-05-05 2013-05-01 Telefonaktiebolaget LM Ericsson (publ) Scalable video coding method, encoder and computer program
KR102138368B1 (ko) * 2013-07-19 2020-07-27 삼성전자주식회사 적응적 샘플링에 기초한 계층적 움직임 예측 방법 및 움직임 예측 장치
US11394976B2 (en) * 2017-01-03 2022-07-19 Lg Electronics Inc. Inter-prediction method and apparatus in image coding system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104255032A (zh) * 2012-03-29 2014-12-31 Lg电子株式会社 层间预测方法和使用其的编码设备和解码设备
CN104602019A (zh) * 2014-12-31 2015-05-06 乐视网信息技术（北京）股份有限公司 一种视频编码方法及装置
US20180376160A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
CN108924553A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301332A (zh) * 2021-04-12 2021-08-24 阿里巴巴新加坡控股有限公司 视频解码方法、系统和介质

Also Published As

Publication number Publication date
WO2020140834A1 (en) 2020-07-09
JP2022514802A (ja) 2022-02-16
EP3777158A1 (en) 2021-02-17
CN111642141B (zh) 2022-06-21
US10764603B2 (en) 2020-09-01
US20200213618A1 (en) 2020-07-02
US20200366929A1 (en) 2020-11-19
EP3777158A4 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
CN111642141B (zh) 一种分辨率自适应视频编码方法和系统
CN110581994B (zh) 部分成本计算
US11750818B2 (en) Inter-prediction mode based image processing method, and apparatus therefor
CN112913249B (zh) 广义双向预测索引的简化编解码
US11871022B2 (en) Concept of interweaved prediction
US10298950B2 (en) P frame-based multi-hypothesis motion compensation method
CN113597764B (zh) 视频解码方法、系统和存储介质
US8385420B2 (en) Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US10986367B2 (en) Inter prediction mode-based image processing method and apparatus therefor
CA3228568A1 (en) Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
CN111201792B (zh) 指向分数像素点位置的运动矢量的修正运动矢量
CN114175655A (zh) 根据参考图片类型使用工具的限制
US20190349589A1 (en) Image processing method based on inter prediction mode, and apparatus therefor
KR102696722B1 (ko) 인코딩 및 디코딩 방법, 장치 및 이의 기기
WO2020049447A1 (en) Fast encoding methods for interweaved prediction
US20230239461A1 (en) Inter coding for adaptive resolution video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant