CN108476322A - 用于球面图像和立方体图像的帧间预测的装置 - Google Patents

用于球面图像和立方体图像的帧间预测的装置 Download PDF

Info

Publication number
CN108476322A
CN108476322A CN201780007221.3A CN201780007221A CN108476322A CN 108476322 A CN108476322 A CN 108476322A CN 201780007221 A CN201780007221 A CN 201780007221A CN 108476322 A CN108476322 A CN 108476322A
Authority
CN
China
Prior art keywords
frame
cube
block
reference frame
ring edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780007221.3A
Other languages
English (en)
Inventor
林鸿志
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN108476322A publication Critical patent/CN108476322A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了视频编码与解码的方法和装置，其使用环形帧间预测以用于球面图像序列和立方体图像序列。对于球面图像序列，搜索窗口包括位于参考帧的垂直帧边界的外部或跨过参考帧的垂直帧边界以用于待编码的当前球面图像的至少一个块的区域。在搜索窗口内确定一个或多个候选参考块，其中，如果给定候选参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则参考像素是跨过参考帧的一个垂直帧边界且在水平方向上自参考帧环形地访问的。对于立方体图像序列，确定立方体帧的环形边缘。搜索窗口包括位于参考帧的环形边缘的外部或跨过参考帧的环形边缘以用于待编码的当前立方体帧的至少一个块的区域。

Description

用于球面图像和立方体图像的帧间预测的装置
优先权声明
本申请要求在2016年01月22日提出申请号为62/281,815的美国临时专利申请和在2017年01月06日提出申请号为15/399,813的美国专利申请的优先权。上述相关联申请整体以引用方式并入本文中。
技术领域
本发明涉及图像和视频编解码。具体地，本发明涉及球面图像和从球面图像转换的立方体帧的帧间预测技术。
背景技术
360度视频，也称为沉浸式视频，是一种前景广阔的技术，其可提供“身临其境的感觉”。沉浸感通过用覆盖全景视图的环绕场景围绕使用者来实现，具体是360度视场。“身临其境的感觉”可进一步通过立方体图像渲染来提升。因此，全景视频正被广泛应用于虚拟现实(Virtual Reality，VR)应用中。
沉浸式视频包括应用多个摄像机来捕捉场景以覆盖全景视图，例如360度视场。沉浸式摄像机通常应用被设置成捕捉360度视场的一系列摄像机。通常，至少两个摄像机被用于沉浸式摄像机。所有视频必须同时被捕捉，以及场景的单独片段(也被称为单独透视图)被记录。进一步地，一系列摄像机常常被设置成水平地捕捉视图，而这些摄像机的其他设置也是可能的。
图1示出了360度球面全景图像的示例性处理链。360度球面全景图像可采用360度球面全景摄像机捕捉。球面图像处理单元110从摄像机处接收原始图像数据以组成360度球面全景图像。球面图像处理可包括图像缝合和摄像机校准。球面图像处理在本技术领域中是熟知的，在本公开中省略其细节。转换可通过投影变换单元120来执行，以导出对应于立方体六个面的六面图像。由于360度图像序列可能需要大存储空间或高传送带宽，可以将视频编码器130的视频编码应用于图像序列，以减小所需的存储或传送带宽。图1中示出的系统可以表示球面图像序列的视频压缩系统(即开关位于位置A处)。图1中示出的系统也可以表示立方体图像序列的视频压缩系统(即开关位于位置B处)。在接收器侧或显示器侧，采用视频解码器140对压缩视频数据进行解码以恢复在显示设备150(例如，VR显示)上显示的球面图像或立方体图像的序列。
由于与360度球面图像和立方体图像相关的数据通常比传统二维视频的数据大得多，因此需要视频压缩以减小所需的存储或传送。因此，在传统系统中，可以采用传统视频编码130和传统视频解码140，例如H.264或较新的高效视频编码(High Efficiency VideoCoding，HEVC)。忽略基础的球面图像和立方体图像作为帧的独特特性，传统视频编解码将由传统摄像机捕捉的球面图像或立方体图像的序列处理为帧。
在传统视频编解码系统中，当所选的参考块在参考帧的帧边界外部或跨过帧边界时，运动估计(motion estimation，ME)和运动补偿(motion compensation，MC)的流程复制重复帧边界像素的填充。与传统的2D视频不同，360度视频是一种表示围绕捕捉摄像机的整个环境的图像序列。尽管两种常用的投影格式，即球面格式和立方体格式，可被设置成矩形帧，但在几何上360度帧中没有边界。
在本发明中，被公开的新型帧间预测技术能够提高编解码性能。
发明内容
本发明公开了一种球面图像序列的视频编码装置。在参考帧中确定用于当前球面帧中当前块的搜索窗口，其中搜索窗口包括位于参考帧的垂直帧边界的外部或跨过参考帧的垂直帧边界以用于待编码的当前球面图像的至少一个块的一个区域。在搜索窗口内确定一个或多个候选参考块。如果给定候选参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界的给定候选参考块的多个参考像素是在跨过参考帧的一个垂直帧边界的水平方向上自参考帧环形地访问的。基于与候选参考块相关联的性能标准，在候选参考块中选择最终参考块。使用最终参考块作为帧间预测子，将帧间预测应用于当前块以生成预测残差。将预测残差编码到视频比特流中，并输出视频比特流。
本发明还公开了一种球面图像序列的视频解码的方法和装置。如果该块被帧间编解码，则从视频比特流推导出当前块的运动矢量。然后，根据用于重构的运动矢量，在参考帧中确定参考块。如果参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界的参考块的多个参考像素是在跨过参考帧的一个垂直帧边界的水平方向上自参考帧环形地访问的。从视频比特流中解压缩用于当前块的已解码的预测残差。最终，使用参考帧的参考块作为帧间预测子，从已解码的预测残差重构当前块。输出包括重构的当前块的球面图像序列。
在上述的球面图像序列的编解码方法中，如果给定候选参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个水平帧边界外部的给定候选参考块的多个参考像素是根据填充流程填充的。通过对给定候选参考块的多个参考像素的水平轴(例如，X轴)使用模运算，参考帧的环形访问可以被实现，以降低参考帧的存储器占用量(footprint)。
本发明公开了一种立方体图像序列的视频编码方法和装置。每个立方体帧是通过从立方体展开六个立方体面而生成的，并且六个立方体面是通过将对应于360度全景图像的球面图像投影到立方体上而生成的。确定用于任何非连接或不连续的立方体面图像边缘的立方体帧的多个环形边缘，其中，立方体帧的每个环形边缘与由立方体上的一个环形边缘连接的两个相邻立方体面相关联。在参考帧中确定用于当前立方体帧中当前块的搜索窗口，其中，搜索窗口包括位于参考帧的环形边缘的外部或跨过参考帧的环形边缘以用于待编码的当前立方体帧的至少一个块的一个区域。在搜索窗口内确定一个或多个候选参考块。如果给定候选参考块相对于当前块的同位块而位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘，则位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘的给定候选参考块的多个参考像素是跨过参考帧的一个环形边缘自参考帧环形地访问的。基于与一个或多个候选参考块相关联的性能标准，在一个或多个候选参考块中选择最终参考块。然后，使用最终参考块作为帧间预测子，将帧间预测应用于当前块以生成预测残差。将预测残差编码到视频比特流中，并输出视频比特流。
本发明还公开了一种立方体图像序列的视频解码方法和装置。接收与立方体图像序列相关联的视频比特流。确定用于任何非连接或不连续的立方体面图像边缘的立方体帧的多个环形边缘。如果该块被帧间编解码，则从视频比特流推导出当前块的运动矢量。然后，根据运动矢量，在参考帧中确定参考块。如果参考块相对于当前块的同位块而位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘，则位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘的参考块的多个参考像素是跨过参考帧的一个环形边缘自参考帧环形地访问的。从视频比特流解压缩用于当前块的已解码的预测残差。最后，使用参考帧的参考块作为帧间预测子，从已解码的预测残差重构当前块。输出包括重构的当前块的立方体图像序列。
在上述的立方体图像序列的编解码方法中，根据一个实施例，每个立方体帧可以对应于具有填充有填充数据的一个空白区域的一个立方体网格，并且根据另一实施例，每个立方体帧可以对应于不具有任何填充区域的组合帧。如果给定候选参考块相对于当前块的同位块而位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘，则位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘的参考块的多个参考像素是通过对参考块的多个参考像素的水平轴(X轴)和垂直轴(Y轴)应用环形操作而自参考帧环形地访问的，其中环形操作考虑跨过多个环形边缘的连续性。环形操作使得位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘的给定候选参考块的多个参考像素根据一个旋转角度旋转，其中该旋转角度是根据参考帧的一个环形边缘与对应环形边缘之间的角度确定的。旋转角度包括0度、90度、180度和270度。
附图说明
图1示出了360度球面全景帧的示例性处理链。
图2A示出了立方体面编号的示例，其中，立方体有六个面，3个面可见，以及其他3个面由于在立方体的背面而不可见。
图2B示出了对应于通过展开立方体的六个面产生的展开立方体图像的示例，其中，编号表示其在立方体上各自的位置和方向。
图2C示出了对应于不具有空白区域的组合立方体面图像的示例。
图3示出了根据本发明实施例的球面图像序列或立方体图像序列的环形帧间预测的示例性实施方式，其中图1中传统视频编码器和传统视频解码器由具有环形帧间预测的视频编码器和视频解码器替代。
图4示出了位于参考帧外部的参考块的示例，其中虚线块对应于正被编解码的当前块的同位块(co-located block)。
图5A示出了视频编码器侧的环形帧间预测的框图，其中，环形帧间预测的简化模型被示出且仅与环形帧间预测直接相关联的流程被包括。
图5B示出了视频解码器侧的环形帧间预测的框图，其中，环形帧间预测的简化模型被示出且仅与环形帧间预测直接相关联的流程被包括。
图6示出了当前球面帧的环形帧间预测的示例，其中块A和块B为正被编解码的当前帧中的两个块。
图7示出了根据环形帧间预测的当前帧中块A的三个候选参考块(图7中标记为X，Y和Z)的示例。
图8示出了部分位于顶端帧边界或底端帧边界外部的参考块的另一示例。
图9示出了展开六个立方体面的11种不同的立方体网格，其中，在立方体面编号1在每个立方体网格中被示出。
图10示出了对应于具有填充有填充数据的空白区域的立方体网格的立方体帧以及组合1x6立方体面帧的六个立方体面的环形边缘标记的示例。
图11示出了对应于具有填充有填充数据的空白区域的立方体网格的立方体帧的环形帧间预测的示例，其中，块A和块B为待处理的当前帧中的两个块。
图12示出了当前帧中块A的参考块X的示例，其中，参考块X跨过立方体面2的环形边缘#3以从其环形边缘#3进入立方体面3。
图13示出了根据对应于具有填充的空白区域的立方体网格的立方体帧的环形边缘标记环形地访问参考像素的另一示例。
图14示出了对应于不具有空白区域的组合立方体帧的立方体帧环形帧间预测的实施例，其中，块A和块B为待处理的当前帧中的两个块。
图15示出了当前帧中块A的参考块X的示例，其中，参考块X跨过立方体面5的环形边缘#8以从其环形边缘#8进入立方体面1。
图16示出了根据本发明实施例的视频编码器的示例性流程图，其中，环形帧间预测被应用于球面图像序列。
图17示出了根据本发明实施例的视频解码器的示例性流程图，其中，环形帧间预测被应用于球面图像序列。
图18示出了中本发明实施例的视频编码器的示例性流程图，其中，环形帧间预测被应用于立方体图像序列。
图19示出了本发明实施例中视频解码器的示例性流程图，其中，环形帧间预测被应用于立方体图像序列。
具体实施方式
以下描述为实施本发明的较佳方式。本描述的目的在于阐释本发明的一般原理，并非起限定意义。本发明的保护范围当视权利要求书所界定为准。
如前，传统视频编解码自常规摄像机将球面图像和立方体图像处理作为常规帧。在帧间预测被应用时，参考帧中的参考块被识别且被用作当前块的时间预测子。通常，参考帧的预设搜索窗口被搜索以找出最匹配的块。搜索窗口可以覆盖参考帧外部的区域，特别是当前靠近帧边界的区域。当搜索区域在参考帧外部时，运动估计不被执行，或者为了应用运动估计，参考帧外部的像素数据被人为地生成。在传统的视频编解码系统中，例如H.264或HEVC，位于参考帧外部的像素数据通过重复帧边界像素来生成。
如前，由于360度全景摄像机捕捉周围的场景，因此缝合的球面图像在水平方向上是连续的。也就是说，球面图像的内容从左端连续到右端。球面图像也可被投影成立方体的六个面，作为可选的360度格式。转换可通过投影转换来执行以导出表示立方体六个面的六面图像。在立方体的面上，上述六张图像在立方体边缘处连接。图2A至图2C示出了立方体面图像的示例。在图2A中，立方体210有六个面，在中间示意图212中示出了3个可见的面，标记为1，4和5，编号的方向(即“1”，“4”和“5”)表示立方体面图像的方向。如示意图214所示，也存在从前侧受阻且不可见的3个立方体面图像。这3个受阻的立方体面图像被标记为2，3和6，编号的方向(即“2”，“3”和“6”)表示立方体面图像的方向。因为其在立方体的背面，用于不可见的立方体图像的包围在虚线圈内的三个编号表示透视图像。在图2B中的图像220对应于具有填充有填充数据的空白区域的展开立方体图像，其中，编号表示其在立方体上各自的位置和方向。如图2B所示，展开立方体面图像被装入到覆盖六个展开立方体面图像的最小矩形中。图2C中的图像230对应于不具有空白区域的组合矩形帧，其中，该组合帧为1x6的立方体面。在本公开中，图2B中的图像整体称为立方体帧。在本公开中，图2C中的图像整体也称为立方体帧。
为了利用球面帧的水平连续性以及立方体帧的一些立方体面图像之间的连续性，本发明公开了环形帧间预测以利用球面帧的水平连续性以及立方体帧的一些立方体面图像之间的连续性。图3示出了根据本发明实施例的球面图像序列或立方体图像序列的环形帧间预测的实施例，其中，图1中传统的视频编码器130和传统的视频解码器140由具有环形帧间预测ME/MC的视频编码器310和具有环形帧间预测MC的视频解码器320替代。在视频编码器310中，环形帧间预测被用于ME和MC。在视频解码器320中，环形帧间预测被用于MC。为了方便起见，图3中的系统方框图旨在说明两种类型的系统结构：一种用于球面图像系统的压缩，一种用于立方体图像序列的压缩。对于编码具有已知格式的序列(球面图像序列或立方体图像序列)的系统，不存在开关。此外，立方体帧可对应于具有填充有填充数据的空白区域的展开立方体图像(220)或不具有任何空白区域的组合矩形帧(230)。
球面图像序列的环形帧间预测
在帧间预测中，通过在可围绕参考帧中的同位块(同位块是参考帧中位于与正被处理的块在当前帧的位置相同的位置的块)的预设窗口中进行搜索，在参考帧中找出参考块。预设搜索窗口中的参考块可以变成位于参考帧外部或部分位于参考帧外部。图4示出了位于参考帧400外部的参考块(412)的示例。虚线块410对应于参考帧中当前块的同位块。线424表示参考帧400的左边界。块412对应于正被搜索的参考块，其部分位于参考帧429外部。运动矢量414从当前块(即同位块410)指向参考块412。在传统的视频编解码系统中，位于参考帧外部的参考块中的像素将用填充数据进行填充。但是，球面帧表示帧的左边缘环绕帧的右边缘的360度视场。因此，超出帧的左边缘的帧内容可从帧的右部分获得。例如，位于参考帧的右边缘的条422对应于参考帧的延伸左侧422a。因此，根据本发明，参考块412的所有像素数据变成可使用的。
为了利用跨过球面帧的垂直帧边界的水平连续性，本发明公开了环形帧间预测技术。根据环形帧间预测，帧间预测流程检查运动的水平分量。如果参考区域位于垂直帧边界外部或跨过垂直帧边界，则从帧边界的另一侧向参考帧环形地访问参考像素。例如，如箭头430所示的向左超出左侧帧边界424的像素可以从如箭头432所示的帧的右侧进行访问。位于左侧帧边界424外部的像素A和像素B对应于位于始于右侧帧边界426的参考帧的右侧的像素A’和像素B’。水平环绕(wrap-around)访问可以被实现为模运算(即帧宽度的模)实现。换而言之，由运动矢量mv＝(mvx，mvy)从当前位置指向的水平位置x′可以被实现为：
x′＝(x+mvx)modVw.(1)
在上述方程式，Vw是帧宽度，“mod”表示模运算子。
对于球面帧，垂直方向是不连续的。因此，如果任一参考像素位于水平帧边界外部(即位于顶端帧边界的上方或在底端帧边界的下方)，则任何已知的填充方法均可被用于处理不可用像素。例如位于参考帧的顶部或底部的不可用参考像素可被填充。填充方法可以对应于用0进行填充、复制边界值、采用边界像素区域的镜像图像延伸边界像素或具有像素的环形重复的填充。
在根据环形帧间预测方法确定参考帧后，根据预设的成本函数，任何已知的运动估计算法可被使用。然后，可以从搜索窗口内的候选参考块中获得最佳运动矢量。最后，运动信息被编码在视频比特流中。
用自比特流解码的运动信息，参考块的位置可被定位。根据环形帧间预测方法，参考块的水平位置被识别。如果参考块位于垂直帧边界的外部，则超出垂直帧边界的参考像素可被环形地访问。例如，模运算可被应用于水平位置，以定位环形访问的参考数据。对于位于水平帧边界的外部或跨过水平帧边界的参考块而言，使用由编码器使用的填充方法，参考帧的顶部或底部的参考像素可以被填充。位于参考帧的顶部或底部的不可用参考像素可被填充。填充方法可以对应于用0进行填充、复制边界值、采用边界像素区域的镜像图像延伸边界像素或具有像素的环形重复的填充。可以基于残差块和预测块重构块，其中与残差块相关联的信息被发信在比特流中。
图5A示出了视频编码器侧的环形帧间预测的框图，其中，环形帧间预测的简化模型被示出，且仅与环形帧间预测直接相关联的流程被包括。球面图像序列用于环形帧间预测流程。搜索范围构造单元510用于准备用于环形帧间预测的搜索数据。具体地，如果参考区域位于垂直参考帧边界的外部或跨过垂直参考帧边界，则位于垂直参考帧边界外部的参考像素可在水平方向上被环形地访问。例如，模运算可以被用在已计算的参考像素位置的水平轴(例如，X轴)上。在垂直方向上，传统像素填充可被用于生成位于水平帧边界外部的不可用像素。环形预测块构造单元520根据环形帧间预测推导出与候选运动矢量相关联的一个或多个候选参考块。如果运动矢量指向位于垂直参考帧边界外部或跨过垂直参考帧边界的候选参考块，则通过在水平方向上环形地访问像素数据，来自于垂直参考帧边界另一侧的参考像素被使用。如果分数像素运动矢量被使用，则插值可用于根据分数像素运动矢量推导出参考块。根据性能标准，使用运动矢量选择单元530来选择运动矢量。例如，率失真优化(Rate Distortion Optimization，RDO)可以被应用以选择最佳运动矢量。
图5B示出了视频解码器侧的环形帧间预测的框图，其中，环形帧间预测的简化模型被示出且仅与环形帧间预测直接相关联的流程被包括。残差与运动信息用于环形帧间预测流程。如本领域已知的，残差与运动信息可以从视频比特流中恢复。例如，解码器可以使用熵解码，逆量化和逆变换以恢复残差。运动信息(例如运动矢量差(motionvectordifference，MVD))也可以从视频比特流中被解压缩。如果当前运动矢量被预测性地编解码，则运动矢量推导单元540基于运动矢量预测子和从视频比特流中导出的MVD，确定当前运动矢量。环形预测块构造单元550根据环形帧间预测导出与推导运动矢量相关联的参考块。同样，如果运动矢量指向位于垂直参考帧边界外部或跨过垂直参考帧边界的参考块，则通过在水平方向上环形地访问像素数据，来自于垂直帧边界另一侧的参考像素被使用。基于残差和选择的参考块，使用块重构单元560可以重构参考块。
图6示出了当前球面帧610的环形帧间预测的示例。其中块A和块B(612和614)为待编解码的当前帧中的两个块。参考帧620中的三个搜索窗口(622a，622b和624)被识别。根据环形帧间预测，对于块A(612)，由于水平连续性，搜索窗口覆盖参考帧左侧上的区域622a以及参考帧右侧上的另一区域622b。对于块B(614)，搜索窗口覆盖靠近参考帧中心的区域624。在垂直方向上，用填充诸如0的数据、复制边界值、采用边界像素区域的镜像图像延伸边界像素或具有像素的环形重复的填充，位于参考帧外部的区域(即630和632)被填充。在图6中，帧尺寸为Vw×Vh，其中，Vw对应于帧宽度，Vh对应于帧高度。对于每一块(例如块A或块B)，块尺寸为bw×bh，其中，bw对应于块宽度，bh对应于块高度。搜索范围S被定义为R×R。然而，本领域已知的矩形搜索区域或其他搜索形状也可以被使用。当前帧可以由F＝f(x，y)来表示以及参考帧可以来表示。当前块可以被表示为：
运动矢量mv＝(mvx，mvy)的参考块可以被表示为：
在上述方程式中，mod(·，·)为模运算，用于整数P和Q的两个操作数的模被定义为如下：
在上述方程式中，为取整函数。图7示出了当前帧中块A(612)的三个候选参考块(图7中标记为X，Y和Z)的一示例。如图7所示，三个候选参考块中的每个跨过垂直帧边界。图8示出了部分位于顶端帧边界或底端帧边界外部的参考块(812和814)的另一示例。用填充诸如0的数据、复制边界值、采用边界像素区域的镜像图像延伸边界像素或具有像素的环形重复的填充，参考块(812和814)的像素样本被填充。在这种情况中，填充数据被用于位于顶端帧边界或底端帧边界外部的这些像素。
根据性能标准，例如根据如下计算的最小率失真成本函数，从搜索窗口内的候选参考块中选择最佳参考块：
在上述方程式中，Dmv为失真测量，Rmv为与运动矢量mv相关联的比特率，λmv为拉格朗日乘数。对于基于最小失真的标准(即不考虑速率标准)，参数λmv被设为0。在最佳运动矢量(即mv*)被确定后，环形帧间预测可以根据最佳运动矢量而被应用于当前块，以将残差推导为：
如本领域已知，残差信号e经历编解码流程，如变换、量化和熵编解码。重构残差信号在解码器侧从视频比特流被解码。另外，由于编解码失真，重构残差信号与残差信号e通常不相同。在解码器侧，可以从比特流中恢复运动信息。用已知的运动矢量，参考块可以被定位。因此，最后，重构当前块根据如下得到：
立方体图像序列的环形帧间预测
在图2B和图2C中，示出了两种类型的立方体帧：立方体帧220对应于具有填充有填充数据的空白区域以形成矩形帧的立方体网格，以及立方体帧230对应于不具有空白区域所组合的六个立方体面。对于对应于具有空白区域的立方体网格的立方体帧，立方体帧可以通过将立方体面展开成由六个连接面组成的立方体网格来生成。如图9所示，存在11种不同的立方体网格，其中，立方体面编号1在每个立方体网格中被示出。立方体帧对应于具有已填充空白区域的立方体网格，并且通过将六个立方体面装入覆盖所有立方体面的最小矩形帧来组成立方体帧。空白区域可以用预定的像素数据进行填充，例如，0(黑色)，0，2BitDepth/2(灰色)，或2BitDepth-1(白色)，其中，BitDepth为用于指示像素样本的每个颜色分量的比特数。另一方面，六个立方体面被重新排列成没有任何空白区域的矩形帧。立方体帧230的不具有空白区域的组合立方体帧表示组合1x6立方体面帧。
如图2所示，这六个立方体面以某种方式互相连接。例如，立方体面5的右侧被连接到立方体面4的顶端；以及立方体面3的右侧被连接到立方体面2的左侧。因此，本发明中公开了六个立方体面的环形边缘标记，以根据立方体面的连续性表示立方体面边界(或边缘)处的环形边缘。图10示出了对应于具有填充有填充数据的空白区域的立方体网格的立方体帧(1010)以及组合1x6立方体面的帧(1020)的六个立方体面的环形边缘标记的示例。在组合1x6立方体面帧中，存在两个不连续的立方体面边界(1022和1024)。对于立方体帧，环形边缘标记仅适用于任何非连接或不连续的立方体面图像的边缘。对于连接的连续立方体面边缘(例如，立方体面5的底端边缘与立方体面1的顶端边缘之间以及立方体面4的右侧边缘与立方体面3的左侧边缘之间)，不需要环形边缘标记。
用标记的环形边缘，根据用相同标记编号所标记的边缘，可以容易地识别环形搜索区域。例如，立方体面5的顶端边缘(#1)被连接到立方体面3的顶端边缘(#1)。因此，对立方体面5的顶端边缘(#1)上方的参考像素的访问，将从立方体面3的顶端边缘(#1)进入立方体面3。因此，对于环形帧间预测，当参考区域位于环形边缘的外部或跨过环形边缘时，可以通过根据环形边缘标记来环形地访问参考像素，定位参考块。因此，当前块的参考块可以来自其他立方体面或者是两个不同的立方体面的组合。此外，对于具有相同标记的环形边缘，如果一个边缘处于水平方向而另一个处于垂直方向，则需要旋转与两个不同边缘相关联的参考像素以形成完整的参考块。例如，在其靠近立方体面4的底端边缘(#5)的参考像素组合之前，靠近立方体面6的右侧边缘(#5)的参考像素必须被逆时针旋转90度。另一方面，如果具有相同标记的两条边缘对应于两个对应的立方体面图像的顶端边缘或底端边缘，则需要旋转与两个不同边缘相关联的参考像素以形成完整的参考块。例如，在其与靠近立方体面3的顶端边缘(#1)的参考像素组合之前，靠近立方体面5的顶端边缘(#1)的参考像素必须被旋转180度。
可以评估与每个可能的运动矢量相关联的成本函数，然后可以获得具有最小成本的最佳运动矢量。当前帧的残差自当前块和所选的参考块之间的差进行生成。然后，残差被编解码且发信在比特流中。如前，与所选的运动矢量有关的运动信息可以需要被发信在视频比特流中，以使运动信息可以在解码器侧处被恢复。如前，可以使用运动矢量预测子对运动信息进行预测性编码，以减少编解码比特。在解码器侧，可以根据接收到的运动信息来识别和访问参考块。同样，当参考区域位于环形边缘的外部或跨过环形边缘时，可以根据环形边缘标记环形地访问参考像素。当前块可以从自接收到的视频比特流中推导的残差和参考块进行重构。
图11示出了对应于具有填充有填充数据的空白区域的立方体网格的立方体帧的环形帧间预测的示例。块A和块B(1112和1114)为待处理的当前帧中的两个块。识别以用于块A的搜索窗口包括参考区域1122、参考区域1124和参考区域1126。区域1122包含块A的同位块。但是，搜索区域1122是非常有限的。当需要更大的搜索区域时，参考区域1122的环形边缘被识别(即左侧的#3和顶端的#7)。从立方体面2的边缘#7延伸的环形边缘进入立方体面5的边缘#7。因此，参考区域1124被识别。从立方体面2的边缘#3延伸的环形边缘进入立方体面3的边缘#3。因此，参考区域1126被识别。
图12示出了当前帧中块A的参考块X(1212和1214)的示例。参考块X跨过立方体面2的环形边缘#3，以从其环形边缘#3进入立方体面3。因此，参考块X(1214)的一部分位于立方体面2中，并且参考块X(1212)的一部分位于立方体面3中。图12还示出了当前帧中块B的参考块Y(1216和1218)的示例。参考块Y跨过立方体面4的环形边缘#5，以从其环形边缘#5进入立方体面6。因此，参考块Y(1216)的一部分位于立方体面4中，并且参考块Y(1218)的一部分位于立方体面6中。位于立方体面4的底端(即环形边缘#5)处的内容与位于立方体面6的右端处的内容是连续的。换而言之，如果立方体面6被逆时针旋转90度，则来自于立方体面4和立方体面6的环形边缘#5可以被对接(butted)，且内容跨过对接的边缘而连续。区域1218的字母“Y”的方向被旋转，以指示区域1218中的参考像素需要被旋转到与区域1216相同的方向，以形成当前块B的完整参考块
图13示出了根据对应于具有填充的空白区域的立方体网格的立方体帧的环形边缘标记环形地访问参考像素的另一示例。在本示例中，搜索窗口被扩大，以覆盖更大的区域。四个候选参考块(W，Q，Y和P)被显示在不同的区域中。对于参考块W，该块跨过环形边缘#6和参考像素由来自立方体面2的区域1312和来自立方体面6的区域1314组成。由于立方体面2和立方体面6连接于环形边缘#6处，区域1314必须被顺时针旋转90度并与区域1312连接，以形成完整的参考块W。对于参考块Q，位于立方体面2的顶端(即环形边缘#5)处的内容与位于立方体面5的左端(即环形边缘#7)处的内容连续。因此，在ME/MC之前，参考块Q(1322)需要被逆时针旋转90°(或被顺时针旋转270°)。类似地，对于参考块P(1326)，位于立方体面2的底端(即环形边缘#6)处的内容与位于立方体面6的左端(即环形边缘#6)处的内容连续。因此，在ME/MC之前，参考块P需要被顺时针旋转90度。参考块Y可以直接用于帧间预测而无需任何旋转。
图14示出了对应于不具有空白区域的组合立方体帧的立方体帧的环形帧间预测的示例。块A和块B(1412和1414)为待处理的当前帧1410中的两个块。识别以用于块A的搜索窗口包括参考帧1420中的参考区域1422和参考区域1424。区域1422包含块A的同位块。但是，搜索区域1422是非常有限的。当需要更大的搜索区域时，参考区域1422的环形边缘被识别(即，底端的#8)。从立方体面5的边缘#8延伸的环形边缘进入立方体面1的边缘#8。因此，参考区域1424被识别。识别以用于块B的搜索窗口包括参考帧1420中的参考区域1426。
图15示出了根据对应于不具有填充空白区域的组合立方体帧的立方体帧的环形边缘标记环形地访问参考像素的示例。在本示例中，搜索窗口被扩大，以覆盖更大的区域。两个候选参考块(X和Y)分别被显示在待处理的块A和块B的不同区域中。对于参考块X，该块跨过环形边缘#8，并且参考像素由来自立方体面5的区域1512和来自立方体面1的区域1514组成。由于立方体面5和立方体面1连接于环形边缘#8处，区域1512和区域1514可以被连接(而无任何旋转)，以形成完整的参考块X。对于块B，参考块Y1516可被直接用于帧间预测。
在图12中，对于每一块(例如，块A或块B)，块尺寸为bw×bh，其中，bw对应于块宽度以及bh对应于块高度。搜索范围S被定义为R×R。当前帧由F＝f(x，y)来表示，以及参考帧由来表示。因此，当前块可以被表示为：
运动矢量mv＝(mvx，mvy)的参考块可以被表示为：
在上述方程式中，circ(·)表示环形索引，以访问跨过环形边缘的参考像素，并且在必要时用旋转来组合参考块。根据环形访问所识别的参考块，其余的帧间预测流程类似于球面图像序列的环形帧间预测的方法。例如，方程式(4)中的相同成本函数可用于选择最佳运动矢量mv*。
在确定最佳运动矢量mv*后，环形帧间预测可根据最佳运动矢量而被应用于当前块，以推导出残差如本领域已知，残差信号e经历编解码流程，如变换、量化和熵编码。重构残差信号在解码器侧从视频比特流中生成。在解码器侧，可以从比特流中恢复运动信息。用已知的运动矢量，参考块可以通过根据环形边缘标记环形地访问参考像素而被定位。因此，可以根据推导出重构当前块
在上文中，公开了环形帧间预测技术以处理球面图像序列和立方体图像序列。对于球面帧，在环形帧间预测流程期间，考虑了球面图像的水平连续性的特征。因此，这些参考像素，当参考像素在水平方向上位于帧边界的外部时用于不可用于常规帧间预测，根据环形间预测变得可用。对于立方体帧，存在两种类型的立方体帧，其对应于具有填充有填充数据的空白区域的立方体网格和不具有任何空白区域的组合矩形帧。根据环形帧间预测技术，环形边缘被识别。每一环形边缘对应于立方体的一个边缘，其中两个连接面的内容从一个面到另一个面是连续的。当参考块的参考像素跨过环形边缘时，通过跨过环形边缘进入连接的立方体面，可以访问跨过环形边缘的参考像素。在根据环形边缘识别参考块之后，可以通过使用成本函数来确定最佳运动矢量。对应于最佳运动矢量的参考块用作当前块的预测子以生成当前块的残差。随后，使用压缩技术，例如变换、量化和熵编码之类的，可以压缩残差。在解码器侧，逆处理可被应用，以恢复已编解码残差。解码器可以使用上述公开的环形预测重构当前块。
图16示出了根据本发明实施例的视频编码器的示例性流程图，其中，环形帧间预测被应用于球面图像序列。根据该方法，在步骤1610中，接收与球面图像序列相关联的输入数据，其中每个球面图像对应于360度全景图像。在步骤1620中，在参考帧中确定用于当前球面图像中的当前块的搜索窗口，其中搜索窗口包括位于参考帧的垂直帧边界的外部或跨过参考帧的垂直帧边界以用于待编码的当前球面图像的至少一个块的区域。为了利用水平方向上的连续性，如上，当搜索区域超出左侧帧边界或右侧帧边界时，搜索窗口被环绕在帧边界的另一边缘周围。在步骤1630中，在搜索窗口内确定一个或多个候选参考块。如果给定候选参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界的给定候选参考块的参考像素是跨过参考帧的一个垂直帧边界且在水平方向上自参考帧环形地访问的。在步骤1640中，基于与一个或多个候选参考块相关联的性能标准，在一个或多个候选参考块中选择最终参考块。然后，在步骤1650中，使用最终参考块作为帧间预测子，将帧间预测应用于当前块，以生成预测残差。在步骤1660中，将预测残差编码到视频比特流中，并且在步骤1670中，输出视频比特流。
图17示出了根据本发明实施例的视频解码器的示例性流程图，其中，环形帧间预测被应用于球面图像序列。在步骤1710中，接收与球面图像序列相关联的视频比特流，其中每个球面图像对应于360度全景图像。在步骤1720中，从视频比特流推导出当前块的运动矢量。在步骤1730中，根据运动矢量，在参考帧中确定参考块。如果参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界的参考块的参考像素是跨过参考帧的一个垂直帧边界且在水平方向上自参考帧环形地访问的。在步骤1740中，从当前块的视频比特流中推导出已解码预测残差。在步骤1750中，使用参考块作为帧间预测子，从已解码预测残差重构当前块。然后，在步骤1760中，输出包含重构的当前块的球面图像序列。
图18示出了根据本发明实施例的视频编码器的示例性流程图，其中，环形帧间预测被应用于立方体图像序列。根据该方法，在步骤1810中，接收与立方体图像序列相关联的输入数据，其中每个立方体帧是通过从立方体展开六个立方体面而生成的，并且六个立方体面是通过将对应于360度全景图像的球面图像投影到立方体上而生成的。在步骤1820中，确定用于任何非连接或不连续的立方体面图像边缘的立方体帧的环形边缘，其中，立方体帧的每一环形边缘与由立方体上的一个环形边缘连接的两个相邻的立方体面图像相关联。在步骤1830中，在参考帧中确定搜索窗口以用于当前立方体帧中的当前块，其中搜索窗口包括位于参考帧的环形边缘外部或跨过该环形边缘以用于待编码的当前立方体帧的至少一个块的区域。在步骤1840中，在搜索窗口内确定一个或多个候选参考块。如果给定候选参考块相对于当前块的同位块而位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界的给定候选参考块的参考像素是跨过参考帧的一个垂直帧边界自参考帧环形地访问的。在步骤1850中，基于与一个或多个候选参考块相关联的性能标准，在一个或多个候选参考块中选择最终参考块。然后，在步骤1860中，使用最终参考块作为帧间预测子，将帧间预测应用于当前块以生成预测残差。在步骤1870中，将预测残差编码到视频比特流中，并且在步骤1880中，输出视频比特流。
图19示出了根据本发明实施例的视频解码器的示例性流程图，其中，环形帧间预测被应用于立方体图像序列。根据该方法，在步骤1910中，接收与立方体图像序列相关联的视频比特流，其中每个立方体帧是通过从立方体展开六个立方体面而生成的，并且六个立方体面是通过将对应于360度全景图像的球面图像投影到立方体上而生成的。在步骤1920中，确定用于任何非连接或不连续的立方体面图像边缘的立方体帧的环形边缘，其中，立方体帧的每一环形边缘与由立方体上的一个环形边缘连接的两个相邻的立方体面图像相关联。在步骤1930，从视频比特流中推导出当前块的运动矢量。然后，在步骤1940中，根据运动矢量19，在参考帧中确定参考块。如果参考块相对于当前块的同位块而位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘，则位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘的参考块的参考像素是跨过参考帧的一个环形边缘自参考帧环形地访问的。在步骤1950中，从视频比特流中推导出当前块的已解码预测残差。在步骤1960中，使用参考块作为帧间预测子，从已解码预测残差重构当前块。然后，在步骤1970中，输出包含重构的当前块的立方体图像序列。
上述流程图可以对应于计算机、移动设备、数字信号处理器或本发明的可编程设备上执行的软件程序代码。程序代码可以以各种编程语言如C++编写。该流程图还可以对应于基于硬件的实现，其中一个或多个电子电路(例如专用集成电路(application specificintegrated circuits，ASIC)以及现场可编程门阵列(FPGA)或处理器(例如数字信号处理器，(Digital Signal Processor，DSP))。
上述说明，使得本领域的普通技术人员能够在特定应用程序的上下文及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上的本发明的实施例可在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文的处理。本发明的一个实施例也可是在数字信号处理器(Digital SignalProcessor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可由不同的编程语言和不同的格式或样式开发。软件代码也可编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (18)

1.一种视频编码装置，其特征在于，应用于球面图像序列，所述装置包括一个或多个电子器件或处理器，用于：
接收与球面图像序列相关联的输入数据，其中每个球面图像对应于360度全景图像；
在参考帧中确定用于当前球面图像中当前块的搜索窗口，其中所述搜索窗口包括位于所述参考帧的垂直帧边界的外部或跨过所述参考帧的垂直帧边界以用于待编码的所述当前球面图像的至少一个块的一个区域；
在所述搜索窗口内确定一个或多个候选参考块，其中，如果给定候选参考块位于所述参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述给定候选参考块的多个参考像素是在跨过所述参考帧的所述一个垂直帧边界的水平方向上自所述参考帧环形地访问的；
基于与所述一个或多个候选参考块相关联的性能标准，在所述一个或多个候选参考块中选择最终参考块；
使用所述最终参考块作为帧间预测子，将帧间预测应用于所述当前块以生成预测残差；
将所述预测残差编码到视频比特流中；以及
输出所述视频比特流。
2.根据权利要求1所述的视频编码装置，其特征在于，如果所述给定候选参考块位于所述参考帧的一个水平帧边界的外部或跨过所述参考帧的一个水平帧边界，则位于所述参考帧的所述一个水平帧边界外部的所述给定候选参考块的多个参考像素是根据填充流程填充的。
3.根据权利要求1所述的视频编码装置，其特征在于，如果所述给定候选参考块位于所述参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述给定候选参考块的多个参考像素是通过对所述给定候选参考块的多个参考像素的水平轴(即X轴)使用模运算而在水平方向上自所述参考帧环形地访问的。
4.一种视频解码装置，其特征在于，应用于球面图像序列，所述装置包括一个或多个电子器件或处理器，用于：
接收与球面图像序列相关联的视频比特流，其中每个球面图像对应于360度全景图像；
从当前块的视频比特流推导出运动矢量；
根据所述运动矢量，在所述参考帧中确定参考块，其中如果所述参考块位于参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述参考块的多个参考像素是在跨过所述参考帧的所述一个垂直帧边界的水平方向上自参考帧环形地访问的；
从所述视频比特流推导出所述当前块的已解码预测残差；
使用所述参考块作为帧间预测子，从所述已解码预测残差重构所述当前块；以及
输出包括重构的所述当前块的球面图像序列。
5.根据权利要求4所述的视频解码装置，其特征在于，如果所述参考块位于所述参考帧的一个水平帧边界的外部或跨过所述参考帧的一个水平帧边界，则位于所述参考帧的所述一个水平帧边界外部的所述参考块的多个参考像素是根据填充流程填充的。
6.根据权利要求4所述的视频解码装置，其特征在于，如果所述参考块位于所述参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述参考块的多个参考像素是通过对所述参考块的多个参考像素的水平轴(即X轴)使用模运算而在水平方向上自所述参考帧环形地访问的。
7.一种视频编码装置，其特征在于，应用于立方体图像序列，所述装置包括一个或多个电子器件或处理器，用于：
接收与立方体图像序列相关联的输入数据，其中每个立方体帧是所述立方体图像序列的一个图像，每个立方体帧是通过从立方体展开六个立方体面而生成的，并且所述六个立方体面是通过将对应于360度全景图像的球面图像投影到所述立方体上而生成的；
确定用于任何非连接或不连续的立方体面边缘的所述立方体帧的多个环形边缘，其中，所述立方体帧的每个环形边缘与由所述立方体上的一个环形边缘连接的两个相邻立方体面相关联；
在所述参考帧中确定用于当前立方体帧中当前块的搜索窗口，其中，所述搜索窗口包括位于所述参考帧的环形边缘的外部或跨过所述参考帧的环形边缘以用于待编码的所述当前立方体帧的至少一个块的一个区域；
在搜索窗口内确定一个或多个候选参考块，其中，如果给定候选参考块相对于所述当前块的同位块而位于所述参考帧的一个环形边缘的外部或跨过所述参考帧的一个环形边缘，则位于所述参考帧的所述一个环形边缘的外部或跨过所述参考帧的所述一个环形边缘的所述给定候选参考块的多个参考像素是跨过所述参考帧的所述一个环形边缘自参考帧环形地访问的；
基于与所述一个或多个候选参考块相关联的性能标准，在所述一个或多个候选参考块中选择最终参考块；
使用所述最终参考块作为帧间预测子，将帧间预测应用于所述当前块以生成预测残差；
将所述预测残差编码到视频比特流中；以及
输出所述视频比特流。
8.根据权利要求7所述的视频编码装置，其特征在于，每个立方体帧对应于具有填充有填充数据的空白区域以形成矩形帧的一个立方体网格。
9.根据权利要求7所述的视频编码装置，其特征在于，每个立方体帧对应于不具有填充区域的组合帧。
10.根据权利要求7所述的视频编码装置，其特征在于，
如果所述给定候选参考块相对于所述当前块的同位块而位于所述参考帧的一个环形边缘的外部或跨过所述参考帧的一个环形边缘，则位于所述参考帧的所述一个环形边缘的外部或跨过所述参考帧的所述一个环形边缘的所述给定候选参考块的多个参考像素是通过对所述给定候选参考块的多个参考像素的水平轴(X轴)和垂直轴(Y轴)应用环形操作而自所述参考帧环形地访问的，且所述环形操作考虑跨过多个环形边缘的连续性。
11.根据权利要求10所述的视频编码装置，其特征在于，所述环形操作使得位于所述参考帧的一个环形边缘的外部或跨过所述参考帧的一个环形边缘的所述给定候选参考块的多个参考像素根据一个旋转角度旋转，其中该旋转角度是根据所述参考帧的所述一个环形边缘与对应环形边缘之间的角度确定的。
12.根据权利要求11所述的视频编码装置，其特征在于，所述旋转角度包括0度、90度、180度和270度。
13.一种视频解码装置，其特征在于，在解码器中应用于立方体图像序列，所述装置包括一个或多个电子器件或处理器，用于：
接收与立方体图像序列相关联的视频比特流，其中每个立方体帧是所述立方体图像序列的一个图像，每个立方体帧是通过从立方体展开六个立方体面而生成的，并且所述六个立方体面是通过将对应于360度全景图像的球面图像投影到所述立方体上而生成的；
确定用于任何非连接或不连续的立方体面边缘的所述立方体帧的多个环形边缘，其中，所述立方体帧的每个环形边缘与由所述立方体上的一个环形边缘连接的两个相邻立方体面相关联；
从所述视频比特流推导出所述当前块的运动矢量；
根据所述运动矢量，在所述参考帧中确定参考块，其中，如果所述参考块相对于所述当前块的同位块而位于所述参考帧的一个环形边缘的外部或跨过所述参考帧的一个环形边缘，则位于所述参考帧的所述一个环形边缘的外部或跨过所述参考帧的所述一个环形边缘的所述参考块的多个参考像素是跨过所述参考帧的所述一个环形边缘自所述参考帧环形地访问的；
从所述视频比特流推导出所述当前块的已解码预测残差；
使用所述参考块作为帧间预测子，从所述已解码预测残差重构所述当前块；
输出包括重构的所述当前块的立方体图像序列。
14.根据权利求13所述的视频解码装置，其特征在于，每个立方体帧对应于具有填充有填充数据的空白区域以形成矩形帧的一个立方体网格。
15.根据权利求13所述的视频解码装置，其特征在于，每个立方体帧对应于不具有填充区域的组合帧。
16.根据权利求13所述的视频解码装置，其特征在于，如果所述参考块相对于所述当前块的同位块而位于所述参考帧的一个环形边缘的外部或跨过所述参考帧的一个环形边缘，则位于所述参考帧的所述一个环形边缘的外部或跨过所述参考帧的所述一个环形边缘的所述参考块的多个参考像素是通过对所述参考块的多个参考像素的水平轴(X轴)和垂直轴(Y轴)应用环形操作而自所述参考帧环形地访问的，且所述环形操作考虑跨过多个环形边缘的连续性。
17.根据权利求16所述的视频解码装置，其特征在于，所述环形操作使得位于所述参考帧的一个环形边缘的外部或跨过所述参考帧的一个环形边缘的给定候选参考块的多个参考像素根据一个旋转角度旋转，所述旋转角度是根据所述参考帧的所述一个环形边缘与对应环形边缘之间的角度确定的。
18.根据权利求17所述的视频解码装置，其特征在于，所述旋转角度包括0度、90度、180度和270度。
CN201780007221.3A 2016-01-22 2017-01-19 用于球面图像和立方体图像的帧间预测的装置 Pending CN108476322A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662281815P 2016-01-22 2016-01-22
US62/281,815 2016-01-22
US15/399,813 US20170214937A1 (en) 2016-01-22 2017-01-06 Apparatus of Inter Prediction for Spherical Images and Cubic Images
US15/399,813 2017-01-06
PCT/CN2017/071623 WO2017125030A1 (en) 2016-01-22 2017-01-19 Apparatus of inter prediction for spherical images and cubic images

Publications (1)

Publication Number Publication Date
CN108476322A true CN108476322A (zh) 2018-08-31

Family

ID=59359830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780007221.3A Pending CN108476322A (zh) 2016-01-22 2017-01-19 用于球面图像和立方体图像的帧间预测的装置

Country Status (3)

Country Link
US (1) US20170214937A1 (zh)
CN (1) CN108476322A (zh)
WO (1) WO2017125030A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
CN107888928B (zh) * 2016-09-30 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
CN109496431A (zh) * 2016-10-13 2019-03-19 富士通株式会社 图像编码/解码方法、装置以及图像处理设备
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
JP6922215B2 (ja) * 2016-12-27 2021-08-18 富士通株式会社 動画像符号化装置
WO2018131830A1 (ko) * 2017-01-11 2018-07-19 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102437108B1 (ko) * 2017-01-13 2022-08-26 삼성전자주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
CN116193109A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
US11259046B2 (en) * 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
WO2018156243A1 (en) * 2017-02-22 2018-08-30 Twitter, Inc. Transcoding video
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10467775B1 (en) * 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
US20180343470A1 (en) * 2017-05-25 2018-11-29 Advanced Micro Devices, Inc. Method of using cube mapping and mapping metadata for encoders
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
GB2563944B (en) * 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10595045B2 (en) * 2017-07-27 2020-03-17 Advanced Micro Devices, Inc. Device and method for compressing panoramic video images
US20190082183A1 (en) * 2017-09-13 2019-03-14 Mediatek Inc. Method and Apparatus for Video Coding of VR images with Inactive Areas
KR20190033029A (ko) * 2017-09-20 2019-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
JP7253564B2 (ja) * 2018-03-29 2023-04-06 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． パディングのためのイントラ予測モードを選択する装置
CN108815721B (zh) * 2018-05-18 2021-06-25 山东省肿瘤防治研究院（山东省肿瘤医院） 一种照射剂量确定方法及系统
TWI725456B (zh) 2018-06-21 2021-04-21 大陸商北京字節跳動網絡技術有限公司 交錯區塊的自動劃分
TWI729478B (zh) * 2018-08-31 2021-06-01 聯發科技股份有限公司 用於虛擬邊界的環內濾波的方法和設備
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
MX2021002979A (es) * 2018-09-14 2021-05-14 Vid Scale Inc Métodos y aparatos para regiones de cuadrícula flexible.
TWI822863B (zh) 2018-09-27 2023-11-21 美商Ｖｉｄ衡器股份有限公司 360度視訊寫碼樣本導出
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
WO2021045536A1 (en) * 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
KR20210034534A (ko) * 2019-09-20 2021-03-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TWI774124B (zh) * 2019-11-15 2022-08-11 寰發股份有限公司 用於編解碼３６０度虛擬實境視訊序列的方法和裝置
US20220408114A1 (en) * 2019-11-22 2022-12-22 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
EP3942836A1 (en) * 2020-05-19 2022-01-26 Google LLC Dynamic parameter selection for quality-normalized video transcoding
US11533467B2 (en) * 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034374A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and device for motion estimation and compensation for panorama image
CN101667295A (zh) * 2009-09-09 2010-03-10 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0227565D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for generating panoramic images from video sequences
CN101350920A (zh) * 2007-07-17 2009-01-21 北京华辰广正科技发展有限公司 一种面向全景视频的全局运动估计方法
US8345763B2 (en) * 2007-11-27 2013-01-01 Mediatek Inc. Motion compensation method and integrated circuit utilizing the same
WO2016064862A1 (en) * 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain
CN108293136B (zh) * 2015-09-23 2022-12-30 诺基亚技术有限公司 编码360度全景视频的方法、装置和计算机可读存储介质
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN106204456B (zh) * 2016-07-18 2019-07-19 电子科技大学 全景视频序列运动估计越界折叠搜索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034374A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and device for motion estimation and compensation for panorama image
CN101002479A (zh) * 2004-08-13 2007-07-18 庆熙大学校产学协力团 用于全景图像的运动估计和补偿的方法和设备
CN101667295A (zh) * 2009-09-09 2010-03-10 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法

Also Published As

Publication number Publication date
US20170214937A1 (en) 2017-07-27
WO2017125030A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
CN108476322A (zh) 用于球面图像和立方体图像的帧间预测的装置
CN110115037B (zh) 球面投影运动估计/补偿和模式决策
US10264282B2 (en) Method and apparatus of inter coding for VR video using virtual reference frames
US10904570B2 (en) Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same
CN109804633B (zh) 利用自适应帧内预测的全向视频编码和解码的方法和装置
CN107888928B (zh) 运动补偿预测方法和设备
US10992919B2 (en) Packed image format for multi-directional video
CN109246422A (zh) 处理立方体面图像的方法和装置
CN108377377A (zh) 球面或者立方体图像序列的视频编码或者解码方法及装置
CN109716766A (zh) 一种滤波360度视频边界的方法及装置
US20170118475A1 (en) Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US20090129667A1 (en) Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR20190052015A (ko) 넓은 시야 비디오를 인코딩 및 디코딩하기 위한 방법 및 장치
CN107801039B (zh) 运动补偿预测方法和装置
KR102254986B1 (ko) 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
KR20190054150A (ko) 무지향성 비디오들에 대한 개선된 모션 보상을 위한 방법 및 장치
US10425656B2 (en) Method of inter-frame prediction for video encoding and decoding
CN110447229A (zh) 使用参考帧重新旋转以及内容导向旋转选择的一或两者的视频处理装置以及相关视频处理方法
RU2729966C1 (ru) Способы, устройства и машиносчитываемый носитель для кодирования и декодирования видеосигнала
CN109845264A (zh) 用于编码和解码大视场视频的方法和装置
JP2019118101A (ja) ビデオコーディング方法及びその画像処理装置
CN107959855B (zh) 运动补偿预测方法和设备
US20090051679A1 (en) Local motion estimation using four-corner transforms
Rapantzikos Dense Estimation of optical flow in the compressed domain using robust techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180831

WD01 Invention patent application deemed withdrawn after publication