CN109076232B - 视频编码或解码方法与装置 - Google Patents

视频编码或解码方法与装置 Download PDF

Info

Publication number
CN109076232B
CN109076232B CN201780025220.1A CN201780025220A CN109076232B CN 109076232 B CN109076232 B CN 109076232B CN 201780025220 A CN201780025220 A CN 201780025220A CN 109076232 B CN109076232 B CN 109076232B
Authority
CN
China
Prior art keywords
face
sequence
sequences
target
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780025220.1A
Other languages
English (en)
Other versions
CN109076232A (zh
Inventor
林建良
黄昭智
林鸿志
李佳盈
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109076232A publication Critical patent/CN109076232A/zh
Application granted granted Critical
Publication of CN109076232B publication Critical patent/CN109076232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种视频编码或解码方法与装置，用于视频编码或解码系统，视频编码或解码方法与装置用于对应于360度虚拟现实序列的多个多面序列。根据本发明的多个实施例，多个多面序列中的至少一个面序列使用面独立编解码进行编码或解码，其中，面独立编解码对使用预测参考数据的目标面序列进行编码或解码，其中预测参考数据仅根据目标面序列的之前已编解码数据所产生。此外，在编码器端的视频比特流中发信告知一或多个语法元素，或者在解码器端从视频比特流中解析一或多个语法元素，其中，一或多个语法元素用于指示与多个多面序列中的面总数有关的第一信息、与使用面独立编解码后的每个面序列的面索引有关的第二信息、或者第一信息与第二信息。

Description

视频编码或解码方法与装置
技术领域
本发明是关于影像(image)与视频(video)编解码(coding)；特别地，本发明是关于面序列(face sequences)的编解码，其中，该多个面(faces)对应于立体面(cube faces)或作为360度虚拟现实视频(360-degree virtual reality video)的代表的多个面。
背景技术
360度视频，也称为沉浸式视频(immersive video)，是一种新兴技术，该技术可以提供“身临其境的感受”。沉浸式感觉是经由为使用者营造环绕式场景(wrap-aroundscene)来实现的，其中该环绕式场景覆盖全景视图(panoramic view)，特别是360度视野(field of view)。“身临其境的感受”可以使用立体呈现(stereographic rendering)来进一步改善。相应地，全景视频(panoramic video)广泛使用于多种虚拟现实(VirtualReality,VR)应用之中。
沉浸式视频包括使用多个相机(cameras)来抓取场景，以覆盖全景视图，如360度视野。典型地，沉浸式相机使用两个或更多个相机。所有视频必须同时被拍摄，并记录该场景的多个分离片段(fragments)(也称为分离视点(perspectives))。此外，经常安排一组相机来水平抓取多个视角(views)，也可以对这些相机进行其它安排。
360度全景相机抓取周边的多个场景，且订合(stitched)后的球形影像是表示VR视频的一种方式，该球形影像在水平方向上连续。换言之，在左端的该球形影像的内容延续至右端。该球形影像也可以投影转换至(projected to)立方体的六个面，以作为可替代的360度形式。该转换可以使用投影转换来执行，以产生呈现立方体的六个面的六面影像。在该立方体的多个面上，这六个影像在该立方体的边缘处进行连接。在图1中，影像100对应于展开的立方影像，其空白区域使用虚拟数据(dummy data)来填充。该展开的立方画面(frame)也称为立方体展开图(cubic net)，该立方体展开图具有多个空白区域。如图1所示，具有多个空白区域的多个展开立方面影像可纳入覆盖该六个展开的立体面影像的一最小矩形(rectangular)。
如图1所示，这六个立体面以某一方式互相连接，这是因为这六个立体面对应于立方体的该六个面上的六个图像(pictures)。相应地，该立方体上的每个边缘由两个立体面所共享。换言之，在x、y和z方向上的每四个面在其各自方向上是环状连续的(continuouscircularly)。具有空白区域的立方面集合画面(cubic-face assembled frame)(例如，图1中的影像100)的多个环状边缘(circular edges)如图2的影像200所示。与该多个立方面边界有关的多个立方边缘进行了标识。具有相同边缘数字的立方面边界指示着两个立方面边界相连，并共享相同的立方边缘。举例而言，边缘#2位于面1(face 1)的上方，面5(face 5)的右侧。因此，面1(face 1)的上方连接于面5(face 5)的右侧。相应地，当面1(face 1)逆时针旋转90度时，面1(face 1)的上方的内容将连续滚入面的右侧。
在本发明中，公开了编解码及多个多面序列的信令(signaling)的多种技术。
发明内容
本发明公开一种视频编码或解码方法，用于视频编码或解码系统，该视频编码或解码方法适用于对应于360度虚拟现实序列的多个多面序列(multi-face sequences)。根据本发明多个实施例，该多个多面序列中的至少一个面序列使用面独立编解码(face-independent coding)进行编码或解码，其中，该面独立编解码使用预测参考数据对目标面序列进行编码或解码，该预测参考数据仅根据该目标面序列的之前已编解码数据所产生(derive)。此外，可以在编码器端的视频比特流中发信告知一个或多个语法元素，或者在解码器端从该视频比特流中解析出该一个或多个语法元素，其中，这些语法元素用于指示与该多个多面序列中的面总数有关的第一信息、与面独立编解码后的每个面序列的面索引(face index)有关的第二信息、或者该第一信息与该第二信息。这些语法元素可以位于该视频比特流的序列级别(sequence level)、视频级别(video level)、面级别(facelevel)、视频参数集(Video Parameter Set,VPS)、序列参数集(Sequence Parameter Set,SPS)或应用参数集(Application Parameter Set,APS)中。
在一个实施例中，该多个多面序列的全部使用面独立编解码进行编解码。一个或多个面序列可以使用虚拟参考画面(virtual reference frame)以用于画面间预测(Interprediction)、画面内预测(Intra prediction)、或画面间与画面内预测，该虚拟参考画面包括在既定时间索引(given time index)上的该多个多面序列的全部面。在另一实施例中，一个或多个画面内-面集合(Intra-face sets)可以作为随机存取点(Random AccessPoints,RAPs)进行编解码，其中，每个画面内-面集合由具有同一时间索引的全部面构成，且每个随机存取点使用画面内预测进行编解码，或使用仅基于一个或多个特定图像的画面间预测进行编解码。当目标特定图像用于该画面间预测时，在目标特定图像用于该画面间预测之前，对该目标特定图像中的所有面进行解码。对于具有紧随RAP之后的时间索引的任意目标面，若该目标面使用时域(temporal)参考数据进行编解码，则该时域参考数据排除任何非RAP参考数据。
在另一实施例中，一个或多个第一面序列使用预测数据进行编码，该预测数据所包含的至少一部分是根据第二面序列所产生。该一个或多个第一面序列中的该一个或多个目标第一面分别使用从该第二面序列中的目标第二面处所产生的画面内预测，其中，该一个或多个第一面序列中的该一个或多个目标第一面与该第二面序列中的该目标第二面全部具有同一时间索引。在此情形下，对于位于一个目标第一面的面边界上的当前第一区块，该目标第二面对应于与该目标第一面的该面边界相邻的相邻面。
在另一实施例中，该一个或多个第一面序列中的一个或多个目标第一面分别使用从该第二面序列中的目标第二面处所产生的画面间预测，其中，该一个或多个第一面序列中的该一个或多个目标第一面与该第二面序列中的该目标第二面全部具有同一时间索引。对于位于一个目标第一面序列中的一个目标第一面中的当前第一区块，该目标第二面对应于与一个参考第一面的面边界相邻的相邻面，其中，该目标第一面序列具有当前运动向量(Motion Vector,MV)，该MV指向跨越该目标第一面序列中的该参考第一面的该面边界的参考区块。
在又一实施例中，该一个或多个第一面序列中的一个或多个目标第一面分别使用从该第二面序列中的目标第二面处所产生的画面间预测，其中，该第二面序列中的该目标第二面的时间索引小于该一个或多个第一面序列中的任何目标第一面的时间索引。对于位于一个目标第一面序列中的一个目标第一面中的当前第一区块，该目标第二面对应于与一个参考第一面的面边界相邻的相邻面，其中该目标第一面序列具有当前MV，该MV指向跨越该目标第一面序列中的该参考第一面的该面边界的参考区块。
附图说明
图1为对应于空白区域使用虚拟数据填充的立方体展开图的展开立方画面的示例的示意图。
图2为图1中具有多个空白区域的该立方面集合画面的该多个环状边缘的示例的示意图。
图3为用于VR视频的完全面独立编解码结构的示例的示意图，其中，视频编码器将每个立方面序列用作输入视频序列。
图4为具有随机存取点(k+n)的面独立编解码的示例的示意图，其中，在时间k上的该多个面的集合为特定图像。
图5为根据本发明实施例的允许从其它面进行预测的面序列编解码的示例的示意图。
图6为使用来自与该当前面具有同一时间索引的另一面的信息进行画面内预测的示例的示意图。
图7为使用来自具有相同时间索引的另一面的信息进行画面间预测的示例的示意图。
图8为根据本发明实施例的允许从具有相同时间索引的其它面进行预测的面序列编解码的另一示例的示意图。
图9为根据本发明实施例的允许从具有相同时间索引的其它面进行预测的面序列编解码的又一示例的示意图。
图10为根据本发明实施例的允许来自其它面的时域参考数据的面序列编解码的示例的示意图。
图11为根据本发明实施例的允许来自其它面的时域参考数据的面序列编解码的另示例的示意图。
图12为同样使用来自另一面的参考数据进行画面间预测的示例的示意图，其中，面0(face 0)中的当前图像(时间索引为k+2)中的当前区块是同样使用对应于面0(face 0)与面4(face 4)中的多个之前图像(即，时间索引k+1)的参考数据进行画面间预测的。
图13为根据本发明实施例的对应于360度虚拟现实序列的多个多面序列的视频编解码的流程图。
具体实施方式
以下说明为执行本发明的较佳规划模式。该说明仅用于说明本发明的一般精神，不应作为本发明的限制。本发明的范围请参考权利要求书来决定。
在本发明中，公开了编解码及独立面序列的信令的多种技术。图3为用于VR视频的完全面独立编解码结构的示意图，其中，每个立方面序列被视频编码器用作一个输入视频序列。在解码器端，接收一个面序列的视频比特流，且该解码器对该视频比特流进行解码。对于图3所示的多个立方面，六个面序列用作六个视频序列，并进行独立编解码。换言之，根据本发明的该实施例，每个面序列仅适用预测数据(画面间或画面内)进行编解码，该预测数据是从同一面序列所产生的。在图3中，具有同一时间索引(例如，k、k+1、k+2等)的多个面在本说明书中称为画面内-面集合。
在图3中，虽然与立方体有关的六个面用作多面VR视频代表的一示例，但本发明也可以应用于其它多面代表。本发明的另一方面在于独立编解码的多个面的信令。举例而言，可以在视频比特流中发信告知一个或多个语法元素，以指明与该多个多面序列中的面总数有关的信息。此外，也可以发信告知独立编解码后的每个面的面索引有关的信息。该一个或多个语法元素可以在序列级别、视频级别、面级别、VPS、SPS或APS中发信告知。
虚拟参考画面用于预测，以改善编解码性能。该虚拟参考画面由与一个时间索引有关的至少两个面构成，该时间索引可以用于运动补偿及/或画面内预测。因此，该虚拟参考画面可以用于使用该虚拟参考画面中的其它面所提供的当前面外的参考数据，为来产生每个面的参考数据。举例而言，若面0(face 0)为当前面，面0(face 0)外部的参考数据有可能在相邻面中找到，如面1(face 1)、面2(face 2)、面4(face 4)和面5(face 5)。类似地，当该参考数据位于已选择的面外部时，该虚拟参考画面也可以为其它面提供参考资料。
本发明也引入了使用随机存取点的面独立编解码。该随机存取点可以是来自特定图像的图像内预测，或者来自多个特定图像的图像间预测，也可以是其它随机存取点。对于随机存取点画面，该特定图像中的所有面将被解碼。其它普通图像(regular picture)可以被选择并进行独立编解码。在该随机存取点后的多个图像无法从该多个普通图像(即，多个非特定图像)来预测，其中该多个普通图像在该随机存取点之前进行编解码。若同样应用上述虚拟参考画面，则若只解碼了该多个普通图像的一部分，则该虚拟参考画面有可能无法完成。否则，这将导致预测错误(prediction error)。然而，该错误递延将在该随机存取点处终止。
图4为使用随机存取点(k+n)的面独立编解码的示例的示意图。在时间k的该多个面的集合为特定图像。在时间k的该特定图像后的该多个面的多个集合(即，k+1、k+2等)将作为多个普通图像使用来自相同的多个面的时域预测(temporal prediction)进行编解码，直至随机存取点被编解码。如图4所示，该时域预测链(temporal prediction chain)在时间k+n的随机存取点之前终止。在时间k+n的随机存取点可以是画面内编解码、或者是使用一个或多个特定图像作为(一个或多个)参考图像作为进行画面间编解码。
如图3与图4所示的完全面独立编解码提供了更加稳健(robust)的编解码，以消除不同面序列间的编解码依赖性。然而，完全面独立编解码不使用多个面间的关联，特别是两个相邻面间的连续跨越的多个面边界。为了改善编解码效率，根据本发明另一方法，允许预测使用来自其它面的参考数据。举例而言，当前面的画面内预测可以使用具有相同时间索引的其它面中的参考数据。同样，对于画面间预测，若运动向量指向位于当前参考面边界外部的多个参考像素，则用于画面间预测的多个参考像素可以从具有相同时间索引的当前面的多个相邻面处所产生。
图5为根据本发明另一方法的允许从多个其它面处预测的面序列编解码的示例的示意图。在图5的实施例中，面5(face 5)与面3(face 3)均使用来自面4(face 4)的信息来产生预测数据。同样，面2(face 2)与面0(face 0)均使用来自面1(face 1)的信息来产生预测数据。图5的该示例对应于使用来自具有相同时间索引的另一面的信息进行预测的情形。对于面4(face 4)与面1(face 1)，该多个面序列是使用面独立编解码的，而没有使用来自其它面的参考数据。
图6为使用来自与当前面具有相同时间索引的另一面的信息进行画面内预测以产生参考数据的示例的示意图。如图1与图2所示，面5(face 5)的该底部面边界与面0(face0)的顶部边界相连。因此，在靠近顶部面边界614的时间索引为k+2的当前面0(face 0)图像610中的当前区块612的画面内编解码，可以使用时间索引为k+2的面5(face 5)图像620的底部边界624处的画面内预测参考数据622。在此情形下，假设位于面5(face 5)图像620的底部面边界624处的像素资料是在位于面0(face 0)图像610的顶部边界的当前区块612之前进行编解码的。当时间索引为k+2的当前面0(face 0)图像610使用画面间编解码，则其可以使用时间索引为k+1的面0(face 0)图像630来产生该画面间预测数据。
图7为使用来自具有相同时间索引的另一面的信息进行画面间预测的示例的示意图。在本示例中，当前面0(face 0)图像正在使用画面间预测进行编解码，该画面间预测是从相同面序列中的之前已编解码数据中所产生的。然而，当运动向量指向位于同一面序列中的参考面外部的多个参考像素时，来自具有相同时间索引的另一面的参考资料可以用于产生所需的参考资料。在图7的示例中，位于当前面0(face 0)图像710的底部面边界714处的当前区块712使用画面间编解码，以及运动向量716指向参考区块722，其中，参考区块722的部分参考区块726位于面0(face 0)参考图像720的底部面边界724的外部。位于面0(face0)参考图像720的底部面边界724外部的参考区域726对应于位于面4(face 4)730的顶部面边界734处的多个像素，这是因为面4(face 4)的顶部面边界与面0(face 0)的底部面边界共享同一边界。根据本发明的实施例，具有相同索引的面4(face 4)图像的对应多个参考像素732用于产生位于面0(face 0)参考图像720的底部面边界724外部的多个画面间预测参考像素(726)。请注意，与当前面0(face 0)图像具有相同时间索引的面4(face 4)的参考数据用于产生位于当前参考面720外部的画面间预测参考数据。
图8为根据本发明实施例的允许从时间索引相同的其它面进行预测的面序列编解码的另一示例的示意图。在本实施例中，面0(face 0)、面1(face 1)、面2(face 2)和面4(face 4)使用具有相同时间索引的面3(face 3)的参考数据。此外，面5(face 5)使用具有相同时间索引的面4(face 4)的参考数据。对于面3(face 3)，面序列使用面独立编解码，不使用来自其它面的参考数据。
图9为根据本发明实施例的允许从具有相同时间索引的其它面进行预测的面序列编解码的又一示例的示意图。在本实施例中，面1(face 1)、面2(face 2)和面4(face 4)使用从具有相同时间索引的面3(face 3)所产生的参考数据。面0(face 0)、面3(face 3)和面4(face 4)使用从具有相同时间索引的面5(face 5)所产生的参考数据。对于面5(face 5)，面序列使用面独立编解码，不使用来自其它面的参考数据。在图9中，仅显示时间为k+1的面内依赖性(Intra face dependency)，以简化说明。然而，相同的面内依赖性也可以应用于其它时间索引。
在之前多个示例中，该多个面间的预测使用具有相同时间索引的其它面。根据本发明另一方法，多个面间的预测也可以使用来自其它面的时域参考资料。图10为根据本发明实施例的允许来自其它面的时域参考数据的面序列编解码的示例的示意图。换言之，其它面用于产生当前面中的当前区块的画面间预测，其中，其它面用于为当前面中的当前区块产生该画面间预测，其中，其它面用于为当前面中的当前区块产生画面间预测，其中，用于产生该参考数据的其它面的时间索引小于当前面的时间索引。举例而言，在时间k的面0(face 0)可以用于为时间索引k+1处的面1(face 1)至面5(face 5)产生画面间预测。对于面0(face 0)，该面序列使用面独立编解码，不使用来自其它面的参考数据。
图11为根据本发明实施例的允许来自多个其它面的时域参考数据的面序列编解码的另一示例的示意图。在本实施例中，具有时间k的面2(face 2)用于为具有时间索引k+1的面1(face 1)、面3(face 3)和面4(face 4)产生画面间预测数据。对于面0(face 0)、面2(face 2)和面5(face 5)，该多个面序列使用面独立编解码，不使用来自多个其它面的参考数据。
图12为使用来自另一面的参考数据进行画面间预测的一示例的示意图。在本示例中，面0(face 0)中具有时间索引k+2的当前图像1210中的当前区块1212使用面0(face 0)中时间索引为k+1的之前图像1220进行画面间预测。运动向量1214指向参考区块1222，该参考区块1222部分位于面边界的外部(即，位于面边界1224下方)。位于面0(face 0)的面边界1224外部的区域1226对应于位于时间索引为k+1的面4(face 4)图像1230的顶部的区域1232。根据本发明一实施例，时间索引为k+1的面4(face 4)图像用于产生参考数据，该参考数据对应于位于面0(face 0)的面边界外部的区域1226。
本发明上述公开内容可以以多种形式引入多种视频编码或解码系统。举例而言，本发明可以使用基于硬件的方法来实施，例如专用集成电路(Integrated Circuit,IC)、现场可程序化逻辑数组(Field Programmable Logic Array,FPGA)、数字信号处理器(DSP)、中央处理单元(CPU)等。本发明也可以使用计算器、膝上型或行动装置(如智能型手机)可执行的软件代码或固件码来实施。此外，该多个软件代码或固件码可以在混合型平台上执行，该混合型平台可例如具有多个专用处理器的CPU(例如，视频编解码引擎或共同引擎(co-processor))。
图13为根据本发明实施例的用于多个多面序列的视频编解码的流程图，其中该多个多面序列对应于360度虚拟现实序列。根据该方法，在步骤1310中，接收与多个多面序列有关的输入数据，该多个多面数据对应于360度虚拟现实序列。在编码器端，该输入数据对应于待编码的多个多面序列的像素资料。在解码器端，该输入数据对应于待解码的视频比特流或已编解码数据。在步骤1320中，该多个多面序列中的至少一个面序列使用面独立编解码进行编码或解码，其中，该面独立编解码使用预测参考数据对目标面序列进行编码或解码，其中该预测参考数据仅从该目标面序列的之前已编解码数据所产生。
对于本发明，上述流程图可以对应于在计算器、行动装置、数字信号处理器或可程序化装置上执行的多个软件程序代码。该多个程序代码可以使用诸如C++的多种程序语言来编写。该流程图也可以对应于基于硬件的实施方式，其中可包括一个或多个电子电路(例如，特殊应用集成电路(ASIC))及FPGA(现场可程序化门阵列)或处理器(例如，DSP)。
以上说明可以使得所属领域具有通常知识者能够以特定应用及其需求的形式来实施本发明。所属领域具有通常知识者可以轻易了解对上述多个实施例的多种变形，此处所定义的一般原则可以应用于其它实施例。因此，本发明并非仅限于此处所述及所示的多个特定实施例，应符合此处所公开的多个原则与新的特征的最广泛为。在上述详细说明中，显示了多种具体细节，其母的在于提供有关本发明的全面理解。然而，所属领域具有通常知识者应当理解，本发明能够实施。
本发明的上述实施例可以以多种硬件、软件代码或二者的组合来实施。举例而言，本发明的实施例可以为整合于视频压缩芯片中的电路或整合于视频压缩软件的程序代码，以执行此处所述的处理。本发明的实施例也可以是在DSP上执行的程序代码，以执行此处所述的处理。本发明也可以包括由计算器处理器、数字信号处理器、微处理器或FPGA所执行的多个功能。这些处理器可以根据本发明配置为执行多个特定任务，执行定义了本发明所体现的多个特定方法的计算器可读软件代码或韧体码。该软件代码或韧体吗可以以不同程序语言与不同格式或类型来开发。该软件代码也可以进行编译以用于不同目标平台。然而，多个软件代码的不同代码格式、类型和语言，以及根据本发明配置代码以执行多个任务的其它方式，均不脱离本发明的精神与范围。
在不脱离本发明的精神或实质特征的前提下，本发明可以体现为其它具体格式。上述多个示例的全部仅视为说明而非限制。因此，本发明的范围由权利要求书所指示，而非上述说明。在申请专利范围的含义及等效范围内的所有改变均包含于其范围内。

Claims (18)

1.一种视频编解码方法，用于一视频编码或解码系统，该视频编码或解码方法用于对应于360度虚拟现实序列的多个多面序列，该视频编码或解码方法包括：
接收与对应于该360度虚拟现实序列的多个多面序列有关的输入数据；以及
使用面独立编解码对该多个多面序列中的至少一个面序列进行编码或解码，其中，该面独立编解码使用预测参考数据对目标面序列进行编码或解码，该预测参考数据仅从该目标面序列的之前已编解码数据中所产生。
2.如权利要求1所述的视频编解码方法，其特征在于，在编码器端的视频比特流中发信告知一个或多个语法元素，或者从解码器端的该视频比特流中解析出该一个或多个语法元素，其中，该一个或多个语法元素用于指示与该多个多面序列中的面总数有关的第一信息、与使用面独立编解码后的每个面序列的面索引有关的第二信息、或者该第一信息与该第二信息。
3.如权利要求2所述的视频编解码方法，其特征在于，该一个或多个语法元素位于该视频比特流的序列级别、视频级别、面级别、视频参数集合、序列参数集合、或应用参数集合。
4.如权利要求1所述的视频编解码方法，其特征在于，该多个多面序列的全部使用该面独立编解码进行编解码。
5.如权利要求1所述的视频编解码方法，其特征在于，一个或多个面序列使用一个虚拟参考画面以用于画面间预测、画面内预测、或者画面间与画面内预测，其中该虚拟参考画面包括该多个多面序列在既定时间索引处的至少两个面。
6.如权利要求1所述的视频编解码方法，其特征在于，一个或多个画面内-面集合作为随机存取点进行编解码，其中，每个画面内-面集合由具有同一时间索引的所有面构成，且每个随机存取点使用画面内预测进行编解码，或仅基于一个或多个特定图像使用画面间预测进行编解码。
7.如权利要求6所述的视频编解码方法，其特征在于，当目标特定图像用于该画面间预测时，在该目标特定图像用于该画面间预测之前，对该目标特定图像中的所有面进行解码。
8.如权利要求6所述的视频编解码方法，其特征在于，对于具有在随机存取点之后的时间索引的任意目标面，若该目标面使用时域参考数据进行编解码，则该时域参考数据排除在在该随机存取点之前编解码的任何非随机存取点参考数据。
9.如权利要求1所述的视频编解码方法，其特征在于，一个或多个第一面序列使用预测数据进行编解码，该预测数据中所包含的至少一部分是从第二面序列中所产生。
10.如权利要求9所述的视频编解码方法，其特征在于，在该一个或多个第一面序列中的一个或多个目标第一面分别使用根据该第二面序列中的目标第二面所产生的画面内预测，其中，该一个或多个第一面序列中的该一个或多个目标第一面与该第二面序列中的该目标第二面具有同一时间索引。
11.如权利要求10所述的视频编解码方法，其特征在于，对于位于一个目标第一面的面边界处的当前第一区块，该目标第二面对应于与该目标第一面的该面边界相邻的相邻面。
12.如权利要求9所述的视频编解码方法，其特征在于，该一个或多个第一面序列中的一个或多个目标第一面分别使用根据该第二面序列中的目标第二面所产生的画面间预测，其中，该一个或多个第一面序列中的该一个或多个目标第一面与该第二面序列中的该目标第二面具有同一时间索引。
13.如权利要求12所述的视频编解码方法，其特征在于，对于在一个目标第一面序列中的一个目标第一面中的当前第一区块，该目标第二面对应于与一个参考第一面的面边界相邻的相邻面，其中该目标第一面序列的当前运动向量指向跨越该目标第一面序列中的该参考第一面的该面边界的一参考区块。
14.如权利要求9所述的视频编解码方法，其特征在于，该一个或多个第一面序列中的一个或多个目标第一面分别使用根据该第二面序列中的目标第二面所产生的画面间预测，其中，该第二面序列中的该目标第二面的时间索引小于该一个或多个第一面序列中的任意目标第一面。
15.如权利要求14所述的视频编解码方法，其特征在于，对于一个目标第一面序列中的一个目标第一面中的当前第一区块，该目标第二面对应于与一个参考第一面的面边界相邻的相邻面，其中该目标第一面序列的当前运动向量指向跨越该目标第一面序列中的该参考第一面的该面边界的参考区块。
16.如权利要求1所述的视频编解码方法，其特征在于，该360度虚拟现实序列的每一影像投影转换至立方体的六个面，以产生六面影像，具有不同时间索引的六面影像中的一面影像形成该面序列。
17.一种视频编解码装置，用于视频编码或解码系统，该视频编码或解码装置用于对应于360度虚拟现实序列的多个多面序列，该视频编码或解码装置包括一个或多个电子组件或处理器，包含：
第一电子组件，用于接收与多个多面序列有关的输入数据，该多个多面序列对应于360度虚拟现实序列；以及
第二电子组件，用于使用面独立编解码对该多个多面序列中的至少一个面序列进行编码或解码，其中，该面独立编解码使用预测参考数据对目标面序列进行编码或解码，该预测参考数据仅根据该目标面序列的之前已编解码数据所产生。
18.如权利要求17所述的视频编解码装置，其特征在于，该360度虚拟现实序列的每一影像投影转换至立方体的六个面，以产生六面影像，具有不同时间索引的六面影像中的一面影像形成该面序列。
CN201780025220.1A 2016-06-23 2017-06-23 视频编码或解码方法与装置 Active CN109076232B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662353584P 2016-06-23 2016-06-23
US62/353,584 2016-06-23
US15/628,826 US20170374364A1 (en) 2016-06-23 2017-06-21 Method and Apparatus of Face Independent Coding Structure for VR Video
US15/628,826 2017-06-21
PCT/CN2017/089711 WO2017220012A1 (en) 2016-06-23 2017-06-23 Method and apparatus of face independent coding structure for vr video

Publications (2)

Publication Number Publication Date
CN109076232A CN109076232A (zh) 2018-12-21
CN109076232B true CN109076232B (zh) 2021-05-28

Family

ID=60678160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780025220.1A Active CN109076232B (zh) 2016-06-23 2017-06-23 视频编码或解码方法与装置

Country Status (7)

Country Link
US (1) US20170374364A1 (zh)
CN (1) CN109076232B (zh)
DE (1) DE112017003100T5 (zh)
GB (1) GB2566186B (zh)
RU (1) RU2715800C1 (zh)
TW (1) TWI655862B (zh)
WO (1) WO2017220012A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US20190289316A1 (en) * 2018-03-19 2019-09-19 Mediatek Inc. Method and Apparatus of Motion Vector Derivation for VR360 Video Coding
WO2019199637A1 (en) * 2018-04-11 2019-10-17 Alcacruz Inc. Digital media system
WO2019240425A1 (ko) 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
KR20190140387A (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
TWI822863B (zh) 2018-09-27 2023-11-21 美商Ｖｉｄ衡器股份有限公司 360度視訊寫碼樣本導出

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607568A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 立体街景视频投影方法及系统
WO2015060523A1 (ko) * 2013-10-24 2015-04-30 엘지전자 주식회사 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
EP1868347A3 (en) * 2006-06-16 2010-07-14 Ericsson AB Associating independent multimedia sources into a conference call
CN102474638B (zh) * 2009-07-27 2015-07-01 皇家飞利浦电子股份有限公司 组合3d视频与辅助数据
KR20110090511A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 통신 기기에서 3차원 영상을 위한 영상 처리 방법 및 장치
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
KR101626683B1 (ko) * 2011-08-30 2016-06-01 인텔 코포레이션 멀티뷰 비디오 코딩 방안
CN110225356B (zh) * 2013-04-08 2024-02-13 Ge视频压缩有限责任公司 多视图解码器
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US9172909B2 (en) * 2013-10-29 2015-10-27 Cisco Technology, Inc. Panoramic video conference
GB2536232B (en) * 2015-03-09 2021-09-15 Advanced Risc Mach Ltd Graphics Processing Systems
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015060523A1 (ko) * 2013-10-24 2015-04-30 엘지전자 주식회사 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치
CN103607568A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 立体街景视频投影方法及系统

Also Published As

Publication number Publication date
GB2566186B (en) 2021-09-15
TW201813392A (zh) 2018-04-01
TWI655862B (zh) 2019-04-01
DE112017003100T5 (de) 2019-04-11
WO2017220012A1 (en) 2017-12-28
GB2566186A (en) 2019-03-06
US20170374364A1 (en) 2017-12-28
CN109076232A (zh) 2018-12-21
GB201819117D0 (en) 2019-01-09
RU2715800C1 (ru) 2020-03-03

Similar Documents

Publication Publication Date Title
CN109076232B (zh) 视频编码或解码方法与装置
CN109417634B (zh) 使用虚拟参考帧的用于虚拟现实视频的帧间编码方法及装置
US10972730B2 (en) Method and apparatus for selective filtering of cubic-face frames
CN109076240B (zh) 将全向图像映射到布局输出格式的方法和装置
US11546511B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
US11553168B2 (en) Image data encoding/decoding method and apparatus
US20170353737A1 (en) Method and Apparatus of Boundary Padding for VR Video Processing
TWI702835B (zh) Vr360 視訊編解碼的運動向量推導方法和裝置
TWI637356B (zh) 將全向圖像映射到佈局輸出格式的方法和裝置
US20240161380A1 (en) Mpi layer geometry generation method using pixel ray crossing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant