CN109600597A - 用于处理360°vr帧序列的方法及装置 - Google Patents

用于处理360°vr帧序列的方法及装置 Download PDF

Info

Publication number
CN109600597A
CN109600597A CN201811141144.3A CN201811141144A CN109600597A CN 109600597 A CN109600597 A CN 109600597A CN 201811141144 A CN201811141144 A CN 201811141144A CN 109600597 A CN109600597 A CN 109600597A
Authority
CN
China
Prior art keywords
subframe
frame
frame sequences
rectangle
entire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811141144.3A
Other languages
English (en)
Inventor
林鸿志
林建良
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109600597A publication Critical patent/CN109600597A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了用于处理360°VR帧序列的方法以及装置。根据本发明一方法，接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面。将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容。提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据，以致可以对前视图与后视图独立地编解码，降低编解码相关性。

Description

用于处理360°VR帧序列的方法及装置
技术领域
本发明涉及360°视频，特别地，本发明涉及将来自360°VR视频序列的每一360°VR帧的一组多面体的多个面重排成前视图(front view)子帧以及后视图(rear view)子帧。可以将视频编解码应用于具有约束的编解码参数的360°VR视频序列的子帧。
背景技术
360°视频也称沉浸式视频，是一种新兴的技术，其可以提供“现场般的感受”。沉浸式的体验由用环绕的场景环绕用户来覆盖全景视野来实现，特别地，360°视场(field ofview)。“现场般的感受”可以由立体式渲染来进一步提升。因此，全景视频正广泛地用于虚拟现实(VR)应用中。
沉浸式视频涉及使用多个摄像机捕获场景来覆盖全景视野，例如360°视场。沉浸式摄像机通常使用一组摄像机，用于捕获360°视场。典型地，两个或多个摄像机用于沉浸式摄像机。所有视频必须要同时捕获并记录场景的分离片段(也称分离视角(separateperspectives))。此外，这组摄像机通常用于水平地捕获视图，而这些摄像机的其他配置也是可能的。
图1示出了球面坐标中360°VR图像的示例，z轴对应于极轴(polar axis)以及垂直于极轴的平面穿过x轴以及y轴。点P是由(r，θ，)表示的球面坐标，其中r表示点P到原点O的距离，θ表示天顶角(zenith angle)以及表示方位角(azimuth angle)，θ的范围是从0°到180°以及的范围是从0°到360°。
图2示出了用于将360°球面全景图像转换成立方体面帧(cubic-face frame)的示例性处理进程。可以使用360°球面全景摄像机捕获多个360°球面全景图像，球面图像处理单元210接收来自一个或多个3D摄像机的原始数据来形成360°球面全景图像，球面图像处理可以包括图像拼接(image stitching)以及摄像机校准(camera calibration)。球面图像处理在本领域是公知的技术，本发明中相关细节不再赘述。来自球面图像处理单元的360°球面全景图像的示例示于图像212中。如果摄像机是定向为顶部向上，360°球面全景图像的顶边对应于垂直顶部(或天空)以及底边侧指向于地面。然而，如果摄像机装配有陀螺仪(gyro)，不管摄像机如何定向，总是可以确定垂直顶部的方向。在360°球面全景格式中，场景中的内容好像是失真的，通常，球面格式被投影到立方体的表面作为可选的360°格式。可以由投影转换单元220执行转换来导出对应于立方体230的六个面的六个面图像222。在立方体的面上，这六个图像在立方体的边缘上连接。
除了立方体格式，还有其他多面体格式正在被使用。图3示出了包括立方体格式310(也是六个面)、八面体格式320(也就是八个面)以及二十面体格式330(也就是二十个面)的多面体格式的示例。与各种多面体格式有关的3D图像可以被转换成2D图像。例如，连接的面图像的展开结构可以用于360°VR帧，在图3中，示出了立方体的展开结构315、八面体的展开结构325以及二十面体的展开结构335。图4示出了对应于等矩形格式410中的3D图像的立方体412、八面体414以及二十面体416相关联的展开图像的示例。
如图4的示例所示，360°图像表示360°×180°环绕3D摄像机的整个视场(field ofview，FOV)。3D图像生成用于打印以及全景虚拟旅游产品的异常高质量以及高分辨率的全景视频。360°×180°图像可以在3D显示设备上显示来使观察者观察360°×180°图像。然而，在实际使用中，观察者可以一次仅看部分视图，例如前视图中的预定的ROI(兴趣区域)或后视图中的其他区域。例如，在音乐会中，用于360VR视频中的一个单一侧(例如，前FOV＝180°×180°)的视频内容可以比另一侧(例如，后FOV＝180°×180°)更有意思。前视图主要包括表演者和或歌手以及后视图主要包括听众。在这一示例中，观察者大部分时间愿意将注意力集中于前视图上。在另一示例中，传输带宽可能是不足以传输整个360VR视频比特流，因此，需要能够递送部分360VR视频，本发明中360VR视频也称为360°VR视频。
因此，急需开发技术来生成用于实际使用或带宽节省的可用的部分360°VR视频。
发明内容
本发明公开了用于处理360°VR帧序列的方法以及装置，使前视图与后视图能够独立地被编码，并降低他们之间的编解码相关性。根据本发明一方法，接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面。将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容。提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据
所述多面体格式可以对应于具有六个面的立方体格式、具有八个面的八面体格式或者具有二十个面的二十面体格式。每一所述一组面被重排进具有或不具有空白区域的所述矩形的整个VR帧中。通过将多面体的多个面的展开图像填充进目标矩形中、将在所述目标矩形之外的任何面或任何部分面移动到所述目标矩形中未使用的区域中，以及填充所述空白区域，来从所述多面体的多个面的展开图像中导出具有空白区域的每一所述矩形的整个VR帧。决定所述目标矩形中的目标紧凑矩形，以及移动具有空白区域的每一所述矩形的整个VR帧的所选择面或部分面来填充所述空白区域来形成不具有空白区域的所述矩形的整个VR帧。在一个实施例中，所述前子帧以及所述后子帧对应于所述矩形的整个VR帧的左半部分以及右半部分，或者对应于所述矩形的整个VR帧的上半部分或下半部分。
在一个实施例中，所述360°VR帧序列处理可以进一步包括通过使用对应于一个或多个先前已编码前子帧的第一参考数据处理每一所述矩形的整个VR帧中的当前前子帧，以及使用对应于一个或多个先前已编码后子帧的第二参考数据处理每一所述矩形的整个VR帧中的当前后子帧来将所述重排的360°VR帧序列编码成压缩的比特流，并提供所述压缩的比特流。所述对所述重排的360°VR帧序列进行编码包括将每一所述矩形的整个VR帧分割成对应于每一所述矩形的整个VR帧中的所述前子帧以及所述后子帧的两个切片或两个方块。所述对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的整数运动搜索或仅使用所述一个或多个先前已编码后子帧执行所述后子帧的整数运动搜索。所述对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧减去所述前子帧与所述后子帧之间的多个边界线来执行所述前子帧的分数像素运动搜索，或者仅使用所述一个或多个先前已编码后子帧减去所述前子帧与所述后子帧之间的所述多个边界线来执行所述后子帧的所述分数像素运动搜索。所述对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的运动搜索，其中用所述先前已编码前子帧的边界像素替换在所述先前已编码前子帧外的任何参考像素；或者仅使用所述一个或多个先前已编码后子帧执行所述后子帧的所述运动搜索，其中用所述先前已编码后子帧的边界像素替换所述先前已编码后子帧外的任何参考像素。
所述对所述重排的360°VR帧序列进行编码包括对所述前子帧或所述后子帧的重构像素执行环路滤波，其中如果所述环路滤波涉及穿过所述前子帧与所述后子帧之间的子帧边界的任何像素，所述环路滤波对边界重构像素是禁用的。所述环路滤波对应于去块滤波、样本自适应滤波或者其组合。由在图像参数集、切片数据头或两者中的一个或多个语法元素指示所述环路滤波是否是禁用的。所述对所述重排的360°VR帧序列进行编码包括发信一个或多个语法元素来禁用环路滤波。
本发明公开了对360°VR帧序列进行解码的一种方法。接收与所述360°VR帧序列有关的压缩的比特流，其中每一360°VR帧包括与多面体格式有关的一组面。根据视图选择对所述压缩的比特流进行解码来重构每一所述360°VR帧的当前前子帧或当前后子帧，其中使用对应于一个或多个先前已编码前子帧的第一参考数据对所述当前前子帧进行解码以及使用对应于一个或多个先前已编码后子帧的第二参考数据对所述当前后子帧进行解码。根据所述视图选择，显示对应于所述当前前子帧的前视图，其中通过将所述当前前子帧重排成与表示第一视场的所述多面体格式有关的一组前表面，所述第一视场覆盖前180°×180°视野，或者显示对应于所述当前后子帧的后视图，其中通过将所述当前后子帧重排成与表示第二视场的所述多面体格式有关的一组后表面，所述第二视场覆盖后180°×180°视野。当所述视图选择被切换到在给定360°VR帧的新的视图选择时，根据在瞬时解码器刷新360°VR帧的所述新的视图选择，所述对所述压缩的比特流进行解码开始重构新的前子帧或新的后子帧。
本发明通过合适的面布局重排正常的多面体投影格式分离前视图以及后视图，再用约束的编解码参数对重排的布局格式进行编码，以致前视图与后视图可以独立的被编解码，降低前视图与后视图的编码之间的编解码相关性。
附图说明
图1示出了球面坐标中360°VR图像的示例，其中z轴对应于极轴以及垂直与极轴的平面穿过x轴以及y轴。
图2示出了用于将360°球面全景图像转换成立方体面帧的示例性处理进程。
图3示出了包括立方体格式(也就是六个面)、八面体格式(也就是八个面)以及二十面体格式(也就是二十个面)的多面体格式的示例。
图4示出了对应于立方体、八面体以及二十面体的等矩形格式中3D图像的展开图像的示例。
图5示出了根据本发明实施例的示例性系统，来将360°VR图帧重排成子帧以及对重排的360°VR帧进行编码或解码。
图6示出了来自观察者站立点的两个180°×180°视图(也就是前视图以及后视图)的示例。
图7示出了通过将立方体面分割成前半部分和后半部分来将立方体格式中的360VR帧重排成两个子帧的示例。
图8示出了紧凑格式中重排的多个子帧重排成的示例，其中两个半左面(也就是面2)用于填充中顶部以及中底部的空白区域。
图9示出了紧凑格式中重排的多个子帧重排成的另一个示例，其中两个半顶面(也就是面1)用于填充底部的空白区域。
图10示出了通过将多个面分成两半部分(也就是，前半部分与后半部分)来将八面体格式中360VR帧重排成两个子帧的示例。
图11示出了将八面体的多个面重排成不具有空白区域的两个重排的八面体子帧的示例，其中八面体的多个面的运动由块中的箭头所指示。
图12示出了将八面体的多个面重排成不具有空白区域的两个重排的八面体子帧的另一个示例，其中第一阶段中八面体的多个面的运动如箭头所指示
图13示出了通过将多个面分割成两半部分(也就是前半部分以及后半部分)来将二十面体格式中360VR帧重排成两个子帧的示例。用空白区域填充重排的二十面体的多个面来形成矩形帧。
图14示出了将二十面体的多个面重排成不具有空白区域的两个重排的二十面体子帧的示例，其中二十面体的多个面的运动由箭头所指示。
图15示出了根据本发明实施例的基于切片(slice)结构的帧分割的示例。
图16示出了根据本发明实施例的基于方块(tile)结构的帧分割的示例。
图17示出了用于整数运动向量的约束的运动搜索的示例，其中当前帧被分割成对应于前视图的方块#0以及对应于后视图的方块#1。
图18示出了用于分数像素运动向量的约束的运动搜索的示例，对于分数像素运动搜索，插值(interpolation)用于导出分数像素运动向量。
图19示出了根据本发明实施例的具有所选择的视图的解码进程的示例。
图20示出了根据本发明实施例的将360VR帧重排成对应于前视图以及后视图的多个子帧的系统的示例性流程图。
图21示出了根据本发明实施例的使用重排的360VR帧的360°VR解码系统的示例性流程图。
具体实施方法
后续的描述是实施本发明的最佳实施方法，所做的这一描述是为了说明本发明的基本原理并不应对此做限制性理解。本发明的范围由参考所附权利要求最佳确定。
如上所提到的，在一些应用中，整个360°视图可能不需要同时呈现给观察者。如果360°视图视频数据可以被适当地排列，其可能提供所需要的部分视图数据，因此，仅需要检索、处理、显示或传输与部分视图有关的数据。因此，本发明公开了重新排列360°视图视频数据的方法以致可以检索、处理、显示或传输部分视图数据(例如，前视图或后视图)。图5中示出了根据本发明的系统框图的示例，其中3D捕获装置510提供捕获的VR视频到360VR视频转换单元520，其将VR视频帧转换成多面体格式，例如立方体格式、八面体格式或二十面体格式。然后使用布局重排单元530生成与多面体格式有关的部分视图数据，与多面体格式有关的部分视图数据可以被存储或传输。
因为VR视频数据的量通常很大，其需要在存储或传输数据之前压缩数据。因此，示出的视频编码器540用于压缩来自布局重排单元530的输出数据，在重排之后，部分视图数据不再是全向的。在这种情况下，一些编码操作如运动估计及运动补偿将被限于某些区域。根据布局重排进程可以决定与编码约束有关的信息，以及可以提供约束的编码参数550到视频编码器540用于适当的编码进程，可以存储或传输(例如，通过流媒介)来自视频编码器540的输出，用于传输或存储的环节未在图5的信号处理进程中示出。
在观看者端，从传输链路或网络接收压缩的数据，或者从存储器读取压缩的数据。然后使用视频解码器560对压缩的数据进行解码来重构部分视图数据。然后使用图像渲染单元570对重构的部分视图数据进行渲染来生成用于在显示装置580上显示的合适的VR数据。根据本发明，整个360VR视频可以分割成部分视图视频中。基于所选择的视图，可以传输/减少以及解码对应的部分视图。可以提供视图选择信息到视频解码器570来重构所需要的部分视图数据。
布局重排单元520接收包括所选择多面体格式中多个360VR视频帧的360VR视频序列。每一视频帧表示环绕所述捕获装置的360°×180°视图中的内容。根据本发明的实施例，每一360VR视频帧被重排列成两个分离的180°×180°子帧，其中一个对应于前180°×180°内容以及另一个对应于后180°×180°内容。这两个子帧形成用于编码的整个视频帧，重排的布局可能有两种可能的类型：非紧凑类型(也就是具有空白区域的视频帧)以及紧凑类型(也就是不具有空白区域的视频帧)。重排的布局的信息可以在比特流中发信或是预定义的，以致解码器可以正确地从多个子帧中导出整个帧。图6示出了来自观察者站立点的两个180°×180°视图(也就是前视图以及后视图)的示例。
图7示出了通过将立方体面分割成两个半部分(也就是前半部分以及后半部分)来将立方体格式中的360VR帧重排成两个子帧的示例。立方体710包括六个面，以及来自当前视角的三个可视面标记为顶(1)、左(2)以及前(3)，另外三个不可视面对应于后(5)、底(6)以及右(4)。立方体被分割成对应于来自观察者位置(722)的前视图以及后视图的两个半部分(720)。六个立方体面示于块730中，其中分割成两个视图的多个面(也就是面1、2、4以及6)由穿过立方体的多个面的分割线所指示。根据本发明实施例的重排示于块740中，其中箭头指示图像运动。例如，立方体图像1的上半部分旋转180°并放于立方体图像5的上方。在重排后，重排的整个360VR帧示于块750中，其中空白区域示为灰色。重排的整个360VR帧可以在如虚线755所示的中间拆分，来将其分离成对应于前视图以及后视图的两个子帧。
如块750中示出的重排的360VR帧包括空白区域。根据另一实施例，公开了紧凑的格式，其移除了空白区域。图8示出了将多个子帧重排成紧凑格式的示例，其中两个半左面(也就是面2)用于填充中顶部以及中底部的空白区域。块810中的箭头指示用于两个半左面(也就是面2)的重排以及块820示出了不具有任何空白区域的多个重排的子帧，其中帧可以沿着虚线825分割成两个子帧。
图9示出了将多个子帧重排成紧凑格式的另一个示例，其中两个半顶面(也就是面1)用于填空顶部的空白区域。块910中的箭头指示两个半顶面(也就是面1)的运动以及块920示出了不具有任何空白区域的重排的多个子帧，其中帧可以沿着虚线925分割成两个子帧。
图10示出了通过将面分割成两个半部分(也就是前半部分以及后半部分)来将八面体格式中的360VR帧重排成两个子帧。用空白区域填充重排的八面体的多个面来形成矩形帧。重排的帧可以在如虚线1015所指示的在中间拆分，来形成前视图以及后视图。如块1020所示，为了参考需要重排来形成紧凑格式的面，每一对三角形面的四个部分被设计为具有独立的部分参考(也就是α、β、α以及θ)。图11示出了将八面体的多个面重排成不具有空白区域的两个重排的八面体子帧的示例，其中由块1110中的箭头指示八面体的多个面的运动。块1120示出了与八面体格式有关的重排的整个360VR帧。重排的整个360VR帧在如虚线1125所示的中间容易被拆分成对应于前视图以及后视图的两个子帧。图12示出了将八面体的多个面重排成不具有空白区域的两个重排的八面体子帧的另一个示例，其中由块1210中的箭头指示第一阶段中八面体面的运动。块1220示出了八面体重排的中间阶段，其中，如块1220中箭头所示，面4以及8进一步被拆分成左半部分以及右半部分来填充到中间帧的未占用的凹形区域。块1230示出了与八面体格式有关的重排的整个360VR帧。重排的整个360VR帧可以在如虚线1235所指示的中间容易地拆分成对应于前视图以及后视图的两个子帧。
图13示出了通过将多个面拆分成两个半部分(也就是前半部分以及后半部分)来将二十面体格式中的360VR帧重排成两个子帧的示例。用空白区域填充重排的二十面体的多个面来形成矩形帧。在图13中，在帧的左边缘以及右边缘的面G以及M被拆分来节约空间。重排的帧可以在如虚线1310所指示的中间被拆分来形成前视图以及后视图。为了参考需要被重排来形成紧凑格式的面，如块1320所示，每一对三角形面的四个部分被设计为具有独立的部分参考(也就是，α、β、λ以及θ)。图14示出了将二十面体的多个面重排为不具有空白区域的两个重排的八面体子帧的示例，其中由块1410中的箭头指示二十面体的多个面的运动。块1420示出了与八面体格式有关的重排的整个360VR帧。重排的整个360VR帧可以在如虚线1425所指示的中间容易地拆分成对应于前视图以及后视图的两个子帧。
根据本发明一实施例，提供对应于前视图以及后视图的重排的面布局的视频数据给视频编码器用于视频压缩。预期应用之一是允许检索或显示与部分视图有关的视图数据，而不需要存取整个视图视频数据。因此，需要应用某些约束来实现这一目标。
因此，根据本发明实施例，视频编码器包含下列约束的一个或多个：
●约束#1：通过将帧分割成与上述子帧结构对准的两个帧分割(也就是：切片或方块)来对帧进行编码。例如，一个帧分割对应于前180°×180°视图以及另一个对应于后180°×180°视图。
●约束#2：禁用穿过帧分割边界的像素数据的环路滤波控制。
●约束#3：约束运动搜索。例如，当使用整数运动时，由整数运动所指向的前视图(或后视图)的参考区域不应该存取其他帧分割区。当使用分数像素运动(fractional-pelmotion)时，由分数像素运动所指向的前视图(或后视图)的参考区域通过插值相邻整数像素数据来生成。因此，使用位于另一帧分割的相邻像素数据的分数像素运动不允许成为运动候选。
●约束#4：插入周期性IDR(Instantaneous Decoder Refersh，瞬时解码器刷新)
帧用于用户来在IDR帧的前视图以及后视图之间切换。
对于帧分割，本发明一实施例利用切片或方块结构来将帧分割成与对应于前视图以及后视图的两个子帧对准的两个帧分割(也就是两个切片或方块)。切片结构以及方块结构已经广泛的用于各种视频标准中。例如，MPEG-1/2/4、H.264以及H.265支持切片结构以及H.265、VP9以及AV1支持方块结构。图15示出了根据本发明实施例的基于切片结构的帧分割的示例。在块1510中，整个帧1512被分割成分别对应于前180°×180°视图以及后180°×180°视图的内容的左切片以及右切片。在块1520中，整个帧1522被分割成分别对应于前180°×180°视图以及后180°×180°视图的内容的顶切片以及底切片。图16示出了根据本发明实施例的基于方块结构的帧分割的示例。在块1610中，整个帧1612被分割成分别对应于前180°×180°视图以及后180°×180°视图的内容的左方块以及右方块，在块1620中，整个帧1622被分割成分别对应于前180°×180°视图以及后180°×180°视图的内容的顶方块以及底方块。
图17示出了用于整数运动向量的约束的运动搜索的示例。在图17中，帧1710对应于当前帧，其被分割成对应于前视图(1712)的方块#0以及对应于后视图(1714)的方块#1。帧1720对应于参考帧，其被分割成对应于前视图(1722)的方块#0以及对应于后视图(1724)的方块#1。根据本发明实施例，当前方块#0(1712)仅搜索对应的参考区域(也就是对应于前视图(1722)的方块#0)以及当前方块#1仅搜索对应的参考区域(也就是对应于后视图(1724)的方块#1)。当所需要的方块#0参考数据(或所需要的方块#1参考数据)在方块#0子帧(或方块#1子帧)之外时，各种现有技术可以用于处理这一情形。例如，通过使用填充可以创建在参考子帧之外的参考数据。
图18示出了用于分数像素运动向量的约束的运动搜索的示例。对于分数像素运动向量搜索，插值用于导出分数像素运动向量的像素数据。因此，将需要对应的参考区域之外的额外的参考数据。例如，如果使用的H.264采用了6抽头滤波器或者HEVC采用了8抽头滤波器，将需要参考边界周围的3像素或4像素宽参考数据。因此，所需要的方块#0参考数据将需要延伸至方块#1参考区域。根据本发明实施例，方块#0(或方块#1)仅使用来自方块#0参考子帧(或方块#1参考子帧)的参考数据。因此，对于分数像素运动向量导出，在子帧边界附近分数位置的一些参考数据是不可用的。图18中，帧1810对应于当前帧，其被分割成对应于前视图(1812)的方块#0以及对应于后视图(1814)的方块#1。帧1820对应于参考帧，其被分割成对应于前视图(1822)的方块#0以及对应于后视图(1824)的方块#1。根据本发明实施例，当前方块#0(1812)仅搜索对应的参考区域(也就是对应于前视图(1822)的方块#0)以及当前方块#1(1814)仅搜索对应的参考区域(也就是对应于后视图(1824)的方块#1)。此外，对于分数像素位置，在子帧边界的n像素行(对于H.264，n＝3以及对于HEVC，n＝4)是不可用的。另外，当所需要方块#0参考数据(或所需要的方块#1参考数据)在方块#0子帧(或方块#1子帧)之外时，各种现有的技术可以用于处理这一情况，例如，可以通过使用填充创建在参考子帧之外的参考数据。
当显示压缩的VR数据时，需要首先对压缩的VR数据进行解码。根据本发明，因为VR视频压缩使用帧分割来允许各自的前视图或后视图处理。因此，解码进程可以取决于所选择的视图(也就是前视图或后视图)。在一个实施例中，VR编码器可以周期地插入IDR帧或者按需要的允许观察者切换所选择的视图。图19示出了根据本发明实施例的具有所选择视图的解码进程的示例。在这一示例中，最初选择前视图并对第一IDR帧1910的前视图进行解码，其中灰色的子帧指示正在进行解码的视图。如果观看者决定在帧1920的前视图的解码过程中切换到后视图，解码进程切换到在下一个IDR帧1930的后视图。
在高级视频编解码中，已经使用了各种环路滤波器来提升视觉质量和/或减少比特率。通常，环路滤波将使用相邻像素数据，换句话说，在子帧边界，环路滤波将取决于来自其他子帧的像素数据。为了允许正确地解码一个视图而不依赖于其他视图，穿过子帧边界的环路滤波是禁用的。可以从来自控制语法元素识别环路滤波控制的使用。例如，在H.264中，在图像参数集(PPS)中发信环路滤波控制语法元素deblocking_filter_control_present_flag以及在切片数据头中发信语法元素disable_deblocking_filter_idc来控制是否应用去块滤波。在HEVC中，使用了去块滤波以及SAO(sample adaptive offset，样本自适应偏移)滤波两者。例如，在PPS中发信tiles_enabled_flag,loop_filter_across_tiles_enabled_flag、pps_loop_filter_across_slices_enabled_flag,deblocking_filter_control_present_flag、deblocking_filter_override_enabled_flag以及pps_deblocking_filter_disabled_flag。同样也使用了切片层级滤波控制，例如slice_deblocking_filter_disabled_flag、deblocking_filter_override_flag以及slice_loop_filter_across_slices_enabled_flag。根据本发明实施例，通过禁用环路滤波将穿过子帧边界的像素位置处的环路滤波，可以移除多个帧分割之间的环路滤波的关联性。例如，对于deblocking_filter_control_present_flag＝1，通过设置disable_deblocking_filter_idc为2，可以为H.264禁用在穿过切片边界的像素位置的环路滤波。在另一个实施例中，通过设置tiles_enabled_flag＝1以及loop_filter_across_tiles_enabled_flag＝0可以为H.265禁用穿过方块边界的像素位置的环路滤波。
图20示出了根据本发明实施例的将360VR帧重排成对应于前视图以及后视图的子帧的系统的流程图。在这一流程图以及在本发明其他流程图中示出的步骤，可以实施为在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中示出的步骤也可以基于硬件实施，例如一个或多个电子装置或处理器用于执行流程图中的步骤。根据这一方法，在步骤2010中，接收与360°VR帧序列有关的输入数据，其中每一所述360°VR帧包括与多面体格式有关的一组面。在步骤2020中，每一所述一组面被重排成由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容。图7至图14示出了将来自多面体的多个面的360°VR帧重排成子帧的各种示例。在步骤2030中，提供对应于由矩形的整个VR帧的序列组成的重排的360°VR帧序列的数据。所提供的数据可以用于压缩。
图21示出了根据本发明实施例的使用重排的360VR帧的360°VR解码系统的示例性流程图。在步骤2110中，接收与360°VR帧序列有关的压缩的比特流，其中每一360°VR帧包括与多面体格式有关的一组面。在步骤2120中，根据视图选择，对压缩的比特流进行解码来重构每一360°VR帧的当前前子帧或当前后子帧，其中使用对应于一个或多个先前已编码前子帧的第一参考数据对所述当前前子帧进行解码以及使用对应于一个或多个先前已编码的后子帧的第二参考数据对所述当前后子帧进行解码。在步骤2130中，根据视图选择，显示对应于所述当前前子帧的前视图或者显示对应于所述当前后子帧的后视图，其中通过将所述当前前子帧重排成与表示第一视场的多面体格式有关的一组前表面，所述第一视场覆盖前180°×180°视野，其中通过将所述当前后子帧重排成与表示第二视场的所述多面体格式有关的一组后表面，所述第二视场覆盖后180°×180°视野。
以上示出的流程图旨在作为示例来说明本发明的实施例，本领域技术人员可以在不背离本发明精神的情况下，通过修正单个步骤、拆分或组合步骤来实施本发明。
以上所做之描述是为了能让本领域技术人员在特定应用及其需求的上下文中实施本发明，所描述实施例的各种修正对本领域技术人员将是显而易见的，以及此处所定义的基本原理也可以应用于其他实施例。因此，本发明不旨在限于所示出及所描述的特定实施例，而是与此处所公开的原理以及新颖特征一致的最宽范围。在上述细节描述中，所示出的特定细节是为了提供本发明的透彻理解，然而，本领域技术人员能够理解，可以实施本发明。
上述的本发明的实施例可以以各种硬件、软件及其组合来实施。例如，本发明的实施例可以是集成到视频压缩芯片的一个或多个电子装置或集成到视频压缩软件的程序代码来执行此处所描述的处理。本发明的实施例也可也是在数字信号处理器上执行的程序代码来执行此处所描述的处理。本发明也涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)所执行的许多功能。这些处理器可以用于执行根据本发明的特定任务，通过执行定义由本发明实施的特定方法的机器可读软件代码或固件代码。软件代码或固件代码可以一不同的程序语言以及不同的格式或风格开发，软件代码也可以为不同的目标平台所编译。然而，软件代码的不同的代码格式、风格和语言以及配置代码来执行与本发明一致特定任务一致的其他方法将不背离本发明的精神以及范围。
本发明可以以其他特定形式实施而不背离其精神或基本特征。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求来指示而非前述的描述。在本发明方法以及权利要求等同范围内的所有变化将在其范围内。

Claims (20)

1.一种处理360°VR帧序列的方法，其特征在于，所述方法包括：
接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面；
将每一所述一组面重排进由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场的第二内容；以及
提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据。
2.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，其中所述多面体格式对应于具有六个面的立方体格式、具有八个面的八面体格式或者具有二十个面的二十面体格式。
3.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，其中每一所述一组面被重排进具有空白区域或不具有空白区域的所述矩形的整个VR帧中。
4.如权利要求3所述的处理360°VR帧序列的方法，其特征在于，其中通过将多面体的多个面的展开图像填充进目标矩形中，将在所述目标矩形之外的任何面或任何部分面移动到所述目标矩形中未使用的区域中，以及填充所述空白区域，来从所述多面体的多个面的所述展开图像中导出具有空白区域的每一所述矩形的整个VR帧。
5.如权利要求3所述的处理360°VR帧序列的方法，其特征在于，其中决定所述目标矩形中的目标紧凑矩形，以及移动具有空白区域的每一所述矩形的整个VR帧的所选择的面或部分面来填充所述空白区域来形成不具有空白区域的所述矩形的整个VR帧。
6.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，其中所述前子帧以及所述后子帧对应于所述矩形的整个VR帧的左半部分以及右半部分，或者对应于所述矩形的整个VR帧的上半部分或下半部分。
7.如权利要求1所述的处理360°VR帧序列的方法，其特征在于，进一步包括通过使用对应于一个或多个先前已编码前子帧的第一参考数据处理每一所述矩形的整个VR帧中的当前前子帧以及使用对应于一个或多个先前已编码后子帧的第二参考数据处理每一所述矩形的整个VR帧中的当前后子帧来将所述重排的360°VR帧序列编码成压缩的比特流，并提供所述压缩的比特流。
8.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括将每一所述矩形的整个VR帧分割成对应于每一所述矩形的整个VR帧中的所述前子帧以及所述后子帧的两个切片或两个方块。
9.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的整数运动搜索或仅使用所述一个或多个先前已编码后子帧执行所述后子帧的整数运动搜索。
10.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧减去所述前子帧与所述后子帧之间的多个边界线来执行所述前子帧的分数像素运动搜索，或者仅使用所述一个或多个先前已编码后子帧减去所述前子帧与所述后子帧之间的所述多个边界线来执行所述后子帧的所述分数像素运动搜索。
11.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括仅使用所述一个或多个先前已编码前子帧执行所述前子帧的运动搜索，其中用所述先前已编码前子帧的边界像素替换在所述先前已编码前子帧外的任何参考像素；或者仅使用所述一个或多个先前已编码后子帧执行所述后子帧的所述运动搜索，其中用所述先前已编码后子帧的边界像素替换所述先前已编码后子帧外的任何参考像素。
12.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中对所述重排的360°VR帧序列进行编码包括对所述前子帧或所述后子帧的重构像素执行环路滤波，其中如果所述环路滤波涉及穿过所述前子帧与所述后子帧之间的子帧边界的任何像素，所述环路滤波对边界重构像素是禁用的。
13.如权利要求12所述的处理360°VR帧序列的方法，其特征在于，其中所述环路滤波对应于去块滤波、样本自适应偏移滤波或者其组合。
14.如权利要求12所述的处理360°VR帧序列的方法，其特征在于，其中由在图像参数集、切片数据头或两者中的一个或多个语法元素指示所述环路滤波是否是禁用的。
15.如权利要求7所述的处理360°VR帧序列的方法，其特征在于，其中所述对所述重排的360°VR帧序列进行编码包括发信一个或多个语法元素来禁用环路滤波。
16.一种用于处理360°VR帧序列的装置，所述装置包括一个或多个电子电路或处理器，其特征在于，所述一个或多个电子电路或处理器用于：
接收与所述360°VR帧序列有关的输入数据，其中每一360°VR帧包括与多面体格式有关的一组面；
将每一所述一组面重排成由前子帧以及后子帧组成的矩形的整个VR帧，其中所述前子帧对应于覆盖前180°×180°视野的第一视场中的第一内容以及所述后子帧对应于覆盖后180°×180°视野的第二视场中的第二内容；以及
提供对应于包括所述矩形的整个VR帧的序列的重排的360°VR帧序列的输出数据。
17.如权利要求16所述的用于处理360°VR帧序列的装置，其特征在于，所述装置进一步用于：通过使用对应于一个或多个先前已编码前子帧的第一参考数据来处理每一所述矩形的整个VR帧中的当前前子帧，以及使用对应于一个或多个先前已编码的后子帧的第二参考数据来处理每一所述矩形的整个VR帧中的当前后子帧，将所述重排的360°VR帧序列编码成压缩的比特流。
18.一种对360°VR帧序列进行解码的方法，其特征在于，所述方法包括：
接收与所述360°VR帧序列有关的压缩的比特流，其中每一360°VR帧包括与多面体格式有关的一组面；
根据视图选择对所述压缩的比特流进行解码来重构每一所述360°VR帧的当前前子帧或当前后子帧，其中使用对应于一个或多个先前已编码前子帧的第一参考数据对所述当前前子帧进行解码以及使用对应于一个或多个先前已编码后子帧的第二参考数据对所述当前后子帧进行解码；以及
根据所述视图选择，显示对应于所述当前前子帧的前视图或者显示对应于所述当前后子帧的后视图，其中通过将所述当前前子帧重排成与表示第一视场的所述多面体格式有关的一组前表面，所述第一视场覆盖前180°×180°视野，其中通过将所述当前后子帧重排成与表示第二视场的所述多面体格式有关的一组后表面，所述第二视场覆盖后180°×180°视野。
19.如权利要求18所述的对360°VR帧序列进行解码的方法，其特征在于，其中当所述视图选择被切换到在给定360°VR帧的新的视图选择时，根据在瞬时解码器刷新360°VR帧的所述新的视图选择，所述对所述压缩的比特流进行解码开始重构新的前子帧或新的后子帧。
20.一种用于处理360°VR帧序列的装置，所述装置包括一个或多个电子电路或处理器，其特征在于，所述一个或多个电子电路或处理器用于：
接收与所述360°VR帧序列有关的压缩的比特流，其中每一360°VR帧包括与多面体格式有关的一组面；
根据视图选择对所述压缩的比特流进行解码来重构每一所述360°VR帧的当前前子帧或当前后子帧，其中使用对应于一个或多个先前已编码前子帧的第一参考数据对所述当前前子帧进行解码以及使用对应于一个或多个先前已编码后子帧的第二参考数据对所述当前后子帧进行解码；以及
根据所述视图选择，显示对应于所述当前前子帧的前视图或者显示对应于所述当前后子帧的后视图，其中通过将所述当前前子帧重排成与表示第一视场的所述多面体格式有关的一组前表面，所述第一视场覆盖前180°×180°视野，其中通过将所述当前后子帧重排成与表示第二视场的所述多面体格式有关的一组后表面，所述第二视场覆盖后180°×180°视野。
CN201811141144.3A 2016-10-04 2018-09-28 用于处理360°vr帧序列的方法及装置 Pending CN109600597A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662403732P 2016-10-04 2016-10-04
US15/722,734 2017-10-02
US15/722,734 US20180098090A1 (en) 2016-10-04 2017-10-02 Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters

Publications (1)

Publication Number Publication Date
CN109600597A true CN109600597A (zh) 2019-04-09

Family

ID=61758584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811141144.3A Pending CN109600597A (zh) 2016-10-04 2018-09-28 用于处理360°vr帧序列的方法及装置

Country Status (3)

Country Link
US (1) US20180098090A1 (zh)
CN (1) CN109600597A (zh)
TW (1) TW201916685A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
KR102442089B1 (ko) * 2017-12-20 2022-09-13 삼성전자주식회사 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
KR102503743B1 (ko) * 2018-04-11 2023-02-28 삼성전자주식회사 이미지 처리 장치 및 방법
CN110769260A (zh) * 2018-07-27 2020-02-07 晨星半导体股份有限公司 视频解码装置与视频解码方法
WO2021027767A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Position restriction for inter coding mode
US20220210396A1 (en) * 2019-08-29 2022-06-30 Hermelo Miranda Systems and Method for Capturing, Processing, and Displaying a 360o Video
JP7322290B2 (ja) 2019-10-02 2023-08-07 北京字節跳動網絡技術有限公司 ビデオビットストリームにおけるサブピクチャシグナリングのための構文
BR112022007408A2 (pt) 2019-10-18 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de vídeo, e, meio legível por computador
WO2021139806A1 (en) * 2020-01-12 2021-07-15 Beijing Bytedance Network Technology Co., Ltd. Constraints for video coding and decoding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450816A (zh) * 2003-04-22 2003-10-22 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
CN106127681A (zh) * 2016-07-19 2016-11-16 刘牧野 一种图像采集方法、虚拟现实图像传输方法及显示方法
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
CN106341673A (zh) * 2016-08-15 2017-01-18 李文松 一种新型2d/3d全景vr视频的存储方法
US20170046820A1 (en) * 2015-08-12 2017-02-16 Gopro, Inc. Equatorial Stitching of Hemispherical Images in a Spherical Image Capture System
US20170251204A1 (en) * 2016-02-26 2017-08-31 Qualcomm Incorporated Independent multi-resolution coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
EP3758379A3 (en) * 2013-04-08 2021-02-24 GE Video Compression, LLC Coding concept allowing efficient multi-view/layer coding
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US11184624B2 (en) * 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450816A (zh) * 2003-04-22 2003-10-22 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
US20170046820A1 (en) * 2015-08-12 2017-02-16 Gopro, Inc. Equatorial Stitching of Hemispherical Images in a Spherical Image Capture System
US20170251204A1 (en) * 2016-02-26 2017-08-31 Qualcomm Incorporated Independent multi-resolution coding
CN106127681A (zh) * 2016-07-19 2016-11-16 刘牧野 一种图像采集方法、虚拟现实图像传输方法及显示方法
CN106341673A (zh) * 2016-08-15 2017-01-18 李文松 一种新型2d/3d全景vr视频的存储方法
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统

Also Published As

Publication number Publication date
US20180098090A1 (en) 2018-04-05
TW201916685A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109600597A (zh) 用于处理360°vr帧序列的方法及装置
EP3669333B1 (en) Sequential encoding and decoding of volymetric video
US10264282B2 (en) Method and apparatus of inter coding for VR video using virtual reference frames
US11049314B2 (en) Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
WO2019174542A1 (en) Method and apparatus of loop filtering for vr360 videos
EP3669330A1 (en) Encoding and decoding of volumetric video
US11343504B2 (en) Apparatus and method for picture coding with selective loop-filtering
KR20190029735A (ko) 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법
WO2018196682A1 (en) Method and apparatus for mapping virtual-reality image to a segmented sphere projection format
WO2019179418A1 (en) Method and apparatus of motion vector derivation for vr360 video coding
CN109314791A (zh) 将沉浸式视频格式化以用于传统呈现设备和沉浸式呈现设备的方法、装置和流
US20200267385A1 (en) Method for processing synchronised image, and apparatus therefor
US20180338160A1 (en) Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images
KR20220127258A (ko) 뷰-유도 스펙큘러리티를 갖는 볼류메트릭 비디오를 코딩 및 디코딩하기 위한 방법 및 장치
WO2018109265A1 (en) A method and technical equipment for encoding media content
WO2019174626A1 (en) Method and apparatus of block partition for vr360 video coding
JP2022513487A (ja) 没入型ビデオビットストリーム処理
US20220368879A1 (en) A method and apparatus for encoding, transmitting and decoding volumetric video
US11653025B2 (en) Coding and decoding of an omnidirectional video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190409