CN110506291B - 一种视频处理方法和装置 - Google Patents

一种视频处理方法和装置 Download PDF

Info

Publication number
CN110506291B
CN110506291B CN201880021136.7A CN201880021136A CN110506291B CN 110506291 B CN110506291 B CN 110506291B CN 201880021136 A CN201880021136 A CN 201880021136A CN 110506291 B CN110506291 B CN 110506291B
Authority
CN
China
Prior art keywords
projection
resampling
projection surface
plane
resampled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021136.7A
Other languages
English (en)
Other versions
CN110506291A (zh
Inventor
李亚璇
王鹏
林建良
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110506291A publication Critical patent/CN110506291A/zh
Application granted granted Critical
Publication of CN110506291B publication Critical patent/CN110506291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

一种视频处理方法，包括：从球体的全向内容获得多个投影面，并通过以非均匀映射重新采样该多个投影面的至少一部分来获得重新采样投影面。该球体的该全向内容是通过360度虚拟实境(360VR)投影映射至该多个投影面上。该投影面具有第一来源区域和第二来源区域。该重新采样投影面具有第一重新采样区域和第二重新采样区域。该第一重新采样区域通过以第一采样密度重新采样该第一来源区域来导出。该第二重新采样区域通过以不同于该第一采样密度的第二采样密度重新采样该第二来源区域来导出。

Description

一种视频处理方法和装置
相关引用
本发明主张在2017年4月5日提出的第62/481,714号的美国临时专利申请的优先权，该申请案以引用的方式并入本文。
技术领域
本发明涉及处理全向图像/视频内容的处理，且更具体而言，其涉及用于处理具有使用非均匀映射生成的至少一个投影面的基于投影的帧的方法和装置。
背景技术
使用头戴式显示(head-mounted display，简称HMD)的虚拟实境(virtualreality，简称VR)有各种应用方式。其中，将广阔的视野内容呈现给使用者的能力可用于提供身临其境的视觉体验。若要取得对应至一个球体的全向影像/视频内容，必须补捉真实世界环境的所有影像/视频信息。随着相机及头戴式显示设备的进步，由于重现此种360度影像/视频内容需要高比特率(bitrate)，虚拟实境内容的传送可能即将成为技术发展的瓶颈。当全向视频的分辨率为4K或更高时，数据的压缩及编码对于降低比特率而言就显得极其重要。
一般而言，对应球体的全向影像/视频内容会被转换为一系列的影像，而每个影像皆为具有360度影像/视频内容的基于投影的帧(projection-based frame)，基于投影的帧由以360度虚拟实境(360VR)投影布局排列的一或多个投影面表示。而后，这一系列的基于投影的帧被编码至比特流(bitstream)以进行传输。如果未正确将全向影像/视频内容投影至包装于360VR投影布局中的投影面上，压缩后的影像质量和/或编解码效率可能会不佳。
发明内容
所要求保护的本发明的目的之一在于，提供一种用于处理具有使用非均匀映射生成的至少一个投影面的基于投影的帧的方法和装置。
根据本发明的第一方面，揭露了一种示范性的视频处理方法。所述示范性视频处理方法包括：从球体的全向内容获得至少一个投影面，其中球体的全向内容经由360度虚拟实境(360VR)投影映射到该至少一个投影面，并且该至少一个投影面包括第一投影面；使用重新采样电路通过非均匀映射在第一投影面上重新采样至少一个部分，以获得第一重新采样投影面，其中，第一投影面具有第一来源区域及第二来源区域，而第一重新采样投影面则具有第一重新采样区域及第二重新采样区域，其中，第一重新采样区域是以第一采样密度重新采样第一来源区域所导出，而第二重新采样区域则是以与第一采样密度不同的第二采样密度重新采样第二来源区域所导出；根据360VR投影的投影布局生成基于投影的帧，其中基于投影的帧包含包装于投影布局内的第一重新采样投影面；以及将基于投影的帧编码以生成比特流的一部分。
根据本发明的第二方面，揭露了一种示范性的视频处理方法。所述示范性视频处理方法包括：接收比特流的一部分；解码该比特流的该部分以生成基于投影的帧，其中该基于投影的帧具有360度内容，该360度内容由包装在360度虚拟实境(360VR)投影的投影布局中的至少一个投影面表示，且该至少一个投影面包含具有至少一部分由编码器侧的非均匀映射创建的第一投影面；使用重新采样电路通过编码器侧的反向非均匀映射在第一投影面上重新采样至少一个部分，以获得第一重新采样投影面，其中，第一投影面具有第一来源区域及第二来源区域，而第一重新采样投影面则具有第一重新采样区域及第二重新采样区域，其中，第一重新采样区域是以第一采样密度重新采样第一来源区域所导出，而第二重新采样区域则是以与第一采样密度不同的第二采样密度重新采样第二来源区域来导出。
此外，本发明提供了与上述视频处理方法相关联的视频处理装置。
在阅读以下对各图及图式中所例示的优选实施例的详细说明之后，本发明的这些及其它目标无疑将对所属技术领域的技术人员显而易见。
附图说明
图1是示出根据本发明实施例的360度虚拟实境(360VR)系统的示意图。
图2是示出通过均匀映射重新采样投影面的范例的示意图。
图3是示出根据本发明实施例的均匀映射函数曲线的示意图。
图4是示出根据本发明实施例的通过非均匀映射重新采样投影面的范例的示意图。
图5是示出根据本发明实施例的非均匀映射函数曲线的示意图。
图6是示出根据本发明实施例的通过反向非均匀映射重新采样投影面的范例的示意图。
图7是示出根据本发明实施例的反向非均匀映射函数曲线的示意图。
图8是示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第一替代范例的示意图。
图9是示出根据本发明实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第二替代范例的示意图。
图10是根据本发明实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第三替代范例的示意图。
图11是示出根据本发明实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第四替代范例的示意图。
图12是示出根据本发明实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第五替代范例的示意图。
图13是示出根据本发明实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第六替代范例的示意图。
图14是示出根据本发明实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第七替代范例的示意图。
图15是示出根据本发明实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第八替代范例的示意图。
图16是示出根据本发明实施例的第一替代非均匀映射函数曲线的示意图。
图17是示出根据本发明实施例的第二替代非均匀映射函数曲线的示意图。
图18是示出根据本发明实施例的第三替代非均匀映射函数曲线的示意图。
图19是示出根据本发明实施例的三角投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。
图20是示出根据本发明实施例的矩形投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。
图21是示出根据本发明实施例的四边形投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。
图22是示出根据本发明实施例的圆形投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。
图23是示出根据本发明实施例的等距离长方圆柱投影的非均匀映射的示意图。
图24是示出根据本发明实施例的立方体映射投影的非均匀映射的示意图。
图25是示出根据本发明实施例的分段球体投影的非均匀映射的示意图。
图26是示出根据本发明实施例的视埠立方体投影的非均匀映射的示意图。
图27是示出根据本发明实施例的截断方形金字塔投影的非均匀映射的示意图。
图28是示出根据本发明实施例的截断方形金字塔投影的另一个非均匀映射的示意图。
图29是示出根据本发明实施例的金字塔投影的非均匀映射的示意图。
具体实施方式
本说明书及专利申请范围通篇中所用的某些用语指代特定组件。如所属技术领域的技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个组件。本文并非以名称来区分部件，而是以功能来区分部件。在以下说明书及专利申请范围中，用语“包括”是开放式的限定符语，因此其应被解释为意指“包括但不限于…”。另外，用语“耦合”旨在意指间接电连接或直接电连接。因此，当一个装置耦合到另一装置时，则这种连接可以是直接电连接或通过其他装置及连接部而实现的间接电连接。
图1是示出根据本发明的实施例的360度虚拟实境(360VR)系统的示意图。360VR系统100包含两个视频处理装置(如来源电子装置102及目标电子装置104)。来源电子装置102包含视频捕获装置112、转换电路114、及视频编码器116。转换电路114可使用多个电路区块来实现，如投影电路(以“CKT_PJ”表示)132、重新采样电路(以“CKT_RS”表示)134、包装电路(以“CKT_PK”表示)136以及其他电路(未示出)。举例而言，视频捕获装置112可以为用于提供对应至球体的全向影像/视频内容(如覆盖整个周围环境的多个影像)S_IN的一组相机。转换电路114耦合于视频捕获装置112与视频编码器116之间。转换电路114根据360VR投影格式的投影布局L_VR和全向影像/视频内容S_IN来产生基于投影的帧IMG。基于投影的帧IMG可以为包括在从转换电路114生成的基于投影的帧序列中的一个帧。视频编码器116用于编码/压缩基于投影的帧IMG以生成部分比特流BS。此外，视频编码器116经由传输装置103将比特流BS输出到目标电子装置104。举例而言，基于投影的帧序列可被编码至比特流BS中，且传输装置103可以为有线/无线通信链路或存储媒介。
目标电子装置104可以为头戴式显示(HMD)装置。如图1所示，目标电子装置104包括：视频解码器122、图形渲染电路124和显示屏幕126。图形渲染电路124可以使用多个电路区块来实现，如解包装电路(以“CKT_UPK”表示)142、重新采样电路(以“CKT_RS”表示)144以及其他电路(未示出)。视频解码器122从传输装置103(如有线/无线通信链路或存储媒介)接收比特流BS，并解码接收到的一部分比特流BS以产生已解码的基于投影的帧IMG'。举例而言，视频解码器122通过对接收到的比特流BS进行解码来生成解码帧序列，其中已解码的基于投影的帧IMG'为解码帧序列中包括的一个帧。在此实施例中，由编码器侧(即来源电子装置102)的视频编码器116编码的基于投影的帧IMG具有360VR投影格式的投影布局。因此，在解码器侧的解码电路122(即目标电子装置104)解码比特流BS之后，已解码的基于投影的帧IMG'具有相同的360VR投影格式集相同的投影布局。图形渲染电路124耦合于视频解码器124和显示屏幕126之间。图形渲染电路124根据解码的基于投影的帧IMG'在显示屏幕126上渲染和显示输出影像数据。举例而言，与已解码的基于投影的帧IMG'所携带的一部分360度影像/视频内容相关联的视区可经由图形渲染电路124显示在显示屏幕126上。
在此实施例中，转换电路114支持所提出的编码器侧投影面重新采样函数，且图形绘制电路124支持所提出的解码器侧投影面重新采样函数，其中，解码器侧投影面重新采样函数为编码器侧投影面重新采样函数的反向。举例而言，编码器侧投影面重新采样函数可以在编码前对投影面应用下采样，且解码器侧投影面重新采样函数可以在解码后对投影面应用上采样。再举一例，编码器侧投影面重新采样功能可以在编码前对投影面应用上采样，且解码器侧投影面重新采样功能可以在解码后向投影面应用下采样。再举一例，编码器侧投影面重新采样函数可以在编码之前对投影面应用没有尺寸改变的重新采样，而解码器侧投影面重新采样函数可以在解码后对投影面应用没有尺寸改变的反向重新采样。
具体而言，关于编码器侧(即来源电子装置102)，投影电路132被配置为从球的全向影像/视频内容获得投影面，其中，球体的全向影像/视频内容通过360VR投影映射至投影面上。重新采样电路134被配置成通过非均匀映射对投影面的至少一部分(即部分或全部)进行重新采样来获得重新采样的投影面。包装电路136被配置为根据360VR投影的投影布局L_VR生成基于投影的帧IMG，其中基于投影的帧IMG具有包装在投影布局L_VR中的重新采样的投影面。除了非均匀映射的重新采样函数之外，重新采样电路134还可支持均匀映射的重新采样函数。均匀映射和非均匀映射的更多细节描述如下。
请综合参考图2及图3。图2为通过均匀映射重新采样投影面的范例示意图。图3示出根据本发明的实施例的均匀映射函数曲线的示意图。在本范例中，矩形投影面204通过在其高度方向上对方形投影面(其也是矩形投影面)202进行下采样来导出，其中方形投影面202具有宽度w和高度H(H＝w)，且矩形投影面204具有宽度w和高度h(h<H)。也就是说，通过均匀映射对一个方形执行具有相同宽度w的从高度H向高度h的下采样。举例而言，但并非限制，均匀映射函数可使用以下公式来表达。
Figure GDA0002214582610000071
因此，关于位于矩形投影面204中的y轴的坐标y'处的像素位置，位于方形投影面202中的y轴的坐标Y处的对应采样点的位置可用公式(1)表示的均匀映射函数来确定。矩形投影面204中的位置P的像素值可通过使用方形投影面202中的相应采样位置p'的像素值来导出。由于在高度方向上的均匀映射，在矩形投影面202垂直方向上相邻的两个采样点以恒定的距离D均匀分布。
方形投影面202中的采样点(即获得的像素位置p')可能不在整数位置处。如果方形投影面202中的采样点的y轴坐标Y是非整数位置，则转换电路114(具体而言，为重新采样电路134)中的插值滤波器(未示出)可被应用于在方形投影面202中的采样点周围的整数像素，来导出采样点的像素值。
在矩形投影面204通过方形投影面202在其宽度方向上进行下采样而导出的另一种情况下，均匀映射函数可以用下面的公式表示。
Figure GDA0002214582610000072
在公式(2)中，H可以表示方形投影面202的宽度，而h可以表示矩形投影面204的宽度。因此，关于在矩形投影面204中位于x轴的坐标x'处的像素位置，位于方形投影面202中的x轴的坐标X处的对应采样点可以从公式(2)中表示的均匀映射函数来决定。矩形投影面204中的位置P的像素值使用方形投影面202中的相应采样位置p'的像素值来导出。由于在宽度方向上的均匀映射，在矩形投影面202中的两个水平相邻采样点以恒定的距离均匀分布。
方形投影面202中的采样点(即获得的像素位置p')可能不位于整数位置处。如果方形投影面202中的采样点的x轴坐标X是非整数位置，则转换电路114(具体而言，为重新采样电路134)中的插值滤波器(未示出)可被应用于整数在方形投影面202中的采样点周围的像素，来导出采样点的像素值。
在另一种情况下，矩形投影面204通过在其高度方向和宽度方向上对方形投影面202进行下采样而导出的。因此，关于位于矩形投影面204中的y轴的坐标y'处的像素位置，位于方形投影面202中的y轴的坐标Y处的对应采样点可用公式(1)表示的均匀映射函数来决定。此外，关于位于矩形投影面204中的x轴的坐标x'处的像素位置，位于方形投影面202中的x轴的坐标X处的对应采样点可用在公式(2)中表示的均匀映射函数来决定。矩形投影面204中的位置P的像素值通过使用方形投影面202中的相应采样位置p'的像素值来导出。由于在高度方向和宽度方向上均匀映射，矩形投影面204中的采样点会均匀分布。
方形投影面202中的采样点(即所获得的像素位置p')可能不位于整数位置。如果方形投影面202中的采样点的x轴坐标X和y轴坐标Y中的至少一个为非整数位置，则转换电路114中的插值滤波器(未示出)(具体而言，为重新采样电路134)可被应用于方形投影面202中的采样点周围的整数像素，以导出采样点的像素值。
为了保存特定区域(如靠近主视图的区域或靠近赤道的区域)的更多细节，本发明还提出通过非均匀映射重新采样投影面。请综合参考图4及图5。图4示出根据本发明的实施例的通过非均匀映射重新采样投影面的范例的示意图。图5示出根据本发明的实施例的非均匀映射函数曲线的示意图。在此范例中，矩形投影面404通过在其高度方向上对方形投影面(其亦为矩形投影面)402进行下采样来导出，其中方形投影面402具有宽度w和高度H(H＝w)，且矩形投影面404具有宽度w和高度h(h<H)。作为范例而非限制，非均匀映射函数可使用以下公式来表达。
Figure GDA0002214582610000081
因此，关于位于矩形投影面404中的y轴的坐标y'处的像素位置，位于方形投影面402中的y轴的坐标Y处的对应采样点可根据公式(3)中表示的非均匀映射函数来决定。如图4所示，两个垂直相邻采样点之间的间隔并非常数。举例而言，两个垂直相邻采样点之间的间隔可以为D1、D2、D3和D4当中的一个，其中D4>D3>D2>D1。具体而言，采样点不均匀分布于方形投影面402的高度方向上。矩形投影面404中的位置P的像素值通过方形投影中的相应采样位置p'的像素值导出。举例而言，矩形投影面404的第一重新采样区域406中的像素值是从重新采样方形投影面402的第一来源区域410所获得，而矩形投影面404的第二重新采样区域408中的像素值是通过重新采样方形投影面402的第二来源区域412所获得。由于在高度方向上的不均匀映射，从第一来源区域410获得的采样点的密度不同于从第二来源区域412获得的采样点的密度。换言之，在方形投影面402的高度方向上使用不同的采样率。第一重新采样区域406通过第一采样率(或第一采样密度)对第一来源区域410进行重新采样所导出，而第二重新采样区域408通过第二采样率(或第二采样密度)对第二来源区域412进行重新采样所导出，其中第二采样率(或第二采样密度)不同于第一采样率(或第一采样密度)。
为了保留特定区域(如主视图附近的区域或赤道附近的区域)的更多细节，通过非均匀映射来适当地控制第一采样密度和第二采样密度。假设第一来源区域410更靠近用户视埠的中心或更靠近赤道，则第一采样率(或第一采样密度)被特别设置为高于第二采样率(或第二采样密度)。在此方式下，矩形投影面404中的大部分像素通过重新采样方形投影面402中的第一来源区域410导出。
方形投影面402中的采样点(即所获得的像素位置p')可能不位于整数位置。如果方形投影面402中的采样点的y轴坐标Y为非整数位置，则转换电路114(具体而言，为重新采样电路134)中的插值滤波器(未示出)被应用于方形投影面402中的采样点周围的整数像素，以导出采样点的像素值。
在另一种情况下，矩形投影面404通过在方形投影面402的宽度方向上进行下采样导出。非均匀映射函数可使用以下公式来表示。
Figure GDA0002214582610000101
在公式(4)中，H可以表示方形投影面402的宽度，而h可以表示矩形投影面404的宽度。因此，关于在矩形投影面404中位于x轴的坐标x'处的像素位置，位于方形投影面402中的x轴的坐标X处的对应采样点可由公式(4)中表示的非均匀映射函数来决定。具体而言，采样点不均匀分布于方形投影面402的宽度方向上。矩形投影面404中位置P的像素值通过方形投影面402中的相应采样位置p'的像素值导出。由于在宽度方向上的不均匀映射，矩形投影面404的第一重新采样区域通过对方形投影面402的第一来源区域以第一采样率(或第一采样密度)重新采样导出，而矩形投影面404的第二重新采样区域通过对方形投影面402的第二来源区域以第二采样率(或第二采样密度)重新采样导出，其中第二采样速率(或第二采样密度)不同于第一采样速率(或第一采样密度)。举例而言，当方形投影面402的第一来源区域比方形投影面402的第二来源区域更接近用户视埠中心(或更靠近赤道)时，第一采样率(或第一采样率密度)被特别设定为高于第二采样率(或第二采样密度)。
方形投影面402中的采样点(即所获得的像素位置p')可能不位于整数位置处。如果方形投影面402中的采样点的x轴坐标X是非整数位置，则转换电路114(具体而言，为重新采样电路134)中的插值滤波器(未示出)可被应用于在方形投影面402中的采样点周围的整数像素，以导出采样点的像素值。
在另一种情况下，矩形投影面404通过在高度方向和宽度方向上对方形投影面402进行下采样导出。因此，关于位于矩形投影面404中的y轴的坐标y'处的像素位置，位于方形投影面402中的y轴的坐标Y处的对应采样点可由公式(3)所示的不均匀映射函数来决定。此外，关于位于矩形投影面404中的x轴的坐标x'处的像素位置，位于方形投影面402中的x轴的坐标X处的对应采样点可由公式(4)所示的非均匀映射函数来决定。具体而言，采样点不均匀分布于方形投影面402的高度方向上，且同样不均匀分布于方形投影面402的宽度方向上。矩形投影面404的位置P的像素值由方形投影面402的对应采样点p'的像素值导出。由于在高度方向和宽度方向上的不均匀映射，矩形投影面404中的第一重新采样区域通过对方形投影面402的第一来源区域以第一采样率(或第一采样密度)重新采样导出，而矩形投影面404的第二重新采样区域通过对方形投影面402的第二来源区域以第二采样率(或第二采样密度)重新采样导出，其中第二采样率(或第二采样密度)不同于第一采样率(或第一采样密度)。举例而言，当方形投影面402的第一来源区域比方形投影面402的第二来源区域更接近用户视埠中心(或更靠近赤道)时，第一采样率(或第一采样密度)被特别设定为高于第二采样率(或第二采样密度)。
方形投影面402中的采样点(即所获得的像素位置p')可能不位于整数位置。如果方形投影面402中的对应采样点的x轴坐标X和y轴坐标Y中的至少一个是非整数位置，则转换电路114(具体而言，即重新采样电路134)中的插值滤波器(未示出)可被应用于方形投影面402中的采样点周围的整数像素，以导出采样点的像素值。
关于解码器侧(即目标电子装置104)，视频解码器122被配置为接收比特流BS，并解码一部分的比特流BS以生成已解码的基于投影的帧IMG'，其中已解码的基于投影的帧IMG'具有由投影面表示的360度内容，该投影面被包装于360VR投影的相同投影布局L_VR中，且该投影面包括具有至少一部分(即部分或全部)由编码器侧非均匀映射所创建的投影面。解包装电路142被配置为根据投影布局L_VR从已解码的基于投影的帧IMG'获得投影面。举例而言，来源电子装置102采用的投影布局L_VR可通过比特流BS发送至目标电子装置104。重新采样电路144被布置为通过使用反向非均匀映射来重新采样投影面的至少一部分(即部分或全部)来获得重新采样的投影面。换言之，在编码器侧的重新采样的投影面可通过相应的反向映射函数在解码器侧恢复。
除了具有反向非均匀映射的重新采样函数之外，重新采样电路144还可支持具有反向均匀映射的重新采样函数。图2中的均匀映射函数也可作为反向均匀映射函数使用。因此，关于反向重新采样面中的像素位置，位于从解码的基于投影的帧IMG'获得的投影面中的对应采样点可从公式(1)中表示的均匀映射函数确定。从已解码的基于投影的帧IMG'获得的投影面中的采样点可能不位于整数位置。图形渲染电路124(具体而言，为重新采样电路144)中的插值滤波器(未示出)可被应用于从已解码的基于投影的帧IMG'获得的投影面中的采样点周围的整数像素，以导出采样点的像素值。
请综合参考图6及图7。图6示出根据本发明的实施例的通过反向非均匀映射重新采样投影面的范例的示意图。图7示出根据本发明的实施例的反向非均匀映射函数曲线的示意图。如上所述，矩形投影面404可通过在高度方向上对方形投影面402进行下采样来导出、并且包装在基于投影的帧IMG中以在编码器侧(即来源电子装置102)进行编码。在此范例中，从已解码的基于投影的帧IMG'获得的矩形投影面404被重新采样(如沿其高度方向进行上采样)以在解码器侧(即目标电子装置104)恢复方形投影面402'，其中方形投影面402和402'具有相同的形状和相同的尺寸。如图6所示，方形投影面402'具有宽度w和高度H(H＝w)，而矩形投影面404具有宽度w和高度h(h<H)。作为范例但并非限制，如图7所示的反向非均匀映射函数可以为公式(3)中表达的非均匀映射函数的反向。
因此，关于位于方形投影面402'中的y轴的坐标Y处的像素位置，位于矩形投影面404中的y轴的坐标y'处的对应采样点可以由反向非均匀映射函数来决定。如图6所示，两个垂直相邻采样点之间的间隔并非常数。举例而言，两个垂直相邻采样点之间的间隔可以为D1、D2、D3、D4、D5和D6中的一个，其中D6>D5>D4>D3>D2>D1。具体而言，采样点不均匀分布于矩形投影面404的高度方向上。方形投影面402'的位置Q的像素值通过矩形投影面404中的相应采样位置q'的像素值导出。举例而言，方形投影面402'的第一重新采样区域606中的像素通过重新采样矩形投影面404的第一来源区域610来获得，而方形投影面402'的第二重新采样区域608中的像素通过重新采样矩形投影面404的第二来源区域612来获得。由于在高度方向上的非均匀映射，从第一来源区域610获得的采样点的密度不同于从第二来源区域612获得的采样点的密度。换言之，在矩形投影面404的高度方向上使用不同的采样率。第一重新采样区域606通过对第一来源区域610以第一采样速率(或第一采样密度)进行重新采样导出，而第二重新采样区域608通过对第二采样区域612以第二重新采样区域(或第二采样密度)重新采样导出，其中第二采样率(或第二采样密度)不同于第一采样率(或第一采样密度)。
在矩形投影面404中的采样点(即所获得的像素位置q')可能不位于整数位置。如果矩形投影面404中的采样点的y轴坐标y'为非整数位置，则图形绘制电路124(具体而言，即重新采样电路144)中的插值滤波器(未示出)可被应用于围绕于矩形投影面404中的采样点的整数像素，以导出采样点的像素值。
在另一情形下，矩形投影面404从宽度方向对方形投影面402进行下采样、并包装于基于投影的帧IMG以在编码器侧(即来源电子装置102)进行编码，从已解码的基于投影的帧IMG'获得的矩形投影面404被重新采样(如沿宽度方向进行上采样)以恢复解码器侧(即目标电子装置104)处的方形投影面402'，其中，方形投影面402及402'具有相同的形状即相同的尺寸。反向非均匀映射函数可通过公式(4)中表达的非均匀映射函数的反向来设置。
因此，关于位于方形投影面402'的x轴的坐标X的像素位置，位于矩形投影面404的x轴的坐标x'的对应采样点可从一个公式(4)中表示的反向非均匀映射函数的反向来决定。具体而言，采样点不均匀分布于矩形投影面404的宽度方向上。方形投影面402’的位置Q的像素值从矩形投影面404的相应采样位置q'的像素值导出。由于在宽度方向上的不均匀映射，方形投影面402'的第一重新采样区域通过对矩形投影面404的第一来源区域以第一采样率(或第一采样密度)重新采样来导出，而方形投影面402'的第二重新采样区域通过对矩形投影面404的第二来源区域以第二采样率(或第二采样密度)重新采样来导出，其中第二采样率(或第二采样密度)不同于第一采样率(或第一采样密度)。
矩形投影面404中的采样点(即所获得的像素位置q')可能不位于整数位置处。如果矩形投影面404中的采样点的x轴坐标x'为非整数位置，则图形渲染电路124(具体而言，即重新采样电路144)中的插值滤波器(未示出)可被应用至矩形投影面404中采样点周围的整数像素，以导出采样点的像素值。
在另一情况下，矩形投影面404从方形投影面402在宽度方向和高度方向上进行下采样、并包装于基于投影的帧IMG中以在编码器侧(即来源电子装置102)进行编码，从已解码的基于投影的帧IMG'获得的矩形投影面404被重新采样(如沿其宽度方向和高度方向进行上采样)以恢复解码器侧(即目标电子装置104)的方形投影面402'，其中方形投影面402及402'具有相同的形状及相同的尺寸。
因此，关于位于方形投影面402’中的y轴的坐标Y处的像素位置，位于矩形投影面404中的y轴的坐标y'处的对应采样点可由公式(3)中表示的非均匀映射函数的反向来决定。此外，对于位于方形投影面402’中的x轴的坐标X处的像素位置，位于矩形投影面404中的x轴的坐标x'处的对应采样点可由公式(4)中表示的非均匀映射函数的反向来决定。具体而言，采样点不均匀分布于矩形投影面404的高度方向上，且亦不均匀分布于矩形投影面404的宽度方向上。方形投影面402'的位置Q的像素值由矩形投影面404中的相应采样位置q'的像素值导出。由于在高度方向和宽度方向上是非均匀映射，方形投影面402'的第一重新采样区域通过对矩形投影面404的第一来源区域以第一采样率(或第一采样密度)重新采样来导出，而方形投影面402'中的第二重新采样区域通过对矩形投影面404的第二来源区域以第二采样率(或第二采样密度)重新采样导出，其中第二采样率(或第二采样密度)不同于第一采样率(或第一采样密度)。
矩形投影面404中的采样点(即所获得的像素位置q')可能不位于整数位置。如果矩形投影面404中的对应采样点的x轴坐标x'及y轴坐标y'中的至少一个为非整数位置，则图形渲染电路124(具体而言，即重新采样电路144)中的插值滤波器(图中未示出)可被应用于矩形投影面404中的采样点周围的整数像素，以导出采样点的像素值。
在上述在图4及图6中所示的重新采样范例中，重新采样投影面通过使用编码器侧的非均匀映射(或解码器侧的反向非均匀映射)对投影面进行重新采样来获得，其中重新采样投影面与投影面具有相同的形状类型(如矩形的形状)，但具有不同的尺寸。然而，此仅仅是为了说明的目的，并不意味着对本发明作出限制。
图8示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第一替代范例的示意图。在此范例中，重新采样投影面与来源投影面具有相同的形状类型(如三角形的形状)，但具有不同的尺寸。具体而言，通过非均匀映射(或反向非均匀映射)对三角形执行具有相同宽度w的从高度H至高度h的下采样。
图9示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第二替代范例的示意图。在此范例中，重新采样投影面与来源投影面具有不同的形状类型(如矩形的形状和梯形的形状)。具体而言，通过执行非均匀映射(或反向非均匀映射)将矩形重新采样为梯形。
在上述图4及图6中所示的重新采样的范例中，通过对整个来源投影面应用编码器侧的非均匀映射(或解码器侧的反向非均匀映射)来获得重新采样投影面。然而，此仅仅是为了说明的目的，并不意味着对本发明作出限制。图10示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第三替代范例的示意图。在此范例中，非均匀映射(或反向非均匀映射)仅应用于投影面的一部分。从具有高度H和宽度w的矩形投影面1002获得具有高度h和宽度w的重新采样的方形投影面1004。重新采样的方形投影面1004具有顶部部分1008和底部部分1006。矩形投影面1002具有顶部部分1012和底部部分1010。通过非均匀映射(或反向非均匀映射)执行以相同宽度w从高度H向高度h下采样，其中非均匀映射(或反向非均匀映射)仅被应用于顶部部分1012。在此范例中，底部部分1010保持相同，使得重新采样的方形投影面1004的底部部分1006由矩形投影面1002的底部部分1010直接设置。因此，重新采样的方形投影面1004的底部部分1006的影像内容与矩形投影面1002的底部部分1010的影像内容相同。
如图10所示，具有相同宽度w的从高度H向高度h的下采样可通过非均匀映射(或反向非均匀映射)来实现。或者，上采样可通过非均匀映射(或反向非均匀映射)来实现。图11示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第四替代范例的示意图。在此范例中，相同宽度w的从高度H到高度h的上采样可通过非均匀映射(或反向非均匀映射)执行。
如图10及图11所示，来源投影面(即重新采样前可用的投影面)与重新采样投影面(即重新采样后可用的投影面)具有不同的尺寸。或者，没有尺寸变化的重新采样可通过非均匀映射(或反向非均匀映射)来实现。图12示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第五替代范例的示意图。在此范例中，具有相同宽度w和高度h的重新采样可通过非均匀映射(或反向非均匀映射)来执行。因此，来源投影面与重新采样投影面会具有相同的形状类型及相同的尺寸，但具有不同的影像内容。
编码器侧的非均匀映射(或解码器侧的反向非均匀映射)可仅沿着单个映射方向执行、或者可沿着不同映射方向执行。举例而言，编码器侧的非均匀映射(或解码器侧的反向非均匀映射)可沿着x轴方向、y轴方向或两者执行。在本发明的一些实施例中，不同的非均匀映射(或反向非均匀映射)的映射方向不一定为正交。
图13示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第六替代范例的示意图。在此范例中，具有相同宽度w的从高度H到高度h的Y轴下采样可通过非均匀映射(或反向非均匀映射)执行，其中靠近来源投影面中间的采样点具有更高的采样率(即高采样密度)。
图14示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第七替代范例的示意图。在此范例中，通过非均匀映射(或反向非均匀映射)执行从高度H和宽度W到高度h和宽度w的双向下采样，其中更接近于来源投影面右下角的采样点具有更高的采样率(即高采样密度)。
图15示出根据本发明的实施例的通过非均匀映射(或反向非均匀映射)重新采样投影面的第八替代范例的示意图。在此范例中，通过非均匀映射(或反向非均匀映射)执行从高度H和宽度W到高度h和宽度w的双向下采样，其中更接近来源投影面中心的采样点具有更高的采样率(即高采样密度)。
应该注意的是，上述非均匀映射函数用于说明的目的，并不意味着对本发明作出限制。在本发明的一些实施例中，来源电子装置102的重新采样电路134可采用不同的非均匀映射函数对形状进行重新采样。在图16至图18示出用于y轴重新采样的其他非均匀映射函数。应注意的是，图16至图18所示出的非均匀映射函数也可用于x轴重新采样。此外，当来源电子装置102的重新采样电路134采用非均匀映射函数来重新采样形状时，目标电子装置104的重新采样电路144采用非均匀映射函数的反向对形状进行反向重新采样。
在实务上，非均匀映射函数可使用经过(0,0)和(1,1)的任何非递减函数来实现。也就是说，非递减非均匀映射函数的曲线从(0,0)开始并在(1,1)结束。在一个范例性非均匀映射函数设计中，非均匀映射的起点对应至最高采样率(即最高采样密度)，并且非均匀映射的终点对应至最低采样率(即最低采样密度)。以图13所示的Y轴下采样为例，非均匀映射的起点位于来源投影面的中间。以图14所示的双向下采样为例，非均匀映射的起点位于来源投影面的右下角。以图15所示的双向下采样为例，非均匀映射的起点位于来源投影面的中心。然而，这些仅用于说明性目的，并不意味着对本发明作出限制。在另一个示范性非均匀映射函数设计中，非均匀映射的起点对应至最低采样率(即最低采样密度)，而非均匀映射的终点对应至最高采样率(即最高采样密度)。
如同非均匀映射函数，对应的反向非均匀映射函数也是经过(0,0)和(1,1)的非递减函数。在一个示范性反向非均匀映射函数设计中，反向非均匀映射的起点对应至最高采样率(即最高采样密度)，而反向非均匀映射的终点对应至最低采样率(即最低采样密度)。在另一个示范性反向非均匀映射函数设计中，反向非均匀映射的起点对应至最低采样率(即最低采样密度)，而反向非均匀映射的终点对应至最高采样率(即最高采样密度)。
非均匀映射函数可具有各种类型。作为范例而非限制，非均匀映射函数可以为等面积映射函数、等角映射函数、分段线性函数、指数函数、多项式函数或幂函数。
如上所述，编码器侧的非均匀映射(或解码器侧的反向非均匀映射)可以仅沿着单个映射方向执行，或者可以沿着不同映射方向执行。在实务上，取决于实际的设计考虑，编码器侧的非均匀映射(或解码器侧的反向非均匀映射)可被应用于任何方向。
图19示出根据本发明的实施例的三角投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。子图(A)示出了从三角投影面内的同一起点以径向方向朝向三角投影面中的不同终点的多个映射方向。子图(B)示出了多个映射方向为与径向方向相反的集中方向。子图(C)示出了应用于三角形投影面中的两种映射方向。子图(D)示出了从三角形投影面的顶点朝向三角形投影面的边缘的映射方向。子图(E)示出了从三角形投影面的边缘朝向三角形投影面的顶点的映射方向。子图(F)示出了从三角形投影面的一个顶点朝向三角形投影面的另一个顶点的映射方向。子图(G)示出了从三角形投影面的一个边缘至三角形投影面的另一边缘的映射方向。子图(H)示出了从位于三角形投影面中的相同曲线(其由虚线表示)的起点朝向三角形投影面中的终点的多个映射方向。子图(I)示出了从三角形投影面中的起点至位于三角形投影面中的相同曲线(其由虚线表示)上的终点的多个映射方向。
图20示出根据本发明的实施例的矩形投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。子图(A)示出了应用于矩形投影面中的两种类型的映射方向。子图(B)示出了从矩形投影面的一个边缘至矩形投影面的另一边缘的映射方向。子图(C)示出了从矩形投影面的一个顶点朝向矩形投影面的另一个顶点的映射方向。子图(D)示出了从位于矩形投影面中的相同曲线(其由虚线表示)的起点朝向矩形投影面中的终点的多个映射方向。子图(E)示出了从矩形投影面中的起点到位于矩形投影面中的相同曲线(其由虚线表示)上的终点的多个映射方向。子图(F)示出了从矩形投影面内的相同起点以径向方向朝向矩形投影面中的不同终点的多个映射方向。子图(G)示出了与径向方向相反集中的多个映射方向。
图21示出根据本发明的实施例的四边形投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。子图(A)示出了从四边形投影面的一个边缘朝向四边形投影面的另一边缘的映射方向。子图(B)示出了从四边形投影面的一个顶点朝向四边形投影面的另一个顶点的映射方向。子图(C)示出从位于四边投影面中的相同曲线(其由虚线表示)起点朝向四边形投影面中的终点的多个映射方向。子图(D)示出从四边投影面中的起点到四边投影面中位于同一曲线(其由虚线表示)中的终点的多个映射方向。子图(E)示出了从四边形投影面内的相同起点以径向方向朝向四边形投影面中的不同终点的多个映射方向。子图(F)示出了多个与径向方向相反集中的映射方向。子图(G)示出了应用于四边形投影面中的两种映射方向。
图22示出根据本发明的实施例的圆形投影面的非均匀映射(或反向非均匀映射)的不同映射方向的多个范例的示意图。子图(A)示出了从位于圆形投影面中的相同曲线(其由虚线表示)起点朝向圆形投影面中的终点的多个映射方向。子图(B)示出了从圆形投影面中的起点到位于圆形投影面中的相同曲线(其由虚线表示)上的终点的多个映射方向。子图(C)示出了从圆形投影面中的不同起点朝向圆形投影面中的相同终点的集中方向的多个映射方向。子图(D)示出从圆形投影面内的相同起点以径向方向朝向圆形投影面中的不同终点的多个映射方向。子图(E)示出了应用于圆形投影面中的两种类型的映射方向。图22中所示的示范性映射方向也可通过应用于椭圆投影面的非均匀映射(或反向非均匀映射)来采用。
如上所述，重新采样电路134生成重新采样的投影面，而包装电路136生成具有重新采样投影面的基于投影的帧IMG，重新采样投影面包装于360VR投影格式的投影布局L_VR中。在实务上，360VR投影格式可以为任何投影格式。作为范例而非限制，非均匀映射/反向非均匀映射可被应用于各种投影格式，包括等矩形投影、立方体投影、金字塔投影、截断球体金字塔投影、视埠立方体投影、八面体投影、四面体投影、四边形石英投影、二十面体投影、六边形石英投影、和分段球体投影等。
图23示出根据本发明的实施例的等距离长方圆柱投影(equirectangularprojection，简称ERP)的非均匀映射的示意图。投影电路132可以经由球体的全向影像/视频内容的等矩形投影来获得单个投影面。重新采样电路134可以在y轴方向(即等距离长方圆柱投影面的纬度方向)上对等距离长方圆柱投影面应用非均匀映射，其中在等距离长方圆柱投影面中的采样点更靠近赤道时，采样率(采样密度)较高。在一个示范性设计中，非均匀映射函数可通过以下具有纬度
Figure GDA0002214582610000201
的公式所表示的等面积映射函数来设置。
Figure GDA0002214582610000202
在另一个示范性设计中，非均匀映射函数可通过以下具有纬度
Figure GDA0002214582610000203
的公式所表示的幂函数来设置。
Figure GDA0002214582610000204
然而，这些并非有意对本发明作出限制。替代地，等距离长方圆柱投影面的重新采样可包括均匀映射、非均匀映射、或者均匀映射与非均匀映射的组合。
图24示出根据本发明的实施例的立方体映射投影(cubmap projection，简称CMP)的非均匀映射的示意图。球体2402的全向影像/视频内容通过立方体映射投影被映射/投影至六个方形投影面上，包括顶面、底面、正面、反面、左面和右面。根据一般的立方体投影，相同角度会投影到具有不同像素计数的面，导致面边界上的过采样。在通过投影电路132经由球体2402上的全向影像/视频内容的立方体映射投影获得方形投影面后，重新采样电路134可将非均匀映射应用于方形投影面中的至少一个上，其中当方形投影面中的采样点更靠近赤道时，采样率(采样密度)较高。举例而言，重新采样的方形投影面可等效于通过投影相同像素计数的相同角度而获得的等角投影面，其中每个位于两个采样点之间的间隔在球体2402上具有相同的角度。然而，这并非有意对本发明作出限制。替代地，立方体映射投影面的重新采样可以包括均匀映射、非均匀映射或均匀映射与非均匀映射的组合。
图25示出根据发明的实施例的分段球体投影(segmented sphere projection，简称SSP)的非均匀映射的示意图。如子图(A)所示，球体2402的表面被划分为以北极为中心的北极区域2516、以南极为中心的南极区域2520、以及北极区域2516与南极区域2520之间的非极区环形区段(如赤道区段)2518。球体2402的赤道为0°。如图25所示，以θ表示北极区域2516的最低纬度，以
Figure GDA0002214582610000211
表示南极区域2520的最高纬度。应注意的是，根据实际的设计考虑，θ可以与
Figure GDA0002214582610000212
相同或不相同。举例而言，
Figure GDA0002214582610000213
根据分段球体投影(SSP)，球体2402的北极区域2516被投影/映射到第一圆形投影面(标记为“北极”)2502，南极区域2520被投影/映射到第二圆形投影面(标记为“南极”)2506，而非极性环形段2518被投影/映射到矩形投影面(标记为“B”)2504。
在投影电路132经由球体2402上的全向影像/视频内容的分段球投影获得第一圆形投影面2502、矩形投影面2504以及第二圆形投影面2506之后，重新采样电路134可将非均匀映射应用至第一圆形投影面2502、矩形投影面2504以及第二圆形投影面2506中的至少一个上。在此范例中，第一圆形投影面2502及第二圆形投影面2506两者都通过非均匀映射被重新采样为另一种形状(如矩形的形状)。因此，重新采样电路134通过重新采样第一圆形投影面2502获得第一矩形投影面(标记为“A”)2512，且通过重新采样第二圆形投影面2506获得第二矩形投影面(标记为“C”)2514。然而，这并非有意对本发明作出限制。替代地，分段球体投影面的重新采样可包括均匀映射，非均匀映射、或是均匀映射和非均匀映射的组合。
如子图(B)所示，重新采样的投影面(即第一矩形投影面2512及第二矩形投影面2514)及矩形投影面2504被包装于分段球体投影格式的投影布局2510中。由于每个投影面2512、2514及2504具有矩形的形状，因此具有投影布局2510的基于投影的帧IMG不需要在其中填充虚拟区域(如黑色区、灰色区或白色区)。
图26示出根据本发明的实施例的视埠立方体投影的非均匀映射的示意图。球体2402的全向影像/视频内容被映射/投影到六个方形投影面上，包括顶面(标记为“上”)、底面(标记为“下”)、正面(标记为“前”)、背面(标记为“后”)、左面(标记为“左”)和右面(标记为“右”)。在投影电路132经由球体2402上的全向影像/视频内容的立方体映射投影获得方形投影面后，重新采样电路134可将非均匀映射应用于部分或全部的方形投影面。举例而言，顶面、左面、底面、右面和背面中的每一个皆通过非均匀映射来缩小比例。再举一例，正面也可通过非均匀映射进行重新采样。
当方形投影面中的采样点更接近正面或主视图时，采样率(采样密度)更高。以重新采样的右面(其为矩形投影面)为例，靠近边缘S1的像素通过以较高采样率(采样密度)重新采样原始右面的第一区域(其为方形投影面)来决定，而靠近边缘S2的像素通过以较低采样率(采样密度)重新采样原始右面的第二区域(其为方形投影面)来决定。然而，这并非有意对本发明作出限制。替代地，立方体映射投影面的重新采样可包括均匀映射、非均匀映射、或是均匀映射与非均匀映射的组合。
包装电路136将顶面“上”(其为重新采样投影面)、底面“下”(其为重新采样投影面)、正面“前”(其为一主视图，可以为未重新采样的投影面、或可以为重新采样的投影面)、背面(其为重新采样投影面)，左面“左”(其为重新采样的投影面)、以及右面“右”(其为重新采样投影面)包装于基于视埠的立方体投影布局2610中，其中重新采样的底面被等分为四个部分B0、B1、B2和B3，分别放置于基于视埠的立方体投影布局2610的四个角落。
图27示出根据本发明的实施例的截断方形金字塔(truncated square pyramid，简称TSP)投影的非均匀映射的示意图。球体2402的全向影像/视频内容通过截断方形金字塔投影被映射/投影到两个方形投影面(即标记为“前”的正面及标记为“后”的背面)和四个梯形投影面(即标记为“上”的顶面、标记为“右”的右面、标记为“下”的底面、以及标记为“左”的左面)。在从投影电路132获得截断方形金字塔的方形投影面和梯形投影面后，重新采样电路134可将不均匀映射应用至方形投影面及梯形投影面中的至少一个。举例而言，方形投影面和梯形投影面可分别使用不同的非均匀映射方向进行重新采样。
当投影面(如其中一个梯形投影面)中的采样点更接近正面或主视图时，采样率(采样密度)较高。以重新采样的右面(其为梯形投影面)为例，靠近边缘S1的像素通过以较高的采样率(采样密度)重新采样原始右面(其为梯形投影面)的第一区域来决定，靠近边缘S2的像素通过以较低采样率(采样密度)重新采样原始右面(其为梯形投影面)的第二区域来决定。然而，这并非有意对本发明作出限制。替代地，截断方形金字塔投影面的重新采样可包括均匀映射、非均匀映射、或是均匀映射与非均匀映射的组合。
包装电路136将顶面“上”(其可以为未重新采样的投影面、或可以为重新采样的投影面)、底面“下”(其可以为未重新采样的投影面、或可以为重新采样的投影面)、正面“前”(其为一视图，可以为未重新采样的投影面、或可以为重新采样的投影面)、背面“后”(其可以为未重新采样的投影面、或可以为重新采样的投影面)，左面“左”(其可以为未重新采样的投影面、或可以为重新采样的投影面)、以及右面“右”(其可以为未重新采样的投影面、或可以为重新采样的投影面)包装于截断方形金字塔投影布局2710。
图28示出根据本发明的实施例的截断方形金字塔投影(TSP)的另一个非均匀映射的示意图。球体2402的全向影像/视频内容被映射/投影到六个方形投影面上，包括顶面(标记为“上”)、底面(标记为“下”)、正面(标记为“前”)、背面(标记为“后”)、左面(标记为“左”)和右面(标记为“右”)。在投影电路132获得方形投影面后，重新采样电路134可将非均匀映射应用于部分或全部的方形投影面。举例而言，顶面、左面、底面、右面中的每一个皆通过非均匀映射重新采样至另一个形状(如梯形的形状)，以及背面(其为方形投影面)通过非均匀映射来缩小比例但不改变形状类型。在本发明的一些实施例中，方形投影面可分别使用不同的非均匀映射方向来重新采样。
当投影面中的采样点(如顶面、左面、底面和右面中的其中一个)更接近正面或主视图时，采样率(采样密度)较高。以重新采样的右面(其为梯形投影面)为例，靠近边缘S1的像素通过以较高的采样率(采样密度)重新采样原始右面(其为方形投影面)的第一区域来决定，靠近边缘S2的像素通过以较低采样率(采样密度)重新采样原始右面(其为方形投影面)的第二区域来决定。然而，这并非有意对本发明作出限制。替代地，立方体映射投影面的重新采样可包括均匀映射、非均匀映射、或是均匀映射与非均匀映射的组合。
包装电路136将顶面“上”(其为重新采样投影面)、底面“下”(其为重新采样投影面)、正面“前”(其为一视图，可以为未重新采样的投影面、或可以为重新采样的投影面)、背面“后”(其可以为未重新采样的投影面、或可以为重新采样的投影面)，左面“左”(其为重新采样投影面)、以及右面“右”(其为重新采样投影面)包装于截断方形金字塔投影布局2710。
图29示出根据本发明的实施例的金字塔投影的非均匀映射的示意图。球体2402的全向影像/视频内容通过金字塔投影被映射/投影到一个方形投影面(即标记为“前”的正面)和四个三角形投影面(即，由标记为“上”的上面、标记为“左”的左面、标记为“下”的底面、以及标记为“右”的右面)。在此范例中，由金字塔投影获得的每个三角形投影面具有等腰三角形的形状。要编码的基于投影的帧IMG须为矩形。如果投影布局L_VR通过展开的金字塔布局2920来设置，则虚拟区域(如黑色区、灰色区或白色区)需要在基于投影的帧IMG中填充。为了解决这个问题，本发明提出了一种紧密金字塔布局2910。
在通过投影电路132经由球体2402上的全向影像/视频内容的金字塔投影获得一个方形投影面(即正面)和四个三角形投影面(即上面、左面、底面及右面)后，重新采样电路134可将非均匀映射应用于部分或全部的方形投影面(即正面)和三角形投影面(即上面、左面、下面及右面)。举例而言，三角形投影面(即上面、左面、底面和右面)中的每一个被重新采样为另一种形状(如等腰直角三角形的形状)。具体而言，具有高度H的等腰三角形投影面被下采样为高度为h的等腰直角三角形投影面。
当投影面(如其中一个三角形投影面)中的采样点更接近正面或主视图时，采样率(采样密度)较高。以重新采样的右面(其具有等腰直角三角形的形状)为例，第一重新采样区域A1的像素通过对原始右面(其具有等腰三角形的形状)的第一来源区域以较高的采样率(采样密度)重新采样来决定，而第二重新采样区域A2的像素通过对原始右面(其具有等腰三角形的形状)的第二来源区域以较低的采样率(采样密度)重新采样来决定。然而，这并非有意对本发明作出限制。替代地，金字塔投影面的重新采样可包括均匀映射、非均匀映射、或是均匀映射与非均匀映射的组合。
包装电路136将顶面“上”(其为重新采样投影面)、底面“下”(其为重新采样投影面)、正面“前”(其为一主视图，可以为未重新采样的投影面、或可以为重新采样的投影面)、左面“左”(其为重新采样投影面)、以及右面“右”(其为重新采样投影面)包装于紧密金字塔投影布局2910。由于紧密金字塔投影布局2910具有矩形形状，因此具有紧密金字塔布局2910的基于投影的帧IMG不需要具有虚拟区域(如黑色区、灰色区或白色区)。
应注意的是，通过360VR投影获得的投影面可以分别使用不同的映射函数进行重新采样。举例而言，编码器侧(即来源电子装置102)的重新采样电路134通过非均匀映射重新采样至少一部分(即部分或全部)的第一投影面来获得第一重新采样投影面，而通过非均匀映射(或均匀映射)重新采样至少一部分(即部分或全部)的第二投影面来获得第二重新采样投影面，其中，用于重新采样从投影电路132所产生的第一投影面所采用的映射函数不同于用于重新采样从投影电路132所生成的第二投影面所采用的映射函数。
相似地，从已解码的基于投影的帧获得的投影面可分别使用不同的反向映射函数来重新采样。举例而言，解码器侧的重新采样电路144(即目标电子装置104)通过对至少一部分(即部分或全部)的第一投影面以反向非均匀映射重新采样来获得第一重新采样的投影面，并通过对至少一部分(即部分或全部)的第二投影面以反向非均匀映射重新采样来获得第二重新采样的投影面，其中，用于重新采样从解包装电路142所获得的第一投影面所采用的反向映射函数不同于用于重新采样从解包装电路142所获得的第二投影面所采用的反向映射函数。
此外，不同的映射函数可被组合以重新采样通过360VR投影获得的投影面。举例而言，编码器侧(即来源电子装置102)处的重新采样电路134通过对第一部分的投影面以非均匀映射重新采样来获得第一部分的重新采样投影面，并通过对第二部分的投影面以非均匀映射(或均匀映射)重新采样来获得第二部分的重新采样投影面，其中，用于重新采样从投影电路132所产生的第一投影面所采用的映射函数系不同用于重新采样从投影电路132所生成的第二投影面所采用的映射函数。
相似地，不同的反向映射函数被组合以重新采样从已解码基于投影的帧IMG'获得的投影面。举例而言，解码器侧的重新采样电路144(即目标电子装置104)通过对第一部分的投影面以反向非均匀映射重新采样来获得第一部分的重新采样投影面，并通过对第二部分的投影面以反向非均匀映射(或反向均匀映射)重新采样来获得第二部分的重新采样投影面，其中，用于重新采样从解包装电路142所获得的第一部分的投影面所采用的映射函数不同于用于重新采样从解包装电路142所获得的第二部分的投影面所采用的映射函数。
所属技术领域的技术人员易知，可在保持本发明的教示内容的同时对设备及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书的范围的限制。

Claims (14)

1.一种视频处理方法，包括：
从球体的全向内容获得至少一投影面，其中该球体的该全向内容是经由360度虚拟实境投影映射至该至少一投影面上，且该至少一投影面包括第一投影面；
使用重新采样电路经由非均匀映射通过重新采样该第一投影面的至少一部分来获得第一重新采样投影面，其中该第一投影面具有第一来源区域和第二来源区域，该第一重新采样投影面具有第一重新采样区域和第二重新采样区域，该第一重新采样区域通过对该第一来源区域以第一采样密度重新采样来导出，该第二重新采样区域通过对该第二来源区域以不同于该第一采样密度的第二采样密度重新采样来导出；
根据该360度虚拟实境投影的投影布局生成基于投影的帧，其中该基于投影的帧包含包装于该投影布局中的该第一重新采样投影面；以及
编码该基于投影的帧以生成比特流的一部分，
其中该第一投影面和该第一重新采样投影面具有相同的形状类型和相同的尺寸，但是具有不同的影像内容。
2.如权利要求1所述视频处理方法，其特征在于，该至少一投影面进一步包括第二投影面，该视频处理方法进一步包括：
通过重新采样该第二投影面的至少一部分来获得第二重新采样投影面，其中该基于投影的帧进一步包含包装于该投影布局中的该第二重新采样投影面；以及
用于重新采样该第一投影面的该至少一部分的映射函数是不同于用于重新采样该第二投影面的该至少一部分的映射函数。
3.如权利要求1所述视频处理方法，其特征在于，该第一重新采样投影面包含对该第一投影面的第一部分以该非均匀映射重新采样所获得的第一部分、以及对该第一投影面的第二部分重新采样所获得的第二部分，且用于重新采样该第一投影面的该第一部分的映射函数是不同于重新采样该第一投影面的该第二部分的映射函数。
4.如权利要求1所述视频处理方法，其特征在于，该非均匀映射是仅沿着单一映射方向执行。
5.如权利要求1所述视频处理方法，其特征在于，该非均匀映射是沿着不同的映射方向执行。
6.如权利要求1所述视频处理方法，其特征在于，该投影布局是基于视埠的立方体投影布局、截断方形金字塔投影布局或紧密金字塔布局。
7.一种视频处理方法，包括：
接收比特流的一部分；
解码该比特流的该部分以生成基于投影的帧，其中该基于投影的帧具有360度内容，该360度内容是由包装于360度虚拟实境投影的投影布局中的至少一投影面表示，且该至少一投影面包括具有至少一部分是由编码器侧的非均匀映射创建的第一投影面；以及
使用重新采样电路通过该编码器侧的非均匀映射的反向对该第一投影面该至少一部分进行重新采样来获得第一重新采样投影面，其中该第一投影面具有第一来源区域和第二来源区域，该第一重新采样投影面具有第一重新采样区域和第二重新采样区域，该第一重新采样区域通过对该第一来源区域以第一采样密度重新采样来导出，该第二重新采样区域通过对该第二来源区域以不同于该第一采样密度的第二采样密度重新采样来导出，
其中该第一投影面和该第一重新采样投影面具有相同的形状类型和相同的尺寸，但是具有不同的影像内容。
8.如权利要求7所述视频处理方法，其特征在于，该至少一投影面进一步包括第二投影面，其中该第二投影面的至少一部分是由编码器侧重新采样所创建，该视频处理方法进一步包括：
通过重新采样该第二投影面的该至少一部分来获得第二重新采样投影面；以及
用于重新采样该第一投影面的该至少一部分的反向映射函数是不同于用于重新采样该第二投影面的该至少一部分的反向映射函数。
9.如权利要求7所述视频处理方法，其特征在于，该第一重新采样投影面包括第一部分和第二部分，该第一部分是对该第一投影面的第一部分以该编码器侧的非均匀映射的反向进行重新采样来获得，该第二部分是对该第一投影面的第二部分进行重新采样来获得，用于重新采样该第一投影面的该第一部分的反向映射函数不同于用于重新采样该第一投影面的该第二部分的反向映射函数。
10.如权利要求7所述视频处理方法，其特征在于，该编码器侧的非均匀映射的反向是仅沿着单一映射方向执行。
11.如权利要求7所述视频处理方法，其特征在于，该编码器侧的非均匀映射的反向是沿着多个不同的映射方向执行。
12.如权利要求7所述视频处理方法，其特征在于，该投影布局是基于视埠的立方体投影布局、截断方形金字塔投影布局或紧密金字塔布局。
13.一种视频处理装置，包括：
投影电路，配置为从球体的全向内容获得至少一投影面，其中该球体的该全向内容是经由360度虚拟实境投影映射至该至少一投影面上，而该至少一投影面包括第一投影面；
重新采样电路，配置为对该第一投影面的至少一部分以非均匀映射重新采样来获得第一重新采样投影面，其中该第一投影面具有第一来源区域和第二来源区域，该第一重新采样投影面具有第一重新采样区域和第二重新采样区域，该第一重新采样区域通过对该第一来源区域以第一采样密度重新采样来导出，该第二重新采样区域通过对该第二来源区域以不同于该第一采样密度的第二采样密度重新采样来导出；
包装电路，配置为根据该360度虚拟实境投影的投影布局生成基于投影的帧，其中，该基于投影的帧包括该投影布局中包装的该第一重新采样投影面；以及
视频编码器，配置为编码该基于投影的帧以生成比特流的一部分，
其中该第一投影面和该第一重新采样投影面具有相同的形状类型和相同的尺寸，但是具有不同的影像内容。
14.一种视频处理装置，包括：
视频解码器，配置为接收比特流的一部分，并解码该比特流的该部分以生成基于投影的帧，其中该基于投影的帧具有由至少一投影面所表示的360度内容，该投影面是包装于360度虚拟实境投影的投影布局内，且该至少一投影面包括至少一部分是由编码器侧的非均匀映射创建的第一投影面；
解包装电路，配置为根据该投影布局从该基于投影的帧获取该第一投影面；以及
重新采样电路，配置为对该第一投影面的该至少一部分以该编码器侧非均匀映射的反向重新采样来获得第一重新采样投影面，其中该第一投影面具有第一来源区域和第二来源区域，该第一重新采样投影面具有第一重新采样区域和第二重新采样区域，该第一重新采样区域通过对该第一来源区域以第一采样密度重新采样来导出，该第二重新采样区域通过对该第二来源区域以不同于该第一采样密度的第二采样密度重新采样来导出，
其中该第一投影面和该第一重新采样投影面具有相同的形状类型和相同的尺寸，但是具有不同的影像内容。
CN201880021136.7A 2017-04-05 2018-04-03 一种视频处理方法和装置 Active CN110506291B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762481714P 2017-04-05 2017-04-05
US62/481,714 2017-04-05
PCT/CN2018/081723 WO2018184528A1 (en) 2017-04-05 2018-04-03 Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping

Publications (2)

Publication Number Publication Date
CN110506291A CN110506291A (zh) 2019-11-26
CN110506291B true CN110506291B (zh) 2021-05-14

Family

ID=63713266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021136.7A Active CN110506291B (zh) 2017-04-05 2018-04-03 一种视频处理方法和装置

Country Status (6)

Country Link
US (1) US10356386B2 (zh)
CN (1) CN110506291B (zh)
DE (1) DE112018000660T5 (zh)
GB (1) GB2573951A (zh)
TW (1) TWI654874B (zh)
WO (1) WO2018184528A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
DE112018002432T5 (de) 2017-08-18 2020-01-23 Mediatek Inc. Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
DE102018006838A1 (de) * 2017-11-03 2019-05-09 Adobe Inc. Dynamisches Mapping von virtuellen und physischen Interaktionen
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US10922783B2 (en) * 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
WO2020034509A1 (en) * 2018-12-14 2020-02-20 Zte Corporation Immersive video bitstream processing
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127911A (zh) * 2007-09-29 2008-02-20 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技（北京）有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
EP1565872A4 (en) 2002-11-15 2007-03-07 Warner Bros Entertainment Inc REVERSE RENDERING METHOD FOR DIGITAL MODELING
KR100732958B1 (ko) 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
JP4680104B2 (ja) 2006-03-22 2011-05-11 日本電信電話株式会社 パノラマ画像作成方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
CN104219584B (zh) 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和系统
JP6687015B2 (ja) 2015-03-05 2020-04-22 ソニー株式会社 画像処理装置および画像処理方法
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US10880346B2 (en) 2015-05-27 2020-12-29 Google Llc Streaming spherical video
CN205545713U (zh) 2016-01-26 2016-08-31 天津市商久盛源科技股份有限公司 基于全息金字塔的3d全息投影装置
CN205721064U (zh) 2016-05-04 2016-11-23 北京红辣椒信息科技有限公司 旋转屏幕的3d投影装置
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN106162139B (zh) 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127911A (zh) * 2007-09-29 2008-02-20 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技（北京）有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN105915907A (zh) * 2016-06-07 2016-08-31 北京圣威特科技有限公司 全景图的压缩和解压方法、装置及系统

Also Published As

Publication number Publication date
GB2573951A (en) 2019-11-20
CN110506291A (zh) 2019-11-26
US10356386B2 (en) 2019-07-16
TWI654874B (zh) 2019-03-21
DE112018000660T5 (de) 2019-10-24
GB201912012D0 (en) 2019-10-02
WO2018184528A1 (en) 2018-10-11
US20180359459A1 (en) 2018-12-13
TW201840182A (zh) 2018-11-01

Similar Documents

Publication Publication Date Title
CN110506291B (zh) 一种视频处理方法和装置
CN110383842B (zh) 一种视频处理方法和装置
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
CN109691095B (zh) 生成基于投影的帧的方法以及装置
CN109906468B (zh) 用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US10963987B2 (en) Method and apparatus for decoding projection based frame with 360-degree content represented by triangular projection faces packed in triangle-based projection layout
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
CN111418213B (zh) 用于沉浸式视频编解码的信令语法的方法以及装置
CN109845270B (zh) 一种视频处理方法和装置
CN109716776B (zh) 用于生成且编码全向内容视频的方法及设备
US10652516B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
TW202123685A (zh) 一種視訊解碼方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant