CN110574069B - 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置 - Google Patents
用于将虚拟现实图像映射成分段球面投影格式的方法以及装置 Download PDFInfo
- Publication number
- CN110574069B CN110574069B CN201880028455.0A CN201880028455A CN110574069B CN 110574069 B CN110574069 B CN 110574069B CN 201880028455 A CN201880028455 A CN 201880028455A CN 110574069 B CN110574069 B CN 110574069B
- Authority
- CN
- China
- Prior art keywords
- image
- spherical
- projection
- mapping
- square
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000005192 partition Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000005070 sampling Methods 0.000 description 5
- 108050005509 3D domains Proteins 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/08—Gnomonic or central projection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了与分段球面投影(SSP)有关的处理球面图像的方法及装置。根据一个方法，使用从包括等面积映射、非均匀映射以及立方体贴图映射的映射组中选择的映射进程，将所述球面图像的北极区域投影成第一圆形区域以及将所述球面图像的南极区域投影成第二圆形区域。本发明也公开了与旋转的球面投影(RSP)有关的处理球面图像的方法以及装置。根据这一方法，使用等面积映射将所述球面图像投影成对应于所述球面图像的一
区域的第一部分旋转的球面投影以及对应于所述球面图像的剩余部分的第二部分旋转的球面映射。
Description
相关引用
本发明要求递交于2017年4月27日，号码为62/490,647的美国临时专利申请案的优先权，该美国临时专利申请案整体通过引用纳入其中。
技术领域
本发明涉及360°虚拟现实图像，具体地，本发明涉及将360°虚拟现实图像映射成分段球面投影(segmented sphere projection，简称SSP)格式、旋转的球面投影(rotatedsphere projection，简称RSP)格式或者修正的立方体贴图投影 (cubemap projection，简称CMP)格式。
背景技术
360°视频，又称为沉浸式视频(immersive video)，是一种新兴技术，其可以提供“如现场般的感受”。沉浸式的感受可以通过用覆盖全景视野(panoramic view) 的环绕式的场景来环绕用户来实现，具体地，全景视野可以是360°视场(field of view)。“如现场般的感受”可以进一步由立体渲染来提高。因此，全景视频 (panoramic video)正在普遍地用于虚拟现实应用中。
沉浸式视频涉及使用多个摄像机捕获场景来覆盖全景视野，例如360°视场(field of view)。沉浸式摄像机通常使用全景摄像机或一组摄像机来捕获360°视场。典型地，两个或多个摄像机被用作沉浸式摄像机。所有视频必须被同时拍摄并记录场景的多个分离片段(fragments)(也称为分离视角(perspectives))。进一步地，该组摄像机通常用于水平地捕获多个视图，而所述多个摄像机的其他安排也是可能的。
可以使用360°球面全景摄像机来捕获多个360°虚拟现实图像或者多个图像用于覆盖360°环绕的多个视场。三维(3D)球面图像难以使用传统的图像/视频处理装置进行处理或存储，因此，360°VR图像通常使用3D至2D投影方法来转换成二维(2D)格式，例如等矩形(ERP)以及立方体投影是已经普遍地使用的投影方法。对于ERP投影，球体北极(northpole)以及南极(south pole)中的区域相比于赤道附近的区域被更剧烈地拉伸(也就是从一单个点变成一条线)。而且，由于拉伸所引入的失真，尤其是两极附近，预测编码工具通常难以做到好的预测，造成在编码效率上的降低。
为了克服与该ERP格式有关的在北极以及南极的严重失真，已经在JVET- E0025(2017年1月12-22日，瑞士日内瓦举行的ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG11的联合视频开发小组(JVET)第5次会议，Zhang等人“AHG8： Segmented SphereProjection for 360-degree video”，文献：JVET-E0025)中公开了分段球面投影来作为将球面图像转换成SSP格式的方法。图1A示出了分段球面投影的示例，其中球面图像100被映射成北极图像110、南极图像120以及赤道分段图像130。3个分段的边界对应于北纬45°(102)以及南纬45°(104)，其中，0°对应于赤道。北极以及南极被映射成两个圆形区域(110以及120)，以及赤道分段的投影与ERP相同。因为极区分段以及赤道分段两者都有90°纬度的跨度，圆形的直径等于赤道分段的宽度。
如图1B所示，为了较小行缓冲器(也就是更窄的图像宽度)，布局150被垂直地转置。添加矩形区域140围绕圆形图像110以及120。矩形区域140也可以被示为两个正方形区域，每一正方形区域封闭圆形区域(也就是110或120)。冗余区域(redundant area)示出为点填充的背景，本发明中也称为空白区域(void area)。投影公式列出于下方的等式(1)以及(2)，其中等式(1)的上部分对应于北极图像 110(也就是，θ’∈(π/4，π/2])的投影以及等式(1)的下部分对应于南极图像120(也就是，θ’∈[-π/2，-π/4))的投影。等式(2)对应于赤道分段130(也就是，θ’∈[-π/4，π/4])的投影。等式(1)指出如何将cap(极区)上的点(θ′，φ)映射成圆形区域中的点 (x’，y’)，等式(2)使用与等矩形投影(ERP)相同的投影来将赤道区域转换成矩形，第1A图指出了坐标系统(θ′，φ)。
在JVET-F0052(2017年3月31日-4月7日，霍巴特举行的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频开发小组(JVET)第6次会议，Lee 等人“AHG 8：EAP-based segmented sphere projection with padding”，文献：JVET- F0052)中，公开了具有填充的基于EAP的分段球面投影(segmented sphere projection，简称SSP)。根据JVET-F0052，赤道分段的投影格式从ERP(等矩形投影(equirectangular projection))变成了EAP(等面积投影(equal-area projection))，其导致在整个纬度范围内在信噪比方面更平滑以及一致的图像质量。
在图1中，赤道分段的高度h等于宽度w的四倍(也就是h＝4w)，换句话说，矩形区域130可以被拆分成4个正方形，标记为f＝2，3，4以及5。前向(也就是 3D至2D)SSP根据下述公式将中间赤道映射到分段矩形：
反向(也就是2D至3D)SSP根据下述公式将该分段的矩形映射回该中间赤道：
在JVET-E0025以及JVET-F0052中公开的SSP方法已经示出了在编解码效率方面比ERP视频编解码产生很好的性能。然而，用于SSP的北极图像以及南极图像的映射可能不是最佳的，可能会有导致更好性能的其他映射。而且，在圆形区域周围存在着一些冗余区域(也就是空白区域)，其可能会对编解码性能有负面影响。此外，在SSP中不同分段之间会有多个边界，因此，急需要发展技术来提高SSP的编解码性能。
在本发明中，在旋转的球面投影(RSP)以及立方体贴图投影(CMP)中也存在着类似的问题，因此，本发明也公开了RSP以及CMP的提高方法。
发明内容
本发明公开了与分段球面投影(SSP)有关的处理球面图像的方法以及装置，根据这一方法，使用从包括等面积映射、非均匀映射以及立方体球面映射的映射组中所选择的映射进程，将所述球面图像的北极区域投影成第一圆形区域以及将所述球面图像的南极区域投影成第二圆形区域。将所述球面图像的赤道区域投影成矩形图像，分别从所述第一圆形图像以及所述第二圆形图像导出第一正方形图像以及第二正方形图像，将所述第一正方形图像、所述第二正方形图像以及所述矩形图像组装到矩形布局格式中，以及提供使用所述矩形布局格式的所述球面图像用于进一步的处理。
在一个实施例中，使用FG方圆形映射、简单拉伸、椭圆网格映射或者 Schwarz-Christoffel映射分别将所述第一圆形图像以及所述第二圆形图像投影成所述第一正方形图像以及所述第二正方形图像。
在一个实施例中，所述矩形布局格式对应于水平方向放置的所述矩形图像分离端上的所述第一正方形图像以及所述第二正方形图像、对应于垂直方向放置的所述矩形图像分离端上的所述第一正方形图像以及所述第二正方形图像、对应于垂直堆叠的所述第一正方形图像以及所述第二正方形图像并在水平方向上对接于变形的所述矩形图像，或者对应于水平堆叠的所述第一正方形图像以及所述第二正方形图像并在垂直方向上对接于变形的所述矩形图像。
在一个实施例中，基于一个或多个不连续边缘，所述矩形布局格式中的所述球面图像被分割成多个切片或多个方块。跨任何分割边界的环路滤波进程是禁用的。在另一个实施例中，将数据填充应用到所述第一圆形图像以及第一封闭的正方形之间、所述第二圆形图像与第二封闭的正方形之间或者所述第一圆形图像及所述第二圆形图像与第三封闭的矩形之间的任何空白区域。
本发明公开了与反向分段球面投影(SSP)有关的处理球面图像的方法以及装置。所述进程对应于球面图像至分段球面投影的反向进程。
本发明公开了与旋转的球面投影(RSP)有关的处理球面图像的方法以及装置。根据这一方法，使用等面积映射将该球面图像投影成对应于该球面图像的
区域的第一部分旋转的球面投影以及对应于所述球面图像剩余部分的第二部分旋转的球面投影，其中θ对应于由所述第一部分旋转的球面投影覆盖的经度范围以及
对应于由所述第一部分旋转的球面投影覆盖的纬度范围，将所述第一部分旋转的球面投影以及所述第二部分旋转的球面投影、或者将修正的第一部分旋转的球面投影以及修正的第二部分旋转的球面投影组装到矩形布局格式中。提供使用所述矩形布局格式的所述球面图像用于进一步的处理。
在一个实施例中，通过拉伸所述第一部分旋转的球面投影的顶边以及底边来形成所述修正的第一部分旋转的球面投影的顶边以及底边上的水平边界来生成所述修正的第一部分旋转的球面投影，以及通过拉伸该第二部分旋转的球面投影的顶边以及底边来形成所述修正的第二部分旋转的球面投影的顶边以及底边上的水平边界来生成所述修正的第二部分旋转的球面投影。
在一个实施例中，通过应用投影来将所述第一部分旋转的球面投影映射到第一矩形区域来生成所述修正的第一部分旋转的球面投影，以及通过应用投影来将所述第二部分旋转的球面投影映射到第二矩形区域来生成所述修正的第二部分旋转的球面投影，其中从包括FG方圆形映射、简单拉伸、椭圆网格映射以及Schwarz-Christoffel映射的映射组中选择所述投影。可以将填充应用于所述第一部分旋转的球面投影、所述修正的第一部分旋转的球面投影、所述第二部分旋转的球面投影、所述修正的第二部分旋转的球面投影或者所述矩形布局格式的边缘或边界的周围。例如，从填充组中选择的所述填充包括几何映射、扩展边界值以及复制其他边到填充区域。
本发明公开了与反向旋转的球面投影(RSP)有关的处理球面图像的方法以及装置。所述进程对应于球面图像到旋转的球面投影的反向进程。
本发明公开了通过使用三维(3D三维)至2D(二维)映射将所述每一球面图像投影成一个二维图像的处理球面图像的方法以及装置。根据这一方法，接收球面图像序列，其中每一球面图像对应于一个360°虚拟现实图像。使用三维(3D三维)至2D(二维)映射将所述每一球面图像投影成包括多个二维图像的一个图像，根据与每一图像有关的多个二维图像的不连续边界将每一图像拆分成多个分割。然后将视频编解码应用于从所述球面图像序列生成的具有相同分割的多个二维图像。
在上述方法中，可以从包括分段球面投影(SSP)、旋转的球面投影(RSP)以及立方体贴图投影(CMP)的一组中选择所述3D(三维)至2D(二维)映射。每一分割可以对应于分割成一个切片或者一个方块的一个分割，跨任何分割边界与该视频编解码有关的环路滤波进程是禁用的。
本发明也公开了通过使用2D(二维)至3D(三维)映射将每一二维图像投影成一个球面图像的处理球面图像的方法以及装置。所述进程对应于上述方法的反向进程。
通过本发明所提出的方法，可以进一步降低拉伸球面图像的两极所引入的失真，结合使用填充、拉伸等技术来减少图像中的空白区域，降低编解码过程中产生的伪影。
附图说明
图1A示出了分段球面投影的示例，其中球面图像被映射成北极图像、南极图像以及赤道分段图像。
图1B示出了分段球面投影布局的示例，其中为了较小线性缓冲器(也就是较窄的图像宽度)，矩形图像被垂直地转置。
图2A示出了根据等角度投影将θ与π/2之间的纬度
映射成圆形区域中具有半径d的环210来生成北极图像。
图2B示出了根据等角度投影将-θ与-π/2之间的纬度
映射成圆形区域中具有半径d的环230来生成南极图像。
图3A示出了根据等面积投影将θ与π/2之间的纬度
映射成圆形区域中具有半径d的环310来生成北极图像。
第3B图示出了根据一等面积投影将-θ与-π/2之间的纬度φ映射成圆形区域中具有半径d的环330来生成南极图像。
图4A示出了将3D域中单位球面映射到中心在原点(0，0)处的单位圆形区域的示例，单位圆形区域表示纬度θ至π/2的区域。
图4B示出了将3D域中单位球面映射到中心在原点(0，0)处的单位圆形区域的示例，单位圆形区域表示纬度-θ至-π/2的区域。
图5示出了使用幂函数(power function)作为非均匀映射(non-uniformmapping)生成北极图像的示例。
图6示出了使用立方体贴图投影生成北极图像的示例。
图7示出了根据本发明实施例的两个圆形图像以及一个矩形图像的各种 SSP布局。
图8示出了各种SSP布局的多个不连续边界(示为虚线)的示例。
图9A示出了根据简单拉伸(simple stretching)将圆形区域中的圆圈映射成正方形区域中的正方形的示例。
图9B示出了根据简单拉伸分别将北极图像以及南极图像映射成正方形图像的示例。
图10A示出了根据FG方圆形映射(FG-squircular maping)将圆形区域映射成正方形区域的示例。
图10B示出了根据FG方圆形映射分别将北极图像以及南极图像映射成正方形图像的示例。
图11A示出了根据椭圆网格映射(elliptical grid mapping)将圆形区域映射成正方形区域的示例。
图11B示出了根据椭圆网格映射分别地将北极图像以及南极图像对应成正方形图像的示例。
图12示出了根据Schwarz-Christoffel映射将圆形区域映射成正方形区域的示例。
图13示出了RSP的示例，其中球体被分割成中间270°×90°区域以及残差部分。RSP的这两部分可以在顶边以及底边进一步地拉伸来生成变形的部分，变形的部分在顶部以及底部具有水平边界。
图14示出了RSP的示例，其中球体被分割成RSP的中间
区域以及残差部分。
图15示出了使用各种映射将每一两部分表面变形成矩形的示例。
图16示出了不同布局的原始分段表面以及修正的分段表面的填充的示例。
图17示出了RSP以及修正的RSP的多个分割边界的示例。
图18示出了立方体贴图投影的示例，其中示出了球体的坐标。用于该立方体贴图投影的ERP图像由X正面、X背面、Z正面、Z背面、Y顶面以及Y底面组成。
图19示出了根据本发明实施例的立方体贴图投影的示例，其中六个表面被分成两个修正组，以及每一修正组可以通过均等地分开纬度方向以及经度方向进一步地重新取样成矩形。
图20示出了用于立方体贴图投影不同布局的两组表面以及修正的两组表面的填充的示例。
图21示出了立方体贴图投影的两组表面以及修正的两组表面的分割边界的示例。
图22示出了根据本发明一实施例的处理与分段球面投影(SSP)有关的球面图像的系统的示例性流程图。
图23示出了根据本发明一实施例的系统的示例性流程图，该系统处理与相反的分段球面投影(SSP)有关的球面图像。
图24示出了根据本发明一实施例的系统的示例性流程图，该系统处理与旋转的球面投影(RSP)有关的球面图像。
图25示出了根据本发明一实施例的系统的示例性流程图，该系统处理与反向旋转的球面投影(RSP)有关的球面图像。
图26示出了根据本发明一实施例的系统的示例性流程图，该系统通过使用 3D(三维)至2D(二维)映射将每一球面图像投影成一个二维图像来处理球面图像，其中每一图像根据多个不连续性边界被分成多个分割(partition)。
图27示出了根据本发明一实施例的系统的示例性流程图，该系统通过使用 2D(二维)至3D(三维)映射将每一二维图像投影成一个球面图像来处理球面图像，其中每一图像根据多个不连续性边界被分成多个分割。
具体实施方式
后续的描述是实施本发明的最佳实施方式，所做之描述是为了说明本发明的基本原则以及不应当对此做限制性理解。本发明的范围由参考所附权利要求最佳确定。
分段球面投影(SSP)
在本发明中，提升编解码效率的各种技术领域与SSP有关，公开了包括用于将球体的北极以及南极映射成圆形区域、两极图像的布局以及矩形分段的投影方法，以及将该圆形区域映射成正方形区域的投影方法。
将北极以及南极映射成圆形区域的投影方法
如之前所提到的，在JVET-E0025中，根据等式(1)的上部分生成北极图像以及根据等式(1)的下部分生成南极图像。在本发明中，公开了各种其他方法来生成北极图像以及南极图像。
A.用于SSP中圆形区域的等角度投影
根据JVET-E0025的SSP属于这一分类，在等角度投影格式中，像素取样相等地拆分纬度与经度。等角度投影的不同的表示示出如下。假如具有半径r的圆形区域212(也就是圆盘)表示纬度从θ到π/2的区域，那么根据下面的等式可以将θ与π/2之间的纬度
映射成如图2A所示的圆形区域212中具有半径d的环210：
在决定半径d以后，根据x′＝w/2+d sinφ以及y′＝w/2+d cosφ可以决定该环中的点的坐标。换句话说，如果可以决定对应于纬度
均环，可以决定圆形区域中(x’，y’)的位置。在图2A中，示出了根据等角度投影生成北极图像220的示例。假定具有半径r的圆盘232表示纬度-θ到-π/2的区域，那么根据下面的等式可以将纬度
映射成如第2B图所示的具有半径d的环230：
在图2B中，示出了根据等角度投影生成南极图像240的示例。在上述可选的等角度投影的表示中，北极图像以及南极图像对应于θ等于π/4。
B.用于SSP中圆的等面积投影
在等面积投影格式中，取样率与球体域上的面积成比例。因为在北极图像以及南极图像中所有区域中的编解码伪影(coding artefact)将可能是均匀的，这一等面积特征对图像/视频压缩可能是有用的。假定具有半径r的圆表示纬度θ至π/2 的区域，那么根据下面的等式可以将纬度
映射成如图3A所示的圆形区域312 中具有半径d的环310：
另外，在决定半径d以后，根据x′＝w/2+d sinφ以及y′＝w/2+d cosφ.可以决定环中点的坐标。在图3A中，示出了根据等面积投影生成北极图像320的示例。假定具有半径r的圆形区域332表示纬度-θ至-π/2的区域，那么根据下面的等式可以将纬度
映射成如图3B所示的具有半径d的环330：
在图3B中，示出了根据等面积投影生成南极图像340的示例。
因为根据等面积投影格式的取样率与球体域上的面积成比例，可以应用 Lambertazimuthal等面积投影。如图4A所示，假定中心在原点(0，0)的单元圆形区域420表示纬度θ至π/2的区域，那么对于3D域中单元球体410，根据下面的等式的2D(X，Y)到3D(x，y，z)转换是：
3D至2D转换是：
如图4B所示，假定中心在原点(0，0)的单位圆盘440表示纬度-θ至-π/2的区域，那么对于3D域中单元球体430，根据下面的等式的2D(X，Y)到3D(x，y， z)转换是：
3D至2D转换是：
C.用于SSP中圆形区域的非均匀映射
非均匀取样也可以应用于圆形区域来调整取样率。这里有本领域所公知的各种非均匀取样技术，其可以用于非均匀重新取样。例如，非均匀重新取样可以对应于：
·分段线性函数(piecewise linear function)
·指数函数(exponential function)
·多项式函数(polynomial function)
·幂函数(power function)
·任何函数或等式(any function or equation)
图5示出了使用幂函数生成北极图像作为非均匀映射的示例。
D.用于SSP中圆形区域的立方体贴图投影
立方体球面布局是通过将球面图像投影到立方体的六个面的用2D表示360° VR图像的公知技术。立方体贴图投影可以应用于将北极图像或南极图像投影成圆形区域。图6示出了使用立方体贴图投影610生成北极图像620的示例。
分段球面投影的布局
根据JVET-E0025，SSP布局对应于具有狭窄宽度的条带(strip)。尤其两个圆盘交错放置于图1B示出的赤道分段的矩形分段的顶部。在本发明中，如图7所示，公开了用于两个圆形图像以及一个矩形图像的各种SSP布局。在图7中，示出了三个垂直条带布局对应于在顶部的两个圆形图像(710)、一个圆形图像在各个端点(712)以及两个圆形图像在底部(714)。另外，矩形图像可以被收缩或拉伸并然后连接到两个圆形图像。具有收缩或拉伸的矩形区域的各种布局示出于布局720-728中。
根据多个不连续边界，图像可以被拆分多个分割，例如多个切片(slices)、多个方块(tiles)等等。由于分段边界上存在不连续性，利用相邻像素信息的任何处理应当考虑该不连续性。例如，根据本发明一实施例，跨过分割边界的环路滤波器可以是禁用的。图8示出了布局810-842的多个不连续边界(示出为虚线)的示例。
在SSP中，为了形成正方形图像，空白区域存在于对应于北极以及南极的圆形图像的周围。在编解码或处理过程中，可能需要存取该空白区域中的像素数据。另外，一些处理(例如，滤波或插值)可能需要存取在布局的边界外的像素数据。因此，在一个实施例中，填充被应用于圆盘与封闭的正方形之间的空白区域，或者应用于两极图像(pole image)的边缘与边界周围。对于两极图像，可以使用几何映射(geometry mapping)添加填充，或者扩展边界值。对于矩形分段，可以通过使用几何映射添加填充、扩展边界值或者复制其他边至填充区域。例如，填充可以应用于图8中布局的空白区域(示为点填充的区域)。
可以在编解码之前执行填充，如果在编解码过程中执行填充，可以从当前帧或先前帧或者两者组合的重构的边导出该填充。
圆形区域与正方形之间的映射
在SSP格式中对应于两极的圆形区域与封闭的正方形之间存在一些空白区域。根据本发明的一方法通过将圆形区域变形成正方形来填充空白区域，来避免像素数据的任何浪费。这里有各种已知的技术来将圆形区域拉伸或变形成正方形，一些示例示出如下：
A.简单拉伸
根据简单拉伸，图9A中圆形区域910中的每一圆被映射成正方形区域920 中的正方形。例如，图9A中的目标圆912被映射成目标正方形922。图9B示出了分别地将北极图像930以及南极图像950映射成正方形图像940以及960 的示例。根据下面的等式实现简单的圆到正方形的映射：
其中
根据下面的等式实现简单的正方形到圆的映射：
B.FG方圆形映射
方圆形(squircle)是由Fernandez Guasti开发的介于正方形与圆形之间的数学上的形状。图10A示出了根据方圆形映射将圆形区域1010映射成正方形区域 1020的示例。例如，图10A中的目标圆1012被映射成目标方圆形1022。图10B 标出了分别地将北极图像1030以及南极图像1050映射成正方形图像1040以及1060的示例。FG方圆形映射根据下面的等式：
根据FG方圆形映射的正方形到圆形映射示出如下：
C.椭圆网格映射
椭圆网格映射(Elliptical grid mapping)是在圆形区域以及正方形区域之间映射的另一种技术。图11A示出了根据椭圆网格映射将圆形区域1110映射成正方形区域1120的示例。例如，图11A中的目标圆1112被映射成目标轮廓 1122(contour)。图11B示出了分别地将北极图像1130以及南极图像1150映射成正方形图像1140以及1160的示例。该椭圆网格映射根据下面的等式：
根据椭圆网格映射的正方形到圆的映射示出如下：
D.Schwarz-Christoffel映射
Schwarz-Christoffel映射是在圆形区域与正方形区域之间映射的又一技术。图12示出了根据Schwarz-Christoffel映射的将圆形区域1210映射成正方形区域 1220的示例。例如，图12中的目标圆1212被映射成目标轮廓1222。该Schwarz- Christoffel映射根据下面的等式：
根据Schwarz-Christoffel映射的正方形到圆的映射示出如下：
在上述等式中，F()是第一类的不完全椭圆积分(incomplete ellipticintegral)，cn()是雅克比椭圆函数(Jacobi elliptic function)，以及Ke被定义如下：
以上所述中，公开了根据分段球面投影(SSP)的从球面图像到布局的前向投影。根据SSP的矩形布局格式中的球面图像可以被进一步处理，例如压缩。当查看球面图像时，需要由反向进程来处理矩形布局格式中的球面图像来覆盖该球面图像。例如，如果两个对应于北极以及南极的两个圆图像以及对应于赤道分段的矩形图像是可用的，这些图像可以用于覆盖球面图像。基于用于将球体的北极区域以及南极区域投影成北极图像以及南极图像所选择的特定投影，对应的反向投影可以用于将北极图像以及南极图像投影成该球体的北极区域以及南极区域。此外，如果使用所选择的映射将两极图像进一步映射成正方形图像，反向映射可以用于将该正方形图像转换回两极图像。如果应用了任何填充，在处理过程中应当移除或忽略所填充的数据。
旋转的球面投影(RSP)
旋转的球面投影将球体表面拆分成两部分：一部分表示270°×90°区域，以及其他部分表示残差。这两个表面的投影格式可以是等矩形投影(ERP)或者等面积投影(EAP)等等。假定RSP表面具有高度h，对于该面上的一点(x，y)，EAP 的纬度
是：
ERP的纬度
是：
图13示出了RSP的示例，其中球体1310被分割成中间270°×90°区域 1320以及残差部分1330。RSP的这两部分可以在顶边以及底边进一步拉伸来生成变形部分1340，该变形部分1340在顶部以及底部具有水平边界。
在更为普通的情况中，RSP的一部分可以表示
区域，以及RSP的其他部分表示残差。假定RSP表面具有高度h，对于该表面上的点(x，y)，EAP的纬度
是：
ERP的纬度
是：
图14示出了RSP的示例，其中球体1410被分割成中间
区域1420以及残差部分1430。RSP的这两部分可以在顶边以及底边进一步拉伸来生成变形的部分1440，该变形的部分1440在顶部以及底部具有水平边界。
如图15所示，每一两部分表面1510使用各种映射也可以变形成矩形形状 1520，例如FG方圆形映射、简单拉伸、椭圆网格映射或者Schwarz-Christoffel 映射。
RSP的填充
在原始表面以及封闭该原始表面的矩形之间存在一些空白区域，而且，一些处理可能需要来自分段表面或者变形的分段表面的边界外相邻像素的像素数据。根据本发明一实施例，填充可以应用于分段表面或变形的分段表面的边缘以及边界周围。可以使用各种填充技术，例如几何映射、扩展边界值或者复制其他边到填充区域。可以在编解码之前执行填充，如果在编解码过程中执行填充，该填充可以使用来自当前帧或先前帧或者两者组合的重构部分的数据。
图16示出了用于不同布局的原始分段表面以及修正的分段表面的填充的示例。例如，块1610至1618表示用于与原始分段表面有关的各种布局的填充，其中点填充的区域指示填充区域。块1620至1628表示用于与修正的分段表面有关的各种布局的填充，该修正的分段表面具有水平边界，其中点填充的区域指示填充区域。块1630至1632表示用于与修正的分段表面有关的各种布局的填充来形成矩形区域，其中点填充的区域指示填充区域。
分割RSP
根据不连续的边缘，来自RSP的图像可以被拆分成多个分割，例如多个切片、方块等等。使用相邻像素数据的一些处理可能导致不连续边缘上的伪影。因此，根据本发明一实施例，例如环路滤波，使用相邻像素数据的处理在分区边界上可以是禁用的。
图17示出了RSP以及修正的RSP布局的分割边界的示例，其中边界1712 与RSP布局1710有关，边界1722与具有顶边以及底边被变形成为水平边缘的修正的RSP布局1720有关，以及边界1732与通过拉伸表面至矩形区域的修正的RSP布局1730有关。
以上所述，公开了根据旋转的球面投影(RSP)从球面图像至布局的前向投影。根据RSP，在矩形布局格式中的球面图像可以被进一步处理，例如压缩。当观察球面图像的时候，需要通过反向进程来处理矩形布局格式中的球面图像以覆盖该球面图像。例如，如果RSP的第一部分以及第二部分是可用的，该两部分可以用于恢复球面图像。此外，如果RSP的两部分在变形的格式中，例如图14中的变形部分1440，可以应用反向投影来恢复RSP原始的两部分。如果RSP的两部分被拉伸至矩形图像中，可以应用反向投影来将矩形部分转换成RSP的原始部分。如果应用了任何填充，在处理进程中应当移除或忽略所填充的数据。
修正的立方体贴图投影
立方体贴图投影包括六个正方形表面，其相等地划分球体的表面。然而，每一表面上的角度(如经度、纬度)可能不等份地分布。图18示出了立方体贴图投影的示例，其中示出了球体1810的坐标。立方体贴图投影的ERP图像1820包括X正面、X背面、Z正面、Z背面、Y顶面以及Y底面。
根据一实施例，如图19所示，六个表面1910被分成两组1920，以及每一组具有三个连续表面。例如，第一组1922包括Z正面、X正面以及Z背面，而另一组1924包括Y顶面、X背面以及Y底面。根据另一实施例，通过相等地划分纬度方向以及经度方向，每一修正的组(也就是1922以及1924)可以进一步重取样成矩形。如图19所示，这两个进一步修正的组可以随后被组合成矩形布局 1930。
修正的立方体贴图投影的填充
在原始表面以及封闭原始表面的矩形之间存在着一些空白区域。另外，一些处理可能需要来自分段表面或变形的分段表面的边界外的相邻像素的像素数据。根据本发明的一实施例，填充可以应用于分段表面或者变形的分段表面周围的边缘以及边界。可以使用各种填充技术，例如几何映射、扩展边界值或者复制其他边到填充区域。可以在编解码之前执行填充，如果在编解码过程执行填充，所述填充可以使用来自当前帧或来自先前帧或者两者组合的重构的部分的数据。
图20示出了用于不同布局的两组表面以及修正的两组表面的填充的示例。例如，块2010至2014表示与两组表面有关的各种布局的填充，其中点填充的区域指示填充区域。块2020之2022表示用于与修正的两组表面有关的各种布局的填充，其中延伸到两组表面之外的填充由点填充的区域所指示。块2030至 2032表示与修正的两组表面有关的各种布局的填充，来形成矩形区域，其中点填充的区域指示填充区域。
分割修正的立方体贴图投影
根据不连续的边缘，来自于修正的立方体贴图投影的图像可以被分成多个分割，例如多个切片、多个方块等等。使用相邻像素数据的一些处理可能造成不连续边缘上的伪影。因此，根据本发明一实施例，例如环路滤波，使用相邻像素数据的处理在分割边界上可以是禁用的。
图21示出了两组表面以及修正的两组表面的分割边界的示例，其中边界 2112与两组表面布局2110有关，以及边界2122与具有变形成矩形区域的多个表面的修正的两组表面布局2120有关。
图22示出了根据本发明一实施例的系统的示例性流程图，所述系统处理与分段球面投影(SSP)有关的球面图像。所述流程图以及本发明其他流程图中示出的步骤可以被实施为在编码器侧和/或解码器侧的一个或多个处理器(一个或多个CPU)上可执行的程序代码。流程图中示出的步骤也可以基于如一个或多个电子装置或处理器的硬件来实施，用于执行流程图中的步骤。根据这一方法，在步骤2210中，接收对应于360°虚拟现实图像的球面图像。在步骤2220中，使用从包括等面积映射、非均匀映射以及立方体球面映射的映射组中所选择的映射进程，将所述球面图像的北极区域投影成第一圆形图像以及将所述球面图像的南极区域投影成第二圆形图像。在步骤2230中，将所述球面图像的赤道区域投影成矩形图像。在步骤2240中，从所述第一圆形图像以及所述第二圆形图像分别导出第一正方形图像以及第二正方形图像。在步骤2250中，所述第一正方形图像、所述第二正方形图像以及所述矩形图像被组装到矩形布局格式中。在步骤 2260中，然后提供使用所述矩形布局格式的所述球面图像用于进一步处理。
图23示出了根据本发明一实施例系统的示例性流程图，所述系统处理与反向分段球面投影(SSP)有关的球面图像。在步骤2310中，接收使用矩形布局格式的球面图像，所述球面图像包括分别对应于所述球面图像的北极区域、南极区域以及赤道区域的第一正方形图像、第二正方形图像以及矩形图像，其中所述球面图像对应于360°虚拟现实图像。在步骤2320中，分别从所述第一正方形图像以及所述第二正方形图像中导出第一圆形图像以及第二圆形图像。在步骤2330 中，使用从包括反向等面积映射、反向非均匀映射以及反向立方体球面映射的反向映射组中所选择的反向映射进程，将所述第一圆形图像投影到所述球面图像的所述北极区域以及将所述第二圆形图像投影到所述球面图像的所述南极区域。在步骤2340中，将所述矩形区域投影到所述球面图像的所述赤道区域。在步骤 2350中，基于所述球面图像的所述北极区域、所述球面图像的所述南极区域以及所述球面图像的所述赤道区域，为所述球面图像生成所述360°虚拟现实图像。在步骤2360中，为所述球面图像提供所述360°虚拟现实图像。
图24示出了根据本发明一实施例的系统的示例性流程图，所述系统处理与旋转的球面投影(RSP)有关的球面图像。根据这一方法，在步骤2410中，接收对应于360°虚拟现实图像的球面图像。在步骤2420中，使用等面积映射将所述球面图像投影成对应于所述球面图像的
区域的第一部分旋转的球面投影以及对应于所述球面图像的剩余部分的第二部分旋转的球面投影，其中θ对应于由所述第一部分旋转的球面投影所覆盖的经度范围，以及
对应于由所述第一部分旋转球面投影所覆盖的纬度范围。在步骤2430中，所述第一部分旋转的球面投影以及所述第二部分旋转的球面投影，或者修正的第一部分旋转的球体投影以及修正的第二部分旋转的球面投影被组装到矩形布局格式中。在步骤2440，提供使用所述矩形布局格式的所述球面图像用于进一步的处理。
图25示出了根据本发明一实施例的一系统的示例性流程图，所述系统处理与反向旋转的球面投影(RSP)有关的球面图像。根据这一方法，在步骤2510中，接收使用矩形布局格式的球面图像，所述球面图像包括第一部分旋转的球面投影以及第二部分旋转的球面投影，或者修正的第一部分旋转的球面投影以及修正的第二部分旋转的球面投影，其中所述球面图像对应于360°虚拟现实图像，所述第一部分旋转的球面投影对应于所述球面图像的
区域以及所述第二部分旋转的球面投影对应于所述球面图像的剩余部分，以及θ对应于由所述第一部分旋转的球面投影覆盖的经度范围以及
对应于由所述第一部分旋转球面投影所覆盖的纬度范围。在步骤2520中，从所述矩形布局格式导出所述第一部分旋转的球面投影以及所述第二部分旋转的球面投影。在步骤2530中，使用等面积映射将所述第一部分旋转的球面投影以及所述第二部分旋转的球面投影投影成所述球面图像。在步骤2540中，提供所述360°虚拟现实图像用于所述球面图像。
图26示出了根据本发明一实施例的系统的示例性流程图，所述系统通过使用3D(三维)至2D(二维)映射将每一球面图像投影成二维图像来处理球面图像，其中根据不连续边缘将每一图像拆分成多个分割。根据这一方法，在步骤2610 中，接收球面图像序列，其中每一球面图像对应于一个360°虚拟现实图像。在步骤2620中，使用3D(三维)至2D(二维)映射将每一球面图像投影成包括多个二维图像的一个图像。在步骤2630中，根据与每一图像有关的多个二维图像的多个不连续边缘，每一图像被拆分成多个分割。在步骤2640中，将视频编解码应用于从所述球面图像序列生成的具有相同分割的二维图像。
图27示出了根据本发明一实施例的系统的示例性流程图，所述系统通过使用2D(二维)至3D(三维)映射将每一二维图像投影成一个球面图像来处理球面图像，其中根据多个不连续边缘将每一图像拆分成多个分割。根据这一方法，在步骤2710中，接收与球面图像序列的压缩数据有关的比特流，其中每一球面图像对应于一个360°虚拟现实图像。在步骤2720中，对所述比特流进行解码来恢复具有相同分割的多个二维图像，其中在编码器侧使用所述多个二维图像时，使用3D(三维)至2D(二维)映射将每一球面图像投影成包括多个二维图像的一个图像并根据与每一图像有关的多个二维图像的不连续边缘将每一图像分成多个分割。在步骤2730中，基于多个目标二维图像将来自于同一球面图像的所有分割组装成每一图像。在步骤2740中，使用2D(二维)至3D(三维)映射将每一图像投影成一个球面图像。在步骤2750中，为每一球面图像提供所述360°虚拟现实图像。
以上所示出的流程图旨在作为示例来说明本发明的实施例。本领域技术人员可以通过修正单个步骤、拆分或组合步骤来实施本发明而不背离本发明的精神。
以上描述是为了使本领域的普通技术人员能够如本发明上下文中提供特定应用及其需求一样实施本发明，对所描述的实施例的各种修改对本领域技术人员是显而易见的。并且本文中所定义的一般原理也可以应用于其他实施例，因此，本发明并不局限于所示出及描述的特定实施例，而是符合与这里公开的原理和新颖特征一致的最宽范围。在以上详细描述中，为了提供对本发明的透彻理解，示出了各种具体细节，然而本领域技术人员应当理解，可以实施本发明。
上述所描述的本发明的实施例可以以各种硬件、软件代码或者两者组合来实施。例如，本发明的实施例可以是集成到视频压缩芯片的一个或多个电子电路或者集成到视频压缩软件的程序代码来执行本文所描述的处理。本发明的实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码来执行本文所描述的处理。本发明也涉及由计算机处理器、数字信号处理器、一微处理器或者现场可程序设计门阵列(FPGA)所执行的一些功能。这些处理器可以用于执行根据本发明的特定任务，通过执行定义本发明实施的特定方法的机器可读软件代码或固件代码。软件代码或固件代码可以以不同的程序语言以及不同的格式或风格来开发。软件代码也可以被编译用于不同的目标平台。然而，软件代码的不同的代码格式、风格以及语言以及其他配置代码的方法来执行与本发明一致的任务将不背离本发明的精神以及范围。
在不背离本发明精神或基本特征的情况下，本发明可以以其他特定形式实施，所描述的实施例在所有方面都仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非前面的描述来指示。在权利要求的等同物的含义以及范围内的所有变化都包括在它们的范围内。
Claims (12)
1.一种处理球面图像的方法，其特征在于，所述方法包括：
接收对应于360°虚拟现实图像的球面图像；
使用从包括等面积映射、非均匀映射以及立方体球面映射的映射组中所选择的映射进程，将所述球面图像的北极区域投影成第一圆形图像以及将所述球面图像的南极区域投影成第二圆形图像；
将所述球面图像的赤道区域投影成矩形图像；
分别从所述第一圆形图像以及所述第二圆形图像通过拉伸或变形导出第一正方形图像以及第二正方形图像；
将所述第一正方形图像、所述第二正方形图像以及所述矩形图像组装到矩形布局格式中，其中在所述矩形布局格式中，所述第一正方形图像、所述第二正方形图像以及所述矩形图像组成另一矩形图像；以及
提供使用所述矩形布局格式的所述球面图像用于进一步的处理。
2.如权利要求1所述的处理球面图像的方法，其特征在于，其中使用FG方圆形映射、简单拉伸、椭圆网格映射或者Schwarz-Christoffel映射分别将所述第一圆形图像以及所述第二圆形图像投影成所述第一正方形图像以及所述第二正方形图像。
3.如权利要求1所述的处理球面图像的方法，其特征在于，其中所述矩形布局格式对应于在水平方向放置在所述矩形图像分离端上的所述第一正方形图像以及所述第二正方形图像、对应于在垂直方向放置在所述矩形图像分离端上的所述第一正方形图像以及所述第二正方形图像、对应于垂直堆叠的所述第一正方形图像以及所述第二正方形图像并在水平方向上对接于变形的所述矩形图像，或者对应于水平堆叠的所述第一正方形图像以及所述第二正方形图像并在垂直方向上对接于变形的所述矩形图像。
4.如权利要求1所述的处理球面图像的方法，其特征在于，其中将数据填充应用到所述第一圆形图像与第一封闭的正方形之间、所述第二圆形图像与第二封闭的正方形之间或者所述第一圆形图像以及所述第二圆形图像与第三封闭的矩形图像之间的任何空白区域。
5.一种处理球面图像的方法，其特征在于，所述方法包括：
接收对应于360°虚拟现实图像的球面图像；
使用等面积映射将所述球面图像投影成对应于所述球面图像的
区域的第一部分旋转的球面投影以及对应于所述球面图像剩余部分的第二部分旋转的球面投影，其中θ对应于由所述第一部分旋转的球面投影覆盖的经度范围以及
对应于由所述第一部分旋转的球面投影覆盖的纬度范围；
将所述第一部分旋转的球面投影以及所述第二部分旋转的球面投影、或者将修正的第一部分旋转的球面投影以及修正的第二部分旋转的球面投影组装到矩形布局格式中，其中该修正的第一部分旋转的球面投影以及修正的第二部分旋转的球面投影具有水平边界；以及
提供使用所述矩形布局格式的所述球面图像用于进一步的处理。
6.如权利要求5所述的处理球面图像的方法，其特征在于，其中通过拉伸所述第一部分旋转的球面投影的顶边以及底边来形成所述修正的第一部分旋转的球面投影的顶边以及底边上的水平边界来生成所述修正的第一部分旋转的球面投影，以及通过拉伸所述第二部分旋转的球面投影的顶边以及底边来形成所述修正的第二部分旋转的球面投影的顶边以及底边上的水平边界来生成所述修正的第二部分旋转的球面投影。
7.如权利要求5所述的处理球面图像的方法，其特征在于，其中通过应用投影来将所述第一部分旋转的球面投影映射到第一矩形区域来生成所述修正的第一部分旋转的球面投影，以及通过应用投影来将所述第二部分旋转的球面投影映射到第二矩形区域来生成所述修正的第二部分旋转的球面投影，其中从包括FG方圆形映射、简单拉伸、椭圆网格映射以及Schwarz-Christoffel映射的映射组中选择所述投影。
8.如权利要求7所述的处理球面图像的方法，其特征在于，其中将填充应用于所述第一部分旋转的球面投影、所述修正的第一部分旋转的球面投影、所述第二部分旋转的球面投影、所述修正的第二部分旋转的球面投影或者所述矩形布局格式的边缘或边界的周围。
9.如权利要求8所述的处理球面图像的方法，其特征在于，其中从包括几何映射、扩展边界值以及复制其他边到填充区域的填充组中选择所述填充。
10.一种处理球面图像的方法，其特征在于，所述方法包括：
接收球面图像序列，其中每一所述球面图像对应于一个360°虚拟现实图像；
使用三维至二维映射将每一所述球面图像投影成包括多个二维图像的一个图像；
根据与每一所述图像有关的所述多个二维图像的不连续边界将每一所述图像拆分成多个分割；以及
将视频编解码应用于从所述球面图像序列生成的具有相同分割的多个二维图像；
其中从包括分段球面投影、旋转的球面投影以及立方体贴图投影的一个组中选择所述三维至二维映射。
11.如权利要求10所述的处理球面图像的方法，其特征在于，其中每一分割对应于被分割成一个切片或一方块的一个分割。
12.如权利要求10所述的处理球面图像的方法，其特征在于，其中跨任何分割边界的与所述视频编解码有关的环路滤波进程被禁用。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762490647P | 2017-04-27 | 2017-04-27 | |
| US62/490,647 | 2017-04-27 | ||
| PCT/CN2018/083825 WO2018196682A1 (en) | 2017-04-27 | 2018-04-20 | Method and apparatus for mapping virtual-reality image to a segmented sphere projection format |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110574069A CN110574069A (zh) | 2019-12-13 |
| CN110574069B true CN110574069B (zh) | 2023-02-03 |
Family
ID=63920138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880028455.0A Active CN110574069B (zh) | 2017-04-27 | 2018-04-20 | 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20200074587A1 (zh) |
| CN (1) | CN110574069B (zh) |
| TW (1) | TWI666913B (zh) |
| WO (1) | WO2018196682A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102598082B1 (ko) * | 2016-10-28 | 2023-11-03 | 삼성전자주식회사 | 영상 표시 장치, 모바일 장치 및 그 동작방법 |
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| US10861359B2 (en) * | 2017-05-16 | 2020-12-08 | Texas Instruments Incorporated | Surround-view with seamless transition to 3D view system and method |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
| US20190182462A1 (en) * | 2017-12-08 | 2019-06-13 | Gopro, Inc. | Methods and apparatus for projection conversion decoding for applications eco-systems |
| US20200213570A1 (en) * | 2019-01-02 | 2020-07-02 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout |
| TWI734116B (zh) * | 2019-05-21 | 2021-07-21 | 國立陽明交通大學 | 球型相機影像拼接方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103314581A (zh) * | 2010-12-28 | 2013-09-18 | 艾布斯克影视公司 | 使用列的图像分割方法和系统 |
| CN104700352A (zh) * | 2013-12-09 | 2015-06-10 | Cjcgv株式会社 | 生成用于多投影剧院的图像的方法和图像管理设备 |
| CN106341673A (zh) * | 2016-08-15 | 2017-01-18 | 李文松 | 一种新型2d/3d全景vr视频的存储方法 |
| CN106548446A (zh) * | 2016-09-29 | 2017-03-29 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0811469A8 (pt) * | 2007-06-28 | 2019-01-22 | Thomson Licensing | métodos e dispositivo em um codificador e decodificador para suportar decodificação de ciclo simples de vídeo codificado em imagem multivista |
| CN101938599A (zh) * | 2009-06-30 | 2011-01-05 | 爱国者全景(北京)网络科技发展有限公司 | 生成互动的动态全景影像的方法 |
| GB2524249B (en) * | 2014-03-17 | 2021-01-20 | Sony Interactive Entertainment Inc | Image Processing |
| CN106358033B (zh) * | 2016-08-25 | 2018-06-19 | 北京字节跳动科技有限公司 | 一种全景视频关键帧编码方法和装置 |
| CN106569696B (zh) * | 2016-11-08 | 2021-04-06 | 影石创新科技股份有限公司 | 一种渲染输出全景影像的方法、系统及便携式终端 |
-
2018
- 2018-04-20 CN CN201880028455.0A patent/CN110574069B/zh active Active
- 2018-04-20 US US16/607,505 patent/US20200074587A1/en not_active Abandoned
- 2018-04-20 WO PCT/CN2018/083825 patent/WO2018196682A1/en active Application Filing
- 2018-04-23 TW TW107113707A patent/TWI666913B/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103314581A (zh) * | 2010-12-28 | 2013-09-18 | 艾布斯克影视公司 | 使用列的图像分割方法和系统 |
| CN104700352A (zh) * | 2013-12-09 | 2015-06-10 | Cjcgv株式会社 | 生成用于多投影剧院的图像的方法和图像管理设备 |
| CN106341673A (zh) * | 2016-08-15 | 2017-01-18 | 李文松 | 一种新型2d/3d全景vr视频的存储方法 |
| CN106548446A (zh) * | 2016-09-29 | 2017-03-29 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201842765A (zh) | 2018-12-01 |
| TWI666913B (zh) | 2019-07-21 |
| US20200074587A1 (en) | 2020-03-05 |
| WO2018196682A1 (en) | 2018-11-01 |
| CN110574069A (zh) | 2019-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110574069B (zh) | 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置 | |
| US10600233B2 (en) | Parameterizing 3D scenes for volumetric viewing | |
| CN109417634B (zh) | 使用虚拟参考帧的用于虚拟现实视频的帧间编码方法及装置 | |
| JP4625082B2 (ja) | 多面体パノラマ画像の符号化及び復号化のための方法及び装置 | |
| US10614609B2 (en) | Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images | |
| TW201804798A (zh) | 虛擬現實視訊處理的邊界填充的方法與裝置 | |
| CN109691104B (zh) | 处理360度虚拟现实图像的方法与装置 | |
| EP3646282A1 (en) | 360-degree video encoding with block-based extension of the boundary of projected parts | |
| JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
| US20200068205A1 (en) | Geodesic intra-prediction for panoramic video coding | |
| CN111418213B (zh) | 用于沉浸式视频编解码的信令语法的方法以及装置 | |
| US20180338160A1 (en) | Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images | |
| US10827159B2 (en) | Method and apparatus of signalling syntax for immersive video coding | |
| US11973981B2 (en) | Coding and decoding of an omnidirectional video | |
| US10091485B2 (en) | Method for encoding and reconstructing depth image using color image information | |
| US20200107026A1 (en) | Intra-prediction for video coding using perspective information | |
| JP2022517499A (ja) | 画像特性画素構造の生成および処理 | |
| Ray et al. | INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |