CN111492654A - 不同的映射函数应用于不同的正方形投影面，不同的轴和/或轴的不同位置的基于立方体的投影方法 - Google Patents

不同的映射函数应用于不同的正方形投影面，不同的轴和/或轴的不同位置的基于立方体的投影方法 Download PDF

Info

Publication number
CN111492654A
CN111492654A CN201980006446.6A CN201980006446A CN111492654A CN 111492654 A CN111492654 A CN 111492654A CN 201980006446 A CN201980006446 A CN 201980006446A CN 111492654 A CN111492654 A CN 111492654A
Authority
CN
China
Prior art keywords
projection
cube
plane
mapping functions
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980006446.6A
Other languages
English (en)
Other versions
CN111492654B (zh
Inventor
李亚璇
林建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202210342757.3A priority Critical patent/CN114945092A/zh
Publication of CN111492654A publication Critical patent/CN111492654A/zh
Application granted granted Critical
Publication of CN111492654B publication Critical patent/CN111492654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

基于立方体的投影方法包括生成与球体的360度图像内容的基于立方体的投影相关联的不同方形投影面的像素。第一正方形投影面的像素通过利用第一映射函数集合生成。第二正方形投影面的像素通过利用第二映射函数集合生成。不同的方形投影面包括第一正方形投影面和第二正方形投影面。第二映射函数集合与第一映射函数集合不同。

Description

不同的映射函数应用于不同的正方形投影面，不同的轴和/或 轴的不同位置的基于立方体的投影方法
相关引用
本发明主张2018年3月2日提出的第62/637,425号美国临时专利申请，以及2019年2月26日提出的第16/285,215号美国专利申请的优先权，上述申请案以引用的方式并入本文。
技术领域
本发明涉及处理全向视频帧，且更具体而言，涉及基于立方体的投影方法，将不同的映射函数应用于不同方形投影面，不同轴和/或轴的不同位置。
背景技术
具有头戴式显示器(Head-mounted display,简称HMD)的虚拟现实(virtualreality,简称VR)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。真实世界环境必须在所有方向上捕获，从而产生对应于球体的全向视频。随着摄像机装备和HMD的进步，由于表示这种360度图像内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
通常，对应于球体的全向视频被变换为基于投影的帧，其具有由以360度虚拟现实(360VR)投影布局打包的投影面所表示的360度图像内容，然后基于投影的帧被编码成比特流以进行传输。然而，如果球体和投影面之间的映射/投影未被正确设计，则由于采样率不均匀，编码/解码质量可能会降低。
发明内容
本发明的目的之一是提供一种基于立方体的投影方法，其将不同的映射函数应用于不同方形投影面，不同轴和/或轴的不同位置。例如，更均匀的采样率可通过所提出的映射函数实现。
根据本发明的第一方面，公开了一种示例性的基于立方体的投影方法。该示例性基于立方体的投影方法包括：通过转换电路生成与球体的360度图像内容的基于立方体的投影相关联的不同正方形投影面的像素。第一正方形投影面的像素通过利用第一映射函数集合生成。第二正方形投影面的像素通过利用第二映射函数集合生成。不同的方形投影面包括第一正方形投影面和第二正方形投影面。第二映射函数集合与第一映射函数集合不同。
根据本发明的第二方面，公开了一种示例性的基于立方体的投影方法。该示例性基于立方体的投影方法包括：通过转换电路生成与球体的360度图像内容的基于立方体的投影相关联的不同正方形投影面的像素。不同正方形投影面之一的像素通过利用包括分别应用于不同轴的不同映射函数的映射函数集合来生成。
根据本发明的第三方面，公开了一种示例性的基于立方体的投影方法。该示例性基于立方体的投影方法包括：通过转换电路生成与球体的360度图像内容的基于立方体的投影相关联的不同正方形投影面的像素。不同正方形投影面之一的像素通过利用包括应用于相同轴的不同映射函数的映射函数集合生成。不同的映射函数包括第一映射函数和第二映射函数。不同的正方形投影面之一具有根据相同轴上的第一位置和第一映射函数设置的第一像素，并且具有根据相同轴上的第二位置和第二映射函数设置的第二像素，其中第二位置与第一位置不同。
在结合下面附图阅读本发明的推荐实施例的以下详细描述之后，本发明之内容无疑将对本领域技术人员变得显而易见。
附图说明
结合在本说明书中并构成本说明书一部分的附图示出了本发明的实施例，并且与说明书一起用于解释本发明的原理：
图1示出根据本发明的实施例360度虚拟现实系统的示意图；
图2示出根据本发明的实施例基于立方体投影的示意图；
图3示出根据本发明的实施例在3D空间中的立方体的正方形投影面与2D平面上的正方形投影面之间的映射的示意图；
图4示出根据3D空间中的立方体的正方形投影面使用不同映射函数以在2D平面上设置方形投影面的示例的图；
图5示出根据2D平面上的方形投影面的像素使用不同的映射函数以在3D空间中设置立方体的正方形投影面的像素的示例的图；
图6示出根据本发明的实施例用于从2D平面到3D空间的逆变换使用的混合等角立方体贴图投影的示意图；
图7示出根据本发明的实施例用于从3D空间到2D平面的前向变换使用的混合等角立方体贴图投影的示意图。
图8示出根据本发明的实施例应用于相同轴的不同映射函数的示意图。
图9示出根据本发明的实施例映射函数集合的组合的示意图。
具体实施方式
贯穿以下描述和权利要求使用的特定术语，其涉及特定组件。如本领域技术人员将理解的，电子设备制造商可通过不同的名称来指涉同一组件。本文文件无意区别名称不同但功能相同的组件。在以下描述和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此应该被解释为表示“包括但不限于......”。而且，术语“耦合”旨在表示间接或直接电子连接。因此，如果一个装置耦合到另一个装置，则该连接可以通过直接电子连接，或通过经由其他装置和连接的间接电子连接。
图1是示出根据本发明的实施例360度虚拟现实(360-degree Virtual Reality，简称360VR)系统的示意图。360VR系统100包括源电子装置102和目的地电子装置104。源电子设备102包括视频捕获设备112，转换电路114和视频编码器116。例如，视频捕获设备112可以是全向摄影机。转换电路114根据对应于球体的全向视频帧S_IN生成具有360VR投影布局L_VR的基于投影的帧IMG，其中全向视频帧S_IN包含球体的360度图像内容。视频编码器116是编码电路，其对基于投影的帧IMG(其具有打包在360VR投影布局L_VR中的投影面)进行编码以生成比特流BS的一部分，并通过诸如有线/无线通信链路或存储介质的传输装置103将比特流BS输出到目的地电子装置104。
目的地电子装置104可以是头戴式显示器(head-mounted display,简称HMD)设备。如图1所示，目的地电子装置104包括视频解码器122，图形渲染电路124和显示设备126。视频解码器122是从发送装置103(例如，有线/无线通信链路或存储介质)接收比特流BS的解码电路，并对接收的比特流BS的一部分进行解码以生成解码帧IMG'。在该实施例中，由视频编码器116编码的帧IMG具有360VR投影布局L_VR。因此，在视频解码器122对比特流BS的一部分进行解码之后，解码帧(即，重构帧)IMG'具有相同的360VR投影布局L_VR。换句话说，解码帧IMG'也是基于投影的帧，其具有打包在360VR投影布局L_VR中的投影面。图形渲染电路124被布置为驱动显示设备126以显示由用户选择的视端口区域的图像内容。图形渲染电路124包括转换电路125，其被布置为处理由解码帧IMG'承载的360度图像内容的一部分，以获得与视端口区域的图像内容相关联的像素数据。
在该实施例中，360VR投影布局L_VR是基于立方体的投影布局。因此，从立方体的不同面导出的六个正方形投影面被打包在基于投影的帧IMG/解码帧IMG'所采用的基于立方体的投影布局中。关于源电子装置102的转换电路114，基于立方体的投影被用来在三维(three-dimensional,简称3D)空间中生成立方体的正方形投影面。图2是示出根据本发明的实施例基于立方体的投影的示意图。球体200上的360度图像内容被投影到立方体201的六个面上，包括顶面(标记为“顶”)，底面(标记为“底”)，左面(标记为“左”)，正面(标有“正”)，右面(标有“右”)和背面(标有“背”)。如图2所示，球体200的北极区域的图像内容被投影到顶面“顶”上，球体200的南极区域的图像内容被投影到底面“底”上，并且图像内容球200的赤道区域的投影被投射到左面“左”，正面“正”，右面“右”和背面“背”。
在由x轴，y轴和z轴限定的3D空间中，六个面上的每个点位于(x，y，z)，其中x,y,z∈[-1,1]。因此，正面“正”位于z平面上，z＝1，背面“背”位于z平面上，z＝-1，顶面“顶”位于y平面上y＝1，底面“底”位于y平面上，y＝-1，左面“左”位于x平面上，x＝1，右面“右”位于x平面上，x＝-1。
前向变换用于从3D空间(x，y，z)变换到2D平面(u，v)。因此，3D空间中立方体201的顶面“顶”，底面“底”，左面“左”，正面“正”，右面“右”和背面“背”被转换为2D平面上的顶面(标有“2”)，底面(标有“3”)，左面(标有“5”)，正面(标有“0”)，右面(标有“4”)和背面(标有“1”)。
逆变换用于从2D平面(u，v)变换到3D空间(x，y，z)。因此，2D平面上的顶面(标记为“2”)，底面(标记为“3”)，左面(标记为“5”)，正面(标记为“0”)，右面(标记为“4”)和背面(标记为“1”)被转换为3D空间中的立方体201的顶面“顶”，底面“底”，左面“左”，正面“正”，右面“右”，以及背面“背”。
关于z＝1的正面“正”，x轴可被映射到u轴，以及y轴可被映射到v轴。关于z＝-1的背面“背”，x轴可被映射到u轴，y轴可被映射到v轴。关于y＝1的顶面“顶”，z轴可被映射到u轴，以及x轴可被映射到v轴。关于y＝-1的底面“底”，z轴可被映射到u轴，以及x轴可被映射到v轴。关于x＝1的左面“左”，z轴可被映射到u轴，以及y轴可被映射到v轴。关于x＝-1的右面“右”，z轴可被映射到u轴，以及y轴可被映射到v轴。然而，这些仅用于说明目的，并不意味着是对本发明的限制。实际上，轴之间的映射可根据实际设计考虑来调整。
以正面的“正”的前向变换为例，以下映射函数可被用来获得正面“0”。
Figure BDA0002537436850000061
以正面的“0”的逆变换为例，以下映射函数可被用来获得正面“正”。
Figure BDA0002537436850000062
图3是示出根据本发明的实施例3D空间中的立方体的正方形投影面与2D平面上的正方形投影面之间的映射的示意图。对于在正面“0”上具有2D坐标(u，v)的整数像素q，2D坐标(u，v)可被映射到正面“正”上的点p的3D坐标(x，y，1)。因此，整数像素q由点p设定。具体地，对于包括在正面“0”中的任一整数像素，其在正面“正”中的对应位置可通过逆变换使用的2D到3D映射函数找到。以这种方式，2D平面上的正面“0”可通过3D空间中的正面“正”的逆变换来确定。
源电子装置102的转换电路114可采用逆变换来产生顶面“2”，底面“3”，左面“5”，正面“0”，右面“4”和背面“1”。2D平面上的顶面“2”，底面“3”，左面“5”，正面“0”，右面“4”和背面“1”被打包以形成将由视频编码器116编码的基于投影的帧IMG。将要编码的基于投影的帧IMG必须是矩形的。如果基于立方体的投影布局202直接被用于创建基于投影的帧IMG，则由于许多虚拟区域(例如，黑色区域，灰色区域或白色区域)填充在基于投影的帧IMG内，基于投影的帧IMG不会具有紧凑的布局。或者，基于投影的帧IMG可具有布置在紧凑的基于立方体的投影布局204中的投影图像数据，以避免使用虚拟区域(例如，黑色区域，灰色区域或白色区域)。
视频解码器122从传输装置103接收比特流BS，并对接收的比特流BS的一部分进行解码以生成解码帧IMG'，其具有在编码器侧采用的相同投影布局L_VR(例如，202或204)。关于目的地电子装置104的转换电路125，正向变换用来从3D空间(x，y，z)变换到2D平面(u，v)，以确定以下任一中的像素的像素值：顶面“顶”，底面“底”，左面“左”，正面“正”，右面“右”以及背面“背”。
请再次参考图3。对于正面“正”中具有3D坐标(x，y，1)的整数像素P，3D坐标(x，y，1)可被映射到正面“0”上的点Q的2D坐标(u，v)。因此，整数像素P由点Q设定。具体地，对于正面“正”中包括的任一整数像素，其在正面“0”中的对应位置可通过前向变换使用的3D到2D映射函数找到。
假设传统的立方体贴图投影(cubemap，简称CMP)用于将球体200上的360度图像内容投影到立方体201的六个面“顶”，“底”，“右”，“正”，“左”和“背”。立方体面中心附近的采样率远低于立方体面边界。本发明提出了一种改进的立方体贴图投影设计，其可通过在(u，v)上应用函数(例如，fu(u)/fu(u，v)和fv(v)/fv(u，v))来调整传统CMP的采样分布以获得更均匀的采样率。
在本发明的一些实施例中，编码器侧的转换电路114被布置为采用修改的立方体贴图投影设计。根据修改的立方体贴图投影设计，不同的2D到3D映射函数集合可被应用于不同的正方形投影面。转换电路114生成与球体(例如，图2中的球体200)的360度图像内容的基于立方体的投影相关联的不同方形投影面(例如，图2中所示的面“0”到“5”)的像素，其中第一正方形投影面的像素(例如，图2中所示的面“2”和“3”之一)通过利用第一2D到3D映射函数集合生成，第二正方形投影面的像素(例如，图2中所示的面“0”，“1”，“4”和“5”之一)通过利用第二2D到3D映射函数集合生成，并且该第二2D到3D映射函数集合与第一2D到3D映射功能集合不同。更具体地，转换电路114根据3D空间中立方体的正方形投影面(例如，图2所示的立方体201的“顶”和“底”之一)的像素以及第一2D到3D映射函数集合设置2D平面上的第一正方形投影面的像素。并根据3D空间中立方体的另一正方形投影面(例如，图2所示的立方体201的“正”,“背”,“右”和“左”之一)的像素以及第二2D到3D映射函数集合设置2D平面上第二正方形投影面的像素。
例如，转换电路114可采用所提出的混合等角立方体贴图投影(Hybrid equi-angular cubemap projection，简称HEC)，其中第一2D到3D映射函数集合包括是等角映射函数的2D到3D映射函数，并且第二2D到3D映射函数集合包括不是等角映射函数的2D到3D映射函数。在一个示例性设计中，通过第一2D到3D映射函数集合(其包括是等角映射函数的2D到3D映射函数)生成的第一正方形投影面可以是图2所示的顶面“2”和底面“3”之一，并且通过第二2D到3D映射函数集合生成的第二正方形投影面(其包括不是等角映射函数的一2D到3D映射函数)可以是左面“5”，正面“0”，右面“4”和背面“1”中之一。图4示出根据3D空间中的立方体的正方形投影面使用不同映射函数以在2D平面上设置方形投影面的示例的图。
根据修改的立方体贴图投影设计，应用于正方形投影面的2D到3D映射函数集合可包括分别应用于不同轴的不同映射函数。例如，应用于正方形投影面的2D到3D映射函数集合包括第一映射函数，该第一映射函数是等角映射函数并且被应用于第一轴，并且还包括第二映射函数，该第二映射函数不是等角映射函数并且被应用于与第一轴不同的第二轴。
在本发明的一些实施例中，解码器侧的转换电路125被布置为采用修改的立方体贴图投影设计。根据修改的立方体贴图投影设计，不同的3D到2D映射函数集合被应用于不同的正方形投影面。转换电路125生成与球体(例如，图2所示的球体200)的360度图像内容的基于立方体的投影有关联的不同方形投影面(例如，图2所示的立方体201的面“正”，“背”，“顶”，“底”，“右”和“左”)的像素，其中第一正方形投影面(例如，图2所示的面“顶”和“底”之一)的像素通过利用第一3D到2D映射函数集合来产生，以及第二正方形投影面(例如，图2所示的面“正”，“背”，“右”和“左”之一)的像素通过利用与第一3D到2D映射函数集合不相同的第二3D到2D映射函数集合来生成。更具体地，转换电路125根据2D平面上的正方形投影面(例如，图2所示的面“2”和“3”之一)的像素以及第一3D到2D映射函数集合，设置3D空间中立方体的第一正方形投影面的像素，并且根据2D平面上的另一正方形投影面(例如，图2所示的面“0”，“1”，“4”以及“5”之一)的像素以及第二3D到2D映射函数集合，设置3D空间中立方体的第二正方形投影面的像素。
例如，所提出的混合等角立方体贴图投影可被转换电路125采用，其中第一3D到2D映射函数集合包括3D到2D映射函数，其是等角映射函数。第二3D到2D映射函数集合包括3D到2D映射函数，其不是等角映射函数。在一个示例性设计中，通过第一3D到2D映射函数集合(其包括是等角映射函数的一3D到2D映射函数)生成的第一正方形投影面可以是如图2所示的顶面“顶”和底面“底”之一，通过第二3D到2D映射函数集合(其包括不是等角映射函数的一3D到2D映射函数)生成的第二正方形投影面可以是如图2所示的左面“左”,正面“正”，右面“右”，和背面“背”之一。图5示出根据2D平面上的方形投影面的像素使用不同的映射函数以在3D空间中设置立方体的正方形投影面的像素的示例的图。
根据修改的立方体贴图投影设计，应用于正方形投影面的3D到2D映射函数集合可包括分别应用于不同轴的不同映射函数。例如，应用于正方形投影面的3D到2D映射函数集合包括第一映射函数，该第一映射函数是等角映射函数并且被应用于第一轴，以及还包括第二映射函数，该第二映射函数不是等角映射函数并且被应用于与第一轴不同的第二轴。
在所提出的混合等角立方体贴图投影被转换电路114采用的情况下，根据3D空间中顶面和底面(例如，图2所示的面“Top”和“Bottom”)的像素，一2D到3D映射函数集合用于在2D平面上设置顶面和底面(例如，图2所示的面“2”和“3”)的像素，可以用以下公式表示。
Figure BDA0002537436850000091
根据3D空间中的右面，正面，左面和背面(例如，图2所示的面“右”,“正”,“左”和“背”)，另一2D到3D映射函数集合由转换电路114使用来在2D平面上设置右面，正面，左面和背面(例如，图2所示的面“4”，“0”，“5”和“1”)的像素，可以用以下公式表示。
Figure BDA0002537436850000101
应该注意的是映射函数
Figure BDA0002537436850000102
不是等角映射函数，并且在本发明的其他实施例中该映射函数可被
Figure BDA0002537436850000103
替代，其中k,a,b,c,d是可调参数。
当前述2D到3D映射函数集合被应用于正面“0”以进行逆变换时，输入(u，v)表示正面“0”的坐标(u，v)，输出(fu(u)，fv(u，v))表示z＝1的z平面上正面“正”的坐标(x，y)。
当上述2D到3D映射函数集合被应用于背面“1”以进行逆变换时，输入(u，v)表示背面“1”的坐标(u，v)，输出(fu(u)，fv(u，v))表示z＝-1的z平面上正面“背”的坐标(x，y)。
当上述2D到3D映射函数集合被应用于顶面“2”以进行逆变换时，输入(u，v)表示顶面“2”的坐标(u，v)，输出(fu(u)，fv(v))表示y＝1的y平面上顶面“顶”的坐标(z，x)。
当上述2D到3D映射函数集合被应用于底面“3”以进行逆变换时，输入(u，v)表示底面“3”的坐标(u，v)，输出(fu(u)，fv(v))表示y＝-1的y平面上底面“底”的坐标(z，x)。
当上述2D到3D映射函数集合被应用于左面“5”以进行逆变换时，输入(u，v)表示左面“5”的坐标(u，v)，输出(fu(u)，fv(v))表示x＝1的x平面上左面“左”的坐标(z，y)。
当上述2D到3D映射函数集合被应用于右面“4”以进行逆变换时，输入(u，v)表示右面“4”的坐标(u，v)，输出(fu(u)，fv(v))表示x＝-1的x平面上右面“右”的坐标(z，y)。
请参考图2并结合图6，图6示出根据本发明的实施例用于从2D平面到3D空间的逆变换的混合等角立方体贴图投影的示意图。根据混合等角立方体贴图投影，不同的2D到3D映射函数被应用于不同的面，并且不同的2D到3D的映射函数被应用于不同的轴。关于顶面“2”和底面“3”中的每一个的逆变换，应用于不同轴的2D到3D映射函数是等角映射函数。关于右面“4”，正面“0”，左面“5”和背面“1”中的每一个的逆变换，应用于一个轴的一2D到3D映射函数是等角映射函数，而应用于另一个轴的另一2D到3D映射函数不是等角映射函数。
以用来从如图3的示例的正面“正”生成正面“0”的逆变换为例。根据混合等角立方体贴图投影，在正面“0”上具有2D坐标(u，v)的整数像素q被映射到在正面“正”上具有3D坐标(fu(u)，fv(u，v)，1)的点p，其中
Figure BDA0002537436850000111
以及
Figure BDA0002537436850000112
根据修改的立方体贴图投影设计，所提出的混合等角立方体贴图投影可被转换电路125采用。根据2D平面上的顶面和底面(例如，图2所示的面“2”和“3”)的像素，3D到2D映射函数集合由转换电路125用于设置3D空间中顶面和底面(例如，图2所示的面“顶”和“底”)的像素，可以用以下公式表示。
Figure BDA0002537436850000113
根据2D平面上的右面，正面，左面和背面(例如，图2所示的面“4”，“0”，“5”和“1”)的像素，另一3D到2D映射函数集合由转换电路125用于设置3D空间中的右面，正面，左面和背面(例如，图2所示的面“右”，“正”，“左”和“背”)的像素，可以用以下公式表示。
Figure BDA0002537436850000121
当上述3D到2D映射函数集合被应用于正面“正”以进行前向变换时，输入(u，v)表示z＝1的z平面上正面“正”的坐标(x，y)，输出(gu(u)，gv(v))表示正面“0”的坐标(u，v)。
当上述3D到2D映射函数集合被应用于背面“背”以进行前向变换时，输入(u，v)表示z＝-1的z平面上背面“背”的坐标(x，y)，输出(gu(u)，gv(u，v))表示背面“1”的坐标(u，v)。
当上述3D到2D映射函数集合被应用于顶面“顶”以进行前向变换时，输入(u，v)表示y＝1的y平面上顶面“顶”的坐标(z，x)，输出(gu(u)，gv(v))表示顶面“2”的坐标(u，v)。
当上述3D到2D映射函数集合被应用于底面“底”以进行前向变换时，输入(u，v)表示y＝-1的y平面上底面“底”的坐标(z，x)，输出(gu(u)，gv(v))表示底面“3”的坐标(u，v)。
当上述3D到2D映射函数集合被应用于左面“左”以进行前向变换时，输入(u，v)表示x＝1的x平面上左面“左”的坐标(z，y)，输出(gu(u)，gv(u，v))表示左面“5”的坐标(u，v)。
当上述3D到2D映射函数集合被应用于右面“右”以进行前向变换时，输入(u，v)表示x＝-1的x平面上右面“右”的坐标(z，y)，输出(gu(u)，gv(u，v))表示右面“4”的坐标(u，v)。
请参考图2并结合图7。图7示出根据本发明的实施例用于从3D空间到2D平面的前向变换的混合等角立方体贴图投影的示意图。根据混合等角立方体贴图投影，不同的3D到2D映射函数应用于不同的面，并且不同的3D到2D映射函数应用于不同的轴。关于顶面“顶”和底面“底”中的每一个的前向变换，应用于不同轴的3D到2D映射函数是等角映射函数。关于右面“右”,正面“正”，左面“左”和背面“背”中的每一个的前向变换，应用于一个轴的一3D到2D映射函数是等角映射函数，而应用于另一个轴的另一3D到2D映射函数不是等角映射函数。关于顶面“顶”和底面“底”，该等角映射函数应用于两个轴以保持与其他面的连续性。
以被用以从图3的示例的正面“0”生成正面“正”的前向变换为例。根据混合等角立方体贴图投影，在正面“正”上具有3D坐标(u，v，1)的整数像素P被映射到在正面“0”具有2D坐标(gu(u)，gv(u，v))的点Q，其中
Figure BDA0002537436850000131
以及
Figure BDA0002537436850000132
否则。
在本发明的一些实施例中，应用于轴的映射函数可以在任何位置改变。例如，应用于3D空间中的正方形投影面的3D到2D映射函数集合可具有应用于相同轴的不同3D到2D映射函数，并且应用于2D平面中的正方形投影面的2D到3D映射函数集合可具有应用于相同轴的不同2D到3D映射函数。例如，应用于相同轴的不同3D到2D映射函数可包括是等角映射函数的第一3D到2D映射函数，以及不是等角映射函数的第二3D到2D映射函数。因此，2D平面上的正方形投影面具有根据3D空间的特定轴上的第一位置和第一3D到2D映射函数设置的第一像素，并且具有根据3D空间的相同特定轴上的第二位置和第二3D到2D映射函数设置的第二像素，其中第二位置与第一位置不同。
类似地，应用于相同轴的不同2D到3D映射函数可包括是等角映射函数的第一2D到3D映射函数，以及不是等角映射函数的第二2D到3D映射函数。因此，3D空间中的正方形投影面具有根据2D平面的特定轴上的第一位置和第一2D到3D映射函数设置的第一像素，并且具有根据2D平面的相同特定轴的第二位置和第二2D到3D映射函数设置的第二像素，其中第二位置与第一位置不同。
图8是示出根据本发明的实施例应用于相同轴的不同映射函数的示意图。以从2D平面到3D空间的逆变换为例子说明。关于顶面“2”和底面“3”中任一的逆变换，应用于不同轴的2D到3D映射函数是等角映射函数。关于正面“0”的逆变换，不是等角映射函数的2D到3D映射函数被应用于不同的轴。关于背面“1”的逆变换，应用于一个轴的一个2D到3D映射函数是等角映射函数，并且应用于另一个轴的另一2D到3D映射函数不是等角映射函数。关于右面“4”的逆变换，不是等角映射函数的2D到3D映射函数被应用于v轴，是等角映射函数的一个2D到3D的映射函数在u≤u'的条件下被应用于u轴的位置u，而不是等角映射函数的另一2D-3D映射函数在u>u'的条件下被应用于u轴的位置u，其中u'是预定义的数字，以及u∈[-1,1]。关于左面“5”的逆变换，不是等角映射函数的一个2D到3D映射函数被应用于v轴，是等角的映射函数的一个2D到3D的映射函数在u≥-u'的条件下被应用于u轴的位置u，而不是等角映射函数的另一2D-3D映射函数在u<-u'的条件下被应用于u轴的位置u，其中-u'是预定义的数字，以及u∈[-1,1]。
在本发明的一些实施例中，应用于3D空间中的正方形投影面的3D到2D映射函数集合可以是映射函数集合的组合，包括映射函数集合被布置为应用另一映射函数集合的处理结果，应用于2D空间上的正方形投影面的2D到3D映射函数集合可以是映射函数集的组合，包括一个映射函数集合被布置为应用另一个映射函数集合的处理结果。例如，映射函数集合(例如，3D到2D映射函数集合或2D到3D映射函数集合)是第一映射函数集合和第二映射函数集合的组合，其中第一映射函数集合包括至少一等角映射函数，第二映射函数集合包括不是等角映射函数的至少一映射函数，以及第二映射函数集合应用于第一映射函数集合的处理结果。图9是示出根据本发明的实施例映射函数集合的组合的示意图。在该实施例中，等角映射首先被用于变换，然后另一映射函数使用等角映射的结果来应用。
本领域的技术人员可轻易观察到，在保留本发明的教导之下，可以对装置和方法进行许多修改和替换。因此，以上揭示之内容应该解释为仅仅由所附的权利要求的界限之限制。

Claims (19)

1.一种基于立方体投影的方法，包括：
通过转换电路产生与球体的360度图像内容的基于立方体投影有关联的不同正方形投影面的像素，包括：
通过使用第一映射函数集合产生第一正方形投影面的像素；
通过使用第二映射函数集合产生第二正方形投影面的像素，其中该不同正方形投影面包括该第一正方形投影面和该第二正方形投影面，以及该第二映射函数集合不同于该第一映射函数集合。
2.如权利要求1所述的基于立方体投影的方法，其特征在于，进一步包括：
通过将该基于立方体投影应用于该球体的该360度图像内容产生在三维空间中的立方体的多个正方形投影面；
其中，产生该第一正方形投影面的像素包括：
根据在该三维空间中的该立方体的正方形投影面的像素以及该第一映射函数集合设置在二维平面中的该第一正方形投影面的该像素；以及
其中，产生该第二正方形投影面的像素包括：
根据在该三维空间中的该立方体的另一正方形投影面的像素以及该第二映射函数集合设置在该二维平面中的该第二正方形投影面的该像素。
3.如权利要求2所述的基于立方体投影的方法，其特征在于，该第一映射函数集合包括是等角映射函数的映射函数，以及该第二映射函数集合包括不是等角映射函数的映射函数。
4.如权利要求3所述的基于立方体投影的方法，其特征在于，该三维空间中的该立方体的该多个正方形投影面包括顶面、底面、左面、正面、右面和背面，其中该球体的北极区域的图像内容被投影到该顶面，该球体的南极区域的图像内容被投影到该底面，以及该球体的赤道区域的图像内容被投影到该左面、该正面、该右面和该背面；以及该三维空间中的该立方体的该正方形投影面是该顶面和该底面其中之一。
5.如权利要求3所述的基于立方体投影的方法，其特征在于，该三维空间中的该立方体的该多个正方形投影面包括顶面、底面、左面、，正面、右面和背面，其中该球体的北极区域的图像内容被投影到该顶面，该球体的南极区域的图像内容被投影到该底面，并且该球体的赤道区域的图像内容被投影到该左面、该正面、该右面和该背面；以及该三维空间中的该立方体的该另一正方形投影面是该左面、该正面、该右面和该背面其中之一。
6.如权利要求3所述的基于立方体投影的方法，其特征在于，该第一映射函数集合包括：
Figure FDA0002537436840000021
和
Figure FDA0002537436840000022
以及
该第二映射函数集合包括：
Figure FDA0002537436840000023
和
Figure FDA0002537436840000024
7.如权利要求1所述的基于立方体投影的方法，其特征在于，进一步包括：
对比特流的一部分进行解码以获得具有在二维平面上以立方体贴图投影布局打包的多个正方形投影面的基于投影的帧；
其中通过该球体的该基于立方体投影，将该球体的该360度图像内容投影在三维空间中的立方体的不同正方形投影面上；
其中产生该第一正方形投影面的像素包括：
根据在该二维平面上打包在该基于投影的帧的正方形投影面的像素设置在该三维空间中的该立方体的该第一正方形投影面的像素；以及
其中产生该第二正方形投影面的像素包括：
根据在该二维平面上打包在该基于投影的帧的另一正方形投影面的像素设置在该三维空间中的该立方体的该第二正方形投影面的像素。
8.如权利要求7所述的基于立方体投影的方法，其特征在于，该第一映射函数集合包括等角映射函数，以及该第二映射函数集合包括不是等角映射函数的映射函数。
9.如权利要求8所述的基于立方体投影的方法，其特征在于，该三维空间中的该立方体的该不同正方形投影面包括顶面、底面、左面、正面、右面和背面，其中该球体的北极区域的图像内容被投影到该顶面，该球体的南极区域的图像内容被投影到该底面，以及该球体的赤道区域的图像内容被投影到该左面、该正面、该右面和该背面；以及该第一正方形投影面是该顶面和该底面其中之一。
10.如权利要求8所述的基于立方体投影的方法，其特征在于，该三维空间中的该立方体的该不同正方形投影面包括顶面、底面、左面、正面、右面和背面，其中该球体的北极区域的图像内容被投影到该顶面，该球体的南极区域的图像内容被投影到该底面，以及该球体的赤道区域的图像内容被投影到该左面、该正面、该右面和该背面；以及该第二正方形投影面是该左面、该正面、该右面和该背面其中之一。
11.如权利要求8所述的基于立方体投影的方法，其特征在于，该第一映射函数集合包括：
Figure FDA0002537436840000031
和
Figure FDA0002537436840000032
以及
该第二映射函数集合包括：
Figure FDA0002537436840000041
和
Figure FDA0002537436840000042
12.如权利要求1所述的基于立方体投影的方法，其特征在于，该第二映射函数集合包括分别应用于不同轴的不同映射函数。
13.如权利要求12所述的基于立方体投影的方法，其特征在于，该不同映射函数包括是等角映射函数并且被应用于第一轴的第一映射函数，以及进一步包括不是等角映射函数并且被应用于第二轴的第二映射函数，其中该第二轴不同于该第一轴。
14.如权利要求1所述的基于立方体投影的方法，其特征在于，该第二映射函数集合包括应用于相同轴的不同映射函数，该不同映射函数包括第一映射函数和第二映射函数，以及该第二正方形投影面具有根据该相同轴上的第一位置和该第一映射函数设置的第一像素，和根据该相同轴上的第二位置和该第二映射函数设置的第二像素，其中该第二位置不同于该第一位置。
15.如权利要求14所述的基于立方体投影的方法，其特征在于，该第一映射函数是等角映射函数，以及该第二映射函数不是等角映射函数。
16.如权利要求1所述的基于立方体投影的方法，其特征在于，该第一映射函数集合和该第二映射函数集合中至少一个是包括被用于另一映射函数集合的处理结果的映射函数集合的多个映射函数集合的组合。
17.如权利要求16所述的基于立方体投影的方法，其特征在于，该另一映射函数集合包括等角映射函数，以及该映射函数集合包括不是等角映射函数的映射函数。
18.一种基于立方体投影的方法包括：
通过转换电路产生与球体的360度图像内容的基于立方体投影相关联的不同正方形投影面的像素，包括：
通过使用映射函数集合产生该不同正方形投影面中之一的像素，其中该映射函数集合包括分别应用于不同轴的不同映射函数。
19.一种基于立方体投影的方法包括：
通过转换电路产生与球体的360度图像内容的基于立方体投影相关联的不同正方形投影面的像素，包括：
通过使用映射函数集合产生该不同正方形投影面中之一的像素，其中该映射函数集合包括应用于相同轴的不同映射函数，该不同映射函数包括第一映射函数和第二映射函数，以及该不同正方形投影面之一具有根据该相同轴上的第一位置和该第一映射函数设置的第一像素，和根据该相同轴上的第二位置和该第二映射函数设置的第二像素，其中该第二位置不同于该第一位置。
CN201980006446.6A 2018-03-02 2019-03-01 一种基于立方体的投影方法 Active CN111492654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210342757.3A CN114945092A (zh) 2018-03-02 2019-03-01 一种基于立方体的投影方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862637425P 2018-03-02 2018-03-02
US62/637,425 2018-03-02
US16/285,215 US10922783B2 (en) 2018-03-02 2019-02-26 Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US16/285,215 2019-02-26
PCT/CN2019/076685 WO2019166013A1 (en) 2018-03-02 2019-03-01 Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210342757.3A Division CN114945092A (zh) 2018-03-02 2019-03-01 一种基于立方体的投影方法

Publications (2)

Publication Number Publication Date
CN111492654A true CN111492654A (zh) 2020-08-04
CN111492654B CN111492654B (zh) 2022-04-29

Family

ID=67768111

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210342757.3A Pending CN114945092A (zh) 2018-03-02 2019-03-01 一种基于立方体的投影方法
CN201980006446.6A Active CN111492654B (zh) 2018-03-02 2019-03-01 一种基于立方体的投影方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210342757.3A Pending CN114945092A (zh) 2018-03-02 2019-03-01 一种基于立方体的投影方法

Country Status (6)

Country Link
US (1) US10922783B2 (zh)
CN (2) CN114945092A (zh)
DE (1) DE112019000210T5 (zh)
GB (1) GB2585489B (zh)
TW (1) TWI736851B (zh)
WO (1) WO2019166013A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210094646A (ko) * 2018-12-14 2021-07-29 지티이 코포레이션 몰입형 비디오 비트 스트림 처리

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320488A (zh) * 2008-06-27 2008-12-10 于华明 全球海洋三角形网格的构建方法
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN107346530A (zh) * 2016-05-06 2017-11-14 完美幻境(北京)科技有限公司 一种修正鱼眼图像的投影方法及系统
US20170339391A1 (en) * 2016-05-19 2017-11-23 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video system with coordinate compression
CN107886468A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 全景视频的映射方法、重建、处理方法及对应装置和设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1399417B1 (it) 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US10282814B2 (en) 2016-01-07 2019-05-07 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
CN108780584B (zh) 2016-03-21 2023-04-21 葫芦有限责任公司 用于流传输和渲染的球形视频的转换和预处理
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
US20170374364A1 (en) 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
WO2018035721A1 (en) 2016-08-23 2018-03-01 SZ DJI Technology Co., Ltd. System and method for improving efficiency in encoding/decoding a curved view video
US10404960B2 (en) 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
EP3334164B1 (en) * 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
CN106780317B (zh) 2017-01-25 2020-08-11 北京数码视讯科技股份有限公司 全景投影方法及装置
WO2018184528A1 (en) * 2017-04-05 2018-10-11 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
EP3632111A1 (en) * 2017-05-25 2020-04-08 VID SCALE, Inc. Hybrid cubemap projection for 360-degree video coding
US10798417B2 (en) * 2017-07-05 2020-10-06 Qualcomm Incorporated Deblock filtering for 360-degree video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320488A (zh) * 2008-06-27 2008-12-10 于华明 全球海洋三角形网格的构建方法
CN107346530A (zh) * 2016-05-06 2017-11-14 完美幻境(北京)科技有限公司 一种修正鱼眼图像的投影方法及系统
US20170339391A1 (en) * 2016-05-19 2017-11-23 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video system with coordinate compression
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN107886468A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 全景视频的映射方法、重建、处理方法及对应装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万亮等: "《等立方体球面映射》", 《计算机辅助设计与图形学学报》 *

Also Published As

Publication number Publication date
CN114945092A (zh) 2022-08-26
DE112019000210T5 (de) 2020-08-06
TW201943267A (zh) 2019-11-01
GB2585489A (en) 2021-01-13
GB2585489B (en) 2023-01-18
WO2019166013A1 (en) 2019-09-06
TWI736851B (zh) 2021-08-21
US10922783B2 (en) 2021-02-16
US20190272617A1 (en) 2019-09-05
CN111492654B (zh) 2022-04-29
GB202007705D0 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
US10587857B2 (en) Method and apparatus having video decoding function with syntax element parsing for obtaining rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format
CN112702523B (zh) 解码器、视频处理方法、系统和装置
WO2018184528A1 (en) Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
CN109906468B (zh) 用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法
US11659206B2 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
CN111492654B (zh) 一种基于立方体的投影方法
US11190801B2 (en) Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11190768B2 (en) Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
WO2021248945A1 (en) Method and apparatus for processing projection-based frame having projection faces packed in hemisphere cubemap projection layout with face packing constraints
US11263722B2 (en) Video processing method for remapping sample locations in projection-based frame with hemisphere cubemap projection layout to locations on sphere and associated video processing apparatus
CN109845270B (zh) 一种视频处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant