CN109845270A - 用于生成和编码具有基于视角的立方体投影格式布局的基于360度矩形投影帧的方法和设备 - Google Patents

用于生成和编码具有基于视角的立方体投影格式布局的基于360度矩形投影帧的方法和设备 Download PDF

Info

Publication number
CN109845270A
CN109845270A CN201780063386.2A CN201780063386A CN109845270A CN 109845270 A CN109845270 A CN 109845270A CN 201780063386 A CN201780063386 A CN 201780063386A CN 109845270 A CN109845270 A CN 109845270A
Authority
CN
China
Prior art keywords
projection face
rectangular projection
face
rectangular
dimetric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780063386.2A
Other languages
English (en)
Other versions
CN109845270B (zh
Inventor
林鸿志
李佳盈
施乐
李亚璇
林建良
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109845270A publication Critical patent/CN109845270A/zh
Application granted granted Critical
Publication of CN109845270B publication Critical patent/CN109845270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频处理方法包括：接收与球形视野体对应的全向图像/视频内容，根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧序列，并对基于投影的帧序列进行编码以生成比特流。每个基于投影的帧都具有由打包在基于视角的多个立方体投影布局中的矩形投影面表示的360度的图像/视频内容。该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被划分为多个部分矩形投影面的第六矩形投影面。第一矩形投影面对应于用户的视角，并且被由第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和该多个部分矩形投影面构成的周围区域包围。

Description

用于生成和编码具有基于视角的立方体投影格式布局的基于 360度矩形投影帧的方法和设备
相关申请的交叉引用
本申请要求下列申请的优先权：2016年12月14日提出的申请号为62/433,858的美国临时案，以及2017年01月13日提出的申请号为62/445,809的美国临时案。在此合并参考这些申请案的申请标的。
技术领域
本发明有关于处理全向图像/视频内容。更具体地，本发明涉及用于生成和编码具有由紧凑的基于视角的立方体投影布局中的矩形投影面表示的360度内容(例如，360度图像内容或360度视频内容)的基于投影的帧的方法和设备。
背景技术
具有头戴式显示器(head-mounted display，HMD)的虚拟现实(Virtual reality，VR)与各种应用相关。向用户显示广泛视野内容的能力可用于提供身临其境的视觉体验。必须捕捉所有方向上的真实世界的环境，从而生成对应于视野范围的全向图像/视频。随着摄像机和HMD的发展，由于表示诸如360度图像/视频之类的内容所需的高比特率，而导致VR内容的传送可能很快遇到瓶颈。当全向视频的分辨率为4k或更高时，数据压缩/编码对比特率的降低至关重要。
发明内容
本发明的目的之一是提供一种用于生成和编码具有由紧凑的基于视角的立方体投影布局中的矩形投影面表示的360度内容(例如，360度图像内容或360度内容)的基于投影的帧的方法和设备。通过基于视角的立方体投影布局的适当设计，基于投影的帧可以具有紧凑形式，和/或使用者的视角的图像内容(即，视角区域)可以保存在主投影面中(例如中央矩形投影面)。
根据本发明的第一方面，公开了一种示例性的视频处理方法。该示例性视频处理方法包括：接收对应于球形视野的全向图像/视频内容；根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，由视频编码器编码该基于投影的帧以生成比特流的一部分，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容。该基于视角的立方体投影布局包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，该第六矩形投影面被划分成多个部分矩形投影面(例如，四个部分矩形投影面)。该第一矩形投影面对应于用户的视角并且被由该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面(例如，四个部分矩形投影面)组成的周围区域包围。
根据本发明的第二方面，公开了一种示例性视频处理装置。示例性视频处理装置包括转换电路和视频编码器。转换电路用于接收对应于球形视野的全向图像/视频内容，并且根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容，并且该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被划分成多个部分矩形投影面(例如，四个部分矩形投影面)的第六矩形投影面，并且该第一矩形投影面对应于用户的视角并且被由该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面(例如，四个部分矩形投影面)构成的周围区域包围；视频编码器用于编码该基于投影的帧以产生比特流的一部分。
在阅读以下各个附图中所示的优选实施例的详细描述之后，本发明的这些和其他目的无疑对于本领域的技术人员而言变得显而易见。
附图说明
图1是是根据本发明一实施例的360度虚拟现实(360-degree Virtual Reality，360VR)系统的示意图。
图2是从球形视野的立方体投影获得的立方体投影布局的六个正方形投影面的示意图。
图3是根据本发明一实施例的第一建议的基于视角的立方体投影布局的示意图。
图4是通过均匀映射缩小正方形投影面的示例的示意图。
图5是根据本发明一实施例的均匀映射函数的曲线的示意图。
图6是通过非均匀映射来缩小正方形投影面的示例的示意图。
图7是根据本发明一实施例的非均匀映射函数的曲线的示意图。
图8是根据本发明一实施例的第二建议的基于视角的立方体投影布局的示意图。
具体实施方式
在接下来的描述和权利要求中贯穿使用了某些涉及特定的组件的术语。如本领域的技术人员将认识到的，电子设备制造商可以通过不同的名称来指代组件。本文不打算区分名称不同但功能相同的组件。在接下来的描述和权利要求申请专利范围中，术语“包括(include)”和“包含(comprise)”以开放式方式使用，因此其应解释为意指“包括但不限于...”。此外，术语“耦接”用于表示间接或直接的电连接。因此，如果一个设备耦于接另一个设备，则该连接可以通过直接电连接，或者通过经由其他设备和连接的间接电连接。
图1是示出根据本发明一实施例的360度虚拟现实(360-degree VirtualReality，360VR)系统的示意图。360VR系统100包括两个视频处理装置(例如，源电子设备102和目标电子设备104)。源电子设备102包括视频捕捉设备112，转换电路114和视频编码器116。例如，视频捕捉设备112可以是用于提供对应于球形视野(viewing sphere)的全向图像/视频内容(例如，覆盖整个周围环境的多个图像)S_IN的一组相机。转换电路114耦接在视频捕捉设备112与视频编码器116之间。转换电路114根据全向图像/视频内容S_IN生成具有360度虚拟现实(360-degree Virtual Reality，360VR)投影布局的基于投影的帧IMG。例如，基于投影的帧IMG可以是包括在由转换电路114生成的基于投影的帧序列中的一个帧。视频编码器116是编码电路，用于编码/压缩基于投影的帧IMG以生成比特流BS的一部分，并且经由传输装置103将比特流BS输出到目标电子设备104。例如，基于投影的帧的序列可以被编码到比特流BS中，并且传输装置103可以是有线/无线通讯链路或存储介质。
目标电子设备104可以是头戴式显示器(head-mounted display，HMD)设备。如图1所示，目标电子设备104包括视频解码器122，图像渲染电路124和显示屏幕126。视频解码器122是解码电路，用于接收来自传输装置103(例如，有线/无线通信链路或存储介质)的比特流BS，并解码接收到的比特流BS以生成解码帧IMG'。例如，视频解码器122通过对接收到的比特流BS进行解码来生成解码帧序列，其中解码帧IMG'是包含在解码帧序列中的一个帧。在该实施例中，将被视频编码器116编码的基于投影的帧IMG，其具有投影布局的360VR投影格式。因此，在比特流BS被视频解码器122解码之后，解码帧IMG'具有相同的360VR投影格式和相同的投影布局。图像渲染电路124耦接在视频解码器122和显示屏幕126之间。图像渲染电路124根据解码帧IMG'在显示屏幕126上渲染和显示输出图像数据。例如，与解码帧IMG'携带的360度图像/视频的一部分内容相关的视角区域可经由图像渲染电路124显示在显示屏幕126上。
本发明提出了一种创新的基于视角的立方体投影布局设计，其具有紧凑的形式和/或可以将使用者的视角的图像/视频内容保存在主投影面(例如中央矩形投影面)中。如上所述，转换电路114根据360VR投影布局和全向图像/视频内容S_IN生成基于投影的帧IMG。在本实施例中，上述360VR投影布局是通过打包(packing)六个矩形投影面而构成的基于视角的立方体投影布局L_VCP。具体而言，基于投影的帧IMG具有由提出的基于视角的立方体投影布局L_VCP中打包的六个矩形投影面所表示的360度图像/视频内容。在下文中提供了所提出的基于视角的立方体投影布局L_VCP的进一步细节。
应该注意的是，矩形是所有四个角都是直角的四边形，而正方形是所有四个角都是直角、并且所有四条边的长度都相等的四边形。因此，正方形是一种特殊的矩形。根据所提出的基于视角的立方体投影布局中的矩形投影面的位置，下文中提到的矩形投影面的形状可以是矩形或正方形。
图2是从球形视野的立方体投影获得的立方体投影(cubemap projection，CMP)布局的六个正方形投影面的示意图。球形视野202的全向图像/视频内容被映射到立方体204的六个正方形投影面(标记为“Left”、“Front”、“Right”、“Back”、“Top”和“Bottom”)如图2所示，在CMP布局206中布置正方形投影面“Left”、“Front”、“Right”、“Back”、“Top”和“Bottom”。
将被编码的基于投影的帧IMG必须是矩形的。如果CMP布局206直接用于创建基于投影的帧IMG，则基于投影的帧IMG必须用虚拟区域(例如，黑色区域或白色区域)填充满以形成用于编码的矩形帧。因此，需要可以消除虚拟区域(例如，黑色区域或白色区域)以提高编码效率的紧凑投影布局。因此，本发明提出了基于视角的立方体投影布局设计，其具有紧凑的形式并且可以在主投影面(例如，中央矩形投影面)中保存用户的视角(即，视角区域)的图像/视频内容。
图3是根据本发明一实施例的第一建议的基于视角的立方体投影布局的示意图。第一建议的基于视角的立方体投影布局302可以从具有缩小投影面的CMP布局206推导出。如图3的上部所示，每个正方形投影面的宽度是W，并且每个正方形投影面的高度是H(H＝W)。如图3的中间部分所示。在图3中，矩形投影面“T”是通过将正方形投影面“Top”在其高度方向上以第一预定义缩小因子s(s＝H/h)进行缩小而推导出的，矩形投影面“L”是通过将正方形投影面“Left”在其宽度方向上以第一预定义缩小因子s(s＝W/w)缩小而推导出的，矩形投影面“B”是通过将正方形投影面“Bottom”在其高度方向上以第一预定义缩小比例因子s进行缩小而推导出的，以及矩形投影面“R”是通过将正方形投影面“Right”在其宽度方向以第一预定义缩小因子s进行缩小而推导出的。此外，矩形投影面“BK”是将正方形投影面“Back”在其宽度方向上以第二预定义缩小因子t(t＝0.5*s)进行缩小，并且将正方形投影面“Back”在其高度方向上以第二预定义缩小因子t进行缩小而推导出的。在该实施例中，矩形投影面“BK”被均等地分割成四个分别具有宽度w和高度h(h＝w)的部分矩形投影面“B0”、“B1”、“B2”和“B3”。值得注意的是，矩形投影面“BK”也是正方形投影面，使得部分矩形投影面“B0”、“B1”、“B2”和“B3”中的每一个的形状也是正方形。此外，CMP布局206中的正方形投影面“Front”对应于用户的视角，并且被直接用作第一建议的基于视角的立方体投影布局302所需的矩形投影面“F”。因此，形状矩形投影面“F”是具有宽度W和高度H(H＝W)的正方形。
矩形投影面“F”、“T”、“L”、“B”和“R”以及四个部分矩形投影面“B0”、“B1”、“B2”和“B3”被打包在第一建议的基于视角的立方体投影布局302中。如图3的底部所示，矩形投影面“F”对应于用户的视角，并且由矩形投影面“T”、“L”、“B”和“R”和四个部分矩形投影“B0”、“B1”、“B2”和“B3”组成的周围区域包围。更具体地说，矩形投影面“T”的边S21与矩形投影面“F”的边S11连接，矩形投影面“T”的边S22与部分矩形投影面“B0”的边S601连接，矩形投影面“T”的边S23与部分矩形投影面“B1”的边S611连接，矩形投影面“L”的边S31与矩形投影面“F”的边S12连接，矩形投影面“L”的边S32与部分矩形投影面“B2”的边S621连接，矩形投影面“L”的边S33与部分矩形投影面“B0”的边S602连接，矩形投影面“B”的边S41与矩形投影面“F”的边S13连接，矩形投影面“B”的边S42与部分矩形投影面“B3”的边S631连接，矩形投影面“B”的边S43与部分矩形投影面“B2”的边S622连接，矩形投影面“R”的边S51与矩形投影面“F”的边S14连接，矩形投影面“R”的边S52与部分矩形投影面“B1”的边S612连接，以及矩形投影面“R”的边S53与部分矩形投影面“B3”的边S632连接。
由于矩形投影面“T”是与正方形投影面“Front”相邻的正方形投影面“Top”的缩小版本，所以矩形投影面“T”的边S21和矩形投影面“F”的边S11之间存在图像连续性边界(image continuity boundary)。由于矩形投影面“L”是与正方形投影面“Front”相邻的正方形投影面“Left”的缩小版本，因此在矩形投影面“L”的边S31与矩形投影面“F”的边S12之间存在图像连续性边界。由于矩形投影面“B”是与正方形投影面“Front”相邻的正方形投影面“Bottom”的缩小版本，因此在矩形投影面“B”的边S41与矩形投影面“F”的边S13之间存在图像连续性边界。由于矩形投影面“R”是与正方形投影面“Front”相邻的正方形投影面“Right”的缩小版本，因此在矩形投影面“R”的边S51与矩形投影面”F“的边S14之间存在图像连续性边界。
矩形投影面“B”是与立方体204的正方形投影面“Front”相对的立方体204的正方形投影面“Back”的缩小版本。为了形成第一建议的基于视角的立方体投影布局302是矩形(特别是正方形)时，矩形投影面“B”被等分为四个部分矩形投影面“B0”、“B1”、“B2”和“B3”，并且部分矩形投影面“B0”、“B1”、“B2”和“B3”位于第一建议的基于视角的立方体投影布局302的四个角落。因此，部分矩形投影面“B0”的边S601和矩形投影面“T”的边S22之间存在图像内容不连续边界(image content discontinuity boundary)，部分矩形投影面“B0”的边S602和矩形投影面“L”中的边S33之间存在图像内容不连续边界，部分矩形投影面“B2”的边S621和矩形投影面“L”的边S32之间存在图像内容不连续边界，部分矩形投影面“B2”的边S622和矩形投影面“B”的边S43之间存在图像内容不连续边界，在部分矩形投影面“B3”的边S631和矩形投影面“B”的边S42之间存在图像内容不连续边界，在部分矩形投影面“B3”的边S632和矩形投影面“R”的边S53之间存在图像内容不连续边界，部分矩形投影面“B1”的边S611和矩形投影面“T”的边S23之间存在图像内容不连续边界，以及部分矩形投影面“B1”的边S612和矩形投影面“R”的边S52之间存在图像内容不连续边界。
应该注意的是，位于第一建议的基于视角的立方体投影布局302的四个角落处的四个部分矩形投影面“B0”、“B1”、“B2”和“B3”的布置仅用于说明目的，并不意味着限制本发明。在一个可替代设计中，部分矩形投影面“B0”、“B1”、“B2”和“B3”的位置顺序可以根据实际设计考虑而改变。也就是说，部分矩形投影面“B0”不一定位于第一建议的基于视角的立方体投影布局302的左上角，部分矩形投影面“B1”不一定位于右上方第一建议的基于视角的立方体投影布局302的右上角，部分矩形投影面“B2”不一定位于第一建议的基于视角的立方体投影布局302的左下角，和/或部分矩形投影面“B3”不一定位于第一建议的基于视角的立方体投影布局302的右下角。
在另一替代设计中，取决于实际设计考虑因素，可以调整部分矩形投影面“B0”、“B1”、“B2”和“B3”中的一个或多个的位置方向。也就是说，当部分矩形投影面“B0”被打包在第一建议的基于视角的立方体投影布局302中时可以旋转90°/180°/270°，当部分矩形投影面“B1”被打包在第一建议的基于视角的立方体投影布局302中时，可以旋转90°/180°/270°，当部分矩形投影面“B2”被打包在第一建议的基于视角的立方体投影布局302中时，可以旋转90°/180°/270°，和/或当部分矩形投影面“B3”被打包在第一建议的基于视角的立方体投影布局302中时，可以旋转90°/180°/270°。
如上所述，矩形投影面“T”、“L”、“B”、“R”和“BK”中的每一个都是通过缩小所对应的正方形投影面“Top”/”Left”/”Bottom”/”Right”/”Back”而推导得到的。在本发明的一些实施例中，可以通过均匀映射来重新采样正方形投影面“Top”/”Left”/”Bottom”/”Right”/”Back”来实现缩小的对应正方形投影面“Top”/“Left”/“Bottom”/“Right”/“Back”。请结合参照图4和图5。图4是通过均匀映射缩小正方形投影面的示例的示意图。图5是根据本发明一实施例的均匀映射函数的曲线的示意图。在本实施例中，通过将正方形投影面402在高度方向上进行缩小来推导出矩形投影面404，其中正方形投影面402具有宽度W和高度H(H＝W)，并且矩形投影面404具有宽度W和高度h(h<H)。作为示例而非限制，均匀映射函数可以通过使用以下公式来表示。
因此，关于位于矩形投影面404中的y轴上的座标y'处的像素位置，可以根据等式(1)所示的均匀映射函数来确定位于正方形投影面402中的y轴上的座标Y处的对应采样点。矩形投影面404中的位置P的像素值通过使用正方形投影面402中的对应采样位置p'的像素值来推导出。由于在其高度方向上的均匀映射，所以在矩形投影面402中的两个垂直相邻的采样点以恒定的距离(constant distance)D均匀分布。
正方形投影面402中的采样点(即，获得的像素位置p')可以不是整数位置。如果正方形投影面402中的采样点的y轴上的座标Y是非整数位置，则可以将转换电路114中的插值滤波器(未示出)应用于正方形投影面402中采样点周围的整数像素以推导出采样点的像素值。例如，插值滤波器可以是双线性滤波器，双三次滤波器或Lanczos滤波器。
在另一种情况下，矩形投影面404是通过将正方形投影面402在其宽度方向上进行缩小而推导出的。均匀映射函数可以用下面的公式表示。
因此，关于位于矩形投影面404中的x轴上的座标x'处的像素位置，可以根据等式(2)中表示的均匀映射函数推导出位于正方形投影面402中的x轴上的座标X处的对应采样点。矩形投影面404中的位置P的像素值通过使用正方形投影面402中的对应采样位置p'的像素值来推导出。由于在其宽度方向上的均匀映射，在矩形投影面402中的两个水平相邻的采样点以恒定的距离均匀分布。
正方形投影面402中的采样点(即，获得的像素位置p')可以不是整数位置。如果正方形投影面402中的采样点的x轴上的座标X是非整数位置，则可以将转换电路114中的插值滤波器(未示出)应用于正方形投影面402中采样点周围的整数像素以推导出采样点的像素值。例如，插值滤波器可以是双线性滤波器，双三次滤波器或Lanczos滤波器。
在另一种情况下，其中矩形投影面404是通过在高度方向和宽度方向上缩小正方形投影面402而推导出的。因此，关于位于矩形投影面404中的y轴上的座标y'处的像素位置，可以用等式(1)所表示的均匀映射函数来确定位于正方形投影面402中的y轴上的座标Y处的对应采样点。此外，关于位于矩形投影面404中的x轴上的座标x'处的像素位置，可以用等式(2)所表示的均匀映射函数来确定位于正方形投影面402中的x轴上的座标X处的对应采样点。通过使用正方形投影面402中的对应采样位置p'的像素值来推导出矩形投影面404中的位置P的像素值。由于在高度方向和宽度方向两者上的均匀映射，矩形投影面402中的采样点是均匀分布的。
正方形投影面402中的采样点(即，获得的像素位置p')可以不是整数位置。如果正方形投影面402中的采样点的x轴上的座标X和y轴上的座标Y中的至少一个是非整数位置，则可以将转换电路114中的插值滤波器(未示出)应用于正方形投影面402中的采样点周围的整数像素以推导出采样点的像素值。例如，插值滤波器可以是双线性滤波器，双三次滤波器或Lanczos滤波器。
为了在主投影面附近(例如，对应于用户的视角的中央矩形投影面“F”)保存更多细节，本发明还提出了通过非均匀映射来重新采样对应的正方形投影面“Top”/”Left”/“Bottom”/“Right”/“Back”。请结合参考图6和图7，图6是通过非均匀映射来缩小正方形投影面的示例的示意图。图7是根据本发明一实施例的非均匀映射函数的曲线的示意图。在本实施例中，通过在其高度方向上缩小正方形投影面602来推导获得矩形投影面604，其中正方形投影面602具有宽度W和高度H(H＝W)，并且矩形投影面604具有宽度W和高度h(h<H)。作为示例而非限制，可以通过使用以下公式来表示非均匀映射函数。
因此，关于位于矩形投影面604中的y轴上的座标y'处的像素位置，可以根据公式(3)中表示的非均匀映射函数推导出位于正方形投影面602中的y轴上的座标Y处的对应采样点。如图6所示，两个垂直相邻采样点之间的间隔不是恒量(constant)。例如，两个垂直相邻采样点之间的间隔可以是D1、D2、D3和D4中的一个，其中D4>D3>D2>D1。具体而言，采样点在正方形投影面602的高度方向上非均匀分布。矩形投影面604中的位置P的像素值是通过使用在正方形投影面602中的对应采样位置p'的像素值推导得出。例如，矩形投影面604中的第一比例缩小区域606中的像素通过重新采样正方形投影面602的第一源区域610获得，以及矩形投影面604中的第二比例缩小区域608中的像素通过对正方形投影面602的第二源区域612进行重新采样来获得。由于在其高度方向上的非均匀映射，从第一源区域610获得的采样点的密度是不同于从第二源区域612获得的采样点的密度。换句话说，通过对第一源区域610使用第一采样密度重新采样来推导出第一比例缩小区域610，以及通过对第二源区域612使用第二采样密度重新采样来推导出第二比例缩小区域612，其中第二采样密度不同于第一采样密度。
为了在主投影面(例如，对应于用户的视角的中央矩形投影面“F”)附近保存更多细节，通过非均匀映射适当地控制第一采样密度和第二采样密度。假设第一源区域610比第二源区域612更靠近使用者的视角的中心(例如，矩形投影面“Front”的中心)，则第一采样密度特别设置为高于第二采样密度。以这种方式，矩形投影面604中的大部分像素通过重新采样正方形投影面602中的第一源区610而推导出。
正方形投影面602中的采样点(即，获得的像素位置p')可以不是整数位置。如果正方形投影面602中的采样点的y轴上的座标Y是非整数位置，则可以将转换电路114中的插值滤波器(未示出)应用于正方形投影面602中的采样点周围的整数像素以推导出采样点的像素值。例如，插值滤波器可以是双线性滤波器，双三次滤波器或Lanczos滤波器。
在另一种情况下，矩形投影面604是通过在其宽度方向上缩小正方形投影面602而得到的。非均匀映射函数可以用下面的公式来表示。
因此，关于位于矩形投影面604中的x轴上的座标x'处的像素位置，可以根据公式(4)表示的非均匀映射函数推导出位于正方形投影面602中的x轴上的座标X处的对应采样点。具体而言，采样点在正方形投影面602的宽度方向上非均匀地分布。矩形投影面604中的位置P的像素值通过使用在正方形投影面602中的对应采样位置p'处的像素值来推导出。由于在其宽度方向上的非均匀映射，矩形投影面604中的第一比例缩小区域是通过以第一采样密度重新采样正方形投影面602的第一源区域而推导出的，以及矩形投影面604中的第二比例缩小区域是通过以第二采样密度重新采样正方形投影面602的第二源区域来推导出的，其中第二采样密度不同于第一采样密度。例如，当正方形投影面602的第一源区域比正方形投影面602的第二源区域更靠近用户视角的中心时，第一采样密度特别设置为高于第二采样密度。
正方形投影面602中的采样点(即，获得的像素位置p')可以不是整数位置。如果正方形投影面602中的采样点的x轴上的座标X是非整数位置，则可以将转换电路114中的插值滤波器(未示出)应用于正方形投影面602中采样点周围的整数像素以推导出采样点的像素值。例如，插值滤波器可以是双线性滤波器，双三次滤波器或Lanczos滤波器。
在另一种情况下，其中矩形投影面604是通过将正方形投影面602在高度方向和宽度方向上缩小而推导出的。因此，对于位于矩形投影面604中的y轴上的座标y'处的像素位置，可以根据如等式(3)所示的非均匀性映射函数来确定位于正方形投影面602中的y轴上的座标Y处的对应采样点。另外，关于位于矩形投影面604中的x轴座标x'处的像素位置，可以根据等式(4)所示的非均匀映射函数来确定位于正方形投影面602中的x轴上的座标X处的对应采样点。具体而言，采样点在正方形投影面602的高度方向上非均匀分布，并且在正方形投影面602的宽度方向上也非均匀分布。通过使用正方形投影面602中的对应采样位置p'的像素值来推导出矩形投影面604中的位置P的像素值。由于在高度方向和宽度方向上的非均匀映射，矩形投影面中的第一比例缩小区域604是通过以第一采样密度重新采样正方形投影面602的第一源区域而推导出的，以及矩形投影面604中的第二比例缩小区域是通过以第二采样密度重新采样正方形投影面602的第二源区域来推导出的，其中第二采样密度不同于第一采样密度。例如，当正方形投影面602的第一源区比正方形投影面602的第二源区更靠近用户视角的中心时，第一采样密度特别设置为高于第二采样密度。
正方形投影面602中的采样点(即，获得的像素位置p')可以不是整数位置。如果正方形投影面602中的对应采样点的x轴上的座标X和y轴上的座标Y中的至少一个是非整数位置，则可以将转换电路114中的插值滤波器(未示出)应用于正方形投影面602中的采样点周围的整数像素以推导出采样点的像素值。例如，插值滤波器可以是双线性滤波器，双三次滤波器或Lanczos滤波器。
应该注意的是，前述的非均匀映射函数是用于说明的目的，并不意味着是对本发明的限制。在本发明的一些实施例中，转换电路114可以采用不同的非均匀映射函数来进行缩小投影。
可以采用非均匀映射来保存第一建议的基于视角的立方体投影布局302中的主投影面(例如，矩形投影面“F”)附近的更多细节。例如，矩形投影面“T”的大多数像素是通过重新采样的正方形投影面“Top”的底部部分而推导出的，矩形投影面“L”的大部分像素是通过重新采样正方形投影面“Left”的右边部分而推导出的，矩形投影面“B”的大部分像素是通过重新采样正方形投影面“Bottom”的顶部部分而推导出的，以及矩形投影面“R”的大部分像素是通过重新采样正方形投影面“Right”的左边部分而推导出的。如上所述，在矩形投影面“F”和“T”之间存在图像内容连续性边界，在矩形投影面“F”和“L”之间存在图像内容连续性边界，在于矩形投影面“F”和“B”间存在图像内容连续性边界，以及在矩形投影面“F”和“L”之间存在图像内容连续性边界。由于通过非均匀映射可以在辅助投影面“T”、“L”、“B”和“R”中保留靠近主投影面(例如，矩形投影面“F”)的更多细节，基于投影的图像IMG的编解码效率可以进一步提高。例如，与具有通过均匀映射进行缩小而生成的矩形投影面“T”、“L”、“B”和“R”的基于投影的图像IMG的编解码效率相比，具有通过非均匀映射缩小而生成的矩形投影面“T”、“L”、“B”和“R”的基于图像的基于投影的IMG的编解码效率更好。
应该注意的是，非均匀映射也可以用于产生矩形投影面“BK”，其被划分成部分矩形投影面“B0”、“B1”、“B2”和“B3”。例如，因为正方形投影面“Back”的中心部分比正方形投影面“Back”的周围部分更接近用户视角的中心的事实，矩形投影面“BK”的大部分像素是由正方形投影面“Back”的中心部分重新采样而推导出的。
关于图3所示的第一建议的基于视角的立方体投影布局302，矩形投影面“F”与CMP布局206中的正方形投影面“Front”相同。换句话说，正方形投影面“Front”中的视角区域有被矩形投影面“F”完全保存。然而，这仅仅是为了说明的目的，并不意味着限制本发明。或者，矩形投影面“F”可以是CMP布局206中的正方形投影面“Front”的缩小版本。
图8是根据本发明一实施例的第二建议的基于视角的立方体投影布局的示意图。第二建议的基于视角的立方体投影布局802可以通过缩小投影面来从CMP布局206推导出。如图8的顶部所示，每个正方形投影面的宽度是W，并且每个正方形投影面的高度是H(H＝W)。如图8的中间部分所示，矩形投影面“F”是通过将正方形投影面“Front”在其高度方向上以第一预定义缩小因子u(u＝H/H')缩小，并且将正方形投影面“Front”在其宽度方向上以第一预定义缩小因子u(u＝W/W'，其中W'＝H')缩小而推导得到。矩形投影面“T”是通过将正方形投影面“Top”在其高度方向上以第二预定义缩小因子s(s＝H/h)缩小，并且将正方形投影面“Top”在其宽度方向上以第一预定义缩小因子u缩小而推导得到。矩形投影面“L”是通过将正方形投影面“Left”在其宽度方向上以第二预定义缩小因子s(s＝W/w，其中w＝h)缩小，并且将正方形投影面“Left”在其高度方向上以第一预定义缩小因子u缩小而推导得到。矩形投影面“B”是通过将正方形投影面“Bottom”在其高度方向上以第二预定义缩小因子s缩小，并且将正方形投影面“Bottom”在其宽度方向上以第一预定义缩小因子u缩小而推导得到。以及矩形投影面“R”是通过将正方形投影面“Right”在其宽度方向上以第二预定义缩小因子s缩小，并且将正方形投影面“Right”在其高度方向上以第一预定义缩小因子u缩小而推导得到。此外，矩形投影面“BK”是通过将正方形投影面“Back”在其宽度方向上以第三预定义缩小因子t(t＝0.5*s)缩小，将正方形投影面“Back”在其高度方向上以第三预定义缩小因子t缩小而推导得到。在该实施例中，矩形投影面“BK”被均等地划分成分别具有宽度w和高度h(w＝h)的部分矩形投影面“B0”、“B1”、“B2”和“B3”。应该注意的是，矩形投影面“BK”也是正方形投影面，这使得部分矩形投影面“B0”、“B1”、“B2”和“B3”中的每一个的形状也是正方形。而且，矩形投影面“F”的形状是正方形。
在一个示例性的缩小设计中，矩形投影面“T”/“L”/“B”/“R”/“BK”是通过均匀映射向对应的正方形投影面“Top”/“Left”/“Bottom”/“Right”/“Back”重新采样而推导得到。在另一个示例性的缩小设计中，矩形投影面“T”/“L”/“B”/“R”/“BK”是通过非均匀映射向对应的正方形投影面“Top”/”Left”/”Bottom”/”Right”/”Back”重新采样而推导得到。由于本领域的技术人员在阅读以上段落后可以容易地了解具有均匀映射的缩小细节和具有非均匀映射的缩小的细节，因此为了简洁起见，在此省略了进一步的描述。
矩形投影面“F”、“T”、“L”、“B”和“R”以及部分矩形投影面“B0”、“B1”、“B2”和“B3”被打包在第二建议的基于视角的立方体投影布局802中。如图8中所示，矩形投影面“F”对应于用户的视角，并且被由矩形投影面“T”、“L”、“B”和“R”和部分矩形投影面“B0”、“B1”、“B2”和“B3”组成的周围区域包围。更具体地说，矩形投影面“T”的边S21与矩形投影面“F”的边S11连接，矩形投影面“T”的边S22与部分矩形投影面“B0”的边S601连接，矩形投影面“T”的边S23与部分矩形投影面“B1”的边S611连接，矩形投影面“L”的边S31与矩形投影面“F”的边S12连接，矩形投影面“L”的边S32与部分矩形投影面“B2”的边S621连接，矩形投影面“L”的边S33与部分矩形投影面“B0”的边S602连接，矩形投影面“B”的边S41与矩形投影面“F”的边S13连接，矩形投影面“B”的边S42与部分矩形投影面“B3”的边S631连接，矩形投影面“B”的边S43与部分矩形投影面“B2”的边S622连接，矩形投影面“R”的边S51与矩形投影面“F”的边S14连接，矩形投影面“R”的边S52与部分矩形投影面”B1“的边S612连接，以及矩形投影面“R”的边S53与部分矩形投影面“B3”的边S632连接。
由于本领域的技术人员在阅读了针对第一建议的基于视角的立方体投影布局302的以上段落之后可以容易地理解第二建议的基于视角的立方体投影布局802的细节，因此为了简洁起见，这里省略了进一步的描述。
本领域的技术人员将容易观察到，可以在保持本发明的教导的同时进行设备和方法的许多修改和变更。因此，上述公开内容应该被解释为仅受所附权利要求的界限限制。

Claims (20)

1.一种视频处理方法，其特征在于，包括：
接收对应于球形视野的全向图像/视频内容；
根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容，并且该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，该第六矩形投影面被划分成多个部分矩形投影面，并且该第一矩形投影面对应于用户的视角并且被该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面组成的周围区域包围；以及
由视频编码器编码该基于投影的帧以生成比特流的一部分。
2.如权利要求1所述的视频处理方法，其特征在于，该第一矩形投影面的第一边与该第二矩形投影面的第一边相连；该第一矩形投影面的第二边与该第三矩形投影面的第一边连接；该第一矩形投影面的第三边与该第四矩形投影面的第一边连接；该第一矩形投影面的第四边与该第五矩形投影面的第一边连接；该多个部分矩形投影面包括第一部分矩形投影面、第二部分矩形投影面、第三部分矩形投影面和第四部分矩形投影面；该第一部分矩形投影面具有与该第二矩形投影面的第二边连接的第一边和与该第三矩形投影面的第二边连接的第二边；该第三部分矩形投影面具有与该第三矩形投影面的第三边连接的第一边和与该第四矩形投影面的第二边连接的第二边；该第四部分矩形投影面具有与该第四矩形投影面的第三边连接的第一边和与该第五矩形投影面的第二边连接的第二边；以及该第二部分矩形投影面具有与该第二矩形投影面的第三边连接的第一边和与该第五矩形投影面的第三边连接的第二边。
3.如权利要求2所述的视频处理方法，其特征在于，在该第一矩形投影面的该第一边与该第二矩形投影面的该第一边之间存在图像连续性边界，在该第一矩形投影面的该第二边与该第三矩形投影面的该第一边之间存在图像连续性边界，在该第一矩形投影面的该第三边与该第四矩形投影面的该第一边之间存在图像连续性边界，以及在该第一矩形投影面的该第四边与该第五矩形投影面的该第一边之间存在图像连续性边界。
4.如权利要求2所述的视频处理方法，其特征在于，在该第一部分矩形投影面的该第一边与该第二矩形投影面的该第二边之间存在图像不连续性边界，在该第一部分矩形投影面的该第二边与该第三矩形投影面的该第二边之间存在图像不连续性边界，在该第三部分矩形投影面的该第一边与该第三矩形投影面的该第三边之间存在图像不连续性边界，在该第三部分矩形投影面的该第二边与该第四矩形投影面的该第二边之间存在图像不连续性边界，在该第四部分矩形投影面的该第一边与该第四矩形投影面的该第三边之间存在图像不连续性边界，在该第四部分矩形投影面的该第二边与该第五矩形投影面的该第二边之间存在图像不连续性边界，在该第二部分矩形投影面的该第一边与该第二矩形投影面的该第三边之间存在图像不连续性边界，以及在该第二部分矩形投影面的该第二边与该第五矩形投影面的该第三边之间存在图像不连续性边界。
5.如权利要求1所述的视频处理方法，其特征在于，根据该全向图像/视频内容和基于视角的立方体投影布局生成该基于投影的帧的步骤包括：
通过球形视野的立方体映射投影将球形视野的该全向图像/视频内容映射到多个正方形投影面上；以及
分别从该多个正方形投影面推导出该第一矩形投影面、该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该第六矩形投影面，其中该第二矩形投影面矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该第六矩形投影面是通过缩小对应的正方形投影面而推导出的。
6.权利要求5所述的视频处理方法，其特征在于，该多个正方形投影面推导出该第一矩形投影面、该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面以及该第六矩形投影面的步骤，包括：
直接使用第一正方形投影面作为该第一矩形投影面；
通过将第二正方形投影面在其高度方向上以第一缩小比例因子缩小来推导出该第二矩形投影面；
通过将第三正方形投影面在其宽度方向上以第一缩小比例因子缩小来推导出该第三矩形投影面；
通过将第四正方形投影面在其高度方向上以第一缩小比例因子缩小来推导出该第四矩形投影面；
通过将第五正方形投影面在其宽度方向上以第一缩小比例因子缩小来推导出该第五矩形投影面；以及
通过将第六正方形投影面在其高度方向上以第二缩小因子缩小并将该第六正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第六矩形投影面，其中，该第一缩小因子是该第二缩小因子的两倍。
7.如权利要求5所述的视频处理方法，其特征在于，该多个正方形投影面推导出该第一矩形投影面、该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面以及该第六矩形投影面的步骤，包括：
通过将第一正方形投影面在其高度方向上以第一缩小因子缩小并且将该第一正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第一矩形投影面；
通过将第二正方形投影面在其高度方向上以第二缩小因子缩小并且将该第二正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第二矩形投影面；
通过将第三正方形投影面在其高度方向上以第一缩小因子缩小并且将该第三正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第三矩形投影面；
通过将第四正方形投影面在其高度方向上以第二缩小因子缩小并且将该第四正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第四矩形投影面；
通过将第五正方形投影面在其高度方向上以第一缩小因子缩小并且将该第五正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第五矩形投影面；以及
通过利将第六正方形投影面在其高度方向上以第三缩小因子缩小并且将该第六正方形投影面在其宽度方向上以第三缩小因子缩小来推导出该第六矩形投影面，其中，该第二缩小因子是该第三个缩小因子的两倍。
8.如权利要求5所述的视频处理方法，其特征在于，该基于视角的立方体投影布局的形状是正方形；该第一矩形投影面的形状是正方形；该第二矩形投影面、该第三矩形投影面、该第四矩形投影面和该第五矩形投影面中的每一个的形状都不是正方形；并且该多个部分矩形投影面的形状，每个是正方形。
9.如权利要求5所述的视频处理方法，其特征在于，该缩小对应的正方形投影面的步骤包括：
通过非均匀映射对该对应的正方形投影面进行重新采样，其中该对应的正方形投影面具有第一源区域和第二源区域，该第二矩形投影面、该第三矩形投影面、该第四矩形投影、该第五矩形投影面和该第六矩形投影面中的每一个具有第一比例缩小区域和第二比例缩小区域，该第一比例缩小区域是通过以第一采样密度对该第一源区域进行重新采样而推导出的，并且该第二比例缩小区域是通过以不同于该第一采样密度的第二采样密度重新采样该第二源区域而推导出的。
10.如权利要求9所述的视频处理方法，其特征在于，该第一源区域比该第二源区域更靠近该用户的视角的中心，并且该第一采样密度高于该第二采样密度。
11.一种视频处理装置，其特征在于，包括：
转换电路，用于接收对应于球形视野的全向图像/视频内容，并且根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容，并且该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被划分成多个部分矩形投影面的第六矩形投影面，并且该第一矩形投影面对应于用户的视角并且被由该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面构成的周围区域包围；以及
视频编码器，用于编码该基于投影的帧以产生比特流的一部分。
12.如权利要求11所述的视频处理装置，其特征在于，该第一矩形投影面的第一边与该第二矩形投影面的第一边相连；该第一矩形投影面的第二边与该第三矩形投影面的第一边连接；该第一矩形投影面的第三边与该第四矩形投影面的第一边连接；该第一矩形投影面的第四边与该第五矩形投影面的第一边连接；该多个部分矩形投影面包括第一部分矩形投影面、第二部分矩形投影面、第三部分矩形投影面和第四部分矩形投影面；该第一部分矩形投影面具有分别与该第二矩形投影面的第二边连接的第一边和与该第三矩形投影面的第二边连接的第二边；该第三部分矩形投影面具有分别与该第三矩形投影面的第三边连接的第一边和与该第四矩形投影面的第二边连接的第二边；该第四部分矩形投影面具有分别与该第四矩形投影面的第三边连接的第一边和与该第五矩形投影面的第二边连接的第二边；以及该第二部分矩形投影面具有分别与该第二矩形投影面的第三边连接的第一边和与该第五矩形投影面的第三边连接的第二边。
13.如权利要求12所述的视频处理装置，其特征在于，在该第一矩形投影面的该第一边与该第二矩形投影面的该第一边之间存在图像连续性边界，在该第一矩形投影面的该第二边与该第三矩形投影面的该第一边之间存在图像连续性边界，在该第一矩形投影面的该第三边与该第四矩形投影面的该第一边之间存在图像连续性边界，以及在该第一矩形投影面的该第四边与该第五矩形投影面的该第一边之间存在图像连续性边界。
14.如权利要求12所述的视频处理装置，其特征在于，在该第一部分矩形投影面的该第一边与该第二矩形投影面的该第二边之间存在图像不连续性边界，在该第一部分矩形投影面的该第二边与该第三矩形投影面的该第二边之间存在图像不连续性边界，在该第三部分矩形投影面的该第一边与该第三矩形投影面的该第三边之间存在图像不连续性边界，在该第三部分矩形投影面的该第二边与该第四矩形投影面的该第二边之间存在图像不连续性边界，在该第四部分矩形投影面的该第一边与该第四矩形投影面的该第三边之间存在图像不连续性边界，在该第四部分矩形投影面的该第二边与该第五矩形投影面的该第二边之间存在图像不连续性边界，在该第二部分矩形投影面的该第一边与该第二矩形投影面的该第三边之间存在图像不连续性边界，以及在该第二部分矩形投影面的该第二边与该第五矩形投影面的该第三边之间存在图像不连续性边界。
15.如权利要求11所述的视频处理装置，其特征在于，该转换电路还用于通过球形视野的立方体映射投影将球形视野的该全向图像/视频内容映射到多个正方形投影面上；以及分别从该多个正方形投影面推导出该第一矩形投影面、该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该第六矩形投影面，其中该第二矩形投影面矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该第六矩形投影面是通过缩小对应的正方形投影面而推导出的。
16.如权利要求15所述的视频处理装置，其特征在于，该转换电路直接使用第一正方形投影面作为该第一矩形投影面；通过将第二正方形投影面在其高度方向上以第一缩小比例因子缩小来推导出该第二矩形投影面；通过将第三正方形投影面在其宽度方向上以第一缩小比例因子缩小来推导出该第三矩形投影面；通过将第四正方形投影面在其高度方向上以第一缩小比例因子缩小来推导出该第四矩形投影面；通过将第五正方形投影面在其宽度方向上以第一缩小比例因子缩小来推导出该第五矩形投影面；以及通过将第六正方形投影面在其高度方向上以第二缩小因子缩小并将该第六正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第六矩形投影面，其中，该第一缩小因子是该第二缩小因子的两倍。
17.如权利要求15所述的视频处理装置，其特征在于，该转换电路通过将第一正方形投影面在其高度方向上以第一缩小因子缩小并且将该第一正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第一矩形投影面；通过将第二正方形投影面在其高度方向上以第二缩小因子缩小并且将该第二正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第二矩形投影面；通过将第三正方形投影面在其高度方向上以第一缩小因子缩小并且将该第三正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第三矩形投影面；通过将第四正方形投影面在其高度方向上以第二缩小因子缩小并且将该第四正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第四矩形投影面；通过将第五正方形投影面在其高度方向上以第一缩小因子缩小并且将该第五正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第五矩形投影面；以及通过利将第六正方形投影面在其高度方向上以第三缩小因子缩小并且将该第六正方形投影面在其宽度方向上以第三缩小因子缩小来推导出该第六矩形投影面，其中，该第二缩小因子是该第三缩小因子的两倍。
18.如权利要求15所述的视频处理装置，其特征在于，该基于视角的立方体投影布局的形状是正方形；该第一矩形投影面的形状是正方形；该第二矩形投影面、该第三矩形投影面、该第四矩形投影面和该第五矩形投影面中的每一个的形状都不是正方形；并且该多个部分矩形投影面中的每一个的形状是正方形。
19.如权利要求15所述的视频处理装置，其特征在于，该转换电路通过以下方式缩小该对应的正方形投影面：
通过非均匀映射对该对应的正方形投影面进行重新采样，其中该对应的正方形投影面具有第一源区域和第二源区域，该第二矩形投影面、该第三矩形投影面、该第四矩形投影、该第五矩形投影面和该第六矩形投影面中的每一个具有第一比例缩小区域和第二比例缩小区域，该第一比例缩小区域是通过以第一采样密度对该第一源区域进行重新采样而推导出的，并且该第二比例缩小区域是通过以不同于该第一采样密度的第二采样密度重新采样该第二源区域而推导出的。
20.如权利要求19所述的视频处理装置，其特征在于，该第一源区域比该第二源区域更靠近该用户的视角的中心，并且该第一采样密度高于该第二采样密度。
CN201780063386.2A 2016-12-14 2017-12-11 一种视频处理方法和装置 Active CN109845270B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662433858P 2016-12-14 2016-12-14
US62/433,858 2016-12-14
US201762445809P 2017-01-13 2017-01-13
US62/445,809 2017-01-13
PCT/CN2017/115383 WO2018108046A1 (en) 2016-12-14 2017-12-11 Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout

Publications (2)

Publication Number Publication Date
CN109845270A true CN109845270A (zh) 2019-06-04
CN109845270B CN109845270B (zh) 2021-05-28

Family

ID=62557995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063386.2A Active CN109845270B (zh) 2016-12-14 2017-12-11 一种视频处理方法和装置

Country Status (6)

Country Link
CN (1) CN109845270B (zh)
BR (1) BR112019007282A2 (zh)
DE (1) DE112017005123B4 (zh)
GB (1) GB2571638B (zh)
TW (1) TWI656788B (zh)
WO (1) WO2018108046A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118890A1 (en) * 2001-02-24 2002-08-29 Michael Rondinelli Method and apparatus for processing photographic images
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031540A (en) * 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP2013046270A (ja) * 2011-08-25 2013-03-04 Olympus Corp 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム
JP5745435B2 (ja) * 2012-02-01 2015-07-08 東芝プラントシステム株式会社 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法
US10911781B2 (en) * 2015-03-05 2021-02-02 Sony Corporation Image processing device and image processing method for encoding/decoding omnidirectional images at different resolutions
CN105678693B (zh) * 2016-01-25 2019-05-14 成都易瞳科技有限公司 全景视频浏览播放方法
CN106056531B (zh) * 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) * 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118890A1 (en) * 2001-02-24 2002-08-29 Michael Rondinelli Method and apparatus for processing photographic images
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置

Also Published As

Publication number Publication date
BR112019007282A2 (pt) 2019-07-09
GB2571638A (en) 2019-09-04
CN109845270B (zh) 2021-05-28
DE112017005123T5 (de) 2019-07-11
DE112017005123B4 (de) 2020-09-10
GB201903991D0 (en) 2019-05-08
TW201828706A (zh) 2018-08-01
TWI656788B (zh) 2019-04-11
WO2018108046A1 (en) 2018-06-21
GB2571638B (en) 2022-04-20

Similar Documents

Publication Publication Date Title
CN109983757B (zh) 全景视频回放期间的视图相关操作
US10356386B2 (en) Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
CN110383842B (zh) 一种视频处理方法和装置
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
KR20180029473A (ko) 가상 현실 콘텐트를 송수신하는 방법 및 장치
EP3542530A1 (en) Suggested viewport indication for panoramic video
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
TWI756526B (zh) 用於重構的基於投影的幀的樣本適應性偏移濾波方法
CN109845270A (zh) 用于生成和编码具有基于视角的立方体投影格式布局的基于360度矩形投影帧的方法和设备
US10997693B2 (en) Apparatus and methods for non-uniform processing of image data
US11405629B2 (en) Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size and/or constrained projection face size and associated electronic device
CN109792490A (zh) 用于流图像压缩的球面视频的改进的伪圆柱映射
US20180192024A1 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
WO2018127035A1 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
US20210203995A1 (en) Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant