CN112868237A - 用于处理包括以360度虚拟现实投影布局封装的至少一个投影面和至少一个填充区域的基于投影的帧的方法 - Google Patents

用于处理包括以360度虚拟现实投影布局封装的至少一个投影面和至少一个填充区域的基于投影的帧的方法 Download PDF

Info

Publication number
CN112868237A
CN112868237A CN201980064705.0A CN201980064705A CN112868237A CN 112868237 A CN112868237 A CN 112868237A CN 201980064705 A CN201980064705 A CN 201980064705A CN 112868237 A CN112868237 A CN 112868237A
Authority
CN
China
Prior art keywords
projection
pixel
chroma sample
reconstructed
based frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980064705.0A
Other languages
English (en)
Other versions
CN112868237B (zh
Inventor
施正轩
李亚璇
林建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112868237A publication Critical patent/CN112868237A/zh
Application granted granted Critical
Publication of CN112868237B publication Critical patent/CN112868237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种视频处理方法包括以下步骤：接收比特流的一部分；对比特流的该部分进行解码，以生成重构的基于投影的帧，该重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；获得经由比特流用信号传送的色度采样位置信息；以及执行混合处理，以通过将针对至少一个投影面中的第一色度样本位置获得的第一色度样本值与针对至少一个填充区域中的第二色度样本位置获得的第二色度样本值进行混合来生成目标色度样本位置处的混合色度样本值。根据色度采样位置信息确定目标色度样本位置、第一色度样本位置和第二色度样本位置中的至少一个。

Description

用于处理包括以360度虚拟现实投影布局封装的至少一个投 影面和至少一个填充区域的基于投影的帧的方法
交叉申请
本申请要求于2019年1月2日提交的第62/787,449号美国临时申请的权益，并且该美国临时申请通过引用并入本文中。
技术领域
本发明涉及处理全向图像(omnidirectional image)/视频内容，并且更具体地涉及用于处理基于投影的帧的方法，该基于投影的帧包括以360度虚拟现实(360VR)投影布局封装(pack)的至少一个投影面和至少一个填充(padding)区域。
背景技术
具有头戴式显示器(head-mounted displays，HMD)的虚拟现实(VR)与多种应用相关联。向用户显示宽视野内容的能力可以用于提供沉浸式视觉体验。必须在所有方向上捕获真实世界环境，以产生对应于球面的全向图像/视频内容。随着摄像机装备和HMD的进步，由于表示这种360度图像/视频内容所需要的高比特率，VR内容的传送可能很快变成瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。
通常，对应于球面的全向图像/视频内容被变换成图像序列，图像中的各个是基于投影的帧，其具有由布置在360度虚拟现实(360VR)投影布局中的一个或更多个投影面表示的360度图像/视频内容，并然后基于投影的帧的序列被编码成比特流以进行传输。基于投影的帧在布局边界和/或面边缘处可能具有图像内容不连续性。因此，在压缩之后，布局边界和/或面边缘周围的图像质量可能较差。此外，通过重构的基于投影的帧的投影布局转换可能引入伪影，从而导致转换的帧的图像质量劣化。
发明内容
所要求保护的发明的目的中的一个是提供用于处理基于投影的帧的方法，该基于投影的帧包括以360度虚拟现实(360VR)投影布局封装的至少一个投影面和至少一个填充区域。
根据本发明的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流的一部分；对比特流的该部分进行解码，以生成重构的基于投影的帧，该重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；获得经由比特流用信号传送的色度采样位置信息；以及执行混合处理，以通过将针对在重构的基于投影的帧的所述至少一个投影面中的第一色度样本位置获得的第一色度样本值与针对在重构的基于投影的帧的所述至少一个填充区域中的第二色度样本位置获得的第二色度样本值进行混合来生成目标色度样本位置处的混合色度样本值，其中，根据色度采样位置信息来确定目标色度样本位置、第一色度样本位置和第二色度样本位置中的至少一个。
根据本发明的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流；对比特流的一部分进行解码，以生成第一重构的基于投影的帧，该第一重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；对第一重构的基于投影的帧执行混合处理，该混合处理包括：通过将针对第一重构的基于投影的帧的所述至少一个投影面中的第一像素位置获得的第一像素值与针对第一重构的基于投影的帧的所述至少一个填充区域中的第二像素位置获得的第二像素值进行混合来生成混合像素值；以及对比特流的另一部分进行解码，以生成第二重构的基于投影的帧，其中，混合像素值由生成第二重构的基于投影的帧所涉及的帧间预测使用。
根据本发明的第三方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流；对比特流的一部分进行解码，以生成第一重构的基于投影的帧，该第一重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；对第一重构的基于投影的帧执行混合处理，所述混合处理包括：通过将针对第一重构的基于投影的帧的所述至少一个投影面中的第一像素位置获得的第一像素值与针对第一重构的基于投影的帧的所述至少一个填充区域中的第二像素位置获得的第二像素值进行混合来生成混合像素值；以及对比特流的另一部分进行解码，以生成第二重构的基于投影的帧，其中，第一重构的基于投影的帧用作由帧间预测所使用的参考帧，而混合像素值不被生成第二重构的基于投影的帧所涉及的帧间预测使用。
根据本发明的第四方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括以下步骤：接收比特流的一部分；对比特流的该部分进行解码，以生成重构的基于投影的帧，该重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；关于目标像素，在重构的基于投影的帧中找到多个对应像素，其中，目标像素和对应像素皆映射到球面上的同一点，对应像素包括第一像素和第二像素，第一像素位于重构的基于投影的帧的所述至少一个投影面内，而第二像素位于重构的基于投影的帧的所述至少一个填充区域内；通过将对应像素的像素值进行混合来生成混合像素值；以及通过混合像素值设置目标像素的像素值。
在阅读了以下在多个附图和图片中例示的优选实施方式的详细说明之后，本发明的这些和其它目的对于本领域的普通技术人员无疑将变得显而易见。
附图说明
图1是例示了根据本发明的实施方式的第一360度虚拟现实(360VR)系统的图。
图2是例示了从球面的立方体贴图(cubemap)投影获得的立方体贴图投影布局的六个正方形投影面的图。
图3是例示了根据本发明的实施方式的具有边缘填充的立方体贴图投影布局的图。
图4是例示了根据本发明的实施方式的具有边界填充和边缘填充的立方体贴图投影布局的图。
图5是例示了根据本发明的实施方式的具有边界填充和边缘填充的另一立方体贴图投影布局的图。
图6是例示了从投影面中的像素到填充区域中的其对应填充像素的映射的示例的图。
图7是例示了从填充区域中的填充像素到投影面中的其对应像素的映射的示例的图。
图8是例示了根据本发明的实施方式的具有环内混合的视频解码电路的图。
图9是例示了根据本发明的实施方式的具有环外混合的视频解码电路的图。
图10是例示了根据本发明的实施方式的第二360VR系统的图。
图11是例示了混合同一源帧中的多个对应像素以得到目标像素的示例的图。
图12是例示了根据本发明的实施方式的第三360VR系统的图。
图13是例示了4：2：0色度格式和四种色度样本位置类型的图。
图14是例示了从投影面中的色度样本映像到填充区域中的其对应色度样本的示例的图。
图15是例示了从填充区域中的色度样本映像到投影面中的其对应色度样本的示例的图。
图16是例示了混合同一源帧中的多个对应色度样本以得到渲染处理或投影格式转换处理所需要的目标色度样本的示例的图。
图17是例示了通过色度格式转换处理中的色度采样位置来设置混合处理中的色度采样位置的示例的图。
图18是例示了通过投影格式转换处理中的色度采样位置来设置混合处理中的色度采样位置的示例的图。
具体实施方式
在以下描述和请求保护范围中使用了指代特定部件的某些术语。本领域的技术人员将理解，电子装置制造商可能通过不同的名称来指代部件。本发明不旨在以名称的差异来在部件之间进行区分，而是以功能的差异来在部件之间进行区分。在以下描述中和在权利要求书中，术语“包括”和“包含”是以开放式方式使用的，从而应解释成表示“包括但不限于......”。另外，术语“耦接”旨在表示间接或直接的电气连接。因此，如果一个设备联接到另一设备，则连接可能是通过直接电气连接，或者通过经由其它设备和连接的间接电气连接。
图1是例示了根据本发明的实施方式的第一360度虚拟现实(360VR)系统的图。360VR系统100包括两个视频处理装备(例如，源电子设备102和目的电子设备104)。源电子设备102包括视频捕获设备112、转换电路114和视频编码电路116。例如，视频捕获设备112可以是用于提供与球面对应的全向图像/视频内容(例如，覆盖整个环境的多个图像)S_IN的一组摄像机。转换电路114联接在视频捕获设备112与视频编码电路116之间。转换电路114根据全向图像/视频内容S_IN生成具有360度虚拟现实(360VR)投影布局L_VR的基于投影的帧IMG。例如，基于投影的帧IMG可以是包括在从转换电路114生成的基于投影的帧的序列中的一个帧。
在本发明的一些实施方式中，转换电路114可以支持色度格式转换和投影格式转换。例如，全向图像/视频内容S_IN可以被布置成诸如等距柱状投影(equirectangularprojection，ERP)布局的源投影布局，并且转换电路114可以对全向图像/视频内容S_IN执行投影格式转换以生成具有目标360VR投影布局L_VR的基于投影的帧IMG。对于另一示例，全向图像/视频内容S_IN的各个像素可以包括具有第一色度格式(例如，4：4：4)的色度样本，并且转换电路114可以对全向图像/视频内容S_IN执行色度格式转换，使得要通过投影格式转换来处理的全向图像/视频内容的各个像素可以包括具有第二色度格式(例如，4：2：0或4：2：2)的色度样本。
视频编码电路116是基于视频编解码器架构而构建的，并且用于对基于投影的帧IMG进行编码/压缩以生成比特流BS的一部分。此外，视频编码电路116经由传输装置103将比特流BS输出到目的电子设备104。例如，基于投影的帧的序列可以被编码到比特流BS中，并且传输装置103可以是有线/无线通信链路或存储介质。
目的电子设备104可以是头戴式显示器(HMD)设备。如图1所示，目的电子设备104包括视频解码电路122、图形渲染电路124和显示屏幕126。视频解码电路122是基于视频解码器架构而构建的。因此，视频解码电路122从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS，并执行视频解码器功能以对接收到的比特流BS的一部分进行解码以生成重构的基于投影的帧(解碼帧)IMG'。例如，视频解码电路122通过对接收到的比特流BS的不同部分进行解码来生成重构的帧的序列，其中，重构的基于投影的帧IMG'是包括在重构的基于投影的帧的序列中的一个帧。在该实施方式中，要由编码器侧处的视频编码电路116编码的基于投影的帧IMG具有带有投影布局的360VR投影格式。因此，在由解码器侧处的解码电路122对比特流BS进行解码之后，重构的基于投影的帧IMG'是具有相同的360VR投影格式和相同的投影布局的重构的帧。图形渲染电路124联接在视频解码电路122与显示屏幕126之间。图形渲染电路124根据重构的基于投影的帧IMG'来渲染输出图像数据并将其显示在显示屏幕126上。例如，可以经由图形渲染电路124在显示屏幕126上显示与由重构的基于投影的帧IMG'承载的360度图像/视频内容的一部分相关联的视口区域(viewportarea)。
如上所述，转换电路114根据360VR投影布局L_VR和全向图像/视频内容S_IN生成基于投影的帧IMG。如果360VR投影布局L_VR是没有填充的紧凑的投影布局，则投影面的封装可能导致相邻投影面之间的图像内容不连续边缘。
考虑一种情况，其中，360VR投影布局L_VR通过没有填充的立方体贴图投影(CMP)布局来设置。因此，转换电路114从球面的全向图像/视频内容S_IN获得正方形投影面。即，球面的全向图像/视频内容经由立方体贴图投影映像到正方形投影面上。图2是例示了从球面的立方体贴图投影获得的CMP布局的六个正方形投影面的图。球面202的全向图像/视频内容被映像到立方体204的六个正方形投影面(标记为“L”、“F”、“R”、“BK”、“T”和“B”)上。正方形投影面“L”表示立方体204的左面。正方形投影面“F”表示立方体204的前面。正方形投影面“R”表示立方体204的右面。正方形投影面“BK”表示立方体204的背面。正方形投影面“T”表示立方体204的顶面。正方形投影面“B”表示立方体204的底面。如图2所示，正方形投影面“L”、“F”、“R”、“BK”、“T”和“B”以对应于展开的立方体的CMP布局206布置。要编码的基于投影的帧IMG需要是矩形的。如果CMP布局206直接用于创建基于投影的帧IMG，则基于投影的帧IMG必须填充有虚设(dummy)区域(例如，黑色区域、灰色区域或白色区域)以形成用于编码的矩形框架。因此，正方形投影面“L”、“F”、“R”、“BK”、“T”和“B”可以以没有填充的其它CMP布局(例如，1×6立方体布局、6×1立方体布局、3×2立方体布局或2×3立方体布局)封装。以这种方式，可以提高编码效率。然而，当正方形投影面“L”、“F”、“R”、“BK”、“T”和“B”以没有填充的紧凑的CMP布局封装时，投影面的封装不可避免地导致相邻投影面之间的图像内容不连续边缘。因此，如果通过没有填充的紧凑的CMP布局设置360VR投影布局L_VR，则压缩后的投影面之间的图像内容不连续边缘附近的图像质量可能较差，并且压缩后的布局边界(也可能是被视为图像内容不连续边缘)附近的图像质量可能较差。具体来说，当正方形投影面以没有填充的CMP布局(例如1×6立方体布局、6×1立方体布局、3×2立方体布局或2×3立方体布局)封装时，编码后的基于投影的帧IMG由于CMP布局的不连续布局边界和/或CMP布局的不连续边缘而可能具有伪影。例如，没有填充的CMP布局具有顶部不连续边界、底部不连续边界、左部不连续边界和右部不连续边界。另外，在以没有填充的CMP布局封装的两个相邻正方形投影面之间存在至少一个图像内容不连续边缘。
为了解决上述问题，转换电路114配备有用于生成填充区域的填充电路115，并且转换电路114被布置成采用通过具有填充的投影布局所设置的360VR投影布局L_VR。在布局边界和/或不连续边缘周围，可以插入通过像素填充生成的另外的填充区域，以减少接缝伪影(seam artifact)。
例如，仅能在不连续的边缘添加像素填充。图3是例示了根据本发明的实施方式的具有边缘填充的立方体贴图投影布局的图。图3的子图(A)例示了具有边缘填充的3×2立方体布局302。在没有填充的典型的3×2立方体投影布局中，如果正方形投影面“L”的底侧与正方形投影面“T”的顶侧连接，则在正方形投影面“L”与“T”之间存在图像内容不连续边缘。在没有填充的典型的3×2立方体投影布局中，如果正方形投影面“F”的底侧与正方形投影面“BK”的顶侧连接，则在正方形投影面“F”与“BK”之间存在图像内容不连续边缘。在没有填充的典型的3×2立方体投影布局中，如果正方形投影面“R”的底侧与正方形投影面“B”的顶侧连接，则在正方形投影面“R”与“B”之间存在图像内容不连续边缘。根据具有填充的3×2立方体投影布局302，在正方形投影面“L”与“T”之间插入填充区域PR_DE1，在正方形投影面“F”与“BK”之间插入填充区域PR_DE2，并且在正方形投影面“R”与“B”之间插入填充区域PR_DE3。
在投影布局302中，第一填充区域PR_DE1包括从正方形投影面“L”延伸的填充像素和从正方形投影面“T”延伸的填充像素，并且因此将正方形投影面“L”的底侧与正方形投影面“T”的顶侧隔离开。在投影布局302中，第二填充区域PR_DE2包括从正方形投影面“F”延伸的填充像素和从正方形投影面“BK”延伸的填充像素，并且因此将正方形投影面“F”的底侧与正方形投影面“BK”的顶侧隔离开。在投影布局302中，第三填充区域PR_DE3包括从正方形投影面“R”延伸的填充像素和从正方形投影面“B”延伸的填充像素，并且因此将正方形投影面“R”的底侧与正方形投影面“B”的顶侧隔离开。一个正方形投影面的像素填充大小为SGB。因此，各个填充区域PR_DE1/PR_DE2/PR_DE3的宽度等于2*SGB。
图3的子图(B)例示了具有边缘填充的6×1立方体布局304。在没有填充的典型的6×1立方体投影布局中，如果正方形投影面“R”的右侧与正方形投影面“T”的左侧连接，则在正方形投影面“R”与“T”之间存在图像内容不连续边缘。根据具有填充的6×1立方体投影布局304，在正方形投影面“R”与“T”之间插入填充区域PR_DE。在投影布局304中，填充区域PR_DE包括从正方形投影面“R”延伸的填充像素和从正方形投影面“T”延伸的填充像素，并且因此将正方形投影面“R”的右侧与正方形投影面“T”的左侧隔离开。一个正方形投影面的像素填充大小为SGB。因此，填充区域PR_DE的宽度等于2*SGB。
对于另一示例，可以在布局边界和不连续边缘处添加填充。图4是例示了根据本发明的实施方式的具有边界填充和边缘填充的立方体贴图投影布局的图。图4的子图(A)例示了具有边界填充和边缘填充的3×2立方体布局402。如果正方形投影面以没有填充的典型的3×2立方体投影布局封装，则正方形投影面“L”、“F”和“R”的顶侧形成顶部不连续边界，正方形投影面“T”、“BK”和“B”的底侧形成底部不连续边界，正方形投影面“L”和“T”的左侧形成左部不连续边界，并且正方形投影面“R”和“B”的右侧形成右部不连续边界。具有边界填充和边缘填充的3×2立方体布局402可以从将边界填充添加到具有边缘填充的3×2立方体布局302中来得出。因此，除了在不连续边缘处的填充区域PR_DE1、PR_DE2、PR_DE3之外，具有边界填充和边缘填充的3×2立方体布局402还具有与正方形投影面“L”、“F”和“R”的顶侧连接的顶部填充区域PR_T，与方形投影面“T”、“BK”和“B”的底侧连接的底部填充区域PR_B，与正方形投影面“L”和“T”的左侧连接的左部填充区域PR_L以及与正方形投影面“R”和“B”的右侧连接的右部填充区域PR_R。
顶部填充区域PR_T包括从正方形投影面“L”、“F”和“R”延伸的填充像素。底部填充区域PR_B包括从正方形投影面“T”、“BK”和“B”延伸的填充像素。左部填充区域PR_L包括从正方形投影面“L”和“T”延伸的填充像素。右部填充区域PR_R包括从正方形投影面“R”和“B”延伸的填充像素。一个正方形投影面的像素填充大小为SGB。因此，各个边界填充区域PR_T/PR_B/PR_L/PR_R的宽度等于SGB。
图4的子图(B)例示了具有边界填充和边缘填充的6×1立方体布局404。如果正方形投影面以没有填充的典型的6×1立方体投影布局封装，则正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的顶侧形成顶部不连续边界，正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的底侧形成底部不连续边界，正方形投影面“L”的左侧形成左部不连续边界，并且正方形投影面“B”的右侧形成右部不连续边界。具有边界填充和边缘填充的6×1立方体布局404可以从将边界填充添加到具有边缘填充的6×1立方体布局304中来得出。因此，除了在不连续边缘处的填充区域PR_DE之外，具有边界填充和边缘填充的6×1立方体布局404还具有与正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的顶侧连接的顶部填充区域PR_T、与方形投影面“L”、“F”、“R”、“T”、“BK”和“B”的底侧连接的底部填充区域PR_B、与正方形投影面“L”的左侧连接的左部填充区域PR_L以及与正方形投影面“B”的右侧连接的右部填充区域PR_R。
顶部填充区域PR_T包括从正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”延伸的填充像素。底部填充区域PR_B包括从正方形投影面“L”、“F”、“R”、“T”、“BK”和“B”延伸的填充像素。左部填充区域PR_L包括从正方形投影面“L”延伸的填充像素。右部填充区域PR_R包括从正方形投影面“B”延伸的填充像素。一个正方形投影面的像素填充大小为SGB。因此，各个边界填充区域PR_T/PR_B/PR_L/PR_R的宽度等于SGB。
对于又一示例，可以在布局边界、不连续边缘和连续边缘处添加填充。图5是例示了根据本发明的实施方式的具有边界填充和边缘填充的另一立方体贴图投影布局的图。图5的子图(A)例示了具有边界填充和边缘填充的另一3×2立方体布局502。在没有填充的典型的3×2立方体投影布局中，如果正方形投影面“L”的右侧与正方形投影面“F”的左侧连接，则在正方形投影面“L”与“F”之间存在图像内容连续边缘。在没有填充的典型的3×2立方体投影布局中，如果正方形投影面“F”的右侧与正方形投影面“R”的左侧连接，则在正方形投影面“F”与“R”之间存在图像内容连续边缘。在没有填充的典型的3×2立方体投影布局中，如果正方形投影面“T”的右侧与正方形投影面“BK”的左侧连接，则在正方形投影面“T”与“BK”之间存在图像内容连续边缘。在没有填充的典型的3×2立方体投影布局中，如果正方形投影面“BK”的右侧与正方形投影面“B”的左侧连接，则在正方形投影面“BK”与“B”之间存在图像内容连续边缘。
具有边界填充和边缘填充的3×2立方体布局502可以从将更多填充添加到具有边界填充和边缘填充的3×2立方体布局402中来得出。因此，除了在不连续边缘处的填充区域PR_DE1、PR_DE2、PR_DE3和在不连续边界处的填充区域PR_T、PR_B、PR_L、PR_R之外，具有边界填充和边缘填充502的3×2立方体布局还具有与正方形投影面“L”的右侧和正方形投影面“F”的左侧连接的填充区域PR_CE1、与正方形投影面“F”的右侧和正方形投影面“R”的左侧连接的填充区域PR_CE2、与正方形投影面“T”的右侧和正方形投影面“BK”的左侧连接的填充区域PR_CE3以及与正方形投影面“BK”的右侧和正方形投影面“B”的左侧连接的填充区域PR_CE4。
在投影布局502中，填充区域PR_CE1包括从正方形投影面“L”和“F”延伸的填充像素，并且因此将正方形投影面“L”的右侧与正方形投影面“F”的左侧隔离开。在投影布局502中，填充区域PR_CE2包括从正方形投影面“F”和“R”延伸的填充像素，并且因此将正方形投影面“F”的右侧与正方形投影面“R”的左侧隔离开。在投影布局502中，填充区域PR_CE3包括从正方形投影面“T”和“BK”延伸的填充像素，并且因此将正方形投影面“T”的右侧与正方形投影面“BK”的左侧隔离开。在投影布局502中，填充区域PR_CE4包括从正方形投影面“BK”和“B”延伸的填充像素，并且因此将正方形投影面“BK”的右侧与正方形投影面“B”的左侧隔离开。一个正方形投影面的像素填充大小为SGB。因此，各个填充区域PR_CE1/PR_CE2/PR_CE3/PR_CE4的宽度等于2*SGB。
图5的子图(B)例示了具有边界填充和边缘填充的另一所提出的6×1立方体布局504。具有边界填充和边缘填充的6×1立方体布局504可以从将更多填充添加到具有边界填充和边缘填充的6×1立方体布局404中来得出。因此，除了在不连续边缘处的填充区域PR_DE和在不连续边界处的填充区域PR_T、PR_B、PR_L、PR_R之外，具有边界填充和边缘填充的6×1立方体布局还具有四个填充区域PR_CE1、PR_CE2、PR_CE3、和PR_CE4。一个正方形投影面的像素填充大小为SGB。因此，各个填充区域PR_CE1/PR_CE2/PR_CE3/PR_CE4的宽度等于2*SGB。
应当注意，上述具有填充的CMP布局仅用于例示性目的，并不意味着对本发明的限制。相同的填充概念可以应用于其它投影布局。即，可以通过将填充区域添加到其它投影格式的布局(例如，等距柱状投影(ERP)布局、金字塔(pyramid)投影布局、截顶方形金字塔(truncated square pyramid，TSP)投影布局、球形分段投影(SSP)布局、四面体(tetrahedron)投影布局、基于四边形石英(tetragon quartz-based)的投影布局、二十面体(icosahedron)投影布局或基于六边形石英(hexagon quartz-based)的投影布局)来获得带有填充的360VR投影布局。简单地说，360VR投影布局L_VR可以通过任何带有填充的投影布局来设置。
在第一示例性填充设计中，填充电路115将几何填充应用于投影面，以确定包括在与投影面连接的填充区域中的像素的像素值。将球面上的区域的内容映像到填充区域上，其中，球面上的区域与从中获得投影面的区域相邻。
在第二示例性填充设计中，填充电路115通过复制包括在不与填充区域连接的不同投影面中的像素的像素值或者通过复制位于同一投影面的相对侧的像素的像素值，来设置包括在连接到投影面的一侧的该填充区域中的像素的像素值。
在第三示例性填充设计中，填充电路115通过复制包括在与填充区域连接的投影面中的边缘像素的像素值来设置包括在该填充区域中的像素的像素值。
如上所述，目的电子设备104的视频解码电路122从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS，并且执行视频解码器功能以对接收到的比特流BS的一部分进行解码，以生成重构的基于投影的帧IMG'，该重构的基于投影的帧IMG'是具有与源电子设备102的转换电路114所采用的相同的360VR投影布局L_VR的重构的帧。在通过具有填充的投影布局(例如，具有边界填充的投影布局、具有边缘填充的投影布局或具有边界填充和边缘填充的投影布局)来设置360VR投影布局L_VR的情况下，重构的基于投影的帧IMG'具有位于投影布局的布局边界和/或面边缘处的填充区域。在一个实施方式中，视频解码电路122可以裁剪(crop)填充区域，使得仅重构非填充区域(例如，最初从360VR投影获得的投影面中表示的全向图像/视频内容)。在另选的设计中，视频解码电路122可以启用混合电路123以执行基于填充区域中的填充像素和非填充区域中的像素的混合。
例如，可以通过将投影面中的像素的原始像素值与填充区域中的对应填充像素的像素值进行混合来更新投影面中的像素的像素值。如果填充电路115使用几何映像来生成填充像素，则需要从投影面中的像素到填充区域中的其对应填充像素的映射。图6是例示了从投影面中的像素到填充区域中的其对应填充像素的映射的示例的图。假设通过如图4的子图(A)所示的具有边界填充和边缘填充的3×2立方体布局402来设置360VR投影布局L_VR。首先将投影面中的一个像素A映射到球面202上的3D点C1。接下来，通过基于立方体的投影将球面202上的3D点C1映像到填充区域中的填充像素A'。像素A的像素值和填充像素A'的像素值可以通过例如基于距离的加权函数进行混合，以生成用于更新像素A的原始像素值的混合像素值。
如果根据上述第一示例性填充设计通过对投影面应用几何填充来获得投影面的填充区域，则在填充区域中，填充像素A'可以位于非整数位置(即(x，y)，其中，x不是整数位置，和/或y不是整数位置)。特别是，由于几何映射，填充像素A'的2D坐标是从像素A的2D坐标转换的。即，可以将投影面中位于整数位置(即，(X，Y)，其中，X和Y是整数位置)的像素A映像到填充区域中位于非整数位置(即，(x，y)，其中，x不是整数位置，和/或y不是整数位置)的填充像素A'。由于在填充区域中，位于非整数位置的填充像素A'的像素值不是可直接得到的，所以混合电路123可以通过使用插值滤波器(未示出)处理位于整数位置的相邻填充像素来确定在填充区域中位于非整数位置的填充像素A'的像素值。
对于某些应用，可以在目的电子设备中实现转换电路，以将具有第一360VR投影格式的投影布局的重构的帧转换成具有第二360VR投影格式的投影布局的转换的帧，所述第二360VR投影格式与第一360VR投影格式不同。例如，从解码电路生成的重构的帧可以是具有以具有填充的立方体贴图投影布局封装的投影面和填充区域的基于投影的帧，并且从转换电路生成并由随后的图形渲染电路使用的转换的帧可以是具有以没有填充的典型等距柱状投影(ERP)布局封装的投影面的基于投影的帧。可以将转换的帧中位于整数位置(即(x，y)，其中，x和y是整数位置)的像素映像到重构的帧中位于非整数位置(即(x'，y')，其中，x'不是整数位置，和/或y'不是整数位置)的像素。即，当执行投影布局转换时，转换电路可以通过重构的帧中位于非整数位置的像素的像素值来设置转换的帧中位于整数位置的像素的像素值。由于在解码帧中，位于非整数位置的像素的像素值不是可直接得到的，所以转换电路可以通过使用插值滤波器处理重构的帧中位于整数位置的像素来确定重构的帧中位于非整数位置的像素的像素值。在重构的帧中具有非整数位置的像素在投影面的边缘处或附近的情况下，由插值滤波器使用的像素可以包括从投影面中选择的至少一个像素和从对应填充区域中选择的至少一个像素。如上所述，通过混合(例如，基于距离的加权)来更新投影面中的像素的像素值。然而，如果未通过混合(例如，基于距离的加权)来更新对应填充区域中的填充像素的像素值，则由于对投影面中像素的更新的像素值和对应填充区域中的填充像素的原始像素值执行插值而可能引入伪影。为了解决这个问题，可以执行混合以更新投影面中的像素的像素值以及对应填充区域中的填充像素的像素值。
可以通过将填充区域中的填充像素的原始像素值与投影面中的对应像素的像素值混合来更新填充区域中的填充像素的像素值。如果填充电路115使用几何映像来生成填充像素，则需要从填充区域中的填充像素到投影面中的其对应像素的映射。图7是例示了从填充区域中的填充像素到投影面中的其对应像素的映射的示例的图。假设通过如图4的子图(A)所示的具有边界填充和边缘填充的3×2立方体布局402来设置360VR投影布局L_VR。首先将填充区域中的一个填充像素B'映射到球面202上的3D点C2。接下来，通过基于立方体的投影将球面202上的3D点C2映射到投影面中的像素B。像素B的像素值和填充像素B'的像素值可以通过例如基于距离的加权函数进行混合，以生成用于更新填充像素B'的原始像素值的混合像素值。
如果根据上述第一示例性填充设计通过对投影面应用几何填充来获得投影面的填充区域，则在投影面中，像素B可以位于非整数位置(即(X，Y)，其中，X不是整数位置，和/或Y不是整数位置)。特别是，由于几何映射，像素B的2D坐标是从填充像素B'的2D坐标转换的。即，可以将填充区域中位于整数位置(即，(x，y)，其中，x和y是整数位置)的填充像素B'映射到投影区域中位于非整数位置(即，(X，Y)，其中，X不是整数位置，和/或Y不是整数位置)的像素B。由于在投影面中，位于非整数位置的像素B的像素值不是可直接得到的，所以混合电路123可以通过使用插值滤波器(未示出)处理位于整数位置的相邻像素来确定投影面中位于非整数位置的像素B的像素值。
在图1示出的实施方式中，混合电路123是视频解码电路122的一部分。根据实际设计考虑，由混合电路123执行的混合处理可以为环内或环外的方式。
图8是例示了根据本发明的实施方式的具有环内混合的视频解码电路的图。可以使用图8所示的视频解码电路800来实现图1所示的视频解码电路122。在该实施方式中，视频解码电路800被布置成接收比特流BS作为输入比特流，并且对接收到的比特流BS的一部分进行解码，以生成被供应给下一级(例如，图1所示的图形渲染电路124)的重构的基于投影的帧(解碼帧)IMG'。应当注意，图8所示的视频解码器架构仅是为了例示的目的，并不意味着对本发明的限制。如图8所示，视频解码电路800包括熵解码电路(例如，可变长度解码器)802、逆量化电路(以“IQ”表示)804、逆变换电路(以“IT”表示)806、重构电路808、运动向量计算电路(由“MV计算”表示)810、运动补偿电路(由“MC”表示)813、帧内预测电路(由“IP”表示)814、帧内/帧间模式选择开关816、至少一个环内滤波器818、混合电路819以及参考帧缓冲器820。可以由图8所示的环内混合电路819来实现图1所示的混合电路123。
当块被帧间编码时，运动向量计算电路810参考由熵解码电路802从比特流BS解析的信息，以确定帧的正被解碼的当前块与参考帧(该参考帧是重构的帧并被存储在参考帧缓冲器820中)的预测块之间的运动向量。运动补偿电路813可以执行插值滤波以根据运动向量来生成预测块。预测块被供应给帧内/帧间模式选择开关816。由于块被帧间编码，所以帧内/帧间模式选择开关816将从运动补偿电路813生成的预测块输出到重构电路808。当块被帧内编码时，帧内预测电路814生成到帧内/帧间模式选择开关816的预测块。由于块被帧内编码，所以帧内/帧间模式选择开关816将从帧内预测电路814生成的预测块输出到重构电路808。
另外，通过熵解码电路802、逆量化电路804和逆变换电路806获得块的解码残差。重构电路808将解码残差与预测块组合以生成重构的块。可以将重构的块存储到参考帧缓冲器820中，以成为可以用于对随后的块进行解码的参考帧(其是重构的帧)的一部分。尤其是，存储在参考帧缓冲器820中的各个参考帧可以由帧间预测使用。在将重构的块存储到参考帧缓冲器820中之前，环内滤波器818可以对重构的块执行指定的环内滤波。例如，环内滤波器818可以包括去块滤波器。此外，在将重构的块存储到参考帧缓冲器820中之前，混合电路819对重构的块执行指定的混合。具体地，混合电路819对第一重构的基于投影的帧IMG_R(该IMG_R是环内滤波器818的输出)执行混合处理，并且将混合参考帧存储到参考帧缓冲器820中，其中，混合电路819的输出还用作被供应给下一级(例如，图1所示的图形渲染电路124)的重构的基于投影的帧(解碼帧)IMG'。混合参考帧包括混合像素值，该混合像素值是通过将针对重构的基于投影的帧IMG_R的一个投影面中的第一像素位置获得的第一像素值与针对重构的基于投影的帧IMG_R的一个填充区域中的第二像素位置获得的第二像素值混合而生成的。当视频解码电路800对比特流BS的另一部分进行解码以生成第二重构的基于投影的帧(该帧是环内滤波器818的输出)时，混合参考帧(该混合参考帧从第一重构的基于投影的帧IMG_R得出)由帧间预测使用，使得混合像素值由生成第二重构的基于投影的帧所涉及的帧间预测使用。混合电路819可以由从比特流BS解析的控制信息INF_CTRL来控制。例如，控制信息INF_CTRL可以包括指示色度采样位置信息的标志。
图9是例示了根据本发明的实施方式的具有环外混合的视频解码电路的图。可以使用图9所示的视频解码电路900来实现图1所示的视频解码电路122。在该实施方式中，视频解码电路900被布置成接收比特流BS作为输入比特流，并且对接收到的比特流BS的一部分进行解码，以生成被供应给下一级(例如，图1所示的图形渲染电路124)的重构的基于投影的帧(解碼帧)IMG'。应当注意，图9所示的视频解码器架构仅是为了例示的目的，并不意味着对本发明的限制。视频解码电路800与900之间的主要区别在于，视频解码电路900具有不将其输出存储到参考帧缓冲器820中的混合电路919。可以由图9所示的环外混合电路919来实现图1所示的混合电路123。
重构电路808将解码残差与预测块组合以生成重构的块。可以将重构的块存储到参考帧缓冲器820中，以成为可以用于对随后的块进行解码的参考帧(该参考帧是重构的帧)的一部分。尤其是，存储在参考帧缓冲器820中的各个参考帧可以由帧间预测使用。在将重构的块存储到参考帧缓冲器820中之前，环内滤波器818可以对重构的块执行指定的环内滤波。例如，环内滤波器818可以包括去块滤波器。混合电路919对重构的块执行指定的混合。具体地，混合电路919对第一重构的基于投影的帧IMG_R(该IMG_R是环内滤波器818的输出)执行混合处理，并且生成被供应给下一级(例如，图1所示的图形渲染电路124)的重构的基于投影的帧(解碼帧)IMG'。重构的基于投影的帧IMG'是混合帧，该混合帧包括通过将针对第一重构的基于投影的帧IMG_R的一个投影面中的第一像素位置获得的第一像素值与针对第一重构的基于投影的帧IMG_R的一个填充区域中的第二像素位置获得的第二像素值混合而生成的混合像素值。当视频解码电路900对比特流BS的另一部分进行解码以生成第二重构的基于投影的帧(该帧是环内滤波器818的输出)时，第一重构的基于投影的帧IMG_R是存储到参考帧缓冲器820中并由帧间预测使用的参考帧，而从混合电路919输出的混合像素值未被生成第二重构的基于投影的帧所涉及的帧间预测使用。混合电路919可以由从比特流BS解析的控制信息INF_CTRL来控制。例如，控制信息INF_CTRL可以包括指示色度采样位置信息的标志。
在以上实施方式中，混合电路123是视频解码电路122的一部分。另选地，可以通过在目的电子设备中实现的不同功能块来执行混合处理。
图10是例示了根据本发明的实施方式的第二360VR系统的图。360VR系统100与1000之间的主要区别在于，目的电子设备1004具有没有混合电路的视频解码电路1012以及具有混合电路1015的转换电路1014。混合电路1015用于在投影格式转换处理期间得出目标投影布局中的目标像素。混合电路1015可以由从比特流BS解析的控制信息INF_CTRL来控制。例如，控制信息INF_CTRL可以包括指示色度采样位置信息的标志。在该实施方式中，在目的电子设备1004中实现转换电路1014，以将具有第一360VR投影格式的投影布局的重构的帧转换成具有第二360VR投影格式的投影布局的转换的帧，所述第二360VR投影格式与第一360VR投影格式不同。例如，从视频解码电路1012生成的重构的基于投影的帧(解碼帧)IMG'可以具有以具有填充的立方体贴图投影布局封装的投影面和填充区域，而从转换电路1014生成并由随后的图形渲染电路124使用的转换的帧IMG”可以是具有以没有填充的典型等距柱状投影(ERP)布局封装的投影面的基于投影的帧。
图11是例示了混合同一源帧中的多个对应像素以得出目标像素的示例的图。假设通过如图4的子图(A)所示的具有边界填充和边缘填充的3×2立方体布局402来设置360VR投影布局L_VR，并且要从转换电路1014生成的转换的帧IMG”处于没有填充的ERP布局中。关于转换的帧IMG”中的目标像素PT，混合电路1015在从视频解码电路1012生成的重构的基于投影的帧IMG'中找到多个对应像素P和P'。目标像素PT以及对应像素P和P'被映像到球面202上的同一3D点C3，其中，一个对应像素P位于重构的基于投影的帧IMG'的一个投影面内，而另一对应像素P'位于重构的基于投影的帧IMG'的一个填充区域内。具体地，首先将转换的帧IMG”中的目标像素PT映像到球面202上的3D点C3，并且然后将球面202上的3D点C3映射到重构的基于投影的帧IMG'中的两个对应像素P和P'。混合电路1015通过混合对应像素P和P'的像素值来生成混合像素值，并且通过混合像素值来设置目标像素PT的像素值。
可以将转换的帧IMG”中位于整数位置(即(x，y)，其中，x和y是整数位置)的像素映像到重构的基于投影的帧(解碼帧)IMG'中位于非整数位置(即(x'，y')，其中，x'不是整数位置，和/或y'不是整数位置)的像素。即，当执行投影布局转换时，转换电路1015可以通过部分地基于重构的基于投影的帧IMG'中的位于非整数位置的像素的像素值的混合处理来设置转换的帧IMG”中的位于整数位置的像素的像素值。由于在重构的基于投影的帧IMG'中，位于非整数位置的像素的像素值不是可直接得到的，所以转换电路1015可以通过使用插值滤波器(未示出)处理重构的基于投影的帧IMG'中的位于整数位置的相邻像素来确定重构的基于投影的帧IMG'中的位于非整数位置的像素的像素值。
图12是例示了根据本发明的实施方式的第三360VR系统的图。360VR系统1000与1200之间的主要区别在于，目的电子设备1204有具有混合电路1015的图形渲染电路1224。在该实施方式中，混合电路1015用于在渲染处理期间得出要显示在显示屏幕126上的目标像素。混合电路1015可以由从比特流BS解析的控制信息INF_CTRL来控制。例如，控制信息INF_CTRL可以包括指示色度采样位置信息的标志。根据360VR投影布局L_VR，将图像内容呈现在重构的基于投影的帧(解碼帧)IMG'中。由于重构的基于投影的帧IMG'具有封装在其中的至少一个投影面和至少一个填充区域，所以混合电路1015可以用于通过混合一个投影面中的对应像素与一个填充区域中的对应像素，来得出要显示在显示屏幕126上的目标像素。
请结合图11参照图12。假设目标像素PT是要显示在显示屏幕126上的像素。混合电路1015在从视频解码电路1012生成的重构的基于投影的帧IMG'中找到多个对应像素P和P'。目标像素PT和对应像素P、P'被映射到球面202上的同一3D点C3，其中，一个对应像素P位于重构的基于投影的帧IMG'的一个投影面内，而另一对应像素P'位于重构的基于投影的帧IMG'的一个填充区域内。具体地，首先将要显示在显示屏幕126上的目标像素PT映像到球面202上的3D点C3，并且然后将球面202上的3D点C3映射到重构的基于投影的帧IMG'中的两个对应像素P和P'。混合电路1015通过混合对应像素P和P'的像素值来生成混合像素值，并且通过混合像素值来设置目标像素PT的像素值。
可以将显示屏幕126中位于整数位置(即(x，y)，其中，x和y是整数位置)的像素映像到重构的基于投影的帧(解碼帧)IMG'中的位于非整数位置(即(x'，y')，其中，x'不是整数位置，和/或y'不是整数位置)的像素。即，当执行像素渲染时，转换电路1015可以通过重构的基于投影的帧IMG'中的位于非整数位置的像素的像素值来设置显示屏幕126中的位于整数位置的像素的像素值。由于在重构的基于投影的帧IMG'中，位于非整数位置的像素的像素值不是可直接得到的，所以转换电路1015可以通过使用插值滤波器(未示出)处理重构的基于投影的帧IMG'中的位于整数位置的相邻像素来确定重构的基于投影的帧IMG'中的位于非整数位置的像素的像素值。
在对视频序列进行编码时，通常使用不同的色度格式(例如，4：4：4、4：2：2和4：2：0)。如图13的子图(A)所示，在4：2：0色度格式中，与亮度平面(Y)相比，色度平面(Cb、Cr)在水平方向和垂直方向上均通过因子2进行降采样。如图13的子图(B)所示，色度样本位置类型0、1、2和3指示色度样本相对于亮度样本的采样位置。不同的色度样本位置类型采用不同的色度样本采样位置。当要由混合电路123、819、919、1015处理的重构的基于投影的帧的各个像素由YCbCr色彩空间中的一个亮度样本(Y)和两个色度样本(Cb、Cr)组成时，本发明提出了将色度采样位置信息通知给混合电路123、819、919、1015，使得混合处理可以在正确的色度样本位置处生成混合色度样本值。转换电路114还被布置成将标志FL输出到视频编码电路116，其中，标志FL指示色度采样位置信息(例如，色度样本类型)。视频编解码器电路116还被布置成将标志FL编码到比特流BS中，使得标志FL经由比特流BS从源电子设备102被用信号传送到目的电子设备104、1004、1204。视频解码电路122、1012从比特流BS解析标志FL，并设置混合电路123、819、919、1015的控制信息INF_CTRL。具体地，混合电路执行混合处理，以通过将针对在重构的基于投影的帧的第一投影面中的第一色度样本位置获得的第一色度样本值与针对在重构的基于投影的帧的一个填充区域中的第二色度样本位置获得的第二色度样本值混合来生成目标色度样本位置处的混合色度样本值，其中，根据色度采样位置信息来确定目标色度样本位置、第一色度样本位置和第二色度样本位置中的至少一个，该色度采样位置信息是经由比特流从视频解码电路用信号传送的，并在视频解码电路处从比特流解析。
在第一色度采样位置信令设计中，经由比特流BS用信号传送并混合处理所参考的色度采样位置信息是混合处理的标志FL。即，尤其是，被编码到比特流BS中的标志FL被设置用于解码器侧混合处理。因此，明确指示了混合处理中的色度采样位置。
图14是例示了从投影面中的色度样本到填充区域中的其对应色度样本的映像的示例的图。假设通过如图4的子图(A)所示的具有边界填充和边缘填充的3×2立方体布局402来设置360VR投影布局L_VR。首先将投影面中的一个色度样本A_Cb/Cr映像到球面202上的3D点C1_Cb/Cr，其中，色度样本A_Cb/Cr位于如由从比特流解析的混合处理的标志FL(例如，色度样本类型)所明确指示的色度样本位置处。接下来，通过基于立方体的投影，将球面202上的3D点C1_Cb/Cr映像到填充区域中的色度样本位置处的色度样本A'_Cb/Cr。色度样本A_Cb/Cr的色度样本值和色度样本A'_Cb/Cr的色度样本值通过例如基于距离的加权函数进行混合，以生成用于更新色度样本A_Cb/Cr的原始色度样本值的混合色度样本值。
在一种情况下，其中，由于色度样本A'_Cb/Cr的色度样本位置偏离了由色度样本类型限定的(由标志FL明确指示的)色度样本位置，所以在填充区域中色度样本A'_Cb/Cr不是可直接得到的。混合电路123、819、919可以通过使用插值滤波器(未示出)处理在填充区域和/或相邻填充区域中可直接得到的相邻色度样本，来确定色度样本A'_Cb/Cr的色度样本值。
图15是例示了从填充区域中的色度样本到投影面中的其对应色度样本的映像的示例的图。假设通过如图4的子图(A)所示的具有边界填充和边缘填充的3×2立方体布局402来设置360VR投影布局L_VR。首先将填充区域中的一个色度样本B'_Cb/Cr映像到球面202上的3D点C2_Cb/Cr，其中，色度样本B'_Cb/Cr位于如从比特流解析的混合处理的标志FL(例如，色度样本类型)所明确指示的色度样本位置处。接下来，通过基于立方体的投影将球面202上的3D点C2_Cb/Cr映射到投影面中的色度样本B_Cb/Cr。色度样本B_Cb/Cr的色度样本值和色度样本B'_Cb/Cr的色度样本值通过例如基于距离的加权函数进行混合，以生成用于更新色度样本B'_Cb/Cr的原始色度样本值的混合色度样本值。
在一种情况下，其中，由于色度样本B_Cb/Cr的色度样本位置偏离了由色度样本类型限定的(由标志FL明确指示的)色度样本位置，所以在投影面中色度样本B_Cb/Cr不是可直接得到的。混合电路123、819、919可以通过使用插值滤波器(未示出)处理在投影面和/或相邻填充区域中可直接得到的相邻色度样本，来确定色度样本B_Cb/Cr的色度样本值。
图16是例示了混合同一源帧中的多个对应色度样本以得出渲染处理或投影格式转换处理所需要的目标色度样本的示例的图。假设通过如图4的子图(A)所示的具有边界填充和边缘填充的3×2立方体布局402来设置360VR投影布局L_VR。关于转换的帧IMG”或显示屏幕中的目标色度样本PT_Cb/Cr，混合电路1015在从视频解码电路1012生成的重构的基于投影的帧IMG'中找到多个对应色度样本P_Cb/Cr和P'_Cb/Cr。目标色度样本PT_Cb/Cr位于如从比特流解析的混合处理的标志FL(例如，色度样本类型)明确指示的色度样本位置。目标色度样本PT_Cb/Cr以及对应色度样本P_Cb/Cr和P'_Cb/Cr被映射到球面202上的同一3D点C3_Cb/Cr，其中，一个对应色度样本P_Cb/Cr位于重构的基于投影的帧IMG'的一个投影面内，而另一个对应色度样本P'_Cb/Cr位于重构的基于投影的帧IMG'的一个填充区域内。具体地，首先将目标色度样本PT_Cb/Cr映像到球面202上的3D点C3_Cb/Cr，并且然后将球面202上的3D点C3_Cb/Cr映射到重构的基于投影的帧IMG'中的两个对应色度样本P_Cb/Cr和P'_Cb/Cr。混合电路1015通过将对应色度样本P_Cb/Cr和P'_Cb/Cr的色度样本值进行混合来生成混合色度样本值，并且通过混合色度样本值来设置目标色度样本PT_Cb/Cr的色度样本值。
在一种情况下，其中，由于对应色度样本P_Cb/Cr和P'_Cb/Cr中的任一个的色度样本位置偏离了由色度样本类型限定的(由标志FL明确指示的)色度样本位置，所以在重构的基于投影的帧IMG'中，对应色度样本P_Cb/Cr和P'_Cb/Cr不是可直接得到的。混合电路1015可以通过使用插值滤波器(未示出)处理在重构的基于投影的帧IMG'中可直接得到的相邻色度样本，来确定对应色度样本P_Cb/Cr(或P'_Cb/Cr)的色度样本值。
在第二色度采样位置信令设计中，经由比特流BS用信号传送并由混合处理参考的色度采样位置信息是在转换电路114处执行的色度格式转换处理(例如，4：4：4到4：2：0)的标志FL。换句话说，解码器侧混合处理中的色度采样位置与编码器侧色度格式转换处理中的色度采样位置一致。图17是例示了通过色度格式转换处理中的色度采样位置来设置混合处理中的色度采样位置的示例的图。由视频捕获设备112提供的全向图像/视频内容S_IN可以是4：4：4格式(YCbCr或RGB)。转换电路114可以对全向图像/视频内容S_IN执行色度格式转换处理，以提供4：2：0格式(YCbCr)的全向图像/视频内容。接下来，转换电路114根据色度格式转换处理的输出来生成具有360VR投影布局L_VR的基于投影的帧IMG。标志FL被设置成指示由色度格式转换处理所采用的色度采样位置(例如，色度样本类型0)，并且被编码到比特流BS中。在视频解码电路122从比特流BS解析出色度格式转换处理的标志FL之后，通过标志FL设置混合电路123、819、919、1015的控制信息INF_CTRL，使得解码器侧混合处理中的色度采样位置与编码器侧色度格式转换处理中的色度采样位置一致。
在第三色度采样位置信令设计中，经由比特流BS用信号传送并由混合处理参考的色度采样位置信息是在转换电路114处执行的投影格式转换处理的标志FL。换句话说，解码器侧混合处理中的色度采样位置与编码器侧投影格式转换处理中的色度采样位置一致。图18是例示了通过投影格式转换处理中的色度采样位置来设置混合处理中的色度采样位置的示例的图。由视频捕获设备112提供的全向图像/视频内容S_IN可以被布置成诸如ERP布局的源投影布局。转换电路114可以对全向图像/视频内容S_IN执行投影格式转换处理，以生成以与源投影布局不同的目标投影布局的基于投影的帧IMG。例如，目标投影布局(即，L_VR)可以是如图4的子图(A)所示的具有边界填充和边缘填充的立方体贴图投影布局。标志FL被设置成指示由投影格式转换处理所采用的色度采样位置(例如，色度样本类型0)，并且被编码到比特流BS中。在视频解码电路122从比特流BS解析出投影格式转换处理的标志FL之后，通过标志FL设置混合电路123、819、919、1015的控制信息INF_CTRL，使得解码器侧混合处理中的色度采样位置与编码器侧投影格式转换处理中的色度采样位置一致。
本领域技术人员将容易地观察到，在保持本发明的教导的同时，可以对设备和方法进行多种修改和变更。因此，以上公开内容应被解释为仅由所附权利要求的边界和界限来限制。

Claims (12)

1.一种视频处理方法，所述视频处理方法包括以下步骤：
接收比特流的一部分；
对所述比特流的所述部分进行解码，以生成重构的基于投影的帧，所述重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；
获得经由所述比特流用信号传送的色度采样位置信息；以及
由混合电路执行混合处理，以通过将针对在所述重构的基于投影的帧的所述至少一个投影面中的第一色度样本位置获得的第一色度样本值与针对在所述重构的基于投影的帧的所述至少一个填充区域中的第二色度样本位置获得的第二色度样本值进行混合来生成目标色度样本位置处的混合色度样本值，其中，根据所述色度采样位置信息确定所述目标色度样本位置、所述第一色度样本位置和所述第二色度样本位置中的至少一个。
2.根据权利要求1所述的视频处理方法，其特征在于，经由所述比特流用信号传送并且所述混合处理所参考的所述色度采样位置信息是所述混合处理的标志。
3.根据权利要求1所述的视频处理方法，其特征在于，经由所述比特流用信号传送并且所述混合处理所参考的所述色度采样位置信息是色度格式转换处理的标志。
4.根据权利要求1所述的视频处理方法，其特征在于，经由所述比特流用信号传送并且所述混合处理所参考的所述色度采样位置信息是投影格式转换处理的标志。
5.根据权利要求1所述的视频处理方法，其特征在于，所述目标色度样本位置与所述第一色度样本位置相同，并且所述混合处理通过所述混合色度样本值来更新所述第一色度样本值。
6.根据权利要求1所述的视频处理方法，其特征在于，所述目标色度样本位置与所述第二色度样本位置相同，并且所述混合处理通过所述混合色度样本值来更新所述第二色度样本值。
7.根据权利要求1所述的视频处理方法，其特征在于，所述目标色度样本位置与所述第一色度样本位置和所述第二色度样本位置不同。
8.一种视频处理方法，所述视频处理方法包括以下步骤：
接收比特流；
对所述比特流的一部分进行解码，以生成第一重构的基于投影的帧，所述第一重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；
由混合电路对所述第一重构的基于投影的帧执行混合处理，所述混合处理包括：
通过将针对所述第一重构的基于投影的帧的所述至少一个投影面中的第一像素位置获得的第一像素值与针对所述第一重构的基于投影的帧的所述至少一个填充区域中的第二像素位置获得的第二像素值进行混合来生成混合像素值；以及
对所述比特流的另一部分进行解码，以生成第二重构的基于投影的帧，其中，所述混合像素值由生成所述第二重构的基于投影的帧所涉及的帧间预测使用。
9.一种视频处理方法，所述视频处理方法包含以下步骤：
接收比特流；
对所述比特流的一部分进行解码，以生成第一重构的基于投影的帧，所述第一重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；
由混合电路对所述第一重构的基于投影的帧执行混合处理，所述混合处理包括：
通过将针对所述第一重构的基于投影的帧的所述至少一个投影面中的第一像素位置获得的第一像素值与针对所述第一重构的基于投影的帧的所述至少一个填充区域中的第二像素位置获得的第二像素值进行混合来生成混合像素值；以及
对所述比特流的另一部分进行解码，以生成第二重构的基于投影的帧，其中，所述第一重构的基于投影的帧用作由帧间预测使用的参考帧，而所述混合像素值不被生成所述第二重构的基于投影的帧所涉及的帧间预测使用。
10.一种视频处理方法，所述视频处理方法包括以下步骤：
接收比特流的一部分；
对所述比特流的所述部分进行解码，以生成重构的基于投影的帧，所述重构的基于投影的帧具有以360度虚拟现实(360VR)投影的投影布局封装的至少一个投影面和至少一个填充区域；
关于目标像素，在所述重构的基于投影的帧中找到多个对应像素，其中，可将所述目标像素和所述对应像素映射到球面上的同一点，所述对应像素包括第一像素和第二像素，所述第一像素位于所述重构的基于投影的帧的所述至少一个投影面内，而所述第二像素位于所述重构的基于投影的帧的所述至少一个填充区域内；
通过将所述对应像素的像素值进行混合来生成混合像素值；以及
通过所述混合像素值来设置所述目标像素的像素值。
11.根据权利要求10所述的视频处理方法，其特征在于，所述目标像素是渲染处理所需要的。
12.根据权利要求10所述的视频处理方法，其特征在于，所述目标像素是投影格式转换处理所需要的。
CN201980064705.0A 2019-01-02 2019-12-31 视频处理方法 Active CN112868237B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962787449P 2019-01-02 2019-01-02
US62/787,449 2019-01-02
US16/729,514 US20200213570A1 (en) 2019-01-02 2019-12-30 Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US16/729,514 2019-12-30
PCT/CN2019/130478 WO2020140892A1 (en) 2019-01-02 2019-12-31 Method for processing projection-based frame

Publications (2)

Publication Number Publication Date
CN112868237A true CN112868237A (zh) 2021-05-28
CN112868237B CN112868237B (zh) 2023-06-13

Family

ID=71121835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980064705.0A Active CN112868237B (zh) 2019-01-02 2019-12-31 视频处理方法

Country Status (6)

Country Link
US (1) US20200213570A1 (zh)
KR (1) KR102453512B1 (zh)
CN (1) CN112868237B (zh)
DE (1) DE112019004696T5 (zh)
TW (1) TWI728633B (zh)
WO (1) WO2020140892A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN113747179B (zh) * 2019-03-07 2023-08-08 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
WO2021051046A1 (en) 2019-09-14 2021-03-18 Bytedance Inc. Quantization parameter for chroma deblocking filtering
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
KR20220073745A (ko) 2019-10-14 2022-06-03 바이트댄스 아이엔씨 비디오 처리에서 크로마 잔차 및 필터링의 공동 코딩
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
JP7444997B2 (ja) * 2020-01-01 2024-03-06 バイトダンス インコーポレイテッド ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング
CN113163184B (zh) * 2021-03-25 2022-11-18 复旦大学 一种面向vr自适应传输的投影算法
WO2023200249A1 (ko) * 2022-04-12 2023-10-19 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017205648A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
CN108475337A (zh) * 2016-10-07 2018-08-31 联发科技股份有限公司 具有所采用投影布局的语法元素信令的视频编码方法和装置以及相关的视频解码方法和装置
WO2018166430A1 (en) * 2017-03-13 2018-09-20 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
WO2018171608A1 (en) * 2017-03-22 2018-09-27 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
CN109076240A (zh) * 2016-05-06 2018-12-21 联发科技股份有限公司 将全向图像映射到布局输出格式的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373740A1 (en) * 2014-03-05 2016-12-22 Sony Corporation Image encoding device and method
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
WO2017222301A1 (ko) 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10957044B2 (en) * 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
CN110574069B (zh) * 2017-04-27 2023-02-03 联发科技股份有限公司 用于将虚拟现实图像映射成分段球面投影格式的方法以及装置
GB2563944B (en) * 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076240A (zh) * 2016-05-06 2018-12-21 联发科技股份有限公司 将全向图像映射到布局输出格式的方法和装置
WO2017205648A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
CN108475337A (zh) * 2016-10-07 2018-08-31 联发科技股份有限公司 具有所采用投影布局的语法元素信令的视频编码方法和装置以及相关的视频解码方法和装置
WO2018166430A1 (en) * 2017-03-13 2018-09-20 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
WO2018171608A1 (en) * 2017-03-22 2018-09-27 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout

Also Published As

Publication number Publication date
KR20210070299A (ko) 2021-06-14
TW202029741A (zh) 2020-08-01
DE112019004696T5 (de) 2021-06-10
WO2020140892A1 (en) 2020-07-09
KR102453512B1 (ko) 2022-10-11
CN112868237B (zh) 2023-06-13
TWI728633B (zh) 2021-05-21
US20200213570A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
CN112868237B (zh) 视频处理方法
US20200252650A1 (en) Video processing method for blocking in-loop filtering from being applied to at least one boundary in reconstructed frame and associated video processing apparatus
US10986371B2 (en) Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US20190281273A1 (en) Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US20180262775A1 (en) Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
CN109906468B (zh) 用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法
US10659780B2 (en) De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US11659206B2 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11477490B2 (en) Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
CN111936929A (zh) 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
US11405630B2 (en) Video decoding method for decoding part of bitstream to generate projection-based frame with constrained picture size and associated electronic device
WO2021136372A1 (en) Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant