CN108702528A - 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备 - Google Patents

发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备 Download PDF

Info

Publication number
CN108702528A
CN108702528A CN201780011998.7A CN201780011998A CN108702528A CN 108702528 A CN108702528 A CN 108702528A CN 201780011998 A CN201780011998 A CN 201780011998A CN 108702528 A CN108702528 A CN 108702528A
Authority
CN
China
Prior art keywords
degree
video
fields
information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780011998.7A
Other languages
English (en)
Other versions
CN108702528B (zh
Inventor
吴世珍
李长远
李埈宇
徐琮烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108702528A publication Critical patent/CN108702528A/zh
Application granted granted Critical
Publication of CN108702528B publication Critical patent/CN108702528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提出了一种发送360视频的方法。根据本发明的发送360视频的方法可包括以下步骤：接收通过至少一个相机拍摄的360视频数据；将通过处理360视频数据而获得的2D图像投影；生成与360视频数据关联的信令信息；对2D图像进行编码；以及处理经编码的2D图像和信令信息以用于其发送，并通过广播网络发送经编码的2D图像和信令信息。

Description

发送360视频的方法、接收360视频的方法、发送360视频的设 备和接收360视频的设备
技术领域
本发明涉及一种360度视频发送方法、360度视频接收方法、360度视频发送设备和360度视频接收设备。
背景技术
虚拟现实(VR)系统向用户提供感官体验，通过该感官体验，用户可感觉就像他/她处于电子投影的环境中一样。可进一步改进用于提供VR的系统以便提供更高质量的图像和空间声音。这种VR系统可使得用户能够交互地欣赏VR内容。
发明内容
技术问题
需要改进VR系统以便更有效地向用户提供VR环境。为此，有必要为发送诸如VR内容的大量数据的数据传输效率、发送和接收网络之间的鲁棒性、考虑移动接收设备的网络灵活性以及有效再现和信令提出计划。
技术方案
根据本发明的目的，本发明提出一种360度视频发送方法、360度视频接收方法、360度视频发送设备和360度视频接收设备。
根据本发明的一方面的360度视频发送方法包括以下步骤：接收使用至少一个相机拍摄的360度视频数据；处理360度视频数据并将所处理的360度视频数据投影在2D图像上；生成关于360度视频数据的信令信息；对2D图像进行编码；以及对所编码的2D图像和信令信息执行用于发送的处理并经由广播网络发送所处理的2D图像和元数据，其中，信令信息包括指示用于将360度视频数据投影在2D图像上的投影方案的投影方案信息。
处理360度视频数据并将所处理的360度视频数据投影在2D图像上的步骤可包括以下步骤：拼接360度视频数据；以及将所拼接的360度视频数据投影在2D图像上。
在投影方案信息指示特定方案的情况下，处理360度视频数据并将所处理的360度视频数据投影在2D图像上的步骤可包括在没有拼接的情况下将360度视频数据投影在2D图像上。
信令信息可包括指示360度视频数据当中的感兴趣区域(ROI)的ROI信息、或者指示360度视频数据当中当360度视频数据被再现时首先显示给用户的初始视点区域的初始视点信息，ROI信息可使用2D图像上的X坐标和Y坐标来指示ROI或者使用俯仰、偏航和横滚来指示当在3D空间中重新投影360度视频数据时出现在3D空间中的ROI，并且初始视点信息可使用2D图像上的X坐标和Y坐标来指示初始视点区域或者使用俯仰、偏航和横滚来指示出现在3D空间中的初始视点区域。
信令信息还可包括关于重新投影360度视频数据的3D空间的取向的3D空间取向信息，并且该3D空间取向信息可使用俯仰、偏航和横滚来指示3D空间的所述取向绕拍摄空间坐标系的原点的旋转程度。
信令信息还可包括接收机拼接360度视频数据所需的拼接信令信息，该拼接信令信息可包括指示360度视频数据是否被拼接的拼接标志信息以及关于拍摄360度视频数据的所述至少一个相机的相机信息，并且相机信息可包括关于相机的数量的信息、关于各个相机的内在相机信息、关于各个相机的外在相机信息以及使用俯仰值、偏航值和横滚值指示通过各个相机拍摄的图像的中心定位在3D空间中的位置的相机中心信息。
拼接信令信息还可包括指示2D图像上的各个区域是否旋转的旋转标志信息、指示各个区域旋转所绕的轴的旋转轴信息以及指示各个区域的旋转方向和旋转程度的旋转量信息。
在投影方案信息指示特定方案的情况下，在没有拼接的情况下投影的360度视频数据可以是使用球面相机拍摄的鱼眼图像。
信令信息还可包括指示360度视频数据所支持的俯仰角范围是否小于180度的俯仰角标志，并且信令信息还可包括指示360度视频数据所支持的偏航角范围是否小于360度的偏航角标志。
在俯仰角标志指示俯仰角范围小于180度的情况下，信令信息还可包括分别指示360度视频数据所支持的最小俯仰角和最大俯仰角的最小俯仰信息和最大俯仰信息，并且在偏航角标志指示偏航角范围小于360度的情况下，信令信息还可包括分别指示360度视频数据所支持的最小偏航角和最大偏航角的最小偏航信息和最大偏航信息。
根据本发明的另一方面的360度视频接收设备包括：接收单元，其用于经由广播网络接收广播信号，该广播信号包括包含360度视频数据的2D图像以及关于360度视频数据的信令信息；接收处理单元，其用于处理广播信号以获取2D图像和信令信息；数据解码器，其用于将2D图像解码；信令解析器，其用于解析信令信息；以及渲染器，其用于处理2D图像以在3D空间中渲染360度视频数据，其中，信令信息包括指示用于将360度视频数据投影在2D图像上的投影方案的投影方案信息。
渲染器可将投影在2D图像上的360度视频数据重新投影在3D空间中。
该360度视频接收设备还可包括拼接器，该拼接器用于在投影方案信息指示特定方案的情况下，使用信令信息提取投影在2D图像上的360度视频数据并拼接所提取的360度视频数据，其中，渲染器可将所拼接的360度视频数据重新投影在3D空间中。
信令信息可包括指示360度视频数据当中的感兴趣区域(ROI)的ROI信息、或者指示360度视频数据当中当360度视频数据被再现时首先显示给用户的初始视点区域的初始视点信息，ROI信息可使用2D图像上的X坐标和Y坐标来指示ROI或者使用俯仰、偏航和横滚来指示出现在3D空间中的ROI，并且初始视点信息可使用2D图像上的X坐标和Y坐标来指示初始视点区域或者使用俯仰、偏航和横滚来指示出现在3D空间中的初始视点区域。
信令信息还可包括关于重新投影360度视频数据的3D空间的取向的3D空间取向信息，并且该3D空间取向信息可使用俯仰、偏航和横滚来指示3D空间的所述取向绕拍摄空间坐标系的原点的旋转程度。
信令信息还可包括接收机拼接360度视频数据所需的拼接信令信息，该拼接信令信息可包括指示360度视频数据是否被拼接的拼接标志信息以及关于拍摄360度视频数据的所述至少一个相机的相机信息，并且该相机信息可包括关于相机的数量的信息、关于各个相机的内在相机信息、关于各个相机的外在相机信息以及使用俯仰值、偏航值和横滚值指示通过各个相机拍摄的图像的中心被定位在3D空间中的位置的相机中心信息。
拼接信令信息还可包括指示2D图像上的各个区域是否旋转的旋转标志信息、指示各个区域旋转所绕的轴的旋转轴信息以及指示各个区域的旋转方向和旋转程度的旋转量信息。
在投影方案信息指示特定方案的情况下，所提取的360度视频数据可以是使用球面相机拍摄的鱼眼图像。
信令信息还可包括指示360度视频数据所支持的俯仰角范围是否小于180度的俯仰角标志，并且信令信息还可包括指示360度视频数据所支持的偏航角范围是否小于360度的偏航角标志。
在俯仰角标志指示俯仰角范围小于180度的情况下，信令信息还可包括分别指示360度视频数据所支持的最小俯仰角和最大俯仰角的最小俯仰信息和最大俯仰信息，并且在偏航角标志指示偏航角范围小于360度的情况下，信令信息还可包括分别指示360度视频数据所支持的最小偏航角和最大偏航角的最小偏航信息和最大偏航信息。
有益效果
根据本发明，可在支持使用地面广播网络和互联网的下一代混合广播的环境中有效地发送360度内容。
根据本发明，可提出一种当用户欣赏360度内容时提供交互体验的方法。
根据本发明，可提出一种执行信令以使得当用户欣赏360度内容时准确地传达360度内容制作者的意图的方法。
根据本发明，可提出一种在发送360度内容时有效地增加传输容量并发送必要信息的方法。
附图说明
图1是示出根据本发明的用于提供360度视频的整个架构的示图。
图2是示出根据本发明的一方面的360度视频发送设备的示图。
图3是示出根据本发明的另一方面的360度视频接收设备的示图。
图4是示出根据本发明的另一实施方式的360度视频发送设备/360度视频接收设备的示图。
图5是示出用于描述与本发明有关的3D空间的主飞行器轴(principal aircraftaxes)的概念的示图。
图6是示出根据本发明的实施方式的投影方案的示图。
图7是示出根据本发明的实施方式的拼块的示图。
图8是示出根据本发明的实施方式的360度视频相关元数据的示图。
图9是示出根据本发明的另一实施方式的360度视频相关元数据的示图。
图10是示出根据本发明的实施方式的根据360度视频的支持范围的2D图像上的投影区域和3D模型的示图。
图11是示出根据本发明的实施方式的投影方案的示图。
图12是示出根据本发明的另一实施方式的投影方案的示图。
图13是示出根据本发明的实施方式的IntrinsicCameraParametersBox类和ExtrinsicCameraParametersBox类的示图。
图14是示出根据本发明的实施方式的HDRConfigurationBox类的示图。
图15是示出根据本发明的实施方式的CGConfigurationBox类的示图。
图16是示出根据本发明的实施方式的RegionGroupBox类的示图。
图17是示出根据本发明的实施方式的RegionGroup类的示图。
图18是示出根据本发明的实施方式的媒体文件的结构的示图。
图19是示出根据本发明的实施方式的ISOBMFF中的盒的分层结构的示图。
图20是示出根据本发明的实施方式的在各个盒中传送被定义为OMVideoConfigurationBox类的360度视频相关元数据的示图。
图21是示出根据本发明的另一实施方式的在各个盒中传送被定义为OMVideoConfigurationBox类的360度视频相关元数据的示图。
图22是示出根据本发明的实施方式的基于DASH的自适应流模型的总体操作的示图。
图23是示出根据本发明的实施方式的以基于DASH的描述符的形式描述的360度视频相关元数据的示图。
图24是示出根据本发明的实施方式的与特定区域或ROI指示有关的元数据的示图。
图25是示出根据本发明的另一实施方式的与特定区域指示有关的元数据的示图。
图26是示出根据本发明的实施方式的GPS相关元数据的示图。
图27是示出根据本发明的实施方式的360度视频发送方法的示图。
具体实施方式
现在将参照附图详细参考本发明的优选实施方式。下面将参照附图给出的详细描述旨在说明本发明的示例性实施方式，而非示出可根据本发明实现的仅有实施方式。以下详细描述包括具体细节以便提供本发明的彻底理解。然而，对于本领域技术人员而言将显而易见的是，本发明可在没有这些具体细节的情况下实践。
尽管本发明中所使用的大多数术语是从本领域中广泛使用的一般术语中选择的，但是一些术语已由申请人任意选择，其含义在下面的描述中根据需要详细说明。因此，本发明应该根据术语的预期含义而非其简单名称或含义来理解。
图1是示出根据本发明的用于提供360度视频的整个架构的示图。
本发明提出了一种用于360度内容提供以便向用户提供虚拟现实(VR)的方案。VR可意指用于复制实际或虚拟环境的技术或环境。VR人为地向用户提供感官体验，通过该感官体验，用户可感觉就像他/她处于电子投影的环境中一样。
360度内容意指用于实现和提供VR的所有内容，并且可包括360度视频和/或360度音频。术语“360度视频”可意指提供VR所需的在所有方向上(360度)同时拍摄或再现的视频或图像内容。这种360度视频可以是根据3D模型出现在各种类型的3D空间中的视频或图像。例如，360度视频可出现在球面上。作为用于提供VR的音频内容，术语“360度音频”可意指声音的原点被识别为位于特定3D空间中的空间音频内容。360度内容可被生成、处理并发送给可使用360度内容来享受VR体验的用户。
本发明提出了一种特别有效地提供360度视频的方法。为了提供360度视频，可使用至少一个相机来拍摄360度视频。所拍摄的360度视频可通过一系列处理来发送，并且接收方可将所接收的数据处理并渲染为原始360度视频。结果，可将360度视频提供给用户。
具体地讲，提供360度视频的总体处理可包括拍摄处理、准备处理、传送处理、加工处理、渲染处理和/或反馈处理。
拍摄处理可以是使用至少一个相机在多个视点中的每一个处拍摄图像或视频的处理。在拍摄处理中，可如所示生成图像/视频数据(t1010)。所示的各个平面(t1010)可意指各个视点处的图像/视频。所拍摄的多个图像/视频可以是原始数据。在拍摄处理中，可生成拍摄相关元数据。
用于VR的特殊相机可用于拍摄。在一些实施方式中，在提供由计算机生成的虚拟空间的360度视频的情况下，可不使用实际相机执行拍摄。在这种情况下，简单地生成相关数据的处理可代替拍摄处理。
准备处理可以是处理拍摄的图像/视频以及在拍摄处理生成的元数据的处理。在准备处理中，拍摄的图像/视频可经历拼接处理、投影处理、区域式打包处理和/或编码处理。
首先，各个图像/视频可经历拼接处理。拼接处理可以是将拍摄的图像/视频连接以生成全景图像/视频或球面图像/视频的处理。
随后，拼接的图像/视频可经历投影处理。在投影处理中，拼接的图像/视频可被投影在2D图像上。根据上下文，2D图像可被称为2D图像帧。2D图像投影可被表示为2D图像映射。投影的图像/视频数据可如所示具有2D图像的形式(t1020)。
投影在2D图像上的视频数据可经历区域式打包处理以便改进视频编码效率。区域式打包处理可以是针对各个区域单独地处理投影在2D图像上的视频数据的处理。这里，术语“区域”可指示投影视频数据的2D图像的分割部分。在一些实施方式中，可通过均匀地或任意地分割2D图像来划分区域。另外，在一些实施方式中，可根据投影方案来划分区域。区域式打包处理是可选的，因此可从准备处理省略。
在一些实施方式中，该处理可包括在2D图像上旋转各个区域或重新布置区域以便改进视频编码效率的处理。例如，区域可被旋转，使得区域的特定边被定位成彼此相邻，由此可改进编码效率。
在一些实施方式中，该处理可包括增大或减小特定区域的分辨率以便改变360度视频上的区域的分辨率的处理。例如，与360度视频中的相对重要的区域对应的区域可具有比其它区域高的分辨率。投影在2D图像上的视频数据或区域式打包的视频数据可经历经由视频编解码器的编码处理。
在一些实施方式中，准备处理还可包括编辑处理。在编辑处理中，可编辑投影之前和之后的图像/视频数据。在准备处理中，与拼接/投影/编码/编辑有关的元数据可按照相同的方式生成。另外，可生成与投影在2D图像上的视频数据的初始视点或感兴趣区域(ROI)有关的元数据。
传送处理可以是处理并传送已经历准备处理的图像/视频数据以及元数据的处理。可基于用于传送的任意传输协议来执行处理。已被处理用于传送的数据可通过广播网络和/或宽带连接来传送。可按照按需方式向接收方传送数据。接收方可通过各种路径接收数据。
加工处理可以是将接收的数据解码并将投影的图像/视频数据重新投影在3D模型上的处理。在此处理中，投影在2D图像上的图像/视频数据可在3D空间中重新投影。根据上下文，该处理可被称为映射或投影。此时，映射的3D空间可根据3D模型具有不同的形式。例如，3D模型可以是球体、立方体、圆柱体或锥体。
在一些实施方式中，加工处理还可包括编辑处理和放大处理。在编辑处理中，可编辑重新投影之前和之后的图像/视频数据。在图像/视频数据被缩小的情况下，可在放大处理中通过放大来增大图像/视频数据的大小。根据需要，可通过缩小来减小图像/视频数据的大小。
渲染处理可以是渲染并显示3D空间中重新投影的图像/视频数据的处理。根据上下文，重新投影和渲染的组合可被表示为在3D模型上渲染。在3D模型上重新投影(或在3D模型上渲染)的图像/视频可具有所示的形式(t1030)。如所示，图像/视频被重新投影在球形3D模型上(t1030)。用户可通过VR显示器观看渲染的图像/视频的一部分。此时，用户所观看的那部分图像/视频可具有所示的形式(t1040)。
反馈处理可以是将可在显示处理获取的各种类型的反馈信息发送给发送方的处理。在欣赏360度视频时可通过反馈处理提供交互性。在一些实施方式中，在反馈处理可将头部取向信息、关于视口(指示用户正在观看的区域)的信息等发送给发送方。在一些实施方式中，用户可与VR环境中实现的内容交互。在这种情况下，可在反馈处理中将与交互性有关的信息提供给发送方或服务提供方。在一些实施方式中，可不执行反馈处理。
头部取向信息可以是关于用户的头部的位置、角度和移动的信息。可基于该信息计算关于360度视频中用户正在观看的区域的信息(即，视口信息)。
视口信息可以是关于360度视频中用户正在观看的区域的信息。可通过其执行注视分析，因此可检查用户欣赏360度视频的方式、用户所注视的360度视频的区域以及用户注视360度视频期间的时间量。注视分析可在接收方执行并且可通过反馈信道传送至发送方。诸如VR显示器的设备可基于用户头部的位置/取向、设备所支持的垂直或水平FOV等来提取视口区域。
在一些实施方式中，反馈信息不仅可被传送至发送方，而且可在接收方使用。即，可在接收方使用反馈信息执行解码、重新投影和渲染处理。例如，可首先使用头部取向信息和/或视口信息仅解码并渲染用户正在观看的那部分360度视频。
这里，视口或视口区域可以是用户正在观看的那部分360度视频。视点(360度视频中用户正在观看的点)可以是视口区域的正中心。即，视口是基于视点的区域。该区域的大小或形状可由视场(FOV)(将随后描述)设定。
在用于360度视频提供的整个架构中，经历一系列拍摄/投影/编码/传送/解码/重新投影/渲染处理的图像/视频数据可被称为360度视频数据。术语“360度视频数据”可用于概念上包括与图像/视频数据有关的元数据或信令信息。
图2是示出根据本发明的一方面的360度视频发送设备的示图。
根据本发明的一方面，本发明可与360度视频发送设备有关。根据本发明的360度视频发送设备可执行与准备处理和传送处理有关的操作。根据本发明的360度视频发送设备可包括数据输入单元、拼接器、投影处理单元、区域式打包处理单元(未示出)、元数据处理单元、(发送方)反馈处理单元、数据编码器、封装处理单元、发送处理单元和/或发送单元作为内部/外部元件。
数据输入单元可允许拍摄的视点式图像/视频输入。视点式图像/视频可以是使用至少一个相机拍摄的图像/视频。另外，数据输入单元可允许在拍摄处理生成的元数据输入。数据输入单元可将输入的视点式图像/视频传送至拼接器，并且可将在拍摄处理生成的元数据传送至信令处理单元。
拼接器可将拍摄的视点式图像/视频拼接。拼接器可将拼接的360度视频数据传送至投影处理单元。根据需要，拼接器可从元数据处理单元接收必要的元数据以便在拼接处理使用所接收的元数据。拼接器可将在拼接处理生成的元数据传送至元数据处理单元。在拼接处理生成的元数据可包括关于是否执行拼接和拼接类型的信息。
投影处理单元可将拼接的360度视频数据投影在2D图像上。投影处理单元可根据各种方案执行投影(将在下面描述)。投影处理单元可考虑视点式360度视频数据的深度来执行映射。根据需要，投影处理单元可从元数据处理单元接收投影所需的元数据以便将所接收的元数据用于投影。投影处理单元可将在投影处理中生成的元数据传送至元数据处理单元。投影处理单元的元数据可包括关于投影方案的类型的信息。
区域式打包处理单元(未示出)可执行区域式打包处理。即，区域式打包处理单元可将投影的360度视频数据分割成区域，并且可旋转或重新布置各个区域，或者可改变各个区域的分辨率。如先前所描述的，区域式打包处理是可选的。在不执行区域式打包处理的情况下，可省略区域式打包处理单元。根据需要，区域式打包处理单元可从元数据处理单元接收区域式打包所需的元数据以便将所接收的元数据用于区域式打包。区域式打包处理单元可将在区域式打包处理中生成的元数据传送至元数据处理单元。区域式打包处理单元的元数据可包括各个区域的旋转程度和大小。
在一些实施方式中，拼接器、投影处理单元和/或区域式打包处理单元可被合并成单个硬件组件。
元数据处理单元可处理可在拍摄处理、拼接处理、投影处理、区域式打包处理、编码处理、封装处理和/或加工处理中生成的元数据以用于传送。元数据处理单元可使用上述元数据来生成360度视频相关元数据。在一些实施方式中，元数据处理单元可按照信令表的形式生成360度视频相关元数据。根据信令的上下文，360度视频相关元数据可被称为与360度视频有关的元数据或信令信息。另外，根据需要，元数据处理单元可将所获取或生成的元数据传送至360度视频发送设备的内部元件。元数据处理单元可将360度视频相关元数据传送至数据编码器、封装处理单元和/或发送处理单元，使得360度视频相关元数据可被发送至接收方。
数据编码器可对投影在2D图像上的360度视频数据和/或区域式打包的360度视频数据进行编码。可按照各种格式对360度视频数据进行编码。
封装处理单元可按照文件的形式来封装编码的360度视频数据和/或360度视频相关元数据。这里，360度视频相关元数据可以是从元数据处理单元接收的元数据。封装处理单元可按照ISOBMFF或CFF的文件格式来封装数据，或者可按照DASH分段的形式来处理数据。在一些实施方式中，封装处理单元可包括关于文件格式的360度视频相关元数据。例如，360度视频相关元数据可按照ISOBMFF文件格式包括在各种级别的盒中，或者可作为数据包括在文件内的单独的轨道中。在一些实施方式中，封装处理单元可将360度视频相关元数据本身封装为文件。发送处理单元可根据文件格式对封装的360度视频数据执行用于发送的处理。发送处理单元可根据任意传输协议来处理360度视频数据。用于发送的处理可包括用于通过广播网络传送的处理以及用于通过宽带连接传送的处理。在一些实施方式中，除了360度视频数据之外，发送处理单元可从元数据处理单元接收360度视频相关元数据，并且可对其执行用于发送的处理。
发送单元可通过广播网络和/或宽带连接来发送经发送处理的360度视频数据和/或360度视频相关元数据。发送单元可包括用于通过广播网络发送的元件和/或用于通过宽带连接发送的元件。
在根据本发明的360度视频发送设备的实施方式中，360度视频发送设备还可包括数据存储单元(未示出)作为内部/外部元件。数据存储单元可在传送至发送处理单元之前存储编码的360度视频数据和/或360度视频相关元数据。数据可按照ISOBMFF的文件格式存储。在实时发送360度视频的情况下，不需要数据存储单元。然而，在按需、非实时(NRT)或通过宽带连接发送360度视频的情况下，封装的360度数据可在存储在数据存储单元中预定时间段之后发送。
在根据本发明的360度视频发送设备的另一实施方式中，360度视频发送设备还可包括(发送方)反馈处理单元和/或网络接口(未示出)作为内部/外部元件。网络接口可从根据本发明的360度视频接收设备接收反馈信息，并且可将所接收的反馈信息传送至发送方反馈处理单元。发送方反馈处理单元可将反馈信息传送至拼接器、投影处理单元、区域式打包处理单元、数据编码器、封装处理单元、元数据处理单元和/或发送处理单元。在一些实施方式中，反馈信息可被传送至元数据处理单元，然后可被传送至各个内部元件。在接收到反馈信息之后，内部元件可在随后处理360度视频数据时反映反馈信息。
在根据本发明的360度视频发送设备的另一实施方式中，区域式打包处理单元可旋转各个区域，并且可将旋转的区域映射在2D图像上。此时，区域可在不同的方向上以不同的角度旋转，并且可被映射在2D图像上。可考虑投影之前在球面上彼此相邻的360度视频数据的部分及其拼接部分来执行区域的旋转。关于区域的旋转的信息(即，旋转方向和旋转角度)可由360度视频相关元数据用信号通知。在根据本发明的360度视频发送设备的另一实施方式中，数据编码器可对区域不同地进行编码。数据编码器可对一些区域以高质量进行编码，并且可对一些区域以低质量进行编码。发送方反馈处理单元可将从360度视频接收设备接收的反馈信息传送至数据编码器，数据编码器可对区域不同地进行编码。例如，发送方反馈处理单元可将从接收方接收的视口信息传送至数据编码器。数据编码器可对包括视口信息所指示的区域的区域以比其它区域更高的质量(UHD等)进行编码。
在根据本发明的360度视频发送设备的另一实施方式中，发送处理单元可对区域不同地执行用于发送的处理。发送处理单元可对区域应用不同的传输参数(调制阶数、码率等)，使得为各个区域传送的数据的鲁棒性改变。
此时，发送方反馈处理单元可将从360度视频接收设备接收的反馈信息传送至发送处理单元，发送处理单元可对区域不同地执行发送处理。例如，发送方反馈处理单元可将从接收方接收的视口信息传送至发送处理单元。发送处理单元可对包括视口信息所指示的区域的区域执行发送处理以具有比其它区域更高的鲁棒性。
根据本发明的360度视频发送设备的内部/外部元件可以是实现为硬件的硬件元件。然而，在一些实施方式中，内部/外部元件可被改变、省略、替换或合并。在一些实施方式中，附加元件可被添加到360度视频发送设备。
图3是示出根据本发明的另一方面的360度视频接收设备的示图。
根据本发明的另一方面，本发明可涉及一种360度视频接收设备。根据本发明的360度视频接收设备可执行与加工处理和/或渲染处理有关的操作。根据本发明的360度视频接收设备可包括接收单元、接收处理单元、解封装处理单元、数据解码器、元数据解析器、(接收方)反馈处理单元、重新投影处理单元和/或渲染器作为内部/外部元件。
接收单元可接收360度视频发送设备所发送的360度视频数据。根据发送360度视频数据的信道，接收单元可通过广播网络接收360度视频数据，或者可通过宽带连接接收360度视频数据。
接收处理单元可根据传输协议来处理所接收的360度视频数据。为了与发送方的用于发送的处理对应，接收处理单元可执行发送处理单元的逆处理。接收处理单元可将所获取的360度视频数据传送至解封装处理单元，并且可将所获取的360度视频相关元数据传送至元数据解析器。由接收处理单元获取的360度视频相关元数据可具有信令表的形式。
解封装处理单元可将以文件形式从接收处理单元接收的360度视频数据解封装。解封装处理单元可基于ISOBMFF等将文件解封装以获取360度视频数据和360度视频相关元数据。所获取的360度视频数据可被传送至数据解码器，所获取的360度视频相关元数据可被传送至元数据解析器。由解封装处理单元获取的360度视频相关元数据可具有文件格式中的盒或轨道的形式。根据需要，解封装处理单元可从元数据解析器接收解封装所需的元数据。
数据解码器可将360度视频数据解码。数据解码器可从元数据解析器接收解码所需的元数据。在数据解码处理获取的360度视频相关元数据可被传送至元数据解析器。
元数据解析器可解析/解码360度视频相关元数据。元数据解析器可将所获取的元数据传送至解封装处理单元、数据解码器、重新投影处理单元和/或渲染器。
重新投影处理单元可重新投影解码的360度视频数据。重新投影处理单元可在3D空间中重新投影360度视频数据。3D空间可根据所使用的3D模型而具有不同的形式。重新投影处理单元可从元数据解析器接收用于重新投影的元数据。例如，重新投影处理单元可从元数据解析器接收关于所使用的3D模型的类型及其细节的信息。在一些实施方式中，重新投影处理单元可使用用于重新投影的元数据在3D空间中仅重新投影与3D空间中的特定区域对应的那部分360度视频数据。
渲染器可渲染重新投影的360度视频数据。如先前所描述的，360度视频数据可被表示成在3D空间中渲染。在同时执行两个处理的情况下，重新投影处理单元和渲染器可被合并，使得渲染器可执行这些处理。在一些实施方式中，渲染器可根据用户的视点信息仅渲染用户正在观看的部分。
用户可通过VR显示器观看渲染的360度视频的一部分。作为再现360度视频的装置，VR显示器可被包括在360度视频接收设备中(系留)，或者可连接到360度视频接收设备(非系留)。
在根据本发明的360度视频接收设备的实施方式中，360度视频接收设备还可包括(接收方)反馈处理单元和/或网络接口(未示出)作为内部/外部元件。接收方反馈处理单元可从渲染器、重新投影处理单元、数据解码器、解封装处理单元和/或VR显示器获取并处理反馈信息。反馈信息可包括视口信息、头部取向信息和注视信息。网络接口可从接收方反馈处理单元接收反馈信息，并且可将其发送至360度视频发送设备。
如先前所描述的，反馈信息不仅可被传送至发送方，而且可在接收方使用。接收方反馈处理单元可将所获取的反馈信息传送至360度视频接收设备的内部元件以被反映在渲染处理中。接收方反馈处理单元可将反馈信息传送至渲染器、重新投影处理单元、数据解码器和/或解封装处理单元。例如，渲染器可首先使用反馈信息来渲染用户正在观看的区域。另外，解封装处理单元和数据解码器可首先将用户正在观看的区域或用户将观看的区域解封装和解码。
上述根据本发明的360度视频接收设备的内部/外部元件可以是实现为硬件的硬件元件。在一些实施方式中，内部/外部元件可被改变、省略、替换或合并。在一些实施方式中，附加元件可被添加到360度视频接收设备。
根据本发明的另一方面，本发明可涉及一种360度视频发送方法和360度视频接收方法。根据本发明的360度视频发送/接收方法可由上述根据本发明的360度视频发送/接收设备或该设备的实施方式执行。
根据本发明的360度视频发送/接收设备和发送/接收方法的实施方式及其内部/外部元件的实施方式可被组合。例如，投影处理单元的实施方式和数据编码器的实施方式可被组合以便提供360度视频发送设备的多个可能的实施方式。这些组合的实施方式也落在本发明的范围内。
图4是示出根据本发明的另一实施方式的360度视频发送设备/360度视频接收设备的示图。
如先前所描述的，可通过图4的(a)所示的架构来提供360度内容。360度内容可按照文件的形式提供，或者可按照基于分段的下载或流服务(例如，DASH)的形式提供。这里，360度内容可被称为VR内容。
如先前所描述的，可获取360度视频数据和/或360度音频数据(获取)。
360度音频数据可经历音频预加工处理和音频编码处理。在这些处理中，可生成音频相关元数据。编码的音频和音频相关元数据可经历用于发送的处理(文件/分段封装)。
360度视频数据可经历先前所描述的相同处理。360度视频发送设备的拼接器可对360度视频数据执行拼接(视觉拼接)。在一些实施方式中，该处理可被省略，并且可在接收方执行。360度视频发送设备的投影处理单元可将360度视频数据投影在2D图像上(投影和映射(打包))。
图4的(b)中详细示出拼接和投影处理。如图4的(b)所示，当接收到360度视频数据(输入图像)时，可执行拼接和投影。具体地讲，在投影处理中，拼接的360度视频数据可在3D空间中投影，并且投影的360度视频数据可被布置在2D图像上。在本说明书中，该处理可被表示成将360度视频数据投影在2D图像上。这里，3D空间可以是球体或立方体。3D空间可与接收方用于重新投影的3D空间相同。
2D图像可被称为投影的帧C。可在2D图像上选择性地执行区域式打包。当执行区域式打包时，可指示各个区域的位置、形状和大小，使得2D图像上的区域可被映射在打包的帧D上。当不执行区域式打包时，投影的帧可与打包的帧相同。区域将在下面描述。投影处理和区域式打包处理可被表示成将360度视频数据的区域投影在2D图像上。根据设计，360度视频数据可被直接转换为打包的帧，而不经历中间处理。
如图4的(a)所示，可对投影的360度视频数据进行图像编码或视频编码。由于即使相同的内容也可能具有不同的视点，所以相同的内容可被编码在不同的比特流中。编码的360度视频数据可由封装处理单元按照ISOBMFF的文件格式处理。另选地，封装处理单元可将编码的360度视频数据处理成分段。分段可被包括在各个轨道中以用于基于DASH发送。
当处理360度视频数据时，如先前所描述的，可生成360度视频相关元数据。元数据可被包括在视频流或文件格式中来传送。元数据也可用在编码处理、文件格式封装或用于发送的处理中。
360度音频/视频数据可根据传输协议经历用于发送的处理，然后可被发送。360度视频接收设备可通过广播网络或宽带连接来接收360度音频/视频数据。
在图4的(a)中，VR服务平台可对应于360度视频接收设备的一个实施方式。在图4的(a)中，扬声器/耳机、显示器和头部/眼睛跟踪组件被示出为由360度视频接收设备的外部装置或VR应用执行。在一些实施方式中，360度视频接收设备可包括这些组件。在一些实施方式中，头部/眼睛跟踪组件可对应于接收方反馈处理单元。
360度视频接收设备可对360度音频/视频数据执行用于接收的文件/分段解封装。360度音频数据可经历音频解码和音频渲染，然后可通过扬声器/耳机组件提供给用户。
360度视频数据可经历图像解码或视频解码和视觉渲染，然后可通过显示组件提供给用户。这里，显示组件可以是支持VR的显示器或一般显示器。
如先前所描述的，具体地讲，渲染处理可被表示成在3D空间中重新投影360度视频数据并渲染重新投影的360度视频数据。这也可被表示成在3D空间中渲染360度视频数据。
头部/眼睛跟踪组件可获取并处理先前已描述的用户的头部取向信息、注视信息和视口信息。
与接收方处理通信的VR应用可被设置在接收方。
图5是示出用于描述与本发明有关的3D空间的主飞行器轴的概念的示图。
在本发明中，可使用主飞行器轴的概念以便表示3D空间中的特定点、位置、方向、距离、区域等。
即，在本发明中，可描述投影之前或重新投影之后的3D空间，并且可使用主飞行器轴的概念以便对其执行信令。在一些实施方式中，可使用利用X、Y和Z轴概念或球坐标系的方法。
飞行器可在三个维度自由地旋转。构成这三个维度的轴被称为俯仰轴、偏航轴和横滚轴。在本说明书中，这些术语也可被表示成俯仰、偏航和横滚或者俯仰方向、偏航方向和横滚方向。
俯仰轴可以是飞行器的前部绕其向上/向下旋转的轴。在所示的主飞行器轴的概念中，俯仰轴可以是从飞行器的一个机翼延伸到另一个机翼的轴。
偏航轴可以是飞行器的前部绕其向左/向右旋转的轴。在所示的主飞行器轴的概念中，偏航轴可以是从飞行器的顶部延伸至底部的轴。
在所示的主飞行器轴的概念中，横滚轴可以是从飞行器的前部延伸至机尾的轴。横滚方向上的旋转可以是绕横滚轴执行的旋转。
如先前所描述的，本发明中的3D空间可使用俯仰、偏航和横滚概念来描述。
图6是示出根据本发明的实施方式的投影方案的示图。
如先前所描述的，根据本发明的360度视频发送设备的投影处理单元可将拼接的360度视频数据投影在2D图像上。在该处理中，可使用各种投影方案。
在根据本发明的360度视频发送设备的另一实施方式中，投影处理单元可使用立方体投影方案来执行投影。例如，拼接的360度视频数据可出现在球面上。投影处理单元可按照立方体的形式将360度视频数据投影在2D图像上。球面上的360度视频数据可对应于立方体的各个表面。结果，如图6的(a)的左侧或右侧所示，360度视频数据可被投影在2D图像上。
在根据本发明的360度视频发送设备的另一实施方式中，投影处理单元可使用圆柱体投影方案来执行投影。以相同的方式，假设拼接的360度视频数据出现在球面上，投影处理单元可按照圆柱体的形式将360度视频数据投影在2D图像上。球面上的360度视频数据可对应于圆柱体的侧面、顶部和底部。结果，如图6的(b)的左侧或右侧所示，360度视频数据可被投影在2D图像上。
在根据本发明的360度视频发送设备的另一实施方式中，投影处理单元可使用锥体投影方案来执行投影。以相同的方式，假设拼接的360度视频数据出现在球面上，投影处理单元可按照锥体的形式将360度视频数据投影在2D图像上。球面上的360度视频数据可对应于锥体的前侧、左上侧、左下侧、右上侧和右下侧。结果，如图6的(c)的左侧或右侧所示，360度视频数据可被投影在2D图像上。
在一些实施方式中，除了上述方案之外，投影处理单元可使用等距矩形投影方案或全景投影方案来执行投影。
如先前所描述的，区域可以是投影有360度视频数据的2D图像的分割部分。区域未必与根据投影方案投影在2D图像上的各个表面一致。然而，在一些实施方式中，区域可被划分以与2D图像上的投影表面对应，使得可执行区域式打包。在一些实施方式中，多个表面可对应于单个区域，单个表面对应于多个区域。在这种情况下，区域可根据投影方案而改变。例如，在图6的(a)中，立方体的各个表面(顶侧、底侧、前侧、左侧、右侧和后侧)可以是各个区域。在图6的(b)中，圆柱体的侧面、顶部和底部可以是各个区域。在图6的(c)中，锥体的前侧和四向侧表面(左上、左下、右上和右下)可以是各个区域。
图7是示出根据本发明的实施方式的拼块的示图。
投影在2D图像上的360度视频数据或经历了区域式打包的360度视频数据可被划分成一个或更多个拼块。图7的(a)示出分割成16个拼块的2D图像。这里，2D图像可以是投影的帧或打包的帧。在根据本发明的360度视频发送设备的另一实施方式中，数据编码器可独立地对拼块进行编码。
区域式打包和平铺可彼此不同。区域式打包可以是处理投影在2D图像上的360度视频数据的各个区域以便改进编码效率或调节分辨率。平铺可以是数据编码器将投影的帧或打包的帧分割成拼块并独立地对拼块进行编码。当提供360度视频数据时，用户不同时欣赏360度视频数据的所有部分。平铺可使得用户能够在有限的带宽内仅欣赏或向接收方发送与重要部分或预定部分(例如，用户正在观看的视口)对应的拼块。可通过平铺更有效地利用有限的带宽，并且由于接收方不一次处理整个360度视频数据，所以计算负荷可降低。
由于区域和拼块彼此不同，所以两个区域未必相同。然而，在一些实施方式中，区域和拼块可指示相同的区域。在一些实施方式中，可基于拼块来执行区域式打包，由此区域和拼块可变得相同。另外，在一些实施方式中，在根据投影方案的表面和区域相同的情况下，根据投影方案的表面、区域和拼块可指示相同的区域。根据上下文，区域可被称为VR区域，拼块可被称为拼块区域。
感兴趣区域(ROI)可以是360度内容提供商所建议的用户感兴趣的区域。360度内容提供商可考虑用户感兴趣的360度视频的区域来制作360度视频。在一些实施方式中，ROI可对应于显示360度视频的重要部分的360度视频的区域。
在根据本发明的360度视频发送/接收设备的另一实施方式中，接收方反馈处理单元可提取并收集视口信息，并且可将其传送至发送方反馈处理单元。在此处理中，视口信息可使用双方的网络接口来传送。图7的(a)示出显示在2D图像上的视口t6010。这里，视口可被定位于2D图像上的9个拼块上。
在这种情况下，360度视频发送设备还可包括平铺系统。在一些实施方式中，平铺系统可被设置在数据编码器之后(参见图7的(b))，可被包括在数据编码器或发送处理单元中，或者可作为单独的内部/外部元件包括在360度视频发送设备中。
平铺系统可从发送方反馈处理单元接收视口信息。平铺系统可仅选择并发送包括视口区域的拼块。在图7的(a)中，可发送2D图像的总共16个拼块当中包括视口区域t6010的9个拼块。这里，平铺系统可经由宽带连接以单播方式发送拼块。原因在于各个人的视口区域可改变。
另外，在这种情况下，发送方反馈处理单元可将视口信息传送至数据编码器。数据编码器可对包括视口区域的拼块以比其它拼块更高的质量进行编码。
另外，在这种情况下，发送方反馈处理单元可将视口信息传送至元数据处理单元。元数据处理单元可将与视口区域有关的元数据传送至360度视频发送设备的内部元件，或者可将其包括在360度视频相关元数据中。
利用该平铺系统，可节省传输带宽并且对各个拼块不同地执行处理，由此可进行高效的数据处理/传输。
与视口区域有关的实施方式可相似地适用于视口区域以外的特定区域。例如，对视口区域执行的处理可同样对通过注视分析确定用户感兴趣的区域、ROI以及当用户通过VR显示器观看360度视频时首先再现的区域(初始视点)执行。
在根据本发明的360度视频发送设备的另一实施方式中，发送处理单元可针对各个拼块不同地执行发送处理。发送处理单元可对拼块应用不同的传输参数(调制阶数、码率等)，使得为各个区域传送的数据的鲁棒性改变。
此时，发送方反馈处理单元可将从360度视频接收设备接收的反馈信息传送至发送处理单元，发送处理单元可针对各个拼块不同地执行发送处理。例如，发送方反馈处理单元可将从接收方接收的视口信息传送至发送处理单元。发送处理单元可对包括视口区域的拼块执行发送处理以具有比其它拼块更高的鲁棒性。
图8是示出根据本发明的实施方式的360度视频相关元数据的示图。
360度视频相关元数据可包括用于360度视频的各种元数据。根据上下文，360度视频相关元数据可被称为360度视频相关信令信息。360度视频相关元数据可被包括在单独的信令表中来发送，或者可被包括在DASH MPD中来发送，或者可按照盒的形式被包括在ISOBMFF的文件格式中来发送。在360度视频相关元数据以盒的形式被包括的情况下，元数据可被包括在诸如文件、片段、轨道、样本条目和样本的各种级别中，并且可包括与对应级别的数据有关的元数据。
在一些实施方式中，将随后描述的元数据的一部分可按照信令表的形式配置来发送，元数据的剩余部分可按照盒或轨道的形式被包括在文件格式中。
在根据本发明的360度视频相关元数据的实施方式中，360度视频相关元数据可包括关于投影方案的基本元数据、体视相关元数据、初始视图/初始视点相关元数据、ROI相关元数据、视场(FOV)相关元数据和/或裁剪区域相关元数据。在一些实施方式中，360度视频相关元数据还可包括上述元数据以外的元数据。
根据本发明的实施方式的360度视频相关元数据可包括基本元数据、体视相关元数据、初始视图相关元数据、ROI相关元数据、FOV相关元数据、裁剪区域相关元数据和/或附加可能元数据中的至少一个。根据本发明的实施方式的360度视频相关元数据可根据其中包括的元数据的可能数量来不同地配置。在一些实施方式中，360度视频相关元数据还可包括附加信息。
基本元数据可包括3D模型相关信息和投影方案相关信息。基本元数据可包括vr_geometry字段和projection_scheme字段。在一些实施方式中，基本元数据可包括附加信息。
vr_geometry字段可指示360度视频数据所支持的3D模型的类型。如先前所描述的，在360度视频数据被重新投影在3D空间中的情况下，3D空间可具有基于vr_geometry字段所指示的3D模型的形式。在一些实施方式中，用于渲染的3D模型可不同于vr_geometry字段所指示的用于重新投影的3D模型。在这种情况下，基本元数据还可包括指示用于渲染的3D模型的字段。在该字段具有值0、1、2或3的情况下，3D空间可遵循球体、立方体、圆柱体或锥体的3D模型。在该字段具有另外的值的情况下，所述值可为未来使用预留。在一些实施方式中，360度视频相关元数据还可包括关于该字段所指示的3D模型的详细信息。这里，关于3D模型的详细信息可以是球体的半径信息或者圆柱体的高度信息。该字段可被省略。
projection_scheme字段可指示在将360度视频数据投影在2D图像上时所使用的投影方案。在该字段具有值0、1、2、3、4或5的情况下，这可指示使用了等距矩形投影方案、立方体投影方案、圆柱体投影方案、基于拼块的投影方案、锥体投影方案或全景投影方案。在该字段具有值6的情况下，这可指示360度视频数据在没有拼接的情况下被投影在2D图像上。在该字段具有另外的值的情况下，所述值可为未来使用预留。在一些实施方式中，360度视频相关元数据还可包括关于通过该字段所指定的投影方案生成的区域的详细信息。这里，关于区域的详细信息可以是区域的旋转或者圆柱体的顶部区域的半径信息。
体视相关元数据可包括关于360度视频数据的3D相关属性的信息。体视相关元数据可包括is_stereoscopic字段和/或stereo_mode字段。在一些实施方式中，体视相关元数据还可包括附加信息。
is_stereoscopic字段可指示360度视频数据是否支持3D。当该字段为1时，这可意指支持3D。当该字段为0时，这可意指不支持3D。该字段可被省略。
stereo_mode字段可指示360度视频所支持的3D布局。可仅使用该字段来指示360度视频是否支持3D。在这种情况下，is_stereoscopic字段可被省略。当该字段具有值0时，360度视频可具有单一模式。即，投影360度视频的2D图像可仅包括一个单一视图。在这种情况下，360度视频可不支持3D。
当该字段具有值1或2时，360度视频可遵循左右布局或上下布局。左右布局和上下布局可分别被称为并排格式和上下格式。在左右布局中，投影左图像/右图像的2D图像可被定位在图像帧上的左侧/右侧。在上下布局中，投影左图像/右图像的2D图像可被定位在图像帧的顶侧/底侧。在该字段具有另外的值的情况下，所述值可为未来使用预留。
初始视图相关元数据可包括关于360度视频被首先再现时用户观看360度视频的时间(初始视点)的信息。初始视图相关元数据可包括initial_view_yaw_degree字段、initial_view_pitch_degree字段和/或initial_view_roll_degree字段。在一些实施方式中，初始视图相关元数据还可包括附加信息。
initial_view_yaw_degree字段、initial_view_pitch_degree字段和initial_view_roll_degree字段可指示360度视频被再现时的初始视点。即，可由这三个字段指示再现时首先观看的视口的正中心的点。这些字段可将正中心的点的位置指示为绕偏航轴、俯仰轴和横滚轴的旋转方向(符号)和旋转程度(角度)。此时，可确定根据FOV首先再现视频时观看的视口。可确定基于通过FOV指示的初始视点的初始视口的水平长度和垂直长度(宽度和高度)。即，360度视频接收设备可使用这三个字段和FOV信息向用户提供360度视频的预定区域作为初始视口。
在一些实施方式中，由初始视图相关元数据指示的初始视点可针对各个场景改变。即，360度视频的场景可随时间改变。用户首先观看视频的初始视点或初始视口可针对360度视频的各个场景而改变。在这种情况下，初始视图相关元数据可针对各个场景指示初始视口。为此，初始视图相关元数据还可包括标识应用初始视口的场景的场景标识符。另外，FOV可针对各个场景改变。初始视图相关元数据还可包括指示与场景对应的FOV的场景式FOV信息。
ROI相关元数据可包括与ROI有关的信息。ROI相关元数据可包括2d_roi_range_flag字段和/或3d_roi_range_flag字段。这两个字段中的每一个可指示ROI相关元数据是否包括基于2D图像表示ROI的字段或者ROI相关元数据是否包括基于3D空间表示ROI的字段。在一些实施方式中，ROI相关元数据还可包括附加信息，例如基于ROI的不同编码信息以及基于ROI的不同发送处理信息。
在ROI相关元数据包括基于2D图像表示ROI的字段的情况下，ROI相关元数据可包括min_top_left_x字段、max_top_left_x字段、min_top_left_y字段、max_top_left_y字段、min_width字段、max_width字段、min_height字段、max_height字段、min_x字段、max_x字段、min_y字段和/或max_y字段。
min_top_left_x字段、max_top_left_x字段、min_top_left_y字段和max_top_left_y字段可指示ROI的左上端的坐标的最小值/最大值。这些字段可分别指示左上端的最小x坐标、最大x坐标、最小y坐标和最大y坐标。
min_width字段、max_width字段、min_height字段和max_height字段可指示ROI的水平尺寸(宽度)和垂直尺寸(高度)的最小值/最大值。这些字段可分别指示水平尺寸的最小值、水平尺寸的最大值、垂直尺寸的最小值和垂直尺寸的最大值。
min_x字段、max_x字段、min_y字段和max_y字段可指示ROI中的坐标的最小值/最大值。这些字段可分别指示ROI中的坐标的最小x坐标、最大x坐标、最小y坐标和最大y坐标。这些字段可被省略。
在ROI相关元数据包括基于3D渲染空间中的坐标表示ROI的字段的情况下，ROI相关元数据可包括min_yaw字段、max_yaw字段、min_pitch字段、max_pitch字段、min_roll字段、max_roll字段、min_field_of_view字段和/或max_field_of_view字段。
min_yaw字段、max_yaw字段、min_pitch字段、max_pitch字段、min_roll字段和max_roll字段可将3D空间中ROI所占据的区域指示为偏航、俯仰和横滚的最小值/最大值。这些字段可分别指示绕偏航轴的旋转量的最小值、绕偏航轴的旋转量的最大值、绕俯仰轴的旋转量的最小值、绕俯仰轴的旋转量的最大值、绕横滚轴的旋转量的最小值以及绕横滚轴的旋转量的最大值。
min_field_of_view字段和max_field_of_view字段可指示360度视频数据的FOV的最小值/最大值。FOV可以是再现视频时一次显示360度视频的视野。min_field_of_view字段和max_field_of_view字段可分别指示FOV的最小值和最大值。这些字段可被省略。这些字段可被包括在FOV相关元数据(将随后描述)中。
FOV相关元数据可包括与FOV有关的上述信息。FOV相关元数据可包括content_fov_flag字段和/或content_fov字段。在一些实施方式中，FOV相关元数据还可包括附加信息，例如与FOV的最小值/最大值有关的信息。
content_fov_flag字段可指示是否存在关于制作时预期的360度视频的FOV的信息。当该字段的值为1时，可存在content_fov字段。
content_fov字段可指示关于制作时预期的360度视频的FOV的信息。在一些实施方式中，可基于360度视频接收设备的垂直或水平FOV来确定一次显示给用户的360度视频的部分。另选地，在一些实施方式中，可考虑该字段的FOV信息来确定一次显示给用户的360度视频的部分。
裁剪区域相关元数据可包括关于图像帧的包括实际360度视频数据的区域的信息。图像帧可包括投影实际360度视频数据的有效视频区域以及无效视频区域。这里，有效视频区域可被称为裁剪区域或默认显示区域。有效视频区域是实际VR显示器中被视为360度视频的区域。360度视频接收设备或VR显示器可仅处理/显示有效视频区域。例如，在图像帧的宽高比为4:3的情况下，仅除了图像帧的上部的一部分和下部的一部分之外的图像帧的剩余区域可包括360度视频数据。图像帧的剩余区域可以是有效视频区域。
裁剪区域相关元数据可包括is_cropped_region字段、cr_region_left_top_x字段、cr_region_left_top_y字段、cr_region_width字段和/或cr_region_height字段。在一些实施方式中，裁剪区域相关元数据还可包括附加信息。
is_cropped_region字段可以是指示360度视频接收设备或VR显示器是否使用图像帧的整个区域的标志。即，该字段可指示是否整个图像帧为有效视频区域。在仅图像帧的一部分是有效视频区域的情况下，还可包括以下四个字段。
cr_region_left_top_x字段、cr_region_left_top_y字段、cr_region_width字段和cr_region_height字段可指示图像帧中的有效视频区域。这些字段可分别指示有效视频区域的左上x坐标、有效视频区域的左上y坐标、有效视频区域的水平长度(宽度)和有效视频区域的垂直长度(高度)。水平长度和垂直长度可使用像素来表示。
图9是示出根据本发明的另一实施方式的360度视频相关元数据的示图。
如先前所描述的，360度视频相关元数据可被包括在单独的信令表中来发送，或者可被包括在DASH MPD中来发送，可按照盒的形式被包括在ISOBMFF的文件格式或通用文件格式中来发送，或者可作为数据被包括在单独的轨道中来发送。
在360度视频相关元数据以盒的形式被包括的情况下，360度视频相关元数据可被定义为OMVideoConfigurationBox类。OMVideoConfigurationBox可被称为omvc盒。360度视频相关元数据可被包括在诸如文件、片段、轨道、样本条目和样本的各种级别中来发送。根据包括360度视频相关元数据的级别，360度视频相关元数据可提供关于对应级别(轨道、流、样本等)的数据的元数据。
在根据本发明的360度视频相关元数据的另一实施方式中，360度视频相关元数据还可包括与360度视频的支持范围有关的元数据、与vr_geometry字段有关的元数据、与projection_scheme字段有关的元数据、与接收方拼接有关的元数据、高动态范围(HDR)相关元数据、宽色域(WCG)相关元数据和/或区域相关元数据。
根据本发明的实施方式的360度视频相关元数据可包括基本元数据、体视相关元数据、初始视图相关元数据、ROI相关元数据、FOV相关元数据、裁剪区域相关元数据、与360度视频的支持范围有关的元数据、与vr_geometry字段有关的元数据、与projection_scheme字段有关的元数据、与接收方拼接有关的元数据、HDR相关元数据、WCG相关元数据和/或区域相关元数据中的至少一个。根据本发明的实施方式的360度视频相关元数据可根据其中所包括的元数据的可能数量来不同地配置。在一些实施方式中，360度视频相关元数据还可包括附加信息。
与360度视频的支持范围有关的元数据可包括关于3D空间中的360度视频的支持范围的信息。与360度视频的支持范围有关的元数据可包括is_pitch_angle_less_180字段、pitch_angle字段、is_yaw_angle_less_360字段、yaw_angle字段和/或is_yaw_only字段。在一些实施方式中，与360度视频的支持范围有关的元数据还可包括附加信息。与360度视频的支持范围有关的元数据的字段可被分类为其它元数据。
is_pitch_angle_less_180字段可指示在3D空间中重新投影或渲染360度视频时3D空间中360度视频所覆盖(支持)的俯仰范围是否小于180度。即，该字段可指示360度视频所支持的俯仰角的最大值与最小值之差是否小于180度。
pitch_angle字段可指示在3D空间中重新投影或渲染360度视频时360度视频所支持的俯仰角的最大值与最小值之差。该字段可根据is_pitch_angle_less_180字段的值而被省略。
is_yaw_angle_less_360字段可指示在3D空间中重新投影或渲染360度视频时3D空间中360度视频所覆盖(支持)的偏航范围是否小于360度。即，该字段可指示360度视频所支持的偏航角的最大值与最小值之差是否小于360度。
yaw_angle字段可指示在3D空间中重新投影或渲染360度视频时360度视频所支持的偏航角的最大值与最小值之差。该字段可根据is_yaw_angle_less_360字段的值而被省略。
在is_pitch_angle_less_180字段指示俯仰支持范围小于180度并且pitch_angle字段具有小于180的值的情况下，与360度视频的支持范围有关的元数据还可包括min_pitch字段和/或max_pitch字段。
min_pitch字段和max_pitch字段可分别指示在3D空间中重新投影或渲染360度视频时360度视频所支持的俯仰(或)的最小值和最大值。
在is_yaw_angle_less_360字段指示偏航支持范围小于360度并且yaw_angle字段具有小于360的值的情况下，与360度视频的支持范围有关的元数据还可包括min_yaw字段和/或max_yaw字段。
min_yaw字段和max_yaw字段可分别指示在3D空间中重新投影或渲染360度视频时360度视频所支持的偏航(或θ)的最小值和最大值。
is_yaw_only字段可以是指示用户对360度视频的交互仅限于偏航方向的标志。即，该字段可以是指示对360度视频的头部运动仅限于偏航方向的标志。例如，在设定该字段的情况下，当用户在穿戴VR显示器的同时左右移动他/她的头部时，仅反映绕偏航轴的旋转方向和旋转程度以便提供360度视频体验。当用户仅上下移动他/她的头部时，360度视频的区域可不改变。该字段可被分类为与360度视频的支持范围有关的元数据以外的元数据。
与vr_geometry字段有关的元数据可基于vr_geometry字段所指示的3D模型的类型提供与3D模型有关的详细信息。如先前所描述的，vr_geometry字段可指示360度视频数据所支持的3D模型的类型。与vr_geometry字段有关的元数据可提供关于各个指示的3D模型(球体、立方体、圆柱体或锥体)的详细信息。详细信息将在下面描述。
另外，与vr_geometry字段有关的元数据可包括spherical_flag字段。spherical_flag字段可指示360度视频是不是球面视频。该字段可被省略。
在一些实施方式中，与vr_geometry字段有关的元数据还可包括附加信息。在一些实施方式中，与vr_geometry字段有关的元数据的字段可被分类为其它元数据。
与projection_scheme字段有关的元数据可提供关于projection_scheme字段所指示的投影方案的详细信息。如先前所描述的，projection_scheme字段可指示当360度视频数据被投影在2D图像上时所使用的投影方案。与projection_scheme字段有关的元数据可提供关于各个指示的投影方案(等距矩形投影方案、立方体投影方案、圆柱体投影方案、锥体投影方案、全景投影方案或者没有拼接的投影)的详细信息。该详细信息将在下面描述。
在一些实施方式中，与projection_scheme字段有关的元数据还可包括附加信息。在一些实施方式中，与projection_scheme字段有关的元数据的字段可被分类为其它元数据。
与接收方拼接有关的元数据可提供在接收方执行拼接时所需的信息。当在接收方执行拼接时，360度视频发送设备的拼接器不拼接360度视频数据，因此，非拼接的360度视频数据作为整体被投影在2D图像上。在这种情况下，如先前所描述的，projection_scheme字段可具有值6。
在这种情况下，360度视频接收设备可提取并拼接解码并投影在2D图像上的360度视频数据。在这种情况下，360度视频接收设备还可包括拼接器。360度视频接收设备的拼接器可使用“与接收方拼接有关的元数据”来执行拼接。360度视频接收设备的重新投影单元或渲染器可将在接收方拼接的360度视频数据重新投影或渲染在3D空间中。
例如，在360度视频数据实时生成，被立即发送至接收方，并由用户欣赏的情况下，对于快速数据传送而言，在接收方执行拼接可能更高效。另外，在360度视频数据被发送至支持VR的装置和不支持VR的装置二者的情况下，在接收方执行拼接可能更高效。其原因在于支持VR的装置拼接360度视频数据并提供360度视频数据作为VR，不支持VR的装置在2D图像上提供360度视频数据作为一般画面，而非VR。
与接收方拼接有关的元数据可包括stitched_flag字段和/或camera_info_flag字段。这里，在一些实施方式中与接收方拼接有关的元数据可不在接收方单独使用，因此可被简单地称为与拼接有关的元数据。
stitched_flag字段可指示使用至少一个相机传感器获取(拍摄)的360度视频数据是否经历了拼接。当projection_scheme字段的值为6时，该字段可具有false值。
camera_info_flag字段可指示是否作为元数据提供用于拍摄360度视频数据的相机的详细信息。
在stitched_flag字段指示已执行拼接的情况下，与接收方拼接有关的元数据可包括stitching_type字段和/或num_camera字段。
stitching_type字段可指示应用于360度视频数据的拼接类型。例如，拼接类型可以是与拼接软件有关的信息。即使当使用相同的投影方案时，360度视频也可根据拼接类型被不同地投影在2D图像上。因此，在提供拼接类型信息的情况下，360度视频接收设备可使用该信息来执行重新投影。
num_camera字段可指示用于拍摄360度视频数据的相机的数量。
在camera_info_flag字段指示作为元数据提供相机的详细信息的情况下，与接收方拼接有关的元数据可包括num_camera字段。num_camera字段的含义与上面的描述相同。在根据stitched_flag字段的值包括num_camera字段的情况下，可包括重复的num_camera字段。在这种情况下，360度视频相关元数据可省略字段中的一个。
可包括关于num_camera字段所指示数量的相机中的每一个的信息。关于各个相机的信息可包括intrinsic_camera_params字段、extrinsic_camera_params字段、camera_center_pitch字段、camera_center_yaw字段和/或camera_center_roll字段。
intrinsic_camera_params字段和extrinsic_camera_params字段可分别包括各个相机的内在参数和外在参数。这两个字段可分别具有定义为IntrinsicCameraParametersBox类的结构和定义为ExtrinsicCameraParametersBox类的结构(将随后给出其详细描述)。
camera_center_pitch字段、camera_center_yaw字段和camera_center_roll字段可分别指示与通过各个相机获取的图像的正中心的点匹配的3D空间中的俯仰(θ)值、偏航(或)值和横滚值。
在一些实施方式中，与接收方拼接有关的元数据还可包括附加信息。在一些实施方式中，与接收方拼接有关的元数据的字段可被分类为其它元数据。
在一些实施方式中，360度视频相关元数据还可包括is_not_centered字段以及可根据is_not_centered字段的值而存在的center_theta字段和/或center_phi字段。在一些实施方式中，center_theta字段和center_phi字段可由center_pitch字段、center_yaw字段和/或center_roll字段代替。这些字段可提供与投影有360度视频数据的2D图像的中心像素和3D空间的中点有关的元数据。在一些实施方式中，这些字段可被分类为360度视频相关元数据内的单独的元数据，或者可被分类为包括在其它元数据(例如，与拼接有关的元数据)中。
is_not_centered字段可指示投影有360度视频数据的2D图像的中心像素是否与3D空间(球面)的中点相同。换言之，该字段可指示当360度视频数据被投影或重新投影在3D空间中时，3D空间的中点是否相对于世界坐标系的原点或拍摄空间坐标系的原点改变(旋转)。拍摄空间可以是拍摄360度视频的空间。拍摄空间坐标系可以是指示拍摄空间的球坐标系。
投影/重新投影360度视频数据的3D空间可相对于拍摄空间坐标系的原点或世界坐标系的原点旋转。在这种情况下，3D空间的中点可不同于拍摄空间坐标系的原点或世界坐标系的原点。is_not_centered字段可指示是否发生了这种改变(旋转)。在一些实施方式中，3D空间的中点可与2D图像的中心像素出现在3D空间中的点相同。
这里，3D空间的中点可被称为3D空间的取向。在3D空间使用球坐标系表示的情况下，3D空间的中点可以是θ＝0且的点。在3D空间使用主飞行器轴(偏航/俯仰/横滚坐标系)表示的情况下，3D空间的中点可以是俯仰＝0、偏航＝0且横滚＝0的点。当该字段的值为0时，3D空间的中点可与拍摄空间坐标系的原点或世界坐标系的原点匹配/映射。这里，3D空间可被称为投影结构或VR几何构型。
在一些实施方式中，is_not_centered字段可根据projection_scheme字段的值而具有不同的含义。在projection_scheme字段具有值0、3或5的情况下，该字段可指示2D图像的中心像素是否与球面上θ＝0且的点相同。在projection_scheme字段具有值1的情况下，该字段可指示2D图像中的前侧的中心像素是否与球面上的θ＝0且的点相同。在projection_scheme字段具有值2的情况下，该字段可指示2D图像中的侧面的中心像素是否与球面上的θ＝0且的点相同。在projection_scheme字段具有值4的情况下，该字段可指示2D图像中的前侧的中心像素是否与球面上的θ＝0且的点相同。
在is_not_centered字段指示3D空间(球面)的中点已旋转的情况下，360度视频相关元数据还可包括center_theta字段和/或center_phi字段。在一些实施方式中，center_theta字段和center_phi字段可由center_pitch字段、center_yaw字段和/或center_roll字段代替。
这些字段可根据projection_scheme字段的值而具有不同的含义。在projection_scheme字段具有值0、3或5的情况下，这些字段中的每一个可指示3D空间(球面)中使用值或(偏航,俯仰,横滚)值与2D图像的中心像素映射的点。在projection_scheme字段具有值1的情况下，这些字段中的每一个可指示3D空间(球面)中使用值或(偏航,俯仰,横滚)值与2D图像中的立方体的前侧的中心像素映射的点。在projection_scheme字段具有值2的情况下，这些字段中的每一个可指示3D空间(球面)中使用值或(偏航,俯仰,横滚)值与2D图像中的圆柱体的侧面的中心像素映射的点。在projection_scheme字段具有值4的情况下，这些字段中的每一个可指示3D空间(球面)中使用值或(偏航,俯仰,横滚)值与2D图像中的锥体的前侧的中心像素映射的点。
在一些实施方式中，center_pitch字段、center_yaw字段和/或center_roll字段可指示3D空间的中点相对于拍摄空间坐标系的原点或世界坐标系的原点的旋转程度。在这种情况下，各个字段可使用偏航值、俯仰值和横滚值来指示旋转程度。
HDR相关元数据可提供与360度视频有关的HDR信息。HDR相关元数据可包括hdr_flag字段和/或hdr_config字段。在一些实施方式中，HDR相关元数据还可包括附加信息。
hdr_flag字段可指示360度视频是否支持HDR。同时，该字段可指示360度视频相关元数据是否包括与HDR有关的详细参数(hdr_config字段)。
hdr_config字段可指示与360度视频有关的HDR参数。该字段可具有定义为HDRConfigurationBox类的结构(将随后描述)。可使用该字段的信息在显示器上有效地实现HDR效果。
WCG相关元数据可提供与360度视频有关的WCG信息。WCG相关元数据可包括WCG_flag字段和/或WCG_config字段。在一些实施方式中，WCG相关元数据还可包括附加信息。
WCG_flag字段可指示360度视频是否支持WCG。同时，该字段可指示元数据是否包括与WCG有关的详细参数(WCG_config字段)。
WCG_config字段可指示与360度视频有关的WCG参数。该字段可具有定义为CGConfigurationBox类的结构(将随后描述)。
区域相关元数据可提供与360度视频数据的区域有关的元数据。区域相关元数据可包括region_info_flag字段和/或region字段。在一些实施方式中，区域相关元数据还可包括附加信息。
region_info_flag字段可指示投影有360度视频数据的2D图像是否被分割为一个或更多个区域。同时，该字段可指示360度视频相关元数据是否包括关于各个区域的详细信息。
region字段可包括关于各个区域的详细信息。该字段可具有定义为RegionGroup或RegionGroupBox类的结构。RegionGroupBox类可描述关于各个区域的一般信息，而与使用的投影方案无关，RegionGroup类可基于投影方案以projection_scheme字段作为变量描述关于各个区域的详细信息(将随后描述)。
图10是示出根据本发明的实施方式的根据360度视频的支持范围的2D图像和3D模型上的投影区域的示图。
参照图10的(a)和(b)，如先前所描述的，3D空间中的360度视频的支持范围可在俯仰方向上小于180度并且在偏航方向上小于360度。在这种情况下，与360度视频的支持范围有关的元数据可用信号通知支持范围。
在支持范围小于180度或360度的情况下，360度视频数据可仅被投影在2D图像的一部分上。在这种情况下，与360度视频的支持范围有关的元数据可用于告知接收方360度视频数据仅被投影在2D图像的一部分上。360度视频接收设备可使用该元数据仅处理实际存在360度视频数据的那部分2D图像。
例如，当360度视频所支持的俯仰范围介于-45度和45度之间时，如图10的(a)所示，360度视频可通过等距矩形投影被投影在2D图像上。参照图10的(a)，360度视频数据可仅存在于2D图像的特定区域上。此时，可进一步在元数据中以像素值的形式包括关于2D图像的存在360度视频数据的区域的垂直长度(高度)信息。
另外，例如，当360度视频所支持的偏航范围介于-90度和90度之间时，如图10的(b)所示，360度视频可通过等距矩形投影被投影在2D图像上。参照图10的(b)，360度视频数据可仅存在于2D图像的特定区域上。此时，可进一步在元数据中以像素值的形式包括关于2D图像的存在360度视频数据的区域的水平长度信息。
由于与360度视频的支持范围有关的信息作为360度视频相关元数据被发送至接收方，传输容量和可扩展性可改进。根据内容，可仅拍摄俯仰和偏航区域，而非整个3D空间(例如，球面)。在这种情况下，即使当360度视频数据被投影在2D图像上时，360度视频数据可仅存在于2D图像的一部分上。由于指示投影有360度视频数据的那部分2D图像的元数据被发送，所以接收方可仅处理那部分2D图像。另外，由于通过2D图像的剩余部分发送附加数据，所以传输容量可增加。
参照图10的(c)、图10的(d)和图10的(e)，如先前所描述的，与vr_geometry字段有关的元数据可提供关于各个指示的3D模型(球体、立方体、圆柱体或锥体)的详细信息。
在vr_geometry字段指示3D模型为球体的情况下，与vr_geometry字段有关的元数据可包括sphere_radius字段。sphere_radius字段可指示3D模型(即，球体)的半径。
在vr_geometry字段指示3D模型是圆柱体的情况下，与vr_geometry字段有关的元数据可包括cylinder_radius字段和/或cylinder_height字段。如图10的(c)所示，这两个字段可指示3D模型(即，圆柱体)的顶部/底部的半径以及圆柱体的高度。
在vr_geometry字段指示3D模型是锥体的情况下，与vr_geometry字段有关的元数据可包括pyramid_front_width字段、pyramid_front_height字段和/或pyramid_height字段。如图10的(d)所示，这三个字段可指示3D模型(即，锥体)的前侧的水平长度(宽度)、锥体的前侧的垂直长度(高度)以及锥体的高度。锥体的高度可以是从锥体的前侧到顶点的垂直高度。
在vr_geometry字段指示3D模型是立方体的情况下，与vr_geometry字段有关的元数据可包括cube_front_width字段、cube_front_height字段和/或cube_height字段。如图10的(e)所示，这三个字段可指示3D模型(即，立方体)的前侧的水平长度(宽度)、立方体的前侧的垂直长度(高度)以及立方体的高度。
图11是示出根据本发明的实施方式的投影方案的示图。
参照图11的(a)、图11的(b)和图11的(c)，如先前所描述的，与projection_scheme字段有关的元数据可提供关于projection_scheme字段所指示的投影方案的详细信息。
在projection_scheme字段指示投影方案是等距矩形投影方案或基于拼块的投影方案的情况下，与projection_scheme字段有关的元数据可包括sphere_radius字段。sphere_radius字段可指示在投影时应用的球体的半径。
通过相机获取的360度视频数据可作为球面出现(参见图11的(a))。球面上的各个点可在球坐标系中使用r(球体的半径)、θ(绕z轴的旋转方向和旋转程度)和(x-y平面朝着z轴的旋转方向和旋转程度)来表示。sphere_radius可指示r的值。在一些实施方式中，球面可与世界坐标系一致，或者前相机的主点可被假设为球面的(r,0,0)点。
在投影期间，球面上的360度视频数据可与使用XY坐标表示的2D图像映射。2D图像的左上为XY坐标系的原点(0,0)，从该原点，x轴坐标值可在向右方向上增大，y轴坐标值可在向下方向上增大。此时，球面上的360度视频数据可如下转换到XY坐标系。
其中θ0是投影的中央子午线，在等距矩形投影中可被固定为0。在XY坐标系的x和y范围为和-π/2*r≤y≤π/2*r的情况下，θ和的范围可为-π+θ0≤θ≤π+θ0和
转换到XY坐标系的值(x,y)可如下转换为2D图像上的(X,Y)像素。
其中Kx和Ky可以是在2D图像上执行投影时2D图像的X轴和Y轴的缩放因子。Kx可以是(映射的图像的宽度)/Ky可以是(映射的图像的高度)/πr。XO可以是指示根据Kx的值缩放的x坐标值向x轴的移动程度的偏移值，YO可以是指示根据Ky的值缩放的y坐标值向y轴的移动程度的偏移值。
在等距矩形投影时，球面上的(r,θ0,0)(即，θ＝θ0且的点)可与2D图像的中心像素映射。另外，前相机的主点可被假设为球面的(r,0,0)点。另外，可被固定为0。另外，在2D图像的左上像素被定位于XY坐标系的(0,0)的情况下，偏移值可被表示为XO＝Kx*π*r和YO＝-Ky*π/2*r。可利用其如下执行向XY坐标系的转换。
X＝Kx*x+Xo＝Kx*(π+0-θ0)*r
例如，在θ0＝0的情况下，即，在2D图像的中心像素指示球面上具有θ＝0的数据的情况下，球面可与2D图像上基于(0,0)具有水平长度(宽度)＝2Kxπr和垂直长度(高度)＝Kxπr的区域映射。球面上具有的数据可与2D图像上的整个上侧映射。另外，球面上具有(r,π/2,0)的数据可与2D图像上的点(3πKxr/2,πKxr/2)映射。
接收方可将360视频数据重新投影在球面上的2D图像上，其可由下面的转换式表示。
θ＝θ0+X/Kx*r-π
例如，2D图像上具有XY坐标值(Kxπr,0)的像素可被重新投影在球面上θ＝θ0且的点上。
在使用等距矩形投影方案的情况下，center_theta字段可具有与θ0的值相同的值。
在使用基于拼块的投影方案的情况下，投影处理单元可将球面上的360度视频数据分割成一个或更多个区域，并且可将360度视频数据的分割区域投影在2D图像上，如图11的(b)所示。
在projection_scheme字段指示投影方案是立方体投影方案的情况下，与projection_scheme字段有关的元数据可包括cube_front_width字段、cube_front_height字段和/或cube_height字段。这三个字段可指示在投影时应用的立方体的前侧的水平长度(宽度)、立方体的前侧的垂直长度(高度)以及立方体的高度。
在projection_scheme字段指示投影方案是立方体投影方案的情况下，与projection_scheme字段有关的元数据可包括cube_front_width字段、cube_front_height字段和/或cube_height字段。这三个字段可指示在投影时应用的立方体的前侧的水平长度(宽度)、立方体的前侧的垂直长度(高度)和立方体的高度。立方体投影方案先前已描述。前侧可以是包括通过前相机获取的360度视频数据的区域。
在projection_scheme字段指示投影方案是圆柱体投影方案的情况下，与projection_scheme字段有关的元数据可包括cylinder_radius字段和/或cylinder_height字段。这两个字段可指示在投影时应用的圆柱体的顶部/底部的半径以及圆柱体的高度。圆柱体投影方案先前已描述。
在projection_scheme字段指示投影方案是锥体投影方案的情况下，与projection_scheme字段有关的元数据可包括pyramid_front_width字段、pyramid_front_height字段和/或pyramid_height字段。这三个字段可指示在投影时应用的锥体的前侧的水平长度(宽度)、锥体的前侧的垂直长度(高度)以及锥体的高度。锥体的高度可以是从锥体的前侧到顶点的垂直高度。锥体投影方案先前已描述。前侧可以是包括通过前相机获取的360度视频数据的区域。
对于锥体投影方案，与projection_scheme字段有关的元数据还可包括pyramid_front_rotation字段。pyramid_front_rotation字段可指示锥体的前侧的旋转的程度和方向。图11的(c)示出前侧没有旋转的情况(t11010)和前侧旋转45度的情况(t11020)。在前侧没有旋转的情况下，如所示最终获得投影有视频的2D图像(t11030)。
图12是示出根据本发明的另一实施方式的投影方案的示图。
在projection_scheme字段指示投影方案是全景投影方案的情况下，与projection_scheme字段有关的元数据可包括panorama_height字段。在使用全景投影方案的情况下，投影处理单元可仅将球面上的360度视频数据的侧面投影在2D图像上，如图12的(d)所示。这可与圆柱体投影方案既没有顶部也没有底部的情况相同。panorama_height字段可指示在投影时应用的全景的高度。
在projection_scheme字段指示在没有拼接的情况下执行投影的情况下，与projection_scheme字段有关的元数据可不包括附加字段。当在没有拼接的情况下执行投影时，投影处理单元可将360度视频数据作为整体投影在2D图像上，如图12的(e)所示。在这种情况下，不执行拼接，并且通过相机获取的各个图像可作为整体投影在2D图像上。
在所示的实施方式中，两个图像在没有拼接的情况下被投影在2D图像上。各个图像可以是通过球面相机的传感器获取的鱼眼图像。如先前所描述的，可在接收方执行拼接。
图13是示出根据本发明的实施方式的IntrinsicCameraParametersBox类和ExtrinsicCameraParametersBox类的示图。
上述intrinsic_camera_params字段可包括相机的内在参数。该字段可如所示根据IntrinsicCameraParametersBox类来定义(t14010)。
IntrinsicCameraParametersBox类可包括将图像点的像素坐标与相机参考系中的点的坐标链接的相机参数。
IntrinsicCameraParametersBox类可包括ref_view_id字段、prec_focal_length字段、prec_principal_point字段、prec_skew_factor字段、exponent_focal_length_x字段、mantissa_focal_length_x字段、exponent_focal_length_y字段、mantissa_focal_length_y字段、exponent_principal_point_x字段、mantissa_principal_point_x字段、exponent_principal_point_y字段、mantissa_principal_point_y字段、exponent_skew_factor字段和/或mantissa_skew_factor字段。
ref_view_id字段可指示标识相机的视图的view_id。prec_focal_length字段可指定focal_length_x和focal_length_y允许的最大截断误差的指数。这可被表示成2-prec_focal_length。prec_principal_point字段可指定principal_point_x和principal_point_y允许的最大截断误差的指数。这可被表示成2-prec_principal_point。
prec_skew_factor字段可指定偏斜因子允许的最大截断误差的指数。这可被表示成2prec_skew_factor。
exponent_focal_length_x字段可指示水平方向上的焦距的指数部分。mantissa_focal_length_x字段可指示第i相机在水平方向上的焦距的尾数部分。exponent_focal_length_y字段可指示垂直方向上的焦距的指数部分。mantissa_focal_length_y字段可指示垂直方向上的焦距的尾数部分。
exponent_principal_point_x字段可指示水平方向上的主点的指数部分。mantissa_principal_point_x字段可指示水平方向上的主点的尾数部分。exponent_principal_point_y字段可指示垂直方向上的主点的指数部分。mantissa_principal_point_y字段可指示垂直方向上的主点的尾数部分。
exponent_skew_factor字段可指示偏斜因子的指数部分。mantissa_skew_factor字段可指示偏斜因子的尾数部分。
上述extrinsic_camera_params字段可包括相机的外在参数。该字段可如所示根据ExtrinsicCameraParametersBox类来定义(t14020)。
ExtrinsicCameraParametersBox类可包括基于世界坐标系(称为世界参考系)限定相机参考系的位置和取向的相机参数。即，这可包括基于世界坐标系指示各个相机的旋转和平移的细节的参数。
ExtrinsicCameraParametersBox类可包括ref_view_id字段、prec_rotation_param字段、prec_translation_param字段、exponent_r[j][k]字段、mantissa_r[j][k]字段、exponent_t[j]字段和/或mantissa_t[j]字段。
ref_view_id字段可指示标识与外在相机参数有关的视图的view_id。
prec_rotation_param字段可指定r[j][k]允许的最大截断误差的指数部分。这可被表示成2-prec_rotation_param。prec_translation_param字段可指定t[j]允许的最大截断误差的指数部分。这可被表示成2-prec_translation_param。
exponent_r[j][k]字段可指定旋转矩阵的(j,k)分量的指数部分。mantissa_r[j][k]字段可指定旋转矩阵的(j,k)分量的尾数部分。exponent_t[j]字段可指定平移向量的第j分量的指数部分。这可具有介于0和62之间的值。mantissa_t[j]字段可指定平移向量的第j分量的尾数部分。
图14是示出根据本发明的实施方式的HDRConfigurationBox类的示图。
HDRConfigurationBox类可提供与360度视频有关的HDR信息。
HDRConfigurationBox类可包括hdr_param_set字段、hdr_type_transition_flag字段、hdr_sdr_transition_flag字段、sdr_hdr_transition_flag字段、sdr_compatibility_flag字段和/或hdr_config_flag字段。hdr_config_flag字段可指示是否包括与HDR有关的详细参数信息。根据hdr_config_flag字段的值，HDRConfigurationBox类可包括OETF_type字段、max_mastering_display_luminance字段、min_mastering_display_luminance字段、average_frame_luminance_level字段和/或max_frame_pixel_luminance字段。
hdr_param_set字段可标识HDR相关信息遵循的HDR相关参数的组合。例如，在该字段为1的情况下，所应用的HDR相关参数可如下：EOTF可为SMPTE ST2084，比特深度可为12比特/像素，峰亮度可为10000nit，编解码器可以是双HEVC编解码器(HEVC+HEVC)，元数据可为SMPTE ST 2086和SMPTE ST 2094。在该字段为2的情况下，所应用的HDR相关参数可如下：EOTF可为SMPTE ST2084，比特深度可为10比特/像素，峰亮度可为4000nit，编解码器可以是单个HEVC编解码器，元数据可为SMPTE ST 2086和SMPTE ST 2094。在该字段为3的情况下，所应用的HDR相关参数可如下：EOTF可为BBC EOTF，比特深度可为10比特/像素，峰亮度可为1000nit，编解码器可以是单个HEVC编解码器。
hdr_type_transition_flag字段可以是指示视频数据的HDR信息是否改变，因此应用另一类型的HDR信息的标志。hdr_sdr_transition_flag字段可以是指示视频数据是否从HDR改变为SDR的标志。sdr_hdr_transition_flag字段可以是指示视频数据是否从SDR改变为HDR的标志。sdr_compatibility_flag字段可以是指示视频数据是否与SDR解码器或SDR显示器兼容的标志。
OETF_type字段可指示视频数据的源OETF(光电传递函数)的类型。当该字段的值为1、2或3时，类型可为ITU-R BT.1886、ITU-R BT.709或ITU-R BT.2020。另外的值可为未来使用预留。
max_mastering_display_luminance字段可指示视频数据的母版显示的峰亮度值。该值可以是介于100和1000之间的整数。
min_mastering_display_luminance字段可指示视频数据的母版显示的最小亮度值。该值可以是介于0和0.1之间的小数。
对于一个视频样本，average_frame_luminance_level字段可指示亮度级别的平均值。另外，对于样本组或视频轨道(流)，该字段可指示属于其的样本的亮度级别的平均值的最大数量。
对于一个视频样本，max_frame_pixel_luminance字段可指示像素亮度值的最大值。另外，对于样本组或视频轨道(流)，该字段可指示属于其的样本的最大像素亮度值中的最大一个。
上述字段所描述的“360度视频数据”可以是媒体文件中的视频轨道、视频样本组或视频样本。根据字段所描述的对象，各个字段的描述范围可改变。例如，hdr_type_transition_flag字段可指示视频轨道是否从HDR转换为SDR，或者可指示一个视频样本是否从HDR转换为SDR。
图15是示出根据本发明的实施方式的CGConfigurationBox类的示图。
CGConfigurationBox类可提供与360度视频有关的WCG信息。在生成360度视频数据时可定义CGConfigurationBox类以便存储并用信号通知与视频轨道(流)或样本有关的色域信息(t15010)。
CGConfigurationBox类可用于表示360度视频的内容色域或容器色域。为了用信号通知360度视频数据的内容色域和容器色域二者，WCG相关元数据可包括具有CGConfigurationBox类的container_wcg_config字段和content_wcg_config字段。
CGConfigurationBox类可包括color_gamut_type字段、color_space_transition_flag字段、wcg_scg_transition_flag字段、scg_wcg_transition_flag字段、scg_compatibility_flag字段和/或color_primary_flag字段。另外，根据color_primary_flag字段的值，该类还可包括color_primaryRx字段、color_primaryRy字段、color_primaryGx字段、color_primaryGy字段、color_primaryBx字段、color_primaryBy字段、color_whitePx字段和/或color_whitePy字段。
color_gamut_type字段可指示用于360度视频数据的色域的类型。当用信号通知内容色域时，该字段可指示源基色的色度坐标。当用信号通知容器色域时，该字段可指示在编码/解码时使用(可使用)的基色的色度坐标。根据该字段的值，可指示视频可用性信息(VUI)的基色的值。在一些实施方式中，该字段的值可如所示指示(t15020)。
当用信号通知内容色域时，color_space_transition_flag字段可以是指示用于视频数据的源基色的色度坐标是否改变为其它色度坐标的标志。当用信号通知容器色域时，该字段可以是指示在编码/解码时使用(可使用)的基色的色度坐标是否改变为其它色度坐标的标志。
当用信号通知内容色域时，wcg_scg_transition_flag字段可以是指示视频数据是否从宽色域(WCG)转换到标准色域(SCG)的标志。当用信号通知容器色域时，该字段可以是指示容器色域是否从WCG转换到SCG的标志。例如，在执行从BT.2020的WCG到BT.709的SCG的转换的情况下，该字段的值可被设定为1。
当用信号通知内容色域时，scg_wcg_transition_flag字段可以是指示视频数据是否从SCG转换到WCG的标志。当用信号通知容器色域时，该字段可以是指示容器色域是否从SCG转换到WCG的标志。例如，在执行从BT.709的SCG到BT.2020的WCG的情况下，该字段的值可被设定为1。
当用信号通知内容色域时，scg_compatibility_flag字段可以是指示WCG视频是否与基于SCG的解码器或显示器兼容的标志。当用信号通知容器色域时，该字段可以是指示容器色域是否与基于SCG的解码器或显示器兼容的标志。即，在使用现有基于SCG的解码器或显示器的情况下，可通过该字段确定在没有单独的映射信息或升级的情况下是否可没有质量问题地输出WCG视频。
当用信号通知内容色域时，color_primary_flag字段可以是指示是否存在关于视频的基色的色度坐标的详细信息的标志。在color_gamut_type字段指示“未指定”的情况下，可提供关于视频的基色的色度坐标的详细信息。当用信号通知容器色域时，该字段可指示是否存在与在编码/解码时使用(可使用)的基色的色度坐标有关的详细信息。如先前所描述的，在color_primary_flag字段被设定为1的情况下，即，在指示存在详细信息的情况下，可添加以下字段。
当用信号通知内容色域时，color_primaryRx字段和color_primaryRy字段可指示视频源的R颜色的x坐标值和y坐标值。这可以是介于0和1之间的小数。当用信号通知容器色域时，这些字段可指示在编码/解码时使用(可使用)的基色的R颜色的x坐标值和y坐标值。
当用信号通知内容色域时，color_primaryGx字段和color_primaryGy字段可指示视频源的G颜色的x坐标值和y坐标值。这可以是介于0和1之间的小数。当用信号通知容器色域时，这些字段可指示在编码/解码时使用(可使用)的基色的G颜色的x坐标值和y坐标值。
当用信号通知内容色域时，color_primaryBx字段和color_primaryBy字段可指示视频源的B颜色的x坐标值和y坐标值。这可以是介于0和1之间的小数。当用信号通知容器色域时，这些字段可指示在编码/解码时使用(可使用)的基色的B颜色的x坐标值和y坐标值。
当用信号通知内容色域时，color_whitePx字段和color_whitePy字段可指示视频源的白色点的x坐标值和y坐标值。这可以是介于0和1之间的小数。当用信号通知容器色域时，这些字段可指示在编码/解码时使用(可使用)的基色的白色点的x坐标值和y坐标值。
图16是示出根据本发明的实施方式的RegionGroupBox类的示图。
如先前所描述的，RegionGroupBox类可描述关于各个区域的一般信息，而与所使用的投影方案无关。RegionGroup类可描述关于上述投影的帧或打包的帧的区域的信息。
RegionGroupBox类可包括group_id字段、coding_dependency字段和/或num_regions字段。根据num_regions字段的值，RegionGroupBox类还可包括各个区域的region_id字段、horizontal_offset字段、vertical_offset字段、region_width字段和/或region_height字段。
group_id字段可指示各个区域所属的组的标识符。coding_dependency字段可指示区域之间的编码依赖性的形式。该字段可指示不存在编码依赖性(可针对各个区域独立地执行编码的情况)或者区域之间存在编码依赖性。
num_regions字段可指示视频轨道或者轨道中的样本组或样本中所包括的区域的数量。例如，在一个视频轨道的各个视频帧中包括所有区域信息的情况下，该字段可指示构成一个视频帧的区域的数量。
region_id字段可指示各个区域的标识符。horizontal_offset字段和vertical_offset字段可指示2D图像上的区域的左上像素的x坐标和y坐标。另选地，这些字段可指示左上像素的水平偏移值和垂直偏移值。region_width字段和region_height字段可指示区域的水平长度像素和垂直长度像素。
在RegionGroupBox类的实施方式(t17010)中，RegionGroupBox类还可包括surface_center_pitch字段、surface_pitch_angle字段、surface_center_yaw字段、surface_yaw_angle字段、surface_center_roll字段和/或surface_roll_angle字段。
surface_center_pitch字段、surface_center_yaw字段和surface_center_roll字段可分别指示当区域被定位于3D空间中时正中心像素的俯仰值、偏航值和横滚值。
surface_pitch_angle字段、surface_yaw_angle字段和surface_roll_angle字段可分别指示当区域被定位于3D空间中时俯仰的最小值和最大值之差、偏航的最小值和最大值之差以及横滚的最小值和最大值之差。
在RegionGroupBox类的另一实施方式(t17020)中，RegionGroupBox类还可包括min_surface_pitch字段、max_surface_pitch字段、min_surface_yaw字段、max_surface_yaw字段、min_surface_roll字段和/或max_surface_roll字段。
min_surface_pitch字段和max_surface_pitch字段可分别指示当区域被定位于3D空间中时俯仰的最小值和最大值。min_surface_yaw字段和max_surface_yaw字段可分别指示当区域被定位于3D空间中时偏航的最小值和最大值。min_surface_roll字段和max_surface_roll字段可分别指示当区域被定位于3D空间中时横滚的最小值和最大值。
图17是示出根据本发明的实施方式的RegionGroup类的示图。
如先前所描述的，RegionGroup类可基于投影方案以projection_scheme字段作为变量描述关于各个区域的详细信息。
按照与上述RegionGroupBox类相同的方式，RegionGroup类可包括group_id字段、coding_dependency字段和/或num_regions字段。根据num_regions字段的值，RegionGroup类还可包括各个区域的region_id字段、horizontal_offset字段、vertical_offset字段、region_width字段和/或region_height字段。各个字段的定义与上面的描述相同。
基于各个投影方案，RegionGroup类可包括sub_region_flag字段、region_rotation_flag字段、region_rotation_axis字段、region_rotation字段和/或区域信息。
sub_region_flag字段可指示区域是否被分割成子区域。region_rotation_flag字段可指示在360度视频数据被投影在2D图像上之后区域是否旋转。
region_rotation_axis字段可指示当360度视频数据旋转时的旋转轴。当该字段的值为0x0和0x1时，该字段可指示绕图像的垂直轴和水平轴执行了旋转。region_rotation字段可指示当360度视频数据旋转时的旋转方向和旋转程度。
RegionGroup类可根据投影方案不同地描述关于各个区域的信息。
在projection_scheme字段指示投影方案是等距矩形投影方案或基于拼块的投影方案的情况下，RegionGroup类可包括min_region_pitch字段、max_region_pitch字段、min_region_yaw字段、max_region_yaw字段、min_region_roll字段和/或max_region_roll字段。
min_region_pitch字段和max_region_pitch字段可分别指示3D空间中重新投影区域的区域的俯仰的最小值和最大值。当所拍摄的360度视频数据出现在球面上时，这些字段可指示球面上的的最小值和最大值。
min_region_yaw字段和max_region_yaw字段可分别指示3D空间中重新投影区域的区域的偏航的最小值和最大值。当所拍摄的360度视频数据出现在球面上时，这些字段可指示球面上的θ的最小值和最大值。
min_region_roll字段和max_region_roll字段可分别指示3D空间中重新投影区域的区域的横滚的最小值和最大值。
在projection_scheme字段指示投影方案是立方体投影方案的情况下，RegionGroup类可包括cube_face字段。在sub_region_flag字段指示区域被分割成子区域的情况下，RegionGroup类可包括在cube_face字段所指示的面中的子区域的区域信息，即，sub_region_horizental_offset字段、sub_region_vertical_offset字段、sub_region_width字段和/或sub_region_height字段。
cube_face字段可指示区域对应于在投影时应用的立方体的哪一面。例如，当该字段的值为0x00、0x01、0x02、0x03、0x04和0x05时，区域可分别对应于立方体的前侧、左侧、右侧、后侧、顶侧和底侧。
sub_region_horizental_offset字段和sub_region_vertical_offset字段可分别指示子区域的左上像素的水平偏移值和垂直偏移值。即，这两个字段可基于区域的左上像素指示子区域的左上像素的相对x坐标值和y坐标值。
sub_region_width字段和sub_region_height字段可分别指示子区域的水平长度(宽度)和垂直长度(高度)作为像素值。
当在3D空间中重新投影子区域时，可基于horizontal_offset字段、sub_region_horizental_offset字段和sub_region_width字段的值来类推在3D空间中子区域所占据的区域的最小/最大水平长度(宽度)。在一些实施方式中，还可包括min_sub_region_width字段和max_sub_region_width字段以便明确地用信号通知最小/最大水平长度。
另外，当在3D空间中重新投影子区域时，可基于vertical_offset字段、sub_region_vertical_offset字段和sub_region_height字段的值来类推在3D空间中子区域所占据的区域的最小/最大垂直长度(高度)。在一些实施方式中，还可包括min_sub_region_height字段和max_sub_region_height字段以便明确地用信号通知最小/最大垂直长度。
在projection_scheme字段指示投影方案是圆柱体投影方案的情况下，RegionGroup类可包括cylinder_face字段。在sub_region_flag字段指示区域被分割成子区域的情况下，RegionGroup类可包括sub_region_horizental_offset字段、sub_region_vertical_offset字段、sub_region_width字段、sub_region_height字段、min_sub_region_yaw字段和/或max_sub_region_yaw字段。
cylinder_face字段可指示区域对应于在投影时应用的圆柱体的哪一面。例如，当该字段的值为0x00、0x01和0x02时，区域可分别对应于圆柱体的侧面、顶部和底部。
sub_region_horizental_offset字段、sub_region_vertical_offset字段、sub_region_width字段和sub_region_height字段先前已描述。
min_sub_region_yaw字段和max_sub_region_yaw字段可分别指示3D空间中重新投影区域的区域的偏航的最小值和最大值。当所拍摄的360度视频数据出现在球面上时，这些字段可指示球面上的θ的最小值和最大值。由于应用圆柱体投影方案，所以仅用信号通知关于偏航的信息就足够了。
在projection_scheme字段指示投影方案是锥体投影方案的情况下，RegionGroup类可包括pyramid_face字段。在sub_region_flag字段指示区域被分割成子区域的情况下，RegionGroup类可包括sub_region_horizental_offset字段、sub_region_vertical_offset字段、sub_region_width字段、sub_region_height字段、min_sub_region_yaw字段和/或max_sub_region_yaw字段。sub_region_horizental_offset字段、sub_region_vertical_offset字段、sub_region_width字段和sub_region_height字段先前已描述。
pyramid_face字段可指示区域对应于在投影时应用的锥体的哪一面。例如，当该字段的值为0x00、0x01、0x02、0x03和0x04时，区域可分别对应于锥体的前侧、左上侧、左下侧、右上侧和右下侧。
在projection_scheme字段指示投影方案是全景投影方案的情况下，RegionGroup类可包括min_region_yaw字段、max_region_yaw字段、min_region_height字段和/或max_region_height字段。min_region_yaw字段和max_region_yaw字段先前已描述。
min_region_height字段和max_region_height字段可分别指示3D空间中重新投影区域的区域的垂直长度(高度)的最小值和最大值。由于应用全景投影方案，所以仅用信号通知关于偏航和垂直长度的信息就足够了。
在projection_scheme字段指示在没有拼接的情况下执行投影的情况下，RegionGroup类可包括ref_view_id字段。ref_view_id字段可指示具有区域的内在/外在相机参数的IntrinsicCameraParametersBox/ExtrinsicCameraParametersBox类的ref_view_id字段以便将区域与该区域相关的内在/外在相机参数关联。
图18是示出根据本发明的实施方式的媒体文件的结构的示图。
图19是示出根据本发明的实施方式的ISOBMFF中的盒的分层结构的示图。
可定义标准化的媒体文件格式以存储和发送诸如音频或视频的媒体数据。在一些实施方式中，媒体文件可具有基于ISO基础媒体文件格式(ISO BMFF)的文件格式。
根据本发明的媒体文件可包括至少一个盒。这里，术语“盒”可以是包括媒体数据或者与媒体数据有关的元数据的数据块或对象。盒可具有分层结构，基于该分层结构来对数据排序，使得媒体文件具有适合于存储和/或发送大容量媒体数据的形式。另外，媒体文件可具有使得用户能够容易地访问媒体信息(例如，使得用户能够移到媒体内容中的特定点)的结构。
根据本发明的媒体文件可包括ftyp盒、moov盒和/或mdat盒。
ftyp盒(文件类型盒)可提供媒体文件的文件类型或者与其兼容性有关的信息。ftyp盒可包括关于媒体文件的媒体数据的配置版本信息。解码器可参照ftyp盒来对媒体文件进行排序。
moov盒(电影盒)可以是包括关于媒体文件的媒体数据的元数据的盒。moov盒可用作所有元数据的容器。moov盒可以是元数据相关盒中级别最高的一个。在一些实施方式中，媒体文件中可仅存在一个moov盒。
mdat盒(媒体数据盒)可以是包含媒体文件的实际媒体数据的盒。媒体数据可包括音频样本和/或视频样本。mdat盒可用作包含这些媒体样本的容器。
在一些实施方式中，moov盒还可包括mvhd盒、trak盒和/或mvex盒作为下级盒。
mvhd盒(电影头盒)可包括与媒体文件中所包括的媒体数据的媒体呈现有关的信息。即，mvhd盒可包括诸如媒体呈现的媒体制作时间、改变时间、时间标准和周期的信息。
trak盒(轨道盒)可提供与媒体数据的轨道有关的信息。trak盒可包括诸如关于音频轨道或视频轨道的流相关信息、呈现相关信息和访问相关信息的信息。根据轨道的数量，可存在多个trak盒。
在一些实施方式中，trak盒还可包括tkhd盒(轨道头盒)作为下级盒。tkhd盒可包括关于trak盒所指示的轨道的信息。tkhd盒可包括诸如轨道的制作时间、改变时间和标识符的信息。
mvex盒(电影扩展盒)可指示媒体文件中可包括moof盒(将随后描述)。可扫描moof盒以便知道特定轨道的所有媒体样本。
在一些实施方式中，根据本发明的媒体文件可被分割成多个片段(t18010)。结果，媒体文件可在分割的状态下存储或发送。媒体文件的媒体数据(mdat盒)可被分割成多个片段，各个片段可包括一个moof盒和mdat盒的一个分割部分。在一些实施方式中，可能需要ftyp盒和/或moov盒的信息以便使用这些片段。
moof盒(电影片段盒)可提供关于片段的媒体数据的元数据。moof盒可以是片段的元数据相关盒中级别最高的一个。
如先前所描述的，mdat盒(媒体数据盒)可包括实际媒体数据。mdat盒可包括与片段对应的媒体数据的媒体样本。
在一些实施方式中，moof盒还可包括mfhd盒和/或traf盒作为下级盒。
mfhd盒(电影片段头盒)可包括与分割的片段之间的相关性有关的信息。mfhd盒可指示片段的媒体数据的序列号。另外，可使用mfhd盒来检查是否存在分割的数据的省略部分。
traf盒(轨道片段盒)可包括关于轨道片段的信息。traf盒可提供与片段中所包括的分割的轨道片段有关的元数据。traf盒可提供元数据以便解码/再现轨道片段中的媒体样本。根据轨道片段的数量，可存在多个traf盒。
在一些实施方式中，traf盒还可包括tfhd盒和/或trun盒作为下级盒。
tfhd盒(轨道片段头盒)可包括轨道片段的头信息。tfhd盒可提供诸如traf盒所指示的轨道片段的媒体样本的基本样本大小、周期、偏移和标识符的信息。
trun盒(轨道片段运行盒)可包括与轨道片段有关的信息。trun盒可包括诸如各个媒体样本的周期、大小和再现开始时间的信息。
媒体文件或媒体文件的片段可作为分段被处理和发送。分段可包括初始化分段和/或媒体分段。
所示实施方式的文件(t18020)可以是除了媒体文件之外，包括与媒体解码器的初始化有关的信息的文件。例如，该文件可对应于初始化分段。初始化分段可包括ftyp盒和/或moov盒。
所示实施方式的文件(t18030)可以是包括片段的文件。例如，该文件可对应于媒体分段。媒体分段可包括moof盒和/或mdat盒。另外，媒体分段还可包括styp盒和/或sidx盒。
styp盒(分段类型盒)可提供用于标识分割的片段的媒体数据的信息。styp盒可针对分割的片段执行与ftyp盒相同的功能。在一些实施方式中，styp盒可具有与ftyp盒相同的格式。
sidx盒(分段索引盒)可提供指示分割的片段的索引的信息，通过该索引，可指示分割的片段的序列号。
在一些实施方式(t18040)中，还可包括ssix盒。在分段被分割成子分段的情况下，ssix盒(子分段索引盒)可提供指示子分段的索引的信息。
媒体文件中的盒还可包括基于实施方式(t18050)所示的盒或FullBox的形式的扩展信息。在此实施方式中，size字段和largesize字段可按照字节为单位指示盒的长度。version字段可指示盒格式的版本。type字段可指示盒的类型或标识符。flags字段可指示与盒有关的标志。
图20是示出根据本发明的实施方式的在各个盒中传送被定义为OMVideoConfigurationBox类的360度视频相关元数据的示图。
如先前所描述的，360度视频相关元数据可具有定义为OMVideoConfigurationBox类的盒的形式。根据上述所有实施方式的360度视频相关元数据可被定义为OMVideoConfigurationBox类。在这种情况下，根据各个实施方式，该盒中可包括信令字段。
在基于ISOBMFF或通用文件格式(CFF)的文件格式来存储和发送360度视频数据的情况下，在具有ISOBMFF文件格式的各个盒中可包括定义为OMVideoConfigurationBox类的360度视频相关元数据。这样，360度视频相关元数据可与360度视频数据一起存储并用信号通知。
如先前所描述的，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在诸如文件、片段、轨道、样本条目和样本的各种级别中来传送。根据360度视频相关元数据被包括在的级别，360度视频相关元数据可提供关于对应级别(轨道、流、样本组、样本、样本条目等)的数据的元数据。
在本发明的实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在tkhd盒中来传送(t20010)。在这种情况下，tkhd盒可包括具有OMVideoConfigurationBox类的omv_flag字段和/或omv_config字段。
omv_flag字段可以是指示视频轨道中是否包括360度视频(或全向视频)的标志。当该字段的值为1时，视频轨道中可包括360度视频。当该字段的值为0时，视频轨道中可不包括360度视频。omv_config字段可根据omv_flag字段的值而存在。
omv_config字段可根据OMVideoConfigurationBox类提供关于包括在视频轨道中的360度视频的元数据。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在vmhd盒中来传送。这里，作为trak盒的下级盒，vmhd盒(视频媒体头盒)可提供关于视频轨道的一般呈现相关信息。在这种情况下，以相同的方式，vmhd盒可包括具有OMVideoConfigurationBox类的omv_flag字段和/或omv_config字段。这些字段先前已描述。
在一些实施方式中，360度视频相关元数据可被同时包括在tkhd盒和vmhd盒中。在这种情况下，包括在各个盒中的360度视频相关元数据可遵循360度视频相关元数据的不同实施方式。
在360度视频相关元数据被同时包括在tkhd盒和vmhd盒中的情况下，定义在tkhd盒中的360度视频相关元数据的值可被定义在vmhd盒中的360度视频相关元数据的值覆盖。即，在定义在两个盒中的360度视频相关元数据的值彼此不同的情况下，可使用vmhd盒中的值。在vmhd盒中不包括360度视频相关元数据的情况下，可使用tkhd盒中的360度视频相关元数据。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的元数据可被包括在trex盒中来传送。在视频流在被分成一个或更多个电影片段的同时在ISOBMFF中传送的情况下，360度视频相关元数据可被包括在trex盒中来传送。这里，作为mvex盒的下级盒，trex盒(轨道扩展盒)可设置各个电影片段所使用的默认值。该盒可提供默认值以便减小traf盒中的空间的大小和复杂度。在这种情况下，trex盒可包括具有OMVideoConfigurationBox类的default_sample_omv_flag字段和/或default_sample_omv_config字段。
default_sample_omv_flag字段可以是指示电影片段的视频轨道片段中是否包括360度视频样本的标志。当该字段的值为1时，这可指示默认包括360度视频样本。在这种情况下，trex盒还可包括default_sample_omv_config字段。
default_sample_omv_config字段可根据OMVideoConfigurationBox类提供与适用于轨道片段的视频样本的360度视频有关的详细元数据。这些元数据可默认应用于轨道片段中的样本。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在tfhd盒中来传送(t20020)。在视频流在被分成一个或更多个电影片段的同时在ISOBMFF中传送的情况下，360度视频相关元数据可被包括在tfhd盒中来传送。在这种情况下，以相同的方式，tfhd盒可包括具有OMVideoConfigurationBox类的omv_flag字段和/或omv_config字段。这些字段先前已描述。然而，在这种情况下，这两个字段可针对包括在电影片段中的轨道片段的360度视频描述与360度视频有关的详细参数。
在一些实施方式中，当360度视频相关元数据被包括在tfhd盒中来传送时，可省略omv_flag字段，并且可包括default_sample_omv_config字段以代替omv_config字段(t20030)。
在这种情况下，可由tfhd盒的tr_flags字段指示tfhd盒中是否包括360度视频相关元数据。例如，在tr_flags字段包括0x400000的情况下，这可指示存在与包括在电影片段的视频轨道片段中的视频样本关联的360度视频相关元数据的默认值。另外，在这种情况下，tfhd盒中可存在default_sample_omv_config字段。default_sample_omv_config字段先前已描述。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在trun盒中来传送。在视频流在被分成一个或更多个电影片段的同时在ISOBMFF中传送的情况下，360度视频相关元数据可被包括在trun盒中来传送。在这种情况下，以相同的方式，trun盒可包括具有OMVideoConfigurationBox类的omv_flag字段和/或omv_config字段。这些字段先前已描述。然而，在这种情况下，这两个字段可描述与通常适用于包括在电影片段中的轨道片段的视频样本的360度视频有关的详细参数。
在一些实施方式中，当360度视频相关元数据被包括在trun盒中来传送时，omv_flag字段可省略。在这种情况下，可由trun盒的tr_flags字段指示trun盒中是否包括360度视频相关元数据。
例如，在tr_flags字段包括0x008000的情况下，这可指示存在通常适用于包括在电影片段的视频轨道片段中的视频样本的360度视频相关元数据。另外，在这种情况下，trun盒中的omv_config字段可根据OMVideoConfigurationBox类提供通常适用于各个视频样本的360度视频相关元数据。此时，omv_config字段可被定位于trun盒中的盒级别。
另外，在tr_flags字段包括0x004000的情况下，这可指示存在适用于电影片段的视频轨道片段中所包括的各个视频样本的360度视频相关元数据。另外，在这种情况下，trun盒可在各个样本级别根据OMVideoConfigurationBox类包括sample_omv_config字段。sample_omv_config字段可提供适用于各个样本的360度视频相关元数据。
在360度视频相关元数据被同时包括在tfhd盒和trun盒中的情况下，tfhd盒中定义的360度视频相关元数据的值可被trun盒中定义的360度视频相关元数据的值覆盖。即，在两个盒中定义的360度视频相关元数据的值彼此不同的情况下，可使用trun盒中的值。在trun盒中不包括360度视频相关元数据的情况下，可使用tfhd盒中的360度视频相关元数据。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在视觉样本组条目中来传送。在相同的360度视频相关元数据适用于存在于一个文件或电影片段中的一个或更多个视频样本的情况下，360度视频相关元数据可被包括在视觉样本组条目中来传送。此时，视觉样本组条目可包括具有OMVideoConfigurationBox类的omv_flag字段和/或omv_config字段。
omv_flag字段可指示样本组是不是360度视频样本组。omv_config字段可根据OMVideoConfigurationBox类描述与通常适用于视频样本组中所包括的360度视频样本的360度视频有关的详细参数。例如，与各个样本组关联的360度视频的初始视图可使用OMVideoConfigurationBox类的initial_view_yaw_degree字段、initial_view_pitch_degree字段和initial_view_roll_degree字段来设定。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在视觉样本条目中来传送。作为将存在于一个文件或电影片段中的各个视频样本解码所需的初始化信息，与各个样本有关的360度视频相关元数据可被包括在视觉样本条目中来传送。此时，视觉样本条目可包括具有OMVideoConfigurationBox类的omv_flag字段和/或omv_config字段。
omv_flag字段可指示视频轨道/样本是否包括360度视频样本。omv_config字段可根据OMVideoConfigurationBox类描述与视频轨道/样本关联的360度视频相关的详细参数。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在HEVC样本条目(HEVCSampleEntry)中来传送。作为用于将存在于一个文件或电影片段中的各个HEVC样本解码的初始化信息，与各个HEVC样本有关的360度视频相关元数据可被包括在HEVC样本条目中来传送。此时，HEVC样本条目可包括具有OMVideoConfigurationBox类的omv_config字段。omv_config字段先前已描述。
以相同的方式，360度视频相关元数据可使用相同的方法被包括在AVCSampleEntry()、AVC2SampleEntry()、SVCSampleEntry()或MVCSampleEntry()中来传送。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在HEVC配置盒(HEVCConfigurationBox)中来传送。作为用于将存在于一个文件或电影片段中的各个HEVC样本解码的初始化信息，与各个HEVC样本有关的360度视频相关元数据可被包括在HEVC配置盒中来传送。此时，HEVC配置盒可包括具有OMVideoConfigurationBox类的omv_config字段。omv_config字段先前已描述。
以相同的方式，360度视频相关元数据可使用相同的方法被包括在AVCConfigurationBox、SVCConfigurationBox或MVCConfigurationBox中来传送。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在HEVCDecoderConfigurationRecord中来传送。作为用于将存在于一个文件或电影片段中的各个HEVC样本解码的初始化信息，与各个HEVC样本有关的360度视频相关元数据可被包括在HEVCDecoderConfigurationRecord中来传送。此时，HEVCDecoderConfigurationRecord可包括具有OMVideoConfigurationBox类的omv_flag字段和/或omv_config字段。omv_flag字段和omv_config字段先前已描述。
以相同的方式，360度视频相关元数据可使用相同的方法被包括在AVCecoderConfigurationRecord、SVCecoderConfigurationRecord和MVCecoderConfigurationRecord中来传送。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在OmnidirectionalMediaMetadataSample中来传送。
360度视频相关元数据可按照元数据样本的形式存储和传送。元数据样本可被定义为OmnidirectionalMediaMetadataSample。OmnidirectionalMediaMetadataSample可包括OMVideoConfigurationBox类中所定义的信令字段。
图21是示出根据本发明的另一实施方式的在各个盒中传送定义为OMVideoConfigurationBox类的360度视频相关元数据的示图。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在VrVideoBox中来传送。
可新定义VrVideoBox以传送360度视频相关元数据。VrVideoBox可包括360度视频相关元数据。VrVideoBox的盒类型可为“vrvd”，并且VrVideoBox可被包括在方案信息盒(“schi”)中来传送。VrVideoBox的SchemeType可为“vrvd”，并且在SchemeType为“vrvd”的情况下，该盒可作为强制盒存在。VrVideoBox可指示包括在轨道中的视频数据是360度视频数据。因此，在schi中的类型值为vrvd的情况下，不支持VR视频的接收机可确认可进行处理，并且可不处理文件格式的数据。
VrVideoBox可包括定义为OMVideoConfigurationBox类的vr_mapping_type字段和/或omv_config字段。
vr_mapping_type字段可以是指示用于将具有球面形式的360度视频数据投影在2D图像格式上的投影方案的整数。该字段可具有与projection_scheme字段相同的含义。
omv_config字段可根据OMVideoConfigurationBox类描述360度视频相关元数据。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在OmnidirectionalMediaMetadataSampleEntry中来传送。
OmnidirectionalMediaMetadataSampleEntry可定义传送360度视频数据的元数据的元数据轨道的样本条目。OmnidirectionalMediaMetadataSampleEntry可包括定义为OMVideoConfigurationBox类的omv_config字段。omv_config字段先前已描述。
在本发明的另一实施方式中，定义为OMVideoConfigurationBox类的360度视频相关元数据可被包括在OMVInformationSEIBox中来传送。
可新定义OMVInformationSEIBox以传送360度视频相关元数据(t21020)。OMVInformationSEIBox可包括包含360度视频相关元数据的SEI NAL单元。SEI NAL单元可包括包含360度视频相关元数据的SEI消息。OMVInformationSEIBox可包括omvinfosei字段。omvinfosei字段可包括包含360度视频相关元数据的SEI NAL单元。360度视频相关元数据先前已描述。
OMVInformationSEIBox可被包括在VisualSampleEntry、AVCSampleEntry、MVCSampleEntry、SVCSampleEntry或HEVCSampleEntry中来传送。
在本发明的另一实施方式中，360度视频相关元数据可通过多个轨道中的特定轨道来传送，其它轨道可仅参考该特定轨道。
如先前所描述的，2D图像可被分割成多个区域，各个区域可被编码，然后通过至少一个轨道存储和传送。这里，术语“轨道”可意指ISOBMFF的文件格式上的轨道。在一些实施方式中，一个轨道可用于存储和传送与一个区域对应的360度视频数据。
此时，各个轨道可根据其内部盒中的OMVideoConfigurationBox而包括360度视频相关元数据，但是仅任何特定轨道可包括360度视频相关元数据。在这种情况下，不包括360度视频相关元数据的其它轨道可包括指示传送360度视频相关元数据的特定轨道的信息。
这里，其它轨道可包括TrackReferenceTypeBox。TrackReferenceTypeBox可以是用于指示其它轨道的盒(t21030)。
TrackReferenceTypeBox可包括track_id字段。track_id字段可以是提供呈现中该轨道与另一轨道之间的参考的整数。该字段不重用，并且不可具有值0。
TrackReferenceTypeBox可具有reference_type作为变量。reference_type可指示TrackReferenceTypeBox所提供的参考类型。
例如，在TrackReferenceTypeBox的reference_type具有“subt”类型的情况下，这可指示该轨道包括TrackReferenceTypeBox的track_id字段所指示的轨道的字幕、定时文本和叠加图形信息。
在本发明中，在TrackReferenceTypeBox的reference_type具有“omvb”类型的情况下，该盒可指示传送360度视频相关元数据的特定轨道。具体地讲，当对包括各个区域的各个轨道进行解码时，可能需要360度视频相关元数据的基础基本层信息。该盒可指示传送基本层信息的特定轨道。
在本发明中，在TrackReferenceTypeBox的reference_type具有“omvm”类型的情况下，该盒可指示传送360度视频相关元数据的特定轨道。具体地讲，360度视频相关元数据可在类似OmnidirectionalMediaMetadataSample()的单独的轨道中存储和传送。该盒可指示该单独的轨道。
当360度视频数据被渲染并提供给用户时，用户可仅观看360度视频的一部分。因此，可能有利的是360度视频数据的区域在不同的轨道中存储和传送。此时，如果各个轨道包括所有360度视频相关元数据，则传输效率和容量可降低。因此，可能有利的是仅特定轨道包括360度视频相关元数据或360度视频相关元数据的基本层信息，其它轨道根据需要使用TrackReferenceTypeBox来访问该特定轨道。
根据本发明的存储/传送360度视频相关元数据的方法可在生成用于360度视频的媒体文件、生成在MPEG DASH上操作的DASH分段、或者生成在MPEG MMT上操作的MPU时应用。接收机(包括DASH客户端和MMT客户端)可从解码器获取360度视频相关元数据(标志、参数、盒等)并且可基于其有效地提供内容。
OMVideoConfigurationBox可同时存在于一个媒体文件、DASH分段或MMT MPU的多个盒中。在这种情况下，上级盒中定义的360度视频相关元数据可被下级盒中定义的360度视频相关元数据覆盖。
另外，OMVideoConfigurationBox中的各个字段(属性)可被包括在360度视频数据的补充增强信息(SEI)或视频可用性信息(VUI)中来传送。
另外，OMVideoConfigurationBox中的各个字段(属性)的值可随时间改变。在这种情况下，OMVideoConfigurationBox可作为定时元数据存储在文件中的一个轨道中。作为定时元数据存储在文件中的一个轨道中的OMVideoConfigurationBox可相对于传送到文件中的至少另一媒体轨道的360度视频数据用信号通知随时间改变的360度视频相关元数据。
图22是示出根据本发明的实施方式的基于DASH的自适应流模型的总体操作的示图。
根据所示实施方式(t50010)的基于DASH的自适应流模型描述了HTTP服务器与DASH客户端之间的操作。这里，经由HTTP的动态自适应流传输(HTTP)(支持基于HTTP的自适应流传输的协议)可根据网络条件动态地支持流传输。结果，可不间断地再现AV内容。
首先，DASH客户端可获取MPD。可从诸如HTTP服务器的服务提供商传送MPD。DASH客户端可使用关于对分段的访问的信息向服务器请求MPD中所描述的分段。这里，该请求可考虑网络条件来执行。
在获取分段之后，DASH客户端可使用媒体引擎处理分段，并且可将分段显示在画面上。DASH客户端可实时考虑再现时间和/或网络条件来请求并获取必要分段(自适应流传输)。结果，可不间断地再现内容。
媒体呈现描述(MPD)是包括使得DASH客户端能够动态地获取分段的详细信息的文件，并且可按照XML的形式表示。
DASH客户端控制器可考虑网络条件来生成用于请求MPD和/或分段的命令。另外，该控制器可执行控制，使得所获取的信息可用在诸如媒体引擎的内部块中。
MPD解析器可实时地解析所获取的MPD。结果，DASH客户端控制器可生成用于获取必要分段的命令。
分段解析器可实时地解析所获取的分段。诸如媒体引擎的内部块可根据分段中所包括的信息来执行特定操作。
HTTP客户端可向HTTP服务器请求必要MPD和/或必要分段。另外，HTTP客户端可将从服务器获取的MPD和/或分段传送至MPD解析器或分段解析器。
媒体引擎可使用分段中所包括的媒体数据来显示内容。此时，可使用MPD的信息。
DASH数据模型可具有分层结构(t50020)。媒体呈现可由MPD描述。MPD可描述进行媒体呈现的多个周期的时间序列。一个周期可指示媒体内容的一个区段。
在一个周期中，数据可被包括在适配集合中。适配集合可以是可彼此交换的媒体内容组件的集合。自适应可包括表示的集合。一个表示可对应于媒体内容组件。在一个表示中，内容可被暂时地分割成多个分段。这可能是为了适当的访问和传送。可提供各个分段的URL以便访问各个分段。
MPD可提供与媒体呈现有关的信息。period元素、adaptation set元素和representation元素可分别描述对应周期、适配集合和表示。一个表示可被分割成子表示。sub-representation元素可描述对应子表示。
这里，可定义公共属性/元素。这些可被应用于适配集合、表示和子表示(包括在其中)。EssentialProperty和/或SupplementalProperty可被包括在公共属性/元素中。
EssentialProperty可以是包括被认为对处理与媒体呈现有关的数据必不可少的元素的信息。SupplementalProperty可以是包括可用于处理与媒体呈现有关的数据的元素的信息。在一些实施方式中，在通过MPD传送描述符(将随后描述)的情况下，描述符可被包括在EssentialProperty和/或SupplementalProperty中来传送。
图23是示出根据本发明的实施方式的以基于DASH的描述符的形式描述的360度视频相关元数据的示图。
基于DASH的描述符可包括@schemeIdUri字段、@value字段和/或@id字段。@schemeIdUri字段可提供用于标识描述符的方案的URI。@value字段可具有值，其含义由@schemeIdUri字段所指示的方案定义。即，@value字段可基于方案(可被称为参数)具有描述符元素的值。这些可使用“,”来分隔。@id字段可指示描述符的标识符。在该字段具有相同的标识符的情况下，字段可包括相同的方案ID、值和参数。
360度视频相关元数据的各个实施方式可按照基于DASH的描述符的形式来重写。在根据DASH传送360度视频数据的情况下，360度视频相关元数据可按照基于DASH的描述符的形式来描述，并且可被包括在MPD等中来传送至接收方。这些描述符可按照EssentialProperty描述符和/或SupplementalProperty描述符的形式来传送。这些描述符可被包括在MPD的适配集合、表示和子表示中来传送。
对于传送360度视频相关元数据的描述符，@schemeIdURI字段可具有值urn:mpeg:dash:vr:201x。这可以是标识描述符是传送360度视频相关元数据的描述符的值。
该描述符的@value字段可具有与所示实施方式中相同的值。即，使用“,”分隔的@value的参数可对应于360度视频相关元数据的各个字段。在所示的实施方式中，使用@value的参数描述360度视频相关元数据的实施方式之一。另选地，各个信令字段可由参数代替，使得可使用@value的参数描述360度视频相关元数据的所有实施方式。即，根据上述所有实施方式的360度视频相关元数据也可按照基于DASH的描述符的形式来描述。
在所示的实施方式中，各个参数可具有与名称相同的信令字段相同的含义。这里，M可指示参数是强制参数，O可指示参数是可选参数，OD可指示参数是具有默认值的选项参数。在没有给出OD参数值的情况下，预定义的默认值可用作参数值。在所示的实施方式中，各个OD参数的默认值在括号中给出。
图24是示出根据本发明的实施方式的与特定区域或ROI指示有关的元数据的示图。
360度视频提供商可使得用户在他/她观看360度视频时能够观看预期视点或区域(例如，导演剪辑)。为此，根据本发明的另一实施方式的360度视频相关元数据还可包括与特定区域指示有关的元数据。根据本发明的360度视频接收设备可在渲染时使用与特定区域指示有关的元数据来使得用户能够观看360度视频的特定区域/视点。与特定区域指示有关的元数据可被包括在OMVideoConfigurationBox(先前已描述)中。
在一些实施方式中，与特定区域指示有关的元数据可指示2D图像上的特定区域或视点。在一些实施方式中，与特定区域指示有关的元数据可根据ISOBMFF作为定时元数据存储在轨道中。
根据本发明的实施方式的包括与特定区域指示有关的元数据的轨道的样本条目可包括reference_width字段、reference_height字段、min_top_left_x字段、max_top_left_x字段、min_top_left_y字段、max_top_left_y字段、min_width字段、max_width字段、min_height字段和/或max_height字段(t24010)。
reference_width字段和reference_height字段可使用像素数指示2D图像的水平尺寸和垂直尺寸。
min_top_left_x字段、max_top_left_x字段、min_top_left_y字段和max_top_left_y字段可指示关于包括在轨道中的各个样本所指示的特定区域的左上像素的坐标的信息。这些字段可分别指示包括在轨道中的各个样本中所包括的区域的左上像素的x坐标值(top_left_x)的最小值和最大值以及各个样本中所包括的区域的左上像素的y坐标值(top_left_y)的最小值和最大值。
min_width字段、max_width字段、min_height字段和max_height字段可指示关于包括在轨道中的各个样本所指示的特定区域的尺寸的信息。这些字段可分别使用像素数指示包括在轨道中的各个样本中所包括的区域的水平尺寸(宽度)的最小值和最大值及其垂直尺寸(高度)的最小值和最大值。
指示2D图像上要指示的特定区域的信息可作为元数据轨道的单独样本被存储(t24020)。此时，各个样本可包括top_left_x字段、top_left_y字段、width字段、height字段和/或interpolate字段。
top_left_x字段和top_left_y字段可分别指示要指示的特定区域的左上像素的x坐标和y坐标。width字段和height字段可分别使用像素数指示要指示的特定区域的水平尺寸和垂直尺寸。在interpolate字段的值被设定为1的情况下，这可指示先前样本所表示的区域与当前样本所表示的区域之间的值利用线性插值的值填充。
根据本发明的另一实施方式的包括与特定区域指示有关的元数据的轨道的样本条目可包括reference_width字段、reference_height字段、min_x字段、max_x字段、min_y字段和/或max_y字段。reference_width字段和reference_height字段先前已描述。在这种情况下，与特定区域指示有关的元数据可指示特定点(视点)，而非区域(t24030)。
min_x字段、max_x字段、min_y字段和max_y字段可分别指示包括在轨道中的各个样本中所包括的视点的x坐标的最小值和最大值及其y坐标的最小值和最大值。
指示2D图像上要指示的特定点的信息可作为单独样本被存储(t24040)。此时，各个样本可包括x字段、y字段和/或interpolate字段。
x字段和y字段可分别指示要指示的点的x坐标和y坐标。在interpolate字段的值被设定为1的情况下，这可指示先前样本所表示的点与当前样本所表示的点之间的值利用线性插值的值填充。
图25是示出根据本发明的另一实施方式的与特定区域指示有关的元数据的示图。
在一些实施方式中，与特定区域指示有关的元数据可指示3D空间中的特定区域或视点。在一些实施方式中，与特定区域指示有关的元数据可根据ISOBMFF作为定时元数据被存储在轨道中。
根据本发明的另一实施方式的包括与特定区域指示有关的元数据的轨道的样本条目可包括min_yaw字段、max_yaw字段、min_pitch字段、max_pitch字段、min_roll字段、max_roll字段、min_field_of_view字段和/或max_field_of_view字段。
min_yaw字段、max_yaw字段、min_pitch字段、max_pitch字段、min_roll字段和max_roll字段可指示包括在轨道中的各个样本中所包括的要指示的特定区域绕偏航轴、俯仰轴和横滚轴的旋转量的最小值/最大值。这些字段可分别指示包括在轨道中的各个样本中所包括的特定区域绕偏航轴的旋转量的最小值、包括在轨道中的各个样本中所包括的特定区域绕偏航轴的旋转量的最大值、包括在轨道中的各个样本中所包括的特定区域绕俯仰轴的旋转量的最小值、包括在轨道中的各个样本中所包括的特定区域绕俯仰轴的旋转量的最大值、包括在轨道中的各个样本中所包括的特定区域绕横滚轴的旋转量的最小值以及包括在轨道中的各个样本中所包括的特定区域绕横滚轴的旋转量的最大值。
min_field_of_view字段和max_field_of_view字段可指示包括在轨道中的各个样本中所包括的要指示的特定区域的垂直/水平FOV的最小值/最大值。
指示3D空间中要指示的特定区域的信息可作为单独样本被存储(t25020)。此时，各个样本可包括yaw字段、pitch字段、roll字段、interpolate字段和/或field_of_view字段。
yaw字段、pitch字段和roll字段可分别指示要指示的特定区域绕偏航轴、俯仰轴和横滚轴的旋转量。interpolate字段可指示先前样本所表示的区域与当前样本所表示的区域之间的值是否利用线性插值的值填充。field_of_view字段可指示要表示的垂直/水平视场。
指示3D空间中要指示的特定视点的信息可作为单独样本被存储(t25030)。此时，各个样本可包括yaw字段、pitch字段、roll字段和/或interpolate字段。
yaw字段、pitch字段和roll字段可分别指示要指示的特定视点绕偏航轴、俯仰轴和横滚轴的旋转量。interpolate字段可指示先前样本所表示的点与当前样本所表示的点之间的值是否利用线性插值的值填充。
在传送与特定区域指示有关的元数据的情况下，可应用根据先前实施方式的所有传送360度视频相关元数据的方法。例如，如先前所描述的，与特定区域指示有关的元数据可通过多个轨道中的特定轨道来传送，其它轨道可仅参考该特定轨道。
在本发明中，在TrackReferenceTypeBox的reference_type具有“vdsc”类型的情况下，该盒可指示传送与特定区域指示有关的元数据的特定轨道。
另选地，当前轨道可以是传送与特定区域指示有关的元数据的轨道，所指示的轨道可以是传送应用该元数据的360度视频数据的轨道。在这种情况下，除了“vdsc”类型之外，reference_type可具有“cdsc”类型。在使用“cdsc”类型的情况下，这可指示所指示的轨道由当前轨道描述。“cdsc”类型可用于360度视频相关元数据。
图26是示出根据本发明的实施方式的GPS相关元数据的示图。
当再现360度视频时，还可传送与图像有关的GPS相关元数据。GPS相关元数据可被包括在360度视频相关元数据或OMVideoConfigurationBox中。
根据本发明的实施方式的GPS相关元数据可根据ISOBMFF作为定时元数据被存储在轨道中。该轨道的样本条目可包括coordinate_reference_sys字段和/或altitude_flag字段(t26010)。
coordinate_reference_sys字段可指示包括在样本中的经度值、纬度值和高度值的坐标参考系。这可按照URI的形式表示，并且可指示例如“urn:ogc:def:crs:EPSG::4979”(坐标参考系(CRS)，EPSG数据库中的代码4979)。
altitude_flag字段可指示样本中是否包括高度值。
GPS相关元数据可作为单独样本被存储(t26020)。此时，各个样本可包括longitude字段、latitude字段和/或altitude字段。
longitude字段可指示点的经度值。正值可指示东经，负值可指示西经。latitude字段可指示点的纬度值。正值可指示北纬，负值可指示南纬。altitude字段可指示点的高度值。
在GPSSampleEntry的altitude_flag字段为0的情况下，可使用不包括altitude字段的样本格式(t26030)。
在传送GPS相关元数据的情况下，可应用根据先前实施方式的所有传送360度视频相关元数据的方法。例如，如先前所描述的，GPS相关元数据可通过多个轨道中的特定轨道传送，其它轨道可仅参考该特定轨道。
在本发明中，在TrackReferenceTypeBox的reference_type具有“gpsd”类型的情况下，该盒可指示传送GPS相关元数据的特定轨道。
另选地，当前轨道可以是传送GPS相关元数据的轨道，所指示的轨道可以是传送应用该元数据的360度视频数据的轨道。在这种情况下，除了“gpsd”类型之外，reference_type可具有“cdsc”类型。在使用“cdsc”类型的情况下，这可指示所指示的轨道由当前轨道描述。
根据本发明的存储/传送360度视频相关元数据的方法可在生成用于360度视频的媒体文件、生成在MPEG DASH上操作的DASH分段、或者生成在MPEG MMT上操作的MPU时应用。接收机(包括DASH客户端和MMT客户端)可从解码器获取360度视频相关元数据(标志、参数、盒等)并且可基于其有效地提供内容。
上述2DreagionCartesianCoordinatesSampleEntry、2DpointCartesianCoordinatesSampleEntry、3DcartesianCoordinatesSampleEntry、GPSSampleEntry和OMVideoConfigurationBox可同时存在于一个媒体文件、DASH分段或MMTMPU中的多个盒中。在这种情况下，上级盒中定义的360度视频相关元数据可被下级盒中定义的360度视频相关元数据覆盖。
图27是示出根据本发明的实施方式的360度视频发送方法的示图。
根据本发明的实施方式的360度视频发送方法可包括以下步骤：接收使用至少一个相机拍摄的360度视频数据的步骤、处理360度视频数据并将所处理的360度视频数据投影在2D图像上的步骤、生成与360度视频数据有关的元数据的步骤、对2D图像进行编码的步骤以及对编码的2D图像和元数据执行用于发送的处理并经由广播网络发送所处理的2D图像和元数据的步骤。这里，与360度视频数据有关的元数据可对应于360度视频相关元数据。根据上下文，与360度视频数据有关的元数据可被称为关于360度视频数据的信令信息。根据上下文，元数据可被称为信令信息。
360度视频发送设备的数据输入单元可接收使用至少一个相机拍摄的360度视频数据。360度视频发送设备的拼接器和投影处理单元可处理360度视频数据并将所处理的360度视频数据投影在2D图像上。在一些实施方式中，拼接器和投影处理单元可被集成到单个内部组件中。信令处理单元可生成与360度视频数据有关的元数据。360度视频发送设备的数据编码器可对2D图像进行编码。360度视频发送设备的发送处理单元可对编码的2D图像和元数据执行用于发送的处理。360度视频发送设备的发送单元可经由广播网络发送所处理的2D图像和元数据。这里，元数据可包括指示用于将360度视频数据投影到2D图像的投影方案的投影方案信息。这里，投影方案信息可以是上述的projection_scheme字段。
在根据本发明的另一实施方式的360度视频发送方法中，拼接器可将360度视频数据拼接，并且投影处理单元可将拼接的360度视频数据投影到2D图像。
在根据本发明的另一实施方式的360度视频发送方法中，在投影方案信息指示特定方案的情况下，投影处理单元可在没有拼接的情况下将360度视频数据投影到2D图像。
在根据本发明的另一实施方式的360度视频发送方法中，元数据可包括指示360度视频数据当中的ROI的ROI信息或者指示360度视频数据当中当再现360度视频数据时首先显示给用户的初始视点区域的初始视点信息。ROI信息可使用2D图像上的X坐标和Y坐标来指示ROI，或者可使用俯仰、偏航和横滚来指示当在3D空间中重新投影360度视频数据时出现在3D空间中的ROI。初始视点信息可使用2D图像上的X坐标和Y坐标来指示初始视点区域，或者可使用俯仰、偏航和横滚来指示出现在3D空间中的初始视点区域。
在根据本发明的另一实施方式的360度视频发送方法中，数据编码器可将2D图像上与ROI或初始视点区域对应的区域作为高级层编码，并且可将在2D图像上的剩余区域作为基本层编码。
在根据本发明的另一实施方式的360度视频发送方法中，元数据还可包括接收机将360度视频数据拼接所需的拼接元数据。拼接元数据可对应于上述与接收方拼接有关的元数据。拼接元数据可包括指示360度视频数据是否被拼接的拼接标志信息以及关于拍摄360度视频数据的至少一个相机的相机信息。相机信息可包括关于相机的数量的信息、关于各个相机的内在相机信息、关于各个相机的外在相机信息以及使用俯仰值、偏航值和横滚值指示通过各个相机拍摄的图像的中心被定位在3D空间中的位置的相机中心信息。
在根据本发明的另一实施方式的360度视频发送方法中，拼接元数据可包括指示2D图像上的各个区域是否旋转的旋转标志信息、指示各个区域旋转所绕的轴的旋转轴信息以及指示各个区域的旋转方向和旋转程度的旋转量信息。
在根据本发明的另一实施方式的360度视频发送方法中，在投影方案信息指示特定方案的情况下，在没有拼接的情况下投影的360度视频数据可以是使用球面相机拍摄的鱼眼图像。
在根据本发明的另一实施方式的360度视频发送方法中，元数据还可包括指示360度视频数据所支持的俯仰角范围是否小于180度的俯仰角标志。元数据还可包括指示360度视频数据所支持的偏航角范围是否小于360度的偏航角标志。这可对应于上述与360度视频的支持范围有关的元数据。
在根据本发明的另一实施方式的360度视频发送方法中，在俯仰角标志指示俯仰角范围小于180度的情况下，元数据还可包括分别指示360度视频数据所支持的最小俯仰角和最大俯仰角的最小俯仰信息和最大俯仰信息。在偏航角标志指示偏航角范围小于360度的情况下，元数据还可包括分别指示360度视频数据所支持的最小偏航角和最大偏航角的最小偏航信息和最大偏航信息。
将描述根据本发明的实施方式的360度视频接收方法。该方法在图中未示出。
根据本发明的实施方式的360度视频接收方法可包括以下步骤：接收单元经由广播网络接收包括2D图像的广播信号的步骤，该2D图像包括360度视频数据以及与360度视频数据有关的元数据；接收处理单元处理广播信号以获取2D图像和元数据的步骤；数据解码器将2D图像解码的步骤；信令解析器解析元数据的步骤；以及渲染器处理2D图像以在3D空间中渲染360度视频数据的步骤。
根据本发明的实施方式的360度视频接收方法可对应于上述根据本发明的实施方式的360度视频发送方法。360度视频接收方法可具有与上述360度视频发送方法的实施方式对应的实施方式。
上述步骤可被省略，或者可由执行相同或相似操作的其它步骤代替。
根据本发明的实施方式的360度视频发送设备可包括数据输入单元、拼接器、信令处理单元、投影处理单元、数据编码器、发送处理单元和/或发送单元。其各个内部组件先前已描述。根据本发明的实施方式的360度视频发送设备及其内部组件可执行上述360度视频发送方法的实施方式。
根据本发明的实施方式的360度视频接收设备可包括接收单元、接收处理单元、数据解码器、信令解析器、重新投影处理单元和/或渲染器。其各个内部组件先前已描述。根据本发明的实施方式的360度视频接收设备及其内部组件可执行上述360度视频接收方法的实施方式。
设备的内部组件可以是执行存储在存储器或其它硬件组件中的连续处理的处理器。这些可被定位于设备内部/外部。
在一些实施方式中，上述模块可被省略，或者可由执行相同或相似操作的其它模块代替。
上述部件、模块或单元可以是执行存储在存储器(或存储单元)中的连续处理的处理器或硬件部件。上述实施方式中所描述的步骤可由处理器或硬件部件执行。上述实施方式中所描述的模块/块/单元可作为硬件/处理器来操作。另外，本发明所提出的方法可作为代码来执行。这种代码可写在处理器可读存储介质上，因此可由设备所提供的处理器读取。
尽管为了描述方便，已参照单独的附图描述了本发明，但是可通过将各个附图中所示的实施方式组合来实现新的实施方式。根据本领域技术人员的需要，设计记录有用于实现上述实施方式的程序的计算机可读记录介质落在本发明的范围内。
根据本发明的设备和方法不限于应用于如先前所描述的的实施方式的构造和方法；相反，所有或一些实施方式可被选择性地组合以实现各种修改。
此外，根据本说明书的图像处理方法可被实现为可写在处理器可读记录介质上并因此由网络装置中提供的处理器读取的代码。处理器可读记录介质可以是以处理器可读方式存储数据的任何类型的记录装置。处理器可读记录介质可包括例如只读存储器(ROM)、随机存取存储器(RAM)、紧凑盘只读存储器(CD-ROM)、磁带、软盘和光学数据存储装置，并且可按照经由互联网发送的载波的形式实现。另外，处理器可读记录介质可分布在连接到网络的多个计算机系统上，使得处理器可读代码以分散方式写入到其中以及从其执行。
另外，将显而易见的是，尽管上面示出和描述了优选实施方式，但是本说明书不限于上述特定实施方式，在不脱离所附权利要求的主旨的情况下，本发明所属领域的技术人员可进行各种修改和变化。因此，意图是修改和变化不应独立于本说明书的技术精神或前景来理解。
本领域技术人员将理解，在不脱离本发明的精神和基本特性的情况下，本发明可按照本文所阐述的方式以外的其它特定方式来实现。因此，本发明的范围应该由所附权利要求及其法律上的等同物确定，而非由上面的描述确定，落入所附权利要求的含义和等同范围内的所有改变均旨在被涵盖于其中。
另外，本说明书描述了产品发明和方法发明二者，这两个发明的描述可根据需要互补地应用。
本发明的模式
已在具体实施方式中描述了各种实施方式。
工业实用性
本发明用在一系列VR相关领域中。
本领域技术人员将理解，在不脱离本发明的精神和基本特性的情况下，本发明可按照本文所阐述的方式以外的其它特定方式来实现。因此，本发明的范围应该由所附权利要求及其法律上的等同物确定，而非由上面的描述确定，落入所附权利要求的含义和等同范围内的所有改变均旨在被涵盖于其中。

Claims (20)

1.一种360度视频发送方法，该360度视频发送方法包括以下步骤：
接收使用至少一个相机拍摄的360度视频数据；
处理所述360度视频数据并将所处理的360度视频数据投影在2D图像上；
生成关于所述360度视频数据的信令信息；
对所述2D图像进行编码；以及
对所编码的2D图像和所述信令信息执行用于发送的处理并经由广播网络发送所处理的2D图像和元数据，其中，
所述信令信息包括指示用于将所述360度视频数据投影在所述2D图像上的投影方案的投影方案信息。
2.根据权利要求1所述的360度视频发送方法，其中，处理所述360度视频数据并将所处理的360度视频数据投影在所述2D图像上的步骤包括以下步骤：
拼接所述360度视频数据；以及
将所拼接的360度视频数据投影在所述2D图像上。
3.根据权利要求1所述的360度视频发送方法，其中，在所述投影方案信息指示特定方案的情况下，
处理所述360度视频数据并将所处理的360度视频数据投影在所述2D图像上的步骤包括在没有拼接的情况下将所述360度视频数据投影在所述2D图像上。
4.根据权利要求2所述的360度视频发送方法，其中，
所述信令信息包括指示所述360度视频数据当中的感兴趣区域ROI的ROI信息、或者指示所述360度视频数据当中的当所述360度视频数据被再现时首先显示给用户的初始视点区域的初始视点信息，
所述ROI信息使用所述2D图像上的X坐标和Y坐标来指示所述ROI，或者使用俯仰、偏航和横滚来指示当在3D空间中重新投影所述360度视频数据时出现在所述3D空间中的所述ROI，并且
所述初始视点信息使用所述2D图像上的X坐标和Y坐标来指示所述初始视点区域，或者使用俯仰、偏航和横滚来指示出现在所述3D空间中的所述初始视点区域。
5.根据权利要求2所述的360度视频发送方法，其中，
所述信令信息还包括关于重新投影所述360度视频数据的3D空间的取向的3D空间取向信息，并且
所述3D空间取向信息使用俯仰、偏航和横滚来指示所述3D空间的所述取向绕拍摄空间坐标系的原点的旋转程度。
6.根据权利要求3所述的360度视频发送方法，其中，
所述信令信息还包括接收机拼接所述360度视频数据所需的拼接信令信息，
所述拼接信令信息包括指示所述360度视频数据是否被拼接的拼接标志信息以及关于拍摄所述360度视频数据的所述至少一个相机的相机信息，并且
所述相机信息包括关于相机的数量的信息、关于各个相机的内在相机信息、关于各个相机的外在相机信息以及使用俯仰值、偏航值和横滚值指示通过各个相机拍摄的图像的中心被定位在3D空间中的位置的相机中心信息。
7.根据权利要求6所述的360度视频发送方法，其中，所述拼接信令信息还包括指示所述2D图像上的各个区域是否旋转的旋转标志信息、指示各个区域旋转所绕的轴的旋转轴信息以及指示各个区域的旋转方向和旋转程度的旋转量信息。
8.根据权利要求3所述的360度视频发送方法，其中，在所述投影方案信息指示特定方案的情况下，在没有拼接的情况下投影的所述360度视频数据是使用球面相机拍摄的鱼眼图像。
9.根据权利要求1所述的360度视频发送方法，其中，
所述信令信息还包括指示所述360度视频数据所支持的俯仰角范围是否小于180度的俯仰角标志，并且
所述信令信息还包括指示所述360度视频数据所支持的偏航角范围是否小于360度的偏航角标志。
10.根据权利要求9所述的360度视频发送方法，其中，
在所述俯仰角标志指示所述俯仰角范围小于180度的情况下，所述信令信息还包括分别指示所述360度视频数据所支持的最小俯仰角和最大俯仰角的最小俯仰信息和最大俯仰信息，并且
在所述偏航角标志指示所述偏航角范围小于360度的情况下，所述信令信息还包括分别指示所述360度视频数据所支持的最小偏航角和最大偏航角的最小偏航信息和最大偏航信息。
11.一种360度视频接收设备，该360度视频接收设备包括：
接收单元，该接收单元用于经由广播网络接收广播信号，该广播信号包括包含360度视频数据的2D图像以及关于所述360度视频数据的信令信息；
接收处理单元，该接收处理单元用于处理所述广播信号以获取所述2D图像和所述信令信息；
数据解码器，该数据解码器用于将所述2D图像解码；
信令解析器，该信令解析器用于解析所述信令信息；以及
渲染器，该渲染器用于处理所述2D图像以在3D空间中渲染所述360度视频数据，其中，
所述信令信息包括指示用于将所述360度视频数据投影在所述2D图像上的投影方案的投影方案信息。
12.根据权利要求11所述的360度视频接收设备，其中，所述渲染器将投影在所述2D图像上的所述360度视频数据重新投影在所述3D空间中。
13.根据权利要求11所述的360度视频接收设备，该360度视频接收设备还包括：
拼接器，该拼接器用于在所述投影方案信息指示特定方案的情况下，使用所述信令信息提取投影在所述2D图像上的所述360度视频数据并拼接所提取的360度视频数据，其中，
所述渲染器将所拼接的360度视频数据重新投影在所述3D空间中。
14.根据权利要求12所述的360度视频接收设备，其中，
所述信令信息包括指示所述360度视频数据当中的感兴趣区域ROI的ROI信息、或者指示所述360度视频数据当中的当所述360度视频数据被再现时首先显示给用户的初始视点区域的初始视点信息，
所述ROI信息使用所述2D图像上的X坐标和Y坐标来指示所述ROI，或者使用俯仰、偏航和横滚来指示出现在所述3D空间中的所述ROI，并且
所述初始视点信息使用所述2D图像上的X坐标和Y坐标来指示所述初始视点区域，或者使用俯仰、偏航和横滚来指示出现在所述3D空间中的所述初始视点区域。
15.根据权利要求12所述的360度视频接收设备，其中，
所述信令信息还包括关于重新投影所述360度视频数据的所述3D空间的取向的3D空间取向信息，并且
所述3D空间取向信息使用俯仰、偏航和横滚来指示所述3D空间的所述取向绕拍摄空间坐标系的原点的旋转程度。
16.根据权利要求13所述的360度视频接收设备，其中，
所述信令信息还包括接收机拼接所述360度视频数据所需的拼接信令信息，
所述拼接信令信息包括指示所述360度视频数据是否被拼接的拼接标志信息以及关于拍摄所述360度视频数据的所述至少一个相机的相机信息，并且
所述相机信息包括关于相机的数量的信息、关于各个相机的内在相机信息、关于各个相机的外在相机信息以及使用俯仰值、偏航值和横滚值指示通过各个相机拍摄的图像的中心被定位在3D空间中的位置的相机中心信息。
17.根据权利要求16所述的360度视频接收设备，其中，所述拼接信令信息还包括指示所述2D图像上的各个区域是否旋转的旋转标志信息、指示各个区域旋转所绕的轴的旋转轴信息以及指示各个区域的旋转方向和旋转程度的旋转量信息。
18.根据权利要求13所述的360度视频接收设备，其中，在所述投影方案信息指示特定方案的情况下，所提取的360度视频数据是使用球面相机拍摄的鱼眼图像。
19.根据权利要求11所述的360度视频接收设备，其中，
所述信令信息还包括指示所述360度视频数据所支持的俯仰角范围是否小于180度的俯仰角标志，并且
所述信令信息还包括指示所述360度视频数据所支持的偏航角范围是否小于360度的偏航角标志。
20.根据权利要求19所述的360度视频接收设备，其中，
在所述俯仰角标志指示所述俯仰角范围小于180度的情况下，所述信令信息还包括分别指示所述360度视频数据所支持的最小俯仰角和最大俯仰角的最小俯仰信息和最大俯仰信息，并且
在所述偏航角标志指示所述偏航角范围小于360度的情况下，所述信令信息还包括分别指示所述360度视频数据所支持的最小偏航角和最大偏航角的最小偏航信息和最大偏航信息。
CN201780011998.7A 2016-02-17 2017-02-17 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备 Active CN108702528B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662296534P 2016-02-17 2016-02-17
US201662296535P 2016-02-17 2016-02-17
US62/296,534 2016-02-17
US62/296,535 2016-02-17
US201662297951P 2016-02-22 2016-02-22
US62/297,951 2016-02-22
US201662337299P 2016-05-16 2016-05-16
US62/337,299 2016-05-16
PCT/KR2017/001789 WO2017142353A1 (ko) 2016-02-17 2017-02-17 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Publications (2)

Publication Number Publication Date
CN108702528A true CN108702528A (zh) 2018-10-23
CN108702528B CN108702528B (zh) 2021-06-01

Family

ID=59626071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780011998.7A Active CN108702528B (zh) 2016-02-17 2017-02-17 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备

Country Status (5)

Country Link
US (1) US10880535B2 (zh)
EP (1) EP3419295A4 (zh)
KR (1) KR102157655B1 (zh)
CN (1) CN108702528B (zh)
WO (1) WO2017142353A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110313175A (zh) * 2019-03-20 2019-10-08 北京小米移动软件有限公司 在vr360应用中传输视点切换能力的方法和装置
WO2020107998A1 (zh) * 2018-11-30 2020-06-04 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
WO2020259682A1 (zh) * 2019-06-28 2020-12-30 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
WO2021109822A1 (zh) * 2019-12-03 2021-06-10 中兴通讯股份有限公司 媒体资源播放及文本渲染方法、装置、设备和存储介质
CN113891117A (zh) * 2021-09-29 2022-01-04 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN114503587A (zh) * 2019-10-07 2022-05-13 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
KR102358757B1 (ko) * 2016-08-25 2022-02-07 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
EP3503546A4 (en) * 2016-08-25 2020-01-22 LG Electronics Inc. -1- METHOD FOR SENDING AN OMNIDIRECTIONAL VIDEO, METHOD FOR RECEIVING AN OMNIDIRECTIONAL VIDEO, DEVICE FOR SENDING AN OMNIDIRECTIONAL VIDEO, AND DEVICE FOR RECEIVING AN OMNIDIRECTIONAL VIDEO
CN107888987B (zh) * 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
WO2018070810A1 (ko) * 2016-10-12 2018-04-19 삼성전자 주식회사 가상 현실 영상을 처리하는 방법 및 장치
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN112738530B (zh) 2016-11-17 2024-02-23 英特尔公司 全景视频的建议视口指示
CN110268711B (zh) * 2016-11-17 2021-07-02 英特尔公司 用于编码宽视图视频的球面旋转的方法及装置
US10931971B2 (en) * 2016-12-27 2021-02-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 360-degree image
RU2019129256A (ru) * 2017-03-24 2021-03-17 Сони Корпорейшн Способ обработки информации, устройство для обработки информации и программа
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
WO2018218028A1 (en) * 2017-05-25 2018-11-29 Vid Scale, Inc. Hybrid cubemap projection for 360-degree video coding
CN110546688B (zh) * 2017-05-30 2023-11-17 索尼公司 图像处理装置和方法、文件生成装置和方法及程序
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
EP3646604A1 (en) * 2017-06-30 2020-05-06 VID SCALE, Inc. Weighted to spherically uniform psnr for 360-degree video quality evaluation using cubemap-based projections
GB2566478B (en) * 2017-09-14 2019-10-30 Samsung Electronics Co Ltd Probability based 360 degree video stabilisation
KR102600011B1 (ko) * 2017-09-15 2023-11-09 인터디지털 브이씨 홀딩스 인코포레이티드 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들
EP3685585A1 (en) 2017-09-20 2020-07-29 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
US10659761B2 (en) 2017-09-22 2020-05-19 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
US10848737B2 (en) 2017-09-26 2020-11-24 Lg Electronics Inc. Overlay processing method in 360 video system, and device thereof
WO2019066191A1 (ko) * 2017-09-28 2019-04-04 엘지전자 주식회사 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
GB201717011D0 (en) * 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for volumetric video
KR102390208B1 (ko) * 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
EP3474562A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
WO2019083266A1 (ko) * 2017-10-24 2019-05-02 엘지전자 주식회사 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
JP6472864B1 (ja) * 2017-11-29 2019-02-20 株式会社近江デジタルファブリケーションズ 画像配信システム、及び配信画像生成方法
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
EP3739899A4 (en) * 2018-01-12 2020-11-18 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
WO2019147008A1 (ko) * 2018-01-23 2019-08-01 엘지전자 주식회사 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
JP7047095B2 (ja) * 2018-02-27 2022-04-04 エルジー エレクトロニクス インコーポレイティド カメラレンズ情報を含む３６０°ビデオを送受信する方法及びその装置
KR102344073B1 (ko) * 2018-04-05 2021-12-28 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치
KR102564729B1 (ko) 2018-04-05 2023-08-09 삼성전자주식회사 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
WO2019198883A1 (ko) * 2018-04-11 2019-10-17 엘지전자 주식회사 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
KR20190136417A (ko) * 2018-05-30 2019-12-10 삼성전자주식회사 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치
WO2019231178A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
WO2019235849A1 (ko) * 2018-06-06 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
US11012657B2 (en) * 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
WO2020009341A1 (ko) 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
WO2020012968A1 (ja) 2018-07-11 2020-01-16 ソニー株式会社 画像処理装置および方法
EP3595319A1 (en) * 2018-07-12 2020-01-15 InterDigital VC Holdings, Inc. Methods and apparatus for volumetric video transport
EP3823274A4 (en) * 2018-07-13 2022-03-30 LG Electronics Inc. METHOD AND DEVICE FOR TRANSMITTING AND RECEIVING METADATA ON A DYNAMIC POINT COORDINATE SYSTEM
US11677922B2 (en) 2018-08-12 2023-06-13 Lg Electronics Inc. Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
CN109246477B (zh) * 2018-08-17 2021-04-27 南京泓众电子科技有限公司 一种全景视频插帧方法及装置
CN113206826B (zh) * 2018-09-28 2022-10-04 华为技术有限公司 传输媒体数据的方法、客户端和服务器
KR102201763B1 (ko) * 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR102065632B1 (ko) * 2018-10-22 2020-02-11 전자부품연구원 복수의 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
JP7271672B2 (ja) * 2018-12-14 2023-05-11 中興通訊股▲ふん▼有限公司 没入型ビデオビットストリーム処理
KR102183895B1 (ko) * 2018-12-19 2020-11-27 가천대학교 산학협력단 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱
KR102158007B1 (ko) * 2018-12-24 2020-09-22 서울과학기술대학교 산학협력단 하이브리드망 기반의 영상 전송 시스템 및 방법
EP3709659A1 (en) * 2019-03-11 2020-09-16 InterDigital VC Holdings, Inc. A method and apparatus for encoding and decoding volumetric video
KR102178111B1 (ko) * 2019-04-25 2020-11-12 주식회사 엘지유플러스 영상 스트리밍 서비스 제공 장치 및 방법
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
EP4078532A1 (en) * 2019-12-20 2022-10-26 InterDigital VC Holdings France A method and apparatus for coding and decoding volumetric video with view-driven specularity
US11833419B2 (en) * 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
CN112261408B (zh) * 2020-09-16 2023-04-25 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备
US11888913B2 (en) * 2021-04-28 2024-01-30 Lemon Inc. External stream representation properties

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060857A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Virtual theater
CN101729920A (zh) * 2009-11-23 2010-06-09 南京大学 一种自由视角立体视频显示方法
CN101754037A (zh) * 2009-06-17 2010-06-23 中国科学院自动化研究所 真三维成像引擎系统及投影方法
KR20150010752A (ko) * 2012-07-04 2015-01-28 인텔 코오퍼레이션 파노라마 기반 3d 비디오 코딩
US20160012855A1 (en) * 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030022414A1 (en) * 2001-07-25 2003-01-30 Motorola, Inc. Structure and method for fabricating anopto-electronic device having an electrochromic switch
KR20120133006A (ko) 2011-05-30 2012-12-10 (주)포스트미디어 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
US9602798B2 (en) * 2011-07-15 2017-03-21 Lg Electronics Inc. Method and apparatus for processing a 3D service
US9135955B2 (en) * 2012-03-26 2015-09-15 Max Abecassis Playing a video presentation with playback functions
US9674498B1 (en) * 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
CN207096551U (zh) * 2014-05-30 2018-03-13 芬兰国家技术研究中心股份公司 全方向成像装置
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060857A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Virtual theater
CN101754037A (zh) * 2009-06-17 2010-06-23 中国科学院自动化研究所 真三维成像引擎系统及投影方法
CN101729920A (zh) * 2009-11-23 2010-06-09 南京大学 一种自由视角立体视频显示方法
KR20150010752A (ko) * 2012-07-04 2015-01-28 인텔 코오퍼레이션 파노라마 기반 3d 비디오 코딩
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
US20160012855A1 (en) * 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11677978B2 (en) 2018-11-30 2023-06-13 Zte Corporation Omnidirectional video processing method and device, related apparatuses and storage medium
WO2020107998A1 (zh) * 2018-11-30 2020-06-04 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
CN111263191A (zh) * 2018-11-30 2020-06-09 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
JP2022525906A (ja) * 2019-03-20 2022-05-20 北京小米移動軟件有限公司 Ｖｒ３６０において視点切り替え能力を伝送する方法および装置
CN110313175B (zh) * 2019-03-20 2021-10-01 北京小米移动软件有限公司 在vr360应用中传输视点切换能力的方法和装置
CN113691883A (zh) * 2019-03-20 2021-11-23 北京小米移动软件有限公司 在vr360应用中传输视点切换能力的方法和装置
CN110313175A (zh) * 2019-03-20 2019-10-08 北京小米移动软件有限公司 在vr360应用中传输视点切换能力的方法和装置
JP7286791B2 (ja) 2019-03-20 2023-06-05 北京小米移動軟件有限公司 Ｖｒ３６０において視点切り替え能力を伝送する方法および装置
WO2020259682A1 (zh) * 2019-06-28 2020-12-30 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
US11836882B2 (en) 2019-06-28 2023-12-05 Shanghai Jiao Tong University Three-dimensional point cloud-based initial viewing angle control and presentation method and system
CN114503587A (zh) * 2019-10-07 2022-05-13 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
WO2021109822A1 (zh) * 2019-12-03 2021-06-10 中兴通讯股份有限公司 媒体资源播放及文本渲染方法、装置、设备和存储介质
US11838594B2 (en) 2019-12-03 2023-12-05 Zte Corporation Media resource playing and text rendering method, apparatus and device and storage medium
CN113891117A (zh) * 2021-09-29 2022-01-04 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN113891117B (zh) * 2021-09-29 2023-02-14 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
EP3419295A1 (en) 2018-12-26
KR102157655B1 (ko) 2020-09-18
KR20180107149A (ko) 2018-10-01
CN108702528B (zh) 2021-06-01
EP3419295A4 (en) 2019-08-28
US20200084428A1 (en) 2020-03-12
US10880535B2 (en) 2020-12-29
WO2017142353A1 (ko) 2017-08-24

Similar Documents

Publication Publication Date Title
CN108702528A (zh) 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
US11115641B2 (en) Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
JP6657475B2 (ja) 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
CN109076255B (zh) 发送、接收360度视频的方法及设备
KR102118056B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
KR102208132B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102133849B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102221301B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
US10965928B2 (en) Method for 360 video processing based on multiple viewpoints and apparatus therefor
KR20190140903A (ko) 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
US20210176446A1 (en) Method and device for transmitting and receiving metadata about plurality of viewpoints
KR20200088485A (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
KR20190116928A (ko) 360도 비디오를 송수신하는 방법 및 그 장치
US20200204785A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant