CN110612723A - 发送/接收包括鱼眼视频信息的360度视频的方法及其装置 - Google Patents

发送/接收包括鱼眼视频信息的360度视频的方法及其装置 Download PDF

Info

Publication number
CN110612723A
CN110612723A CN201880028803.4A CN201880028803A CN110612723A CN 110612723 A CN110612723 A CN 110612723A CN 201880028803 A CN201880028803 A CN 201880028803A CN 110612723 A CN110612723 A CN 110612723A
Authority
CN
China
Prior art keywords
degree video
information
video data
field
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880028803.4A
Other languages
English (en)
Other versions
CN110612723B (zh
Inventor
吴炫默
吴世珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN110612723A publication Critical patent/CN110612723A/zh
Application granted granted Critical
Publication of CN110612723B publication Critical patent/CN110612723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G06T3/047—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

根据本发明的一种由360度视频接收设备执行360度图像数据处理的方法包括以下步骤：接收360度图像数据；从所述360度图像数据获取关于编码后的图片的信息和元数据；基于关于所述编码后的图片的信息来对具有鱼眼视频格式的图片进行解码；基于所述元数据来从所述图片导出包括鱼眼图像的圆形图像；以及基于所述元数据来处理所述圆形图像并且渲染所述圆形图像，其中，具有鱼眼视频格式的所述图片包括所述圆形图像被映射到的四边形区域，并且所述元数据包括鱼眼视频信息。

Description

发送/接收包括鱼眼视频信息的360度视频的方法及其装置
技术领域
本发明涉及360度视频，并且更具体地，涉及发送/接收包括鱼眼视频信息的360度视频的方法和装置。
背景技术
虚拟现实(VR)系统使用户能够感觉好像他们在电子投影环境中一样。可以改进用于提供VR的系统，以便提供具有更高图片质量的图像和空间声音。VR系统使用户能够交互式地消费VR内容。
发明内容
技术课题
本发明的一方面是提供用于改进提供VR系统的VR视频数据发送效率的方法和装置。
本发明的另一方面是提供用于发送VR视频数据和相对于VR视频数据的元数据的方法和装置。
本发明的又一方面是提供用于发送VR视频数据和关于VR视频数据的鱼眼视频信息的元数据的方法和装置。
本发明的又一方面是提供用于基于指示鱼眼透镜的透镜类型的信息来根据透镜类型导出球面坐标系映射式并且基于所导出的球面坐标系映射式将360度视频数据映射到3D空间的方法和装置。
本发明的又一方面是提供用于基于指示未映射到360度视频数据的区域的信息来导出映射到3D空间的360度视频数据的方法和装置。
技术方案
根据本发明的一个实施方式，提供了一种由360度视频发送设备执行的360度视频处理方法。该方法包括以下步骤：获得包括由具有至少一个鱼眼透镜的相机捕获的360度视频的圆形图像；将所述圆形图像映射到具有鱼眼视频格式的图片的矩形区域；对映射到所述圆形图像的所述图片进行编码；生成关于所述360度视频的元数据；以及对编码后的当前图片和所述元数据执行存储或发送的处理，其中，所述元数据包括鱼眼视频信息。
根据本发明的另一实施方式，提供了一种处理360度视频数据的360度视频发送设备。该360度视频发送设备包括：数据输入单元，该数据输入单元用于获得包括由具有至少一个鱼眼透镜的相机捕获的360度视频的圆形图像；投影处理器，该投影处理器用于将所述圆形图像映射到具有鱼眼视频格式的图片的矩形区域；数据编码器，该数据编码器用于对映射到所述圆形图像的所述图片进行编码；元数据处理器，该元数据处理器用于生成关于所述360度视频的元数据；以及发送处理器，该发送处理器用于对编码后的当前图片和所述元数据执行存储或发送的处理，其中，所述元数据包括鱼眼视频信息。
根据本发明的又一实施方式，提供了一种由360度视频接收设备执行的360度视频处理方法。该方法包括以下步骤：接收360度视频数据；从所述360度视频数据获得关于编码后的图片的信息和元数据；基于关于所述编码后的图片的信息来对具有鱼眼视频格式的图片进行解码；基于所述元数据来从所述图片导出包括鱼眼视频的圆形图像；以及基于所述元数据来处理并渲染所述圆形图像，其中，具有所述鱼眼视频格式的所述图片包括映射到所述圆形图像的矩形区域，并且所述元数据包括鱼眼视频信息。
根据本发明的又一实施方式，提供了一种处理360度视频数据的360度视频接收设备。该360度视频接收设备包括：接收器，该接收器用于接收360度视频数据；接收处理器，该接收处理器用于从所述360度视频数据获得关于编码后的图片的信息和元数据；数据解码器，该数据解码器用于基于关于所述编码后的图片的信息来对具有鱼眼视频格式的图片进行解码；渲染器，该渲染器用于基于所述元数据来从所述图片导出包括鱼眼视频的圆形图像并且基于所述元数据来处理并渲染所述圆形图像，其中，具有所述鱼眼视频格式的所述图片包括映射到所述圆形图像的矩形区域，并且所述元数据包括鱼眼视频信息。
有益效果
根据本发明，能够在支持使用地面广播网络和互联网的下一代混合广播的环境中高效地发送360度内容。
根据本发明，能够提出用于在用户的360度内容消费中提供交互体验的方法。
根据本发明，能够提出用于在用户的360度内容消费中正确地反映360度内容供应商的意图的信令方法。
根据本发明，能够提出用于在发送360度内容时高效增加发送能力并转发必要信息的方法。
根据本发明，能够提出用于基于指示捕获360度内容的鱼眼透镜的透镜类型的信息来根据透镜类型导出球坐标系映射式并因此将360度视频数据准确地映射到3D空间的方法。
根据本发明，能够提出用于基于指示未映射到360度内容的360度视频数据的区域的信息来高效地导出映射到3D空间的360度视频数据的方法。
附图说明
图1是例示了根据本发明的用于提供360度视频的总体架构的视图。
图2和图3是例示了根据本发明的实施方式的媒体文件的结构的视图。
图4例示了基于DASH的自适应流传输模型的整体操作的示例。
图5是示意性地例示了适用本发明的360度视频发送设备的配置的视图。
图6是示意性地例示了适用本发明的360度视频接收设备的配置的视图。
图7a和图7b例示了由360度视频发送设备/360度视频接收设备提供360度视频的总体架构。
图8是例示了用于描述本发明的3D空间的飞行器主轴的概念的视图。
图9a和图9b例示了根据本发明的投影方案。
图10例示了根据本发明的一方面的360度视频发送设备。
图11例示了根据本发明的另一方面的360度视频接收设备。
图12例示了根据本发明的一个实施方式的处理鱼眼360度视频数据的过程。
图13例示了根据本发明的另一实施方式的处理鱼眼360度视频数据的过程。
图14例示了根据本发明的一个实施方式的提取鱼眼360度视频数据的过程。
图15例示了根据本发明的一个实施方式的接收方处理鱼眼360度视频的过程。
图16例示了根据本发明的另一实施方式的接收方处理鱼眼360度视频的过程。
图17a和图17b例示了根据本发明的又一实施方式的接收方处理鱼眼360度视频的过程。
图18a和图18b例示了根据本发明的又一实施方式的接收方处理鱼眼360度视频的过程。
图19例示了根据本发明的一个实施方式的映射圆形图像的处理。
图20示意性地例示了根据本发明的360度视频发送设备进行的360度视频数据处理方法。
图21示意性地例示了根据本发明的执行360度视频数据处理方法的360度视频发送设备。
图22示意性地例示了根据本发明的360度视频接收设备进行的360度视频数据处理方法。
图23示意性地例示了根据本发明的执行360度视频数据处理方法的360度视频接收设备。
具体实施方式
本发明可以按各种形式进行修改，并且将在附图中描述并例示其具体实施方式。然而，这些实施方式并不旨在限制本发明。以下描述中使用的术语用于仅描述具体的实施方式，而不旨在限制本发明。单数的表述包括复数的表述，只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中所使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，不排除有可能存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合。
另一方面，出于方便说明不同特定功能的目的，独立地绘制本发明中描述的图中的元件，这不意指这些元件是由独立硬件或独立软件实施的。例如，可以将这些元件中的两个或更多个元件组合，以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本发明的构思的情况下，其中组合和/或划分元件的实施方式属于本发明。
下文中，将参照附图来更详细地描述本发明的优选实施方式。下文中，在整个说明书中将使用相同的附图标记表示相同的组件，并且将省略对相同组件的冗余描述。
图1是例示了根据本发明的用于提供360度视频的总体架构的视图。
本发明提出了提供360度内容以便向用户提供虚拟现实(VR)的方法。VR可以是指用于复制实际或虚拟环境的技术或者那些环境。VR人为地为用户提供感官体验，因此用户能体验到电子投影环境。
360度内容是指用于实现并提供VR的内容，并且可以包括360度视频和/或360度音频。360度视频可以是指对提供VR是必需的并且全向地(360度)捕获或再现的视频或图像内容。下文中，360度视频可以是指360度视频。360度视频可以是指根据3D模型以各种形式在3D空间上呈现的视频或图像。例如，可以在球面上呈现360度视频。360度音频是用于提供VR的音频内容，并且可以是指其音频生成源可被识别为位于特定3D空间中的空间音频内容。可以针对用户生成、处理和发送360度内容，并且用户可以使用该360度内容来消费VR体验。
特别地，本发明提出了用于有效地提供360度视频的方法。为了提供360度视频，可以通过一个或更多个相机捕获360度视频。可以通过一系列处理来发送所捕获的360度视频，并且接收方可以将所发送的360度视频处理成原始360度视频并渲染360度视频。以这种方式，可以将360度视频提供给用户。
具体地，提供360度视频的过程可以包括捕获过程、准备过程、发送过程、处理过程、渲染过程和/或反馈过程。
捕获过程可以是指通过一个或更多个相机捕获针对多个视点的图像或视频的过程。可以通过捕获过程生成图1中示出的图像/视频数据110。图1中的110的每个平面可以表示针对每个视点的图像/视频。所捕获的多个图像/视频可以被称为原始数据。可以在捕获过程中生成与捕获相关的元数据。
为了进行捕获，可以使用用于VR的专用相机。当根据实施方式提供相对于计算机所生成的虚拟空间的360度视频时，可以不执行通过实际相机进行的捕获。在这种情况下，仅生成相关数据的过程可以代替捕获过程。
准备过程可以是处理所捕获的图像/视频以及在捕获过程中生成的元数据的过程。在准备过程期间，所捕获的图像/视频可以经历拼接过程、投影过程、按区域打包过程和/或编码过程。
首先，可以使每个图像/视频经历拼接过程。拼接过程可以是连接所捕获的图像/视频以生成一个全景图像/视频或球形图像/视频的过程。
随后，可以使拼接后的图像/视频经历投影过程。在投影过程中，可以将拼接后的图像/视频投影到2D图像上。可以根据上下文将2D图像称为2D图像帧。在2D图像上的投影可以被称为针对2D图像的映射。所投影的图像/视频数据可以具有图1中的2D图像120的形式。
投影到2D图像上的视频数据可以经历按区域打包过程，以便提高视频编码效率。按区域打包可以是指针对每个区域处理投影到2D图像上的视频数据的过程。这里，区域可以是指2D图像的划分区域。根据实施方式，可以通过均等或任意地划分2D图像来获得区域。另外，在实施方式中，可以根据投影方案来划分区域。按区域打包过程是可选过程，并且可以在准备过程中被省略。
根据实施方式，处理过程可以包括在2D图像上旋转区域或重新布置区域以便提高视频编码效率的过程。例如，能够旋转区域，使得区域的特定面彼此靠近地定位，以提高编码效率。
根据实施方式，该处理过程可以包括增大或减小特定区域的分辨率以便区分360度视频的区域的分辨率的过程。例如，可以将与360度视频中的相对更重要的区域对应的区域的分辨率增大至高于其它区域的分辨率。可以通过视频编解码器使投影到2D图像上的视频数据或按区域打包的视频数据经历编码处理。
根据实施方式，准备过程还可以包括附加编辑过程。在该编辑过程中，可以在投影之前和之后执行对图像/视频数据的编辑。在准备过程中，还可以生成关于拼接/投影/编码/编辑的元数据。另外，可以生成关于投影到2D图像上的视频数据的初始视点或所关注区域(ROI)的元数据。
发送过程可以是处理并发送已经过准备过程的图像/视频数据和元数据的过程。可以根据任意传输协议执行处理以进行发送。可以通过广播网络和/或宽带来传送已被处理以进行发送的数据。可以以按需方式将此数据传送到接收方。接收方可以通过各种路径接收数据。
处理过程可以是指对接收到的数据进行解码并且将经投影的图像/视频数据重新投影到3D模型上的过程。在该过程中，投影到2D图像上的图像/视频数据可以被重新投影到3D空间上。可以根据上下文将该过程称为映射或投影。这里，图像/视频数据被映射到的3D模型可以根据3D模型而具有不同的形式。例如，3D模型可以包括球体、立方体、圆柱体和金字塔。
根据实施方式，处理过程可以附加地包括编辑过程和放大(up-scaling)过程。在编辑过程中，还可以在重新投影之前和之后执行对图像/视频数据的编辑。当图像/视频数据已减少时，可以通过在放大过程中将样本进行放大来增加图像/视频数据的大小。可以按需要执行通过缩小来减小大小的操作。
渲染过程可以是指渲染并显示重新投影到3D空间上的图像/视频数据的过程。重新投影和渲染可以被组合并表示为在3D模型上的渲染。重新投影到3D模型上(或在3D模型上渲染)的图像/视频可以具有图1中示出的形式130。图1中示出的形式130对应于其中图像/视频被重新投影到3D球形模型上的情况。用户可以通过VR显示器观看渲染后的图像/视频的区域。这里，用户观看的区域可以具有图1中示出的形式140。
反馈过程可以是指将可以在显示过程中获取的各种类型的反馈信息传送到发送方的过程。可以通过反馈过程提供在360度视频消费中的交互性。根据实施方式，可以在反馈过程中将头部方位信息、表示用户当前观看的区域的视口信息等传送到发送方。根据实施方式，用户可以与在VR环境中实现的对象进行交互。在这种情况下，可以在反馈过程中将关于交互的信息传送到发送方或服务供应商。根据实施方式，可以不执行反馈过程。
头部方位信息可以是指关于用户头部的位置、角度、运动等的信息。基于该信息，可以计算关于用户当前观看的360度视频中的区域的信息，即，视口信息。
视口信息可以是关于360度视频中的用户当前观看的区域的信息。可以通过视点信息执行注视分析(gaze analysis)，以检查用户如何消费360度视频、用户注视360度视频的哪个区域、注视该区域多长时间等。可以在接收方执行注视分析，并且可以将其结果通过反馈信道传送到发送方。诸如VR显示器这样的装置可以基于用户头部的位置/方向、关于该装置所支持的垂直或水平视场(FOV)的信息等来提取视口区域。
根据实施方式，以上提到的反馈信息可以被接收方消费以及被发送到发送方。即，可以使用以上提到的反馈信息来执行在接收方的解码、重新投影和渲染。例如，可以优先使用头部方位信息和/或视口信息来仅对针对用户当前观看的区域的360度视频进行解码和渲染。
这里，视口或视口区域可以是指360度视频中的用户正在观看的区域。视点是用户正在观看的360度视频中的点，并且可以是指视口区域的中心点。即，视口是视点处于其中心的区域，并且该区域的大小和形状可以由将在随后描述的FOV确定。
在上述用于提供360度视频的总体架构中，经历捕获/投影/编码/发送/解码/重新投影/渲染过程的图像/视频数据可以被称为360度视频数据。术语“360度视频数据”可以被用作包括与此图像/视频数据相关的元数据和信令信息的概念。
为了存储和发送诸如以上提到的音频和视频数据这样的媒体数据，可以定义标准化的媒体文件格式。根据实施方式，媒体文件可以具有基于ISO BMFF的文件格式(ISO基媒体文件格式)。
图2和图3是例示了根据本发明的实施方式的媒体文件的结构的视图。
根据本发明的媒体文件可以包括至少一个盒。这里，盒可以是包括媒体数据或者与媒体数据相关的元数据的对象或者数据块。盒可以呈分层结构，因此可以对数据进行分类，并且媒体文件可以具有适于存储和/或发送大容量媒体数据的格式。另外，媒体文件可以具有使用户能够容易地访问媒体信息(诸如，移动到媒体内容的特定点)的结构。
根据本发明的媒体文件可以包括ftyp盒、moov盒和/或mdat盒。
ftyp盒(文件类型盒)可以提供关于对应媒体文件的文件类型或兼容性相关信息。ftyp盒可以包括关于对应媒体文件的媒体数据的配置版本信息。解码器可以参考ftyp盒识别对应媒体文件。
moov盒(电影盒)可以是包括关于对应媒体文件的媒体数据的元数据的盒。moov盒可以用作所有元数据的容器。moov盒可以是与元数据相关的盒当中的最高层。根据实施方式，媒体文件中可能仅存在一个moov盒。
mdat盒(媒体数据盒)可以是包含对应媒体文件的实际媒体数据的盒。媒体数据可以包括音频样本和/或视频样本。madat盒可以用作包含这些媒体样本的容器。
根据实施方式，以上提到的moov盒还可以包括作为下盒的mvhd盒、trak盒和/或mvex盒。
mvhd盒(电影头盒)可以包括与对应媒体文件中所包括的媒体数据的媒体呈现相关的信息。即，mvhd盒可以包括诸如对应媒体呈现的媒体生成时间、改变时间、时间标准和周期这样的信息。
trak盒(轨道盒)可以提供关于对应媒体数据的轨道的信息。trak盒可以包括诸如关于音频轨道或视频轨道的流相关信息、呈现相关信息以及访问相关信息这样的信息。根据轨道的数目，可能存在多个trak盒。
trak盒还可以包括tkhd盒(轨道头盒)作为下盒。tkhd盒可以包括关于由trak盒指示的轨道的信息。tkhd盒可以包括诸如对应轨道的生成时间、改变时间和轨道标识符这样的信息。
mvex盒(电影扩展盒)可以指示对应的媒体文件可以具有将随后描述的moof盒。为了识别特定轨道的所有媒体样本，可能需要扫描moof盒。
根据实施方式，根据本发明的媒体文件可以被划分成多个片段(200)。因此，媒体文件可以被分段并被存储或发送。媒体文件的媒体数据(mdat盒)可以被划分成多个片段，并且每个片段都可以包括moof盒和划分的mdat盒。根据实施方式，可能需要ftyp盒和/或moov盒的信息来使用片段。
moof盒(电影片段盒)可以提供关于对应片段的媒体数据的元数据。moof盒可以是与对应片段的元数据相关的盒当中的最高层盒。
mdat盒(媒体数据盒)可如上所述包括实际媒体数据。mdat盒可以包括与每个与其对应的片段对应的媒体数据的媒体样本。
根据实施方式，以上提到的moof盒还可以包括mfhd盒和/或traf盒作为下盒。
mfhd盒(电影片段头盒)可以包括关于划分的片段之间的关系的信息。mfhd盒可以通过包括序列号来指示对应片段的划分的媒体数据的顺序。另外，能够使用mfhd盒来检查在划分的数据当中是否存在丢失的数据。
traf盒(轨道片段盒)可以包括关于对应轨道片段的信息。traf盒可以提供关于对应片段中所包括的划分的轨道片段的元数据。traf盒可以提供元数据，使得可以解码/再现对应轨道片段中的媒体样本。根据轨道片段的数目，可能存在多个traf盒。
根据实施方式，以上提到的traf盒还可以包括tfhd盒和/或trun盒作为下盒。
tfhd盒(轨道片段头盒)可以包括对应轨道片段的头信息。tfhd盒可以针对以上提到的traf盒所指示的轨道片段的媒体样本提供诸如基本样本大小、周期、偏移和标识符这样的信息。
trun盒(轨道片段run盒)可以包括与对应轨道片段相关的信息。trun盒可以包括诸如各个媒体样本的周期、大小和再现时间这样的信息。
以上提到的媒体文件及其片段可以被处理成片段并被发送。片段可以包括初始化片段和/或媒体片段。
所例示的实施方式210的文件可以包括除了媒体数据之外的与媒体解码器初始化相关的信息。例如，该文件可以对应于以上提到的初始化片段。初始化片段可以包括以上提到的ftyp盒和/或moov盒。
所例示的实施方式220的文件可以包括以上提到的片段。例如，该文件可以对应于以上提到的媒体片段。媒体片段还可以包括styp盒和/或sidx盒。
styp盒(片段类型盒)可提供用于识别所划分的片段的媒体数据的信息。styp盒可以用作所划分的片段的以上提到的ftyp盒。根据实施方式，styp盒可以具有与ftyp盒相同的格式。
sidx盒(片段索引盒)可以提供指示所划分的片段的索引的信息。因此，可以指示所划分的片段的顺序。
根据实施方式230，还可以包括ssix盒。ssix盒(子片段索引盒)可以提供指示片段被划分成子片段时子片段的索引的信息。
媒体文件中的盒可以包括基于所例示的实施方式250中所示的盒或FullBox的进一步扩展信息。在本实施方式中，size字段和largesize字段可以表示对应盒的长度(单位：字节)。version字段可以指示对应盒格式的版本。type字段可以指示对应盒的类型或标识符。flags字段可以指示与对应盒关联的标志。
此外，本发明的360度视频的字段(属性)可以被包括在基于DASH的自适应流传输模型中并被传送。
图4例示了基于DASH的自适应流传输模型的整体操作的示例。根据所例示的实施方式400的基于DASH的自适应流传输模型描述了在HTTP服务器和DASH客户端之间的操作。这里，DASH(通过HTTP的动态自适应流传输)是基于HTTP支持自适应流传输的协议并且可以根据网络状态动态地支持流传输。因此，能够提供无缝的AV内容再现。
首先，DASH客户端可以获取MPD。可以从诸如HTTP服务器这样的服务供应商传送MPD。DASH客户端可以使用在MPD中描述的关于对片段的访问的信息来向服务器发送对对应片段的请求。这里，可以基于网络状态来执行请求。
在获取到片段时，DASH客户端可以在媒体引擎中处理这些片段，并且将处理后的片段显示在屏幕上。DASH客户端可以通过实时(自适应流传输)反映其中的再现时间和/或网络状态来请求并获取必要的片段。因此，能无缝地再现内容。
MPD(媒体呈现描述)是包括供DASH客户端用于动态地获取片段的详细信息的文件，并且可以以XML格式表示。
DASH客户端控制器可以基于网络状态来生成请求MPD和/或片段的命令。另外，该控制器可以控制诸如媒体引擎这样的内部块，以能够使用所获取的信息。
MPD解析器可以实时地解析所获取的MPD。因此，DASH客户端控制器可以生成获取所需片段的命令。
片段解析器可以实时地解析所获取的片段。诸如媒体块这样的内部块可以根据片段中所包括的信息来执行特定操作。
HTTP客户端可以向HTTP服务器发送针对所需的MPD和/或片段的请求。另外，HTTP客户端可以将从服务器获取的MPD和/或片段传送到MPD解析器或片段解析器。
媒体引擎可以使用片段中所包括的媒体数据来将内容显示在屏幕上。这里，可以使用MPD的信息。
DASH数据模型可以具有分层结构410。可以通过MPD描述媒体呈现。MPD可以描述形成媒体呈现的多个时段的时间序列。时段可以表示媒体内容的一个时段。
在一个时段中，数据可以被包括在自适应集合中。自适应集合可以是多个可交换媒体内容组件的集合。自适应可以包括呈现的集合。呈现可以对应于媒体内容组件。内容可以在一次呈现内在时间上被划分成多个片段。这可能是为了可达性和传送。为了访问每个片段，可以提供每个片段的URL。
MPD可以提供与媒体呈现有关的信息，并且时段元素、自适应集合元素和呈现元素可以分别描述对应的时段、自适应集合和呈现。呈现可以被划分为子呈现，并且子呈现元素可以描述对应的子呈现。
这里，可以定义公共属性/元素。公共属性/元素可以应用于(被包括在)自适应集合、呈现和子呈现中。公共属性/元素可以包括必要属性和/或补充属性。
必要属性是包括在处理与对应媒体呈现相关的数据中被视为必要元件的元素的信息。补充属性是包括可以被用于处理与对应媒体呈现相关的数据的元素的信息。根据实施方式，当通过MPD传送随后将描述的描述符时，可以在必要属性和/或补充属性中定义描述符并传送这些描述符。
图5是示意性地例示了适用本发明的360度视频发送设备的配置的视图。
根据本发明的360度视频发送设备可以执行与上述准备过程和发送过程相关的操作。360度视频发送设备可以包括数据输入单元、拼接器、投影处理器，按区域打包处理器(未示出)、元数据处理器、(发送方)反馈处理器、数据编码器、封装处理器、发送处理器和/或发送器作为内部/外部元件。
数据输入单元可以接收针对相应视点捕获的图像/视频。针对相应视点的图像/视频可以是由一个或更多个相机捕获的图像/视频。另外，数据输入单元可以接收在捕获过程中生成的元数据。数据输入单元可以将接收到的针对视点的图像/视频转发给拼接器，并且将在捕获过程中生成的元数据转发给信令处理器。
拼接器可以对所捕获的针对视点的图像/视频执行拼接操作。拼接器可以将拼接后的360度视频数据转发给投影处理器。拼接器可以从元数据处理器接收必要的元数据，并且在需要时将元数据用于拼接操作。拼接器可以将在拼接过程中生成的元数据转发给元数据处理器。拼接过程中的元数据可以包括诸如表示是否已经执行拼接的信息以及拼接类型这样的信息。
投影处理器可以将拼接后的360度视频数据投影到2D图像上。投影处理器可以根据随后将描述的各种方案来执行投影。投影处理器可以在考虑到针对每个视点的360度视频数据的深度的情况下执行映射。投影处理器可以从元数据处理器接收投影所需的元数据，并且在需要时将元数据用于投影操作。投影处理器可以将在投影过程中生成的元数据转发给元数据处理器。在投影处理器中生成的元数据可以包括投影方案类型等。
按区域打包处理器(未示出)可以执行以上提到的按区域打包处理。即，按区域打包处理器可以执行将投影的360度视频数据划分成多个区域并且旋转并重新布置区域或改变每个区域的分辨率的处理。如上所述，按区域打包处理是可选的，因此当不执行按区域打包时，可以省略按区域打包处理器。按区域打包处理器可以从元数据处理器接收按区域打包所需的元数据，并且在需要时将元数据用于按区域打包操作。按区域打包处理器可以将在按区域打包过程中生成的元数据转发给元数据处理器。在按区域打包处理器中生成的元数据可以包括每个区域的旋转度、大小等。
根据实施方式，以上提到的拼接器、投影处理器和/或按区域打包处理器可以集成到单个硬件组件中。
元数据处理器可以处理可以在捕获过程、拼接过程、投影过程、按区域打包过程、编码过程、封装过程和/或发送过程中生成的元数据。元数据处理器可以使用此元数据来生成360度视频相关元数据。根据实施方式，元数据处理器可以以信令表的形式生成360度视频相关元数据。可以根据信令上下文将360度视频相关元数据称为元数据或360度视频相关信令信息。另外，元数据处理器可以在需要时将所获取或生成的元数据转发给360度视频发送设备的内部元件。元数据处理器可以将360度视频相关元数据转发给数据编码器、封装处理器和/或发送处理器，使得360度视频相关元数据可以被发送到接收方。
数据编码器可以对投影到2D图像上的360度视频数据和/或按区域打包的360度视频数据进行编码。可以以各种格式对360度视频数据进行编码。
封装处理器可以将编码后的360度视频数据和/或360度视频相关元数据按文件格式封装。这里，可以从元数据处理器接收360度视频相关元数据。封装处理器可以以诸如ISOBMFF、CFF等这样的文件格式封装数据，或者将数据处理成DASH片段等。封装处理器可以包括文件格式的360度视频相关元数据。例如，360度视频相关元数据可以按SOBMFF中包括在具有各个级的盒中，或者可以被包括为文件中的单独轨道的数据。根据实施方式，封装处理器可以将360度视频相关元数据封装成文件。发送处理器可以根据文件格式对封装后的360度视频数据执行发送处理。发送处理器可以根据任意传输协议来处理360度视频数据。发送处理可以包括通过广播网络进行的传送处理和通过宽带进行的传送处理。根据实施方式，除了360度视频数据之外，发送处理器还可以从元数据处理器接收360度视频相关元数据，并且对360度视频相关元数据执行发送处理。
发送器可以发送经处理以便通过广播网络和/或宽带发送的360度视频数据和/或360度视频相关元数据。发送器可以包括通过广播网络进行发送的元件和/或通过宽带进行发送的元件。
根据本发明的360度视频发送设备的实施方式，360度视频发送设备还可以包括数据存储单元(未示出)作为内部/外部元件。数据存储单元可以在将编码后的360度视频数据和/或360度视频相关元数据传送到发送处理器之前，存储编码后的360度视频数据和/或360度视频相关元数据。此数据可以以诸如ISOBMFF这样的文件格式存储。尽管当实时发送360度视频时可能不需要数据存储单元，但是封装后的360度数据可以在数据存储单元中被存储一定时间段，然后在封装后的360度数据通过宽带传送时被发送。
根据本发明的360度视频发送设备的另一实施方式，360度视频发送设备还可以包括(发送方)反馈处理器和/或网络接口(未示出)作为内部/外部元件。网络接口可以从根据本发明的360度视频接收设备接收反馈信息，并且将该反馈信息转发给发送方反馈处理器。发送方反馈处理器可以将反馈信息转发给拼接器、投影处理器、按区域打包处理器、数据编码器、封装处理器、元数据处理器和/或发送处理器。根据实施方式，反馈信息可以被传送到元数据处理器，然后被传送到每个内部元件。已接收到反馈信息的内部元件可以在后续360度视频数据处理中反映反馈信息。
依照根据本发明的360度视频发送设备的另一实施方式，按区域打包处理器可以旋转区域并将旋转后的区域映射到2D图像上。这里，区域可以在不同方向上以不同角度旋转并且被映射到2D图像上。可以在考虑到投影之前的球面上的360度视频数据的邻近部分和拼接部分的情况下执行区域旋转。可以通过360度视频相关元数据来发信号通知关于区域旋转的信息，即，旋转方向、角度等。依照根据本发明的360度视频发送设备的另一实施方式，数据编码器可以针对相应区域执行不同编码。数据编码器可以以高质量对特定区域进行编码并且以低质量对其它区域进行编码。发送方反馈处理器可以将从360度视频接收设备接收到的反馈信息转发给数据编码器，使得数据编码器可以使用针对相应区域而区分的编码方法。例如，发送方反馈处理器可以将从接收方接收到的视口信息转发给数据编码器。数据编码器可以以比其它区域高的质量(UHD等)对包括由视口信息所指示的区域的区域进行编码。
依照根据本发明的360度视频发送设备的另一实施方式，发送处理器可以针对相应区域执行不同的发送处理。发送处理器可以将不同的发送参数(调制阶数、编码速率等)应用于相应区域，使得传送到相应区域的数据具有不同的鲁棒性。
这里，发送方反馈处理器可以将从360度视频接收设备接收到的反馈信息转发给发送处理器，使得发送处理器可以针对相应区域执行不同的发送处理。例如，发送方反馈处理器可以将从接收方接收到的视口信息转发给发送处理器。发送处理器可以在包括由视口信息所指示的区域的区域上执行发送处理，使得这些区域具有比其它区域高的鲁棒性。
根据本发明的360度视频发送设备的上述内部/外部元件可以是硬件元件。根据实施方式，内部/外部元件可以被改变、省略、由其它元件代替或被集成。
图6是示意性地例示了适用本发明的360度视频接收设备的配置的视图。
根据本发明的360度视频接收设备可以执行与上述处理过程和/或渲染过程相关的操作。360度视频接收设备可以包括接收器、接收处理器、解封装处理器、数据解码器、元数据解析器、(接收方)反馈处理器、重新投影处理器和/或渲染器作为内部/外部元件。信令解析器可以被称为元数据解析器。
根据本发明，接收器可以接收从360度视频发送设备发送的360度视频数据。接收器可以根据发送360度视频数据的信道通过广播网络或宽带接收360度视频数据。
接收处理器可以根据传输协议对接收到的360度视频数据执行处理。接收处理器可以执行以上提到的发送处理器的处理的逆处理，使得该逆处理对应于在发送方执行的发送处理。接收处理器可以将所获取的360度视频数据转发给解封装处理器，并且将所获取的360度视频相关元数据转发给元数据解析器。接收处理器所获取的360度视频相关元数据可以具有信令表的形式。
解封装处理器可以对从接收处理器接收的文件格式的360度视频数据进行解封装。解封装处理器可以通过将文件按ISOBMFF等解封装来获取360度视频数据和360度视频相关元数据。解封装处理器可以将所获取的360度视频数据转发给数据解码器，并且将所获取的360度视频相关元数据转发给元数据解析器。解封装处理器所获取的360度视频相关元数据可以具有文件格式的盒或轨道的形式。解封装处理器可以在需要时从元数据解析器接收解封装所需的元数据。
数据解码器可以解码360度视频数据。数据解码器可以从元数据解析器接收解码所需的元数据。在数据解码过程中获取的360度视频相关元数据被转发给元数据解析器。
元数据解析器可以解析/解码360度视频相关元数据。元数据解析器可以将所获取的元数据转发给数据解封装处理器、数据解码器、重新投影处理器和/或渲染器。
重新投影处理器可以对解码后的360度视频数据执行重新投影。重新投影处理器可以将360度视频数据重新投影到3D空间上。根据3D模型，3D空间可能具有不同的形式。重新投影处理器可以从元数据解析器接收重新投影所需的元数据。例如，重新投影处理器可以从元数据解析器接收关于所使用的3D模型的类型的信息及其详细信息。根据实施方式，重新投影处理器可以使用重新投影所需的元数据来仅将与3D空间的特定区域对应的360度视频数据重新投影到3D空间上。
渲染器可以渲染重新投影的360度视频数据。如上所述，3D空间上的360度视频数据的重新投影可以被表示为3D空间上的360度视频数据的渲染。当以这种方式同时发生两个过程时，重新投影处理器和渲染器可以被集成并且渲染器可以执行这些过程。根据实施方式，渲染器可以根据用户的视点信息仅渲染用户所观看的部分。
用户可以通过VR显示器等观看渲染后的360度视频的部分。VR显示器是再现360度视频的装置，并且可以被包括在360度视频接收设备(系绳)中或者作为单独的装置连接到360度视频接收设备(不系绳)。
根据本发明的360度视频接收设备的实施方式，360度视频接收设备还可以包括(接收方)反馈处理器和/或网络接口(未示出)作为内部/外部元件。接收方反馈处理器可以从渲染器、重新投影处理器、数据解码器、解封装处理器和/或VR显示器获取反馈信息并且处理反馈信息。反馈信息可以包括视口信息、头部方位信息、注视信息等。网络接口可以从接收方反馈处理器接收反馈信息并且将反馈信息发送到360度视频发送设备。
如上所述，反馈信息可以在接收方被消费以及被发送到发送方。接收方反馈处理器可以将所获取的反馈信息转发给360度视频接收设备的内部元件，使得在诸如渲染这样的处理中反映反馈信息。接收方反馈处理器可以将反馈信息转发给渲染器、重新投影处理器、数据解码器和/或解封装处理器。例如，渲染器可以优先使用反馈信息来渲染用户观看的区域。另外，解封装处理器和数据解码器可以优先解封装和解码用户正在观看或将观看的区域。
根据本发明的360度视频接收设备的上述内部/外部元件可以是硬件元件。根据实施方式，内部/外部元件可以被改变、省略、由其它元件代替或被集成。根据实施方式，可以在360度视频接收设备中添加附加元件。
本发明的另一方面可以涉及发送360度视频的方法和接收360度视频的方法。根据本发明的发送/接收360度视频的方法可以由上述的360度视频发送/接收设备或其实施方式执行。
可以组合上述360度视频发送/接收设备和发送/接收方法的实施方式以及所述设备的内部/外部元件的实施方式。例如，可以组合投影处理器的实施方式和数据编码器的实施方式，以生成与情况的数目一样多的360度视频发送设备的实施方式。以这种方式组合的实施方式也被包括在本发明的范围内。
图7a和图7b例示了由360度视频发送设备/360度视频接收设备提供360度视频的总体架构。
可以根据图7a和图7b中示出的架构提供360度内容。360度内容可以以文件的形式或者以诸如DASH这样的基于片段的下载或流传输服务的形式提供。这里，360度内容可以被称为VR内容。
具体地，参照图7a，如上所述，可以获取360度视频数据和/或360度音频数据。即，可以通过360度相机捕获360度视频，并且360度视频发送设备可以获取360度视频数据。360度音频数据可以经历音频预处理和音频编码。通过这些过程，可以生成音频相关元数据，并且编码后的音频和音频相关元数据可以经历发送处理(文件/片段封装)。
360度视频数据可以经历以上提到的过程。参照图7a，360度视频发送设备的拼接器可以拼接360度视频数据(可视拼接)。在一个实施方式中，可以省略该过程或者可以在接收方执行该过程。
另外，参照图7a，360度视频发送设备的投影处理器可以将360度视频数据投影到2D图像上(投影和映射(打包))。投影处理器可以接收360度视频数据(输入图像)，在这种情况下，视频发送设备可以对其执行拼接和投影。例如，360度视频发送设备可以将由多个鱼眼相机或多个鱼眼透镜和传感器组合地捕获的鱼眼圆形图像投影并打包成一个或更多个图片/视频。投影过程可以被视为将拼接后的360度视频数据投影到3D空间上并且将投影后的360度视频数据布置在2D图像上。在本说明书中，该过程可以被表示为将360度视频数据投影到2D图像上。这里，3D空间可以是球体或立方体。3D空间可以与用于接收方的重新投影的3D空间相同。
2D图像也可以被称为投影帧或投影图片。可选地，可以对2D图像执行按区域打包。当执行按区域打包时，可以指示每个区域的位置、形式和大小，使得2D图像上的区域可以被映射到打包帧上。打包帧可以被称为打包图片。当不对投影帧执行按区域打包时，投影帧可以与打包帧相同。下面，将描述区域。投影过程和按区域打包过程可以被表示为将360度视频数据的区域投影到2D图像上。根据设计，无需中间过程就可以将360度视频数据直接转换成打包帧。
参照图7a，关于360度视频数据的打包帧可以被图像编码或视频编码。即使相同的360度视频内容也可以具有针对不同视点的多个360度视频数据，在这种情况下，也可以将针对不同视点的内容的多个360度视频数据编码成不同的比特流。编码后的360度视频数据可以被以上提到的封装处理器处理成诸如ISOBMFF这样的文件格式。另选地，封装处理器可以将编码后的360度视频数据处理成片段。这些片段可以被包括在用于基于DASH的发送的个体轨道中。
当处理360度视频数据时，可以如上所述生成360度视频相关元数据。该元数据可以按被包括在视频比特流或文件格式中的方式进行传送。元数据可以被用于编码、文件格式封装、发送处理等。
360度音频/视频数据可以根据传输协议经历发送处理，然后可以被发送。360度视频接收设备可以经由广播网络或宽带接收360度音频/视频数据。
如图7a中例示的，通过360度视频接收设备的外部装置或VR应用来操作扬声器/耳机、显示器和头部/眼睛跟踪组件。根据实施方式，360度视频接收设备可以包括扬声器/耳机、显示器和头部/眼睛跟踪组件中的全部。根据实施方式，头部/眼睛跟踪组件可以对应于以上提到的接收方反馈处理器。
360度视频接收设备可以对360度音频/视频数据执行接收处理(文件/片段解封装)。360度音频数据可以经历音频解码和音频渲染，然后可以通过扬声器/耳机被提供给用户。
360度视频数据可以经历图像解码或视频解码和视觉渲染，然后可以通过显示器被提供给用户。这里，显示器可以是支持VR的显示器或一般显示器。
具体地，在渲染过程中，如上所述，可以在3D空间中重新投影360度视频数据，并且可以渲染重新投影后的360度视频数据。这可以被表示为渲染3D空间中的360度视频数据。
头部/眼睛跟踪组件可以获取并处理以上已描述的关于用户的头部方位信息、注视信息和视口信息。
可以在接收方提供与接收方处理器进行通信的VR应用。
图7b例示了处理应用了根据投影格式的按区域打包过程的2D图像和360度视频的过程。图7b例示了处理所输入的360度视频数据的过程。具体地，参照图7b，可以根据各种投影方案将来自视点的输入的360度视频数据拼接并投影到3D投影结构上，并且可以将投影到3D投影结构上的360度视频数据表示为2D图像。即，360度视频数据可以被拼接并且可以被投影到2D图像中。360度视频数据被投影到的2D图像可以被称为投影帧。投影帧可以经历上述的按区域打包过程。具体地，可以处理投影帧，使得包括投影在投影帧上的360度视频数据的区域可以被划分成多个区域，并且可以旋转或重新布置每个区域，或者可以改变每个区域的分辨率。即，按区域打包过程可以指示将投影帧映射到一个或更多个打包帧的过程。可以可选地执行按区域打包过程。当不应用按区域打包过程时，打包帧与投影帧可以相同。当应用按区域打包过程时，可以将投影帧的每个区域映射到打包帧的区域，并且可以导出指示映射到投影帧的每个区域的打包帧的区域的位置、形状和大小的元数据。
图8是例示了用于描述本发明的3D空间的飞行器主轴的概念的视图。在本发明中，飞行器主轴的概念可以用于表示3D空间中的特定点、位置、方向、间隔、区域等。即，在本发明中，飞行器主轴的概念可以用于描述投影之前或重新投影之后的3D空间并且针对其执行信令。根据实施方式，可以使用利用X、Y和Z轴或球坐标的概念的方法。
飞行器可以自由地三维旋转。在描述中，形成三维的轴被称为可以被缩写为俯仰、偏航和侧倾的俯仰轴、偏航轴和侧倾轴，或者可以被表示为俯仰方向、偏航方向和侧倾方向。
俯仰轴可以是指作为飞行器的前端上下旋转的方向的基础的轴。在所例示的飞行器主轴的概念中，俯仰轴可以是指连接飞行器的机翼的轴。
偏航轴可以是指作为飞行器的前端向左右旋转的方向的基础的轴。在所例示的飞行器主轴的概念中，偏航轴可以是指连接飞行器的顶部和底部的轴。在所例示的飞行器主轴的概念中，侧倾轴可以是指连接飞行器的前端和尾部的轴，并且侧倾方向上的旋转可以是指基于侧倾轴的旋转。如上所述，可以使用俯仰、偏航和侧倾的概念来描述本发明中的3D空间。
图9a和图9b例示了根据本发明的投影方案。如上所述，根据本发明的360度视频发送设备的投影处理器可以将拼接后的360度视频数据投影到2D图像上。在该过程中，可以使用各种投影方案。即，投影处理器可以根据各种投影方案将拼接后的360度视频数据投影到2D图像上。2D图像可以被称为投影图片。
根据本发明的实施方式，可以使用等矩柱状投影方案来执行投影。投影处理器可以使用等矩柱状投影方案来投影360度视频数据。在图9a中，(a)例示了等矩柱状投影方案。等矩柱状投影方案可以被称为等矩柱状投影。当使用等矩柱状投影方案时，可以将球面上的点(r,θ0,0)(即，θ＝θ0和)映射到2D图像的中心像素。另外，可以假定前置相机的主点是球面上的点(r,0,0)，并且因此，可以通过下式将XY坐标系上的转换值(x,y)转换成2D图像上的像素(X,Y)。
[式1]
X＝Kx ＊x+XO＝Kx ＊(θ-θ0)＊r+XO
Y＝-Ky ＊y-YO
当2D图像的左上像素处于XY坐标系上的(0,0)时，可以用下式表示x轴的偏移和y轴的偏移。
[式2]
XO＝Kx＊π＊r
YO＝-Ky ＊π/2＊r
使用这些偏移，可以如下地修改用于在由式1所表示的XY坐标系上的转换的式。
[式3]
X＝Kxx+XO＝Kx ＊(π+θ-θ0)＊r
例如，当θ0＝0时，即，当2D图像的中心像素指示球面上的与θ＝0对应的数据时，球面可以被映射到2D图像上的相对于(0,0)的由宽度＝2Kxπr和高度＝Kxπr限定的区域。与球面上的对应的数据可以被映射到2D图像上的整个上侧。另外，与球面上的(r,π/2,0)对应的数据可以被映射到2D图像上的(3πKxr/2,πKx r/2)。
接收方可以将2D图像上的360度视频数据重新投影到球面上。具体地，360度视频接收设备的重新投影处理器可以将2D图像上的360度视频数据重新投影到球面上。2D图像可以被称为投影图片。这可以由用于转换的下式来表示。
[式4]
θ＝θ0+X/Kx ＊r-π
例如，可以将2D图像上的由XY坐标(Kxπr,0)所限定的像素重新投影到球面上的由θ＝θ0和限定的点。
根据本发明的另一实施方式，可以使用立方体投影方案来执行投影。投影处理器可以使用立方体投影方案来投影360度视频数据。立方体投影方案也可以被称为立方图投影(CMP)。在图9a中，(b)例示了立方体投影方案。例如，可以在球面上呈现拼接后的360度视频数据。投影处理器可以按立方体形状划分360度视频数据并且可以将360度视频数据投影到2D图像上。如图9a的(b)中的左图或右图中所示，球面上的360度视频数据可以被投影到与立方体的每个面对应的2D图像上。
根据本发明的又一实施方式，可以使用圆柱投影方案来执行投影。投影处理器可以使用圆柱投影方案来投影360度视频数据。在图9a中，(c)例示了圆柱投影方案。假定拼接后的360度视频数据可以被呈现在球面上，则投影处理器可以将360度视频数据按圆柱形进行划分，并且可以将360度视频数据投影到2D图像上。如图9a的(b)中的左图或右图中所示，球面上的360度视频数据可以被投影到与圆柱的侧面、顶面和底面对应的2D图像上。
根据本发明的又一实施方式，可以使用基于图块(tile)的投影方案来执行投影。投影处理器可以使用基于图块的投影方案来投影360度视频数据。在图9a中，(d)例示了基于图块的投影方案。当使用基于图块的投影方案时，投影处理器可以将球面上的360度视频数据划分成将投影到2D图像上的一个或更多个子区域，如图9a的(d)中所示。子区域可以被称为图块。
根据本发明的又一实施方式，可以使用金字塔投影方案来执行投影。投影处理器可以使用金字塔投影方案来投影360度视频数据。在图9b中，(e)例示了金字塔投影方案。假定拼接后的360度视频数据可以被呈现在球面上，则投影处理器可以将360度视频数据作为金字塔形状来观察，并且可以将360度视频数据划分成将投影到2D图像上的面。如图9b的(e)中的左图或右图中所示，球面上的360度视频数据可以被投影到与金字塔的正面以及金字塔的包括左上面、左下面、右上面和右下面的四个面对应的2D图像上。本文中，底表面可以是包括由面对正面的相机获取的数据的区域。这里，正面可以是包括由前置相机获取的数据的区域。
根据本发明的又一实施方式，可以使用全景投影方案来执行投影。投影处理器可以使用全景投影方案来投影360度视频数据。在图9b中，(f)例示了全景投影方案。当使用全景投影方案时，投影处理器可以仅将球面上的360度视频数据的侧面投影到2D图像上，如图9b的(f)中所示。除了没有顶面和底面之外，该方案可以与圆柱投影方案相同。
根据本发明的又一实施方式，可以在不进行拼接的情况下执行投影。在图9b中，(g)例示了在不进行拼接的情况下执行投影的情况。当不进行拼接的情况下执行投影时，投影处理器可以将360度视频数按原样投影到2D图像上，如图9的(g)中所示。在这种情况下，在不进行拼接的情况下，从相应相机获取的图像可以被按原样投影到2D图像上。
参照图9b的(g)，两个图像可以在不进行拼接的情况下被投影到2D图像上。每个图像可以是由球形相机通过每个传感器获取的鱼眼视频。如上所述，接收方可以拼接由相机传感器获取的图像数据，并且可以将拼接后的图像数据映射到球面上，由此呈现球形视频，即，360度视频。
图10例示了根据本发明的一方面的360度视频发送设备。根据一方面，本发明可以涉及360度视频发送设备。360度视频发送设备可以处理360度视频数据，可以生成关于360度视频数据的信令信息，并且可以将360度视频数据和信令信息发送到接收方。具体地，360度视频发送设备可以将由鱼眼透镜获取的圆形图像映射到图片，可以对图片进行编码，可以生成关于360度视频数据的信令信息，并且可以使用各种方法以各种形式发送360度视频数据和/或信令信息。
根据本发明的360度视频发送设备可以包括视频处理器、数据编码器、元数据处理器、封装处理器和/或发送器作为内部/外部部件。
视频处理器可以处理由具有至少一个鱼眼透镜的相机捕获的至少一个或更多个圆形图像。这里，圆形图像可以包括360度视频数据。视频处理器可以将圆形图像映射到图片。根据实施方式，视频处理器可以将圆形图像映射到图片的矩形区域。这里，图片可以具有鱼眼视频格式。在实施方式中，该映射过程可以被称为圆形图像的打包。当使用由鱼眼透镜获取的鱼眼360度视频数据时，视频处理器可以是替换上述的拼接器、投影处理器和/或按区域打包处理器的组件。在这种情况下，由鱼眼透镜获取的圆形图像可以在不进行任何处理的情况下被直接映射到图片。
数据编码器可以对圆形图像被映射到的图片进行编码。数据编码器可以对应于上述数据编码器。
元数据处理器可以生成关于360度视频数据的信令信息。元数据处理器可以对应于上述元数据处理器。
封装处理器可以将编码后的图片和信令信息封装到文件中。封装处理器可以对应于上述封装处理器。
发送器可以发送360度视频数据和信令信息。当这些信息被封装到文件中时，发送器可以发送文件。发送器可以是与上述的发送处理器和/或发送器对应的组件。发送器可以通过广播网络或宽带发送信息。
在根据本发明的360度视频发送设备的一个实施方式中，信令信息可以包括用于在接收器中处理圆形图像的鱼眼视频信息。鱼眼视频信息是信令信息中的一条并且可以提供圆形图像、映射到圆形图像的矩形区域、以圆形图像的形式传送的单视场360度视频数据或立体360度视频数据、关于矩形区域的类型的信息等。鱼眼视频视频信息还可以提供供接收方提取、投影和混合圆形图像所需的信息，这将随后详细地描述。
在根据本发明的360度视频发送设备的一个实施方式中，鱼眼视频信息可以包括描述多个圆形图像中的圆形图像的信息。另外，鱼眼视频信息可以包括描述多个矩形区域中的矩形区域的信息。描述圆形图像的信息和/或描述矩形区域的信息可以被接收器用于获取经由圆形图像传送的鱼眼360度视频数据。根据实施方式，这些信息可以用于提取与对应于圆形图像的区域和矩形区域的交叉对应的区域的(鱼眼)360度视频数据。
在根据本发明的360度视频发送设备的一个实施方式中，描述圆形图形的信息可以包括关于圆形图像的属性信息。根据实施方式，描述圆形图像的信息可以包括关于捕获圆形图像的鱼眼透镜的视角的信息。这里，鱼眼透镜的视角可以被表示为鱼眼透镜的可以与接收方VR显示器的FOV不同的视场(FOV)。如上所述，VR显示器的FOV可以是指在再现360度视频时一次显示的视野范围。根据实施方式，描述圆形图像的信息可以包括指示圆形图像在3D空间中占据的区域的中心点的坐标的信息。这里，可以用偏航值、俯仰值和/或侧倾值表示中心点的坐标。
在根据本发明的360度视频发送设备的一个实施方式中，描述矩形区域的信息可以包括指定矩形区域的信息和/或指定映射到矩形区域的圆形图像的信息。指定矩形区域的信息可以指示矩形区域的左上点的位置、矩形区域的宽度和/或矩形区域的高度，由此指定矩形区域。指定映射到矩形区域的圆形图像的信息可以指示圆形图像的中心点的坐标和/或圆形图像的半径，由此指定圆形图像。
在根据本发明的360度视频发送设备的一个实施方式中，描述矩形区域的信息可以包括区域类型信息和/或区域附加信息。根据实施方式，根据区域类型信息的值，区域附加信息可以具有不同的含义。
在根据本发明的360度视频发送设备的一个实施方式中，根据圆形图像包括单视场360度视频数据还是立体360度视频数据，区域类型信息和/或区域附加信息可以具有不同的含义。根据实施方式，区域类型信息和/或区域添加信息还可以指示关于圆形图像是否在对应区域中进行帧打包、圆形图像的观看方向和/或观看位置等的信息。当两个或更多个圆形图像被映射到一个区域时，圆形图像可以被表示为进行帧打包。当只有一个圆形图像被映射到一个区域时，圆形图像可以被表示为不进行帧打包。
在根据本发明的360度视频发送设备的一个实施方式中，单视场360度视频数据可以是指按二维(2D)提供的360度视频数据。立体360度视频数据可以是指可以按3D提供的360度视频数据。根据接收器的能力，还可以按2D提供360度立体视频数据。
在根据本发明的360度视频发送设备的一个实施方式中，圆形图像的观看方向可以是指圆形图像在3D空间中所处的区域的方向。例如，当圆形图像对应于诸如球体这样的3D空间的正面时，圆形图像的观看方向可以是正面。
在根据本发明的360度视频发送设备的一个实施方式中，当传送立体360度视频数据时，圆形图像的观看位置可以指示圆形图像是对应于左图像还是右图像。例如，当圆形图像具有与立体360度视频的左图像对应的图像时，可以保留圆形图像的观看位置。
在根据本发明的360度视频发送设备的一个实施方式中，视频处理器可以将一个圆形图像映射到一个矩形区域。根据实施方式，视频处理器可以将多个圆形图像映射到一个矩形区域。根据实施方式，视频处理器可以将N个圆形图像映射到M个矩形区域。
在根据本发明的360度视频发送设备的一个实施方式中，当圆形图像传送立体360度视频数据时，区域类型信息可以指示映射到矩形区域的单个圆形图像的观看位置。这里，区域附加信息可以指示单个圆形图像的观看方向。
在根据本发明的360度视频发送设备的一个实施方式中，当圆形图像传送立体360度视频数据时，区域类型信息可以指示具有相同观看方向的多个圆形图像是否被映射到对应的矩形区域。即，区域类型信息可以指示是否基于相同的观看方向对在矩形区域中进行帧打包的圆形图像进行分组。这里，区域附加信息可以指示相同的观看方向。
在根据本发明的360度视频发送设备的一个实施方式中，当圆形图像传送立体360度视频数据时，区域类型信息可以指示具有相同观看位置的多个圆形图像是否被映射到对应的矩形区域。即，区域类型信息可以指示是否基于相同的观看位置对在矩形区域中进行帧打包的圆形图像进行分组。这里，区域附加信息可以指示相同的观看位置。
在根据本发明的360度视频发送设备的一个实施方式中，视频处理器可以不拼接圆形图像，或者可以在处理拼接圆形图像时不对圆形图像执行按区域打包。即，当基于鱼眼透镜处理鱼眼360度视频数据时，视频处理器可以省去拼接和按区域打包。
在根据本发明的360度视频发送设备的一个实施方式中，关于360度视频数据的信令信息或鱼眼视频信息可以以通过HTTP的动态自适应流传输(DASH)描述符的形式生成。鱼眼视频信息可以被配置为仅具有不同格式的DASH描述符，在这种情况下，DASH描述符可以被包括在媒体呈现描述(MPS)中，并且可以经由与针对(鱼眼)360度视频数据文件的路径不同的单独路径发送。在这种情况下，鱼眼视频信息可以不与360度视频数据一起封装在文件中。即，鱼眼视频信息可以通过单独的信令信道以MPD等的形式发送到接收方。根据实施方式，鱼眼视频信息可以被包括在文件和诸如MPD这样的单独信令信息二者中。
在根据本发明的360度视频发送设备的一个实施方式中，关于360度视频数据的信令信息或鱼眼视频信息可以以ISO基媒体文件格式(ISOBMFF)盒的形式被插入文件中。根据实施方式，该文件可以是ISOBMFF文件或者根据通用文件格式(CFF)的文件。在这种情况下，鱼眼视频信息可以位于样本进入层等中。
在根据本发明的360度视频发送设备的一个实施方式中，关于360度视频数据的信令信息或鱼眼视频信息可以以补充增强信息(SEI)消息的形式在视频层中传送。
在根据本发明的360度视频发送设备的一个实施方式中，圆形图像是用于鱼眼透镜所捕获的360度视频的图像，并且可以被称为鱼眼视频等。
在根据本发明的360度视频发送设备的一个实施方式中，360度视频发送设备还可以包括(发送方)反馈处理器。(发送方)反馈处理器可以对应于上述(发送方)反馈处理器。(发送方)反馈处理器可以从接收方接收指示用户的当前视口的反馈信息。反馈信息可以包括指定用户当前正在通过VR装置等观看的视口的信息。如上所述，可以使用反馈信息来执行平铺。这里，由360度视频发送设备发送的子图片或图片的一个区域可以是与反馈信息所指示的视口对应的子图片或图片的一个区域。这里，鱼眼视频信息可以提供关于与和反馈信息所指示的视口对应的子图片或图片的所述一个区域相关的鱼眼360度视频数据的信息。
在根据本发明的360度视频发送设备的一个实施方式中，鱼眼视频信息可以基于鱼眼360度视频数据发送整个图像的情况来提供相关的信令信息。根据实施方式，当发送整个图像的子图片时，鱼眼视频信息还可以包括关于在子图片中是否包括基于鱼眼透镜的图像以及关于与子图片中所包括的图像对应的区域的多条信息。这里，子图片可以对应于上述平铺操作中的图块。
在根据本发明的360度视频发送设备的一个实施方式中，不仅在发送基于鱼眼透镜的相机所捕获的图像时，而且在发送基于通用透镜的相机所捕获的图像时，可以应用鱼眼视频信息。即，不仅在将基于鱼眼透镜的图像发送到接收器时，而且在将基于通用透镜的图像发送到接收器时，可以使用根据本发明的实施方式的鱼眼视频信息，使得接收器提供360度视频服务、全景视频服务或通用视频服务。例如，可以使用六个基于通用透镜的相机，并且将这些相机配置为与立方体贴图的相应面匹配。在这种情况下，在本发明中提出的鱼眼视频信息还可以发送立体或单视场相机配置、用于提取单个图像的信息和用于与对应图像相关进行渲染的信息。
在根据本发明的360度视频发送设备的一个实施方式中，3D空间可以是球体。根据实施方式，3D空间可以是立方体等。
在根据本发明的360度视频发送设备的一个实施方式中，360度视频发送设备还可以包括未示出的数据输入单元。数据输入单元可以是与上述数据输入单元对应的内部组件。
根据本发明的360度视频发送设备的实施方式可以被彼此组合。另外，根据本实施方式，可以添加、改变、替换或删除根据本发明的360度视频发送设备的内部/外部组件。另外，360度视频发送设备的内部/外部组件可以被配置为硬件组件。
图11例示了根据本发明的另一方面的360度视频接收设备。
根据另一方面，本发明可以涉及360度视频接收设备。360度视频接收设备可以接收和处理360度视频数据和/或关于360度视频数据的信令信息，从而针对用户渲染360度视频。360度视频接收设备可以是与上述360度视频发送设备对应的接收方的装置。这里，信令信息可以指示元数据。
具体地，360度视频接收设备可以接收鱼眼360度视频数据和/或关于360度视频数据的信令信息，可以获取信令信息，可以基于信令信息对鱼眼360度视频数据进行解码。可以从鱼眼360度视频数据的图片和图片的矩形区域中提取圆形图像，可以将所提取的圆形图像投影到平面上，可以通过混合将所投影的圆形图像组合为一个图片，并且可以基于图片来渲染鱼眼360度视频。
根据本发明的360度视频接收设备可以包括接收器、数据处理器和/或元数据解析器作为内部/外部组件。
接收器可以接收(鱼眼)360度视频数据和/或关于360度视频数据的信令信息。根据实施方式，接收器可以以文件的形式接收这些信息。根据实施方式，接收器可以通过广播网络或宽带接收这些信息。接收器可以是与上述接收器对应的组件。
数据处理器可以从接收到的文件中获得(鱼眼)360度视频数据和/或关于360度视频数据的信令信息。数据处理器可以根据传输协议来处理接收到的信息，可以解封装文件，或者可以对360度视频数据进行解码。这里，处理鱼眼360度视频数据的数据处理器可以从包括鱼眼360度视频数据的图片中提取圆形图像。在该提取过程中，可以从图片的矩形区域中提取圆形图像。另外，数据处理器可以将所提取的圆形图像投影到相应平面上。另外，数据处理器可以将圆形图像投影到的多个平面合成为一个平面。该合成过程可以被称为混合。根据实施方式，投影过程和混合过程可以被统称为拼接。根据实施方式，混合过程可以被称为边界区域合并。作为参考，该拼接可以与在发送方执行的拼接不同。然后，数据处理器可以基于合成平面执行渲染，由此生成视口。当执行这些过程时，视频处理器可以使用从元数据解析器获得的信令信息。数据处理器可以是执行与上述的接收处理器、解封装处理器、数据解码器和/或渲染器对应的功能的组件。
元数据解析器可以解析所获得的信令信息。元数据解析器可以对应于上述元数据解析器。
根据本发明的360度视频接收设备可以具有与以上提到的根据本发明的360度视频发送设备对应的实施方式。根据本发明的360度视频接收设备及其内部/外部组件可以执行与上述的根据本发明的360度视频发送设备的实施方式对应的实施方式。
根据本发明的360度视频接收设备的实施方式可以被彼此组合。另外，根据本实施方式，可以添加、改变、替换或删除根据本发明的360度视频接收设备的内部/外部组件。另外，360度视频接收设备的内部/外部组件可以被配置为硬件组件。
图12例示了根据本发明的一个实施方式的处理鱼眼360度视频数据的过程。
如上所述，360度视频发送设备和360度视频接收设备可以处理鱼眼360度视频数据。
在处理鱼眼360度视频数据的过程的所例示实施方式中，360度视频发送设备的视频处理器可以将具有鱼眼360度视频数据的圆形图像映射到图片的矩形区域(S1200)。
首先，360度视频发送设备可以获取360度相机所捕获的图像。
这里，360度相机可以是指至少一个鱼眼相机或者具有至少一个鱼眼透镜和传感器的相机。
360度视频发送设备的视频处理器可以将圆形图像映射/打包到图片上(S1200)。然后，如上所述，视频处理器可以对图片进行编码，并且元数据处理器可以生成关于鱼眼360度视频数据、圆形图像和/或矩形区域的信令信息。此后，360度视频数据和/或信令信息可以经历文件封装过程等，并且可以被发送到接收方。
如所示出的，视频处理器的拼接、投影和/或按区域打包操作可以被打包圆形图像的操作替代(S1200)。
在处理鱼眼360度视频数据的过程的所例示实施方式中，360度视频接收设备的数据处理器可以从图片的矩形区域中提取与圆形图像对应的鱼眼360度视频数据，可以将所提取的数据投影到平面上，并且可以通过混合平面将平面合成为一个平面(S1210)。
360度视频接收设备的接收器可以从接收到的广播信号中获取360度视频数据和/或信令信息并进行处理。360度视频接收设备的数据处理器和元数据解析器可以从接收到的比特流中获得鱼眼360度视频数据和/或信令信息。
360度视频接收设备的数据处理器可以从具有鱼眼360度视频数据的图片中提取圆形图像。数据处理器可以提取关于单个鱼眼透镜的图像。
根据实施方式，数据处理器可以首先提取矩形区域，然后可以从矩形区域中提取映射到圆形图像的区域。在这种情况下，与矩形区域和映射到圆形图像的区域的内部交叉对应的区域可以是通过鱼眼透镜获取的实际鱼眼360度视频数据。其余的无效区域可以用黑色等区别地指示。根据实施方式，数据处理器可以提取与矩形区域和映射到圆形图像的区域的交叉对应的区域。这里，映射到圆形图像的区域可以被称为圆形区域。
数据处理器可以使用以上例示的鱼眼视频信息来指定矩形区域。这里，可以使用由鱼眼视频信息提供的关于矩形区域的左上点的信息、关于矩形区域的宽度信息和/或关于矩形区域的高度信息。数据处理器还可以使用鱼眼视频信息来指定映射到圆形图像的区域。这里，可以使用由鱼眼视频信息提供的关于中心点和/或半径信息的信息。
360度视频接收设备的数据处理器可以将所提取的圆形图像投影到平面上(投影)。这里，该平面可以是等矩柱状投影(ERP)平面。该投影过程可以是将圆形图像重新投影到诸如球坐标系这样的3D空间中的中间步骤。
具有实际鱼眼360度视频数据的有效区域可以被定义为矩形区域和映射到圆形图像的区域的交叉。这里，在考虑到有效区域与有效区域在3D空间中具有的区域具有一一对应关系的情况下，数据处理器可以使用ERP来在有效区域中投影圆形图像。如上所述，可以通过视角信息和关于中心点的信息来定义有效区域在3D空间中具有的区域。可以用偏航、俯仰和侧倾或者用方位角、仰角和倾斜度来表示关于中心点的信息。
根据实施方式，数据处理器可以根据视角使用标准化投影来将所提取的图像投影到平面上的有效区域中。根据实施方式，当由于装置特性而导致在圆形图像之间透镜的轴不一致时或者当在ISP中没有正确地校正透镜时，发送方的元数据处理器可以生成针对其的附加参数并且可以将附加参数包括在信令信息中。接收方的数据处理器使用这些附加参数来执行投影。这些附加参数可以包括透镜失真校正参数和/或透镜阴影校正参数。
360度视频接收设备的数据处理器可以将至少一个投影平面合成为一个ERP平面(混合)。根据实施方式，由于鱼眼透镜的视角和中心点的坐标，可能出现圆形图像交叠的部分，并且数据处理器可以适宜地混合交叠部分的像素信息。
360度视频接收设备的数据处理器可以基于最终合成的ERP平面(图片)执行渲染，由此生成对应的视口。
如所示出的，数据处理器的图像渲染过程可以被以上提到的提取、投影、混合等操作替换(S1210)。
图13例示了根据本发明的另一实施方式的处理鱼眼360度视频数据的过程。
如上所述，360度视频接收设备的数据处理器可以从图片的矩形区域中提取与圆形图像对应的鱼眼360度视频数据，可以将所提取的数据投影到平面上，并且可以通过混合平面将平面合成为一个平面。
在处理360度视频数据的过程的所例示实施方式中，由两个具有180度或更大的视角的鱼眼透镜获得的两个圆形图像可以被发送到接收方。
在该实施方式中，数据处理器可以从图片中提取与圆形图像的鱼眼360度视频数据对应的有效区域(1300)。可以用第一矩形区域与第一圆形区域的交叉表示第一有效区域。这里，圆形区域可以是由(a1，b1)的中心点和半径c1指定的区域。可以用第二矩形区域与第二圆形区域的交叉表示第二有效区域。这里，圆形区域可以是由(a2，b2)的中心点和半径c2指定的区域。根据实施方式，除了有效区域之外的区域可以被处理为黑色。
随后，数据处理器可以将所提取的每个图像投影到单独的ERP平面上(1310)。第一图像在3D空间中的中心坐标可以为(y1，p1，r1)，并且视角为XXX度。第二图像在3D空间中的中心坐标可以为(y2，p2，r2)，并且视角为XXX度。作为投影的结果，可以输出两个投影的ERP平面。
数据处理器可以将这些ERP平面混合成单个ERP平面(1320)。数据处理器可以基于一个混合的ERP平面生成视口(1330)。
可以通过关于360度视频数据的信令信息来获得诸如矩形区域的规范、圆形区域的规范和视角这样的上述信息。
根据本发明的处理鱼眼360度视频数据的过程的以上实施方式可以被彼此组合。在根据本发明的360度视频发送设备和360度视频接收设备的实施方式中，处理鱼眼360度视频数据的过程可以是根据以上实施方式的处理鱼眼360度视频数据的过程。
图14例示了根据本发明的一个实施方式的提取鱼眼360度视频数据的过程。
如上所述，360度视频接收设备的数据处理器可以从图片的矩形区域中提取与圆形图像对应的鱼眼360度视频数据。
数据处理器可以使用图片的圆形区域和矩形区域二者，以便从图片中提取包括实际鱼眼360度视频数据的有效区域。如上所述，圆形区域可以是指与圆形图像对应的区域。
在数据处理器的提取过程中，有效区域可以根据鱼眼透镜和成像表面(传感器上)之间的距离、传感器框架的大小、焦距等而具有各种形状。
当传感器框架的尺寸足够大于焦距时，即，当圆形图像适合于框架的矩形区域内时，有效区域可以是整个圆形图像(1410)。
当传感器框架的大小小于焦距时，即，当圆形图像的部分在框架外部时，有效区域可以是除了框架外部的部分之外的圆形图像(1420)。
当传感器框架的大小远远小于焦距并因此框架的对角长度比圆形图像的直径短时，有效区域可能具有矩形形状并且圆形图像的部分会占据整个框架(1430)。
在所例示的实施方式(1431)中，可以使用焦距为8mm的全帧传感器(圆形鱼眼，左起第一个)获得圆形有效区域。另外，可以使用焦距为10mm的APS-C传感器(全帧鱼眼，左起第二个)获得占据整个帧的矩形有效区域。另外，可以使用焦距为12mm的APS-H传感器(全帧鱼眼，左起第三个)获得占据整个帧的矩形有效区域。另外，可以使用焦距为15mm的全帧传感器(全帧鱼眼，左起第四个)获得占据整个帧的矩形有效区域。
根据实施方式，在数据处理器的提取过程中，多个圆形图像可以被分开(1440)或可以以交叠方式(1450)打包到图片上。
当多个圆形图像被分别打包(1440)时，有效区域对应于两个完整圆形，因此能够仅使用关于圆形区域的信息来准确地提取有效区域。然而，当多个圆形图像被以交叠方式打包(1450)时，如果仅使用关于圆形区域的信息来执行提取，则也可以提取其它相邻图像的部分。
为了避免提取其它图像的部分，如上所述，数据处理器可以仅提取与圆形区域与矩形区域的交叉对应的区域。另选地，根据实施方式，数据处理器可以首先提取矩形区域，并且可以从矩形区域中提取圆形区域，由此提取最终有效区域(1460)。
根据本发明的提取鱼眼360度视频数据的过程的以上实施方式可以被彼此组合。在根据本发明的360度视频接收设备的实施方式中，提取鱼眼360度视频数据的过程可以是根据以上实施方式的提取鱼眼360度视频数据的过程。
如上所述，根据本发明的鱼眼视频信息是关于360度视频数据的一条信令信息，并且可以包括关于鱼眼360度视频数据的信息。如上所述，鱼眼视频信息可以提供接收器执行提取、投影和混合所需的信息。
根据实施方式，鱼眼视频信息可以以视频编解码器的元数据的形式发送，可以经由诸如HEVC这样的视频编解码器的SEI消息发送，或者可以以VPS、SPS或PPS的形式发送。另外，根据实施方式，鱼眼视频信息还可以通过数字有线/无线接口、系统级文件格式等来发送。
例如，鱼眼视频信息可以被包括在下表中所例示的SEI消息中。
[表1]
参照表1，SEI消息可以包括omnidirectional_fisheye_video作为鱼眼视频信息。
可以如下表中地导出omnidirectional_fisheye_video。
[表2]
参照表2，omnidirectional_fisheye_video可以包括omnidirectional_fisheye_video_id字段、stereoscopic_flag字段、synchronized_left_right_360camera_flag字段、num_viewing_directions_minus1字段和/或num_picture_regions_minus1字段。
omnidirectional_fisheye_video_id字段可以指示用于识别鱼眼视频信息的标识符。即，当将多条鱼眼视频信息用于单条鱼眼360度视频数据时，可以通过该字段来识别每条鱼眼视频信息。例如，在包括多个图片的360度视频中，可以通过该字段来区分每个图片。根据实施方式，可以根据是否使用帧打包布置、帧打包布置类型等为该字段指派不同的值。
stereoscopic_flag字段可以指示在对应的(解码后的)图片中是否包括立体360度视频数据。等于1的该字段可以指示图片包括与左图像或右图像对应以支持立体视频的视频数据。
当使用立体360度视频数据时，synchronized_left_right_360_camera_flag字段可以指示用于左图像的相机的数目和用于右图像的相机的数目是否相同。即，该字段可以指示针对左图像的圆形图像的数目和针对右图像的圆形图像的数目是否相同。另选地，该字段可以指示针对左图像的观看方向的数目和针对右图像的观看方向的数目是否相同。
例如，当synchronized_left_right_360camera_flag字段的值为1时，对于立体360度视频，左相机的数目和右相机的数目或者左透镜的数目和右透镜的数目可以是相同的。因此，随后将描述的num_viewing_directions_minus1字段可以指示对于左和右而言的相等数目的相机或相等数目的观看方向。另外，当synchronized_left_right_360camera_flag字段的值为1时，左相机和右相机或者左透镜和右透镜可以具有相同的特性，并且可以被设置为拍摄相同的位置。即，左相机和右相机得到的个体圆形图像可以具有相同的偏航值、俯仰值和侧倾值。因此，以下将描述的field_of_view[i]字段、center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段可以指示左相机和右相机或圆形图像的特性。
当synced_left_right_360camera_flag字段的值为0时，对于立体360度视频，左相机的数目和右相机的数目或左透镜的数目和右透镜的数目可以是不相同的。另外，当synchronized_left_right_360camera_flag字段的值为0时，左相机和右相机或左透镜和右透镜可以具有不同的特性。因此，下面将描述的num_viewing_directions_minus1字段、field_of_view[i]字段、center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段可以指示左相机或左圆形图像的特性，并且num_viewing_directions_per_right_view_minus1字段、field_of_view_per_right_view[i]字段、center_yaw_per_right_view[i]字段、center_pitch_per_right_view[i]字段和center_roll_per_right_view[i]字段可以指示右相机或右圆形图像的特性。
num_viewing_directions_minus1字段可以指示对应图片中定义的观看方向的数目。即，num_viewing_directions_minus1字段可以指示由鱼眼透镜在单个观看位置(左/右)捕获的圆形图像的数目。num_viewing_directions_minus1字段的值加1可以被导出作为观看方向的数目。例如，当图片包括作为相对于左图像的前方向和后方向的两个观看方向上的圆形图像时，num_viewing_directions_minus1字段的值可以为1。根据实施方式，每个观看方向可以被视为单个相机。
num_picture_regions_minus1字段可以指示对应图片中定义的矩形区域的数目。num_picture_regions_minus1字段的值加1可以被导出作为矩形区域的数目。
根据实施方式的所例示的鱼眼视频信息还可以包括当stereoscopic_flag字段为1时的视差字段。视差字段可以指示对于立体360度视频而言左相机与右相机之间的距离，即，视差值。360度视频接收设备可以使用视差字段的值来提供立体字幕或立体图形覆盖，该立体字幕或立体图形覆盖具有与立体360度视频的深度对应或与图像匹配的深度。
根据实施方式的所例示的鱼眼视频信息还可以包括针对相应观看方向或具有取决于num_viewing_directions_minus1字段的值的观看方向的圆形图像的field_of_view[i]字段、center_yaw[i]字段、center_pitch[i]字段和/或center_roll[i]字段。表2中例示的num_viewing_directions_minus1字段的for语句之后的多条信息可以对应于以上例示的关于圆形图像的信息。
field_of_view[i]字段可以指示捕获第i个圆形图像的鱼眼透镜的视角。根据上下文，视角可以被称为圆形图像的视角。该字段值的值可以以度为单位进行表示。
即使圆形图像具有相同的大小，当被投影到ERP平面上时，圆形图形也可以根据视角占据ERP平面上的不同区域。例如，由具有220度的视角的透镜捕获的圆形图像可以以圆形图像的投影形式投影到图13的1310中所例示的ERP平面上。在另一示例中，由具有180度的视角的透镜捕获的圆形图像可以被投影，以覆盖比图13的1310中小的区域。即，即使圆形图像具有相同的大小，也可以更密集地对具有较宽视角的圆形图像进行采样。
尽管未在表2中示出，但是根据实施方式，鱼眼视频信息还可以包括针对每个圆形图像的view_idc[i]字段。view_idc字段可以指示圆形图像的360度视频是立体360度视频还是单视场360度视频和/或圆形图像的360度视频是左图像还是右图像。根据view_idc[i]字段的一个实施方式，当view_idc[i]字段等于0时，圆形图像的360度视频可以是单视场360度视频。当view_idc[i]字段为1时，圆形图像的360度视频可以是立体360度视频的左图像。当view_idc[i]字段为2时，圆形图像的360度视频可以是立体360度视频的右图像。当view_idc[i]字段为3时，圆形图像的360度视频可以是立体360度视频的左图像和右图像。
当view_idc[i]字段为0或1时，field_of_view[i]字段可以指示对应观看方向上的视角。当view_idc[i]字段为2或3时，假定对应观看方向上的左/右圆形图像具有相同的视角，则field_of_view[i]字段可以指示在对左圆形图像和右圆形图像进行上采样之后的圆形的视角。
Center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段、center_pitch[i]字段和center_roll[i]字段可以指示3D空间中的第i观看方向上的圆形图像的位置。即，center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段可以指示3D空间中的由圆形图像占据的区域的中心点的偏航值、俯仰值和侧倾值。
当view_idc[i]字段为0或1时，center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段可以分别指示观看方向上的圆形图像的中心点的偏航、俯仰和侧倾。当view_idc[i]字段为2或3时，假定观看方向上的左/右圆形图像的中心点具有相同的偏航值、俯仰值和侧倾值，center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段可以指示左/右图像的中心点的偏航值、俯仰值和侧倾值。
在本发明中，field_of_view[i]字段、center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段中的i的范围从0到num_viewing_directions_minus1，并且可以被用作参考进行各偏航、俯仰和侧倾时的相机输出图像或鱼眼透镜输出图像(圆形图像)的索引。
参照表2，当stereoscopic_flag字段的值为1并且synchronized_left_right_360camera_flag字段的值为0时，鱼眼视频信息还可以包括num_viewing_directions_per_right_view_minus1字段、field_of_view_per_right_view[i]字段、center_yaw_per_right_view[i]字段、center_pitch_per_right_view[i]字段和/或center_roll_per_right_view[i]字段。
当提供立体360度视频时，可以添加num_viewing_directions_per_right_view_minus1字段、field_of_view_per_right_view[i]字段、center_yaw_per_right_view[i]字段、center_pitch_per_right_view[i]字段和center_roll_per_right_view[i]字段，并且相机的数目、透镜的配置、视角、偏航值、俯仰值和侧倾值根据左图像和右图像而变化。
在这种情况下，可以将num_viewing_directions_minus1字段、field_of_view[i]字段、center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段用作左图像的信息，并且可以将num_viewing_directions_perfects_per_right_view_minus1字段、field_of_view_per_right_view[i]字段、center_yaw_per_right_view[i]字段、center_pitch_per_right_view[i]字段和center_roll_per_right_view[i]字段用作右图像的信息。对所添加的字段的描述可以与前面对num_viewing_directions_minus1字段、field_of_view[i]字段、center_yaw[i]字段、center_pitch[i]字段和center_roll[i]字段的描述相同。
参照表2，鱼眼视频信息可以包括取决于num_picture_regions_minus1字段的值的针对每个矩形区域的region_type[i]字段、region_info[i]字段、rect_region_top[i]字段、rect_region_left[i]字段、rect_region_width[i]字段、rect_region_height[i]字段、circular_image_center_x[i]字段、circular_image_center_y[i]字段和/或circular_image_radius[i]字段。表2中例示的num_picture_regions_minus1字段的for语句之后的多条信息可以对应于以上例示的关于矩形区域的信息。
随后，将详细地描述region_type[i]字段和region_info[i]字段。
rect_region_top[i]字段、rect_region_left[i]字段、rect_region_width[i]字段和rect_region_height[i]字段可以指示映射到鱼眼透镜所捕获的第i圆形图像的矩形区域的左上位置(左上点的位置)、宽度和高度。
当view_idc[i]字段为0或1时，每个矩形区域可以被定义为对应于每个圆形图像。即，一个矩形区域可以被映射到一个圆形图像。当view_idc[i]字段为2或3时，一个矩形区域可以被映射到两个或多个圆形图像(左和右)。
circle_image_center_x[i]字段和circular_image_center_y[i]字段可以指示鱼眼透镜所捕获的第i圆形图像中的圆形的中心点。根据实施方式，circular_image_center_x[i]字段和circular_image_center_y[i]字段可以使用图片的亮度样本索引的位置、对应矩形区域中的相对亮度样本索引的位置或单位长度的比率来指示圆形的中心点。
当view_idc[i]字段为0或1时，circular_image_center_x[i]字段和circular_image_center_y[i]字段可以定义每个圆形的中心。当view_idc[i]字段为2或3时，假定左圆形图像和右圆形图像具有同一圆形的中心，则circular_image_center_x[i]字段和circular_image_center_y[i]字段可以定义同一圆形的中心。这里，可以假定左圆形图像和右圆形图像被映射到同一矩形区域。
circle_image_radius[i]字段可以指示鱼眼透镜所捕获的第i圆形图像的半径。即，circular_image_radius[i]字段可以指示从圆形图像的中心到其边缘的直线距离。根据实施方式，circular_image_radius[i]字段所指示的圆形的半径可以被定义为从亮度样本索引的中心到最外面像素的中心、到最外面像素的边缘或者到最外面样品的中心或边缘在垂直或水平方向上的距离，或者可以被定义为单位长度上的比率。
当view_idc[i]字段为0或1时，circular_image_radius[i]字段可以定义左圆形图像和右圆形图像中的每一个的半径。当view_idc[i]字段为2或3时，假定左圆形图像和右圆形图像具有相同的半径，circular_image_radius[i]字段可以指示已被上采样的左圆形图像和右圆形图像的半径。
根据view_idc[i]字段的另一实施方式，当streoscopic_flag字段为1时，view_idc[i]字段可以具有与region_type[i]字段相同的含义。即，当streoscopic_flag字段为1时，region_type[i]字段的值0、1、2和3可以指示与view_idc[i]字段的值0、1、2和3相同的含义。在这种情况下，view_idc[i]字段的角色可以被并入region_type[i]字段中，并且view_idc[i]字段可以被省略。随后，将描述region_type[i]字段。
例如，可以如表3中地导出region_type[i]字段和关于region_info[i]字段所指示的区域的信息。
[表3]
根据本发明的region_type[i]字段和region_info[i]字段可以提供关于对应矩形区域的类型信息和/或附加多条信息。region_type[i]字段和region_info[i]字段可以分别对应于以上提到的关于对应矩形区域的区域类型信息和区域附加信息。
详细地，region_type[i]字段可以指示矩形区域的类型。当使用单视场360度视频数据时，根据值，region_type[i]字段可能没有任何含义。当使用立体360度视频数据时，region_type[i]字段可以用于指示关于矩形区域的图像的视点信息。
例如，当region_type[i]字段的值为0或1时，可以指示单个圆形图像被映射到矩形区域。
当region_type[i]字段的值为2时，可以向矩形区域应用帧打包，并且矩形区域中所包括的多条立体鱼眼360度视频数据可以具有观看方向的含义。即，当region_type[i]字段的值为2时，region_type[i]字段可以指示矩形区域经历帧打包并且在矩形区域中进行帧打包的多个圆形图像在同一观看方向上。在这种情况下，相应矩形区域可以按观看方向#1、观看方向#2等来区分。
当region_type[i]字段的值为3时，可以向矩形区域应用帧打包，并且矩形区域中所包括的多条立体鱼眼360度视频数据可以具有观看位置的含义。即，当region_type[i]字段的值为3时，region_type[i]字段可以指示矩形区域经历帧打包并且在矩形区域中进行帧打包的多个圆形图像在同一观看位置。在这种情况下，可以通过左图像和右图像来区分相应矩形区域。
当region_type[i]字段的值为2或3时，可以假定左圆形图像和右圆形图像具有相同的大小和同一中心。在这种情况下，可以由接收方基于通过帧打包布置SEI消息传送的信令信息来获得诸如帧打包类型和/或样本位置这样的信息。
在鱼眼视频信息的另一实施方式中，值为0或1的region_type[i]字段和具有其它值的region_type[i]字段不可以同时存在于一条SEI消息中。
在鱼眼视频信息的又一实施方式中，当具有0或1的值的region_type[i]字段和具有其它值的region_type[i]字段二者存在于一个SEI消息中时，鱼眼视频信息可以包括针对各个region_type[i]字段分别定义矩形区域、圆形图像、视角、偏航值、俯仰值和侧倾值的多个for语句。在这种情况下，鱼眼视频信息还可以包括关于每个视图或矩形区域的信息。可以基于omnidirectional_fisheye_video_id字段来区分关于视图或矩形区域的信息。
region_info[i]字段可以根据region_type[i]字段的值来提供关于对应矩形区域的附加信息。360度视频接收设备可以基于region_info[i]字段来导出区域的属性，并且可以在考虑到该属性的情况下执行投影过程和视口生成过程，由此提高这些过程中的处理效率。
例如，当region_type[i]字段的值为0或1时，单个圆形图像被映射到矩形区域，因此region_info[i]字段可以附加地指示圆形图像的观看方向。
这里，当region_type[i]字段的值为1并且synchronized_left_right_360camera_flag字段的值为0时，右图像的观看方向的数目可以与左图像的观看方向的数目不同，并且region_info[i]字段可以根据num_viewing_directions_per_right_view_minus1的值指示右图像的观看方向中的每一个。
当region_type[i]字段的值为2时，矩形区域中进行帧打包的圆形图像可以基于观看方向被映射到矩形区域。即，当region_type[i]字段的值为2时，针对同一观看方向的圆形图像可以被映射到矩形区域。在这种情况下，region_info[i]字段可以指示作为矩形区域的参考的观看方向。
当region_type[i]字段的值为3时，矩形区域中进行帧打包的圆形图像可以基于观看位置被映射到矩形区域。即，当region_type[i]字段的值为3时，针对同一观看位置的圆形图像可以被映射到矩形区域。在这种情况下，region_info[i]字段可以指示作为矩形区域的参考的观看位置。根据实施方式，region_info[i]字段可以具有0、1和2的值，这些值可以分别指示左图像的圆形图像被映射、右图像的圆形图像被映射和具有同一观看方向的左图像和右图像被一起映射。根据实施方式，当观看方向的数目为奇数时，针对单个观看方向的一对左图像和右图像可以被映射到一个矩形区域并且region_info[i]字段可以具有值2。根据实施方式，圆形图像的布置可以被定义为以从左到右的顺序固定。
在鱼眼视频信息的另一实施方式中，当region_type[i]字段的值为3时，鱼眼视频信息还可以包括viewing_direction_left_circular_image[i]字段和viewing_direction_right_circular_image[i]字段。
viewing_direction_left_circular_image[i]字段和viewing_direction_right_circular_image[i]字段还可以指示矩形区域中的圆形图像中的每一个的观看方向。如上所述，当region_type[i]字段的值为3时，鱼眼视频信息可以仅发信号通知关于矩形区域的观看位置的信息。因此，为了进行补充，还可以发信号通知viewing_direction_left_circular_image[i]字段和viewing_direction_right_circular_image[i]字段。viewing_direction_left_circular_image[i]字段可以指示在矩形区域中位于左侧的圆形图像的观看方向，并且viewing_direction_right_circular_image[i]字段可以指示在矩形区域中位于右侧的圆形图像的观看方向。
图15例示了根据本发明的一个实施方式的接收方处理鱼眼360度视频的过程。
根据本发明的接收方处理鱼眼360度视频的过程可以对应于360度视频接收设备的前述提取、投影、混合和渲染过程。如上所述，接收方处理鱼眼360度视频的过程可以根据依据view_idc[i]字段的图片的配置、是否应用帧打包、帧打包类型和圆形图像的映射状态而变化。在该过程中，可以使用以上提到的鱼眼视频信息。在下面将描述的接收方处理鱼眼透镜360度视频的过程中，假定使用具有前方向和后方向这两个观看方向的鱼眼相机。
在图15中例示的接收方处理鱼眼360度视频的过程的实施方式中，通过图片发送单视场鱼眼360度视频，并且可以使用两个矩形区域。在这种情况下，所获得的stereoscopic_flag字段的值可以为0，并且所获得的num_fisheye_picture_regions_minus1字段的值可以为1。
详细地，当使用其中两个鱼眼透镜被前后设置以获得360度视频数据的单视场相机时，前圆形图像和后圆形图像可以被映射到图片，如图15中例示的。例如，前圆形图像可以被映射到图片的左矩形区域，而后圆形图像可以被映射到图片的右矩形区域。
如上所述，可以通过关于鱼眼视频信息的左上点的信息、宽度信息和高度信息来指定矩形区域。另外，可以通过鱼眼视频信息的中心点的索引和半径信息来指定映射到圆形图像的圆形区域。
360度视频接收设备可以使用鱼眼视频信息来提取与前有效区域和后有效区域对应的鱼眼360度视频数据。随后，360度视频接收设备可以基于与有效区域对应的鱼眼360度视频数据执行拼接(投影和混合)，并且可以渲染合适的单视场360度视频。
图16例示了根据本发明的另一实施方式的接收方处理鱼眼360度视频的过程。
在图16中例示的接收方处理鱼眼360度视频的过程的实施方式中，通过图片发送立体鱼眼360度视频，并且可以使用四个矩形区域。矩形区域的区域类型信息的值可以为0至1。在这种情况下，所获得的stereoscopic_flag字段的值可以为1，所获得的num_fisheye_picture_regions_minus1字段的值可以为3，并且所获得的region_type字段的值可以为0或1。
详细地，针对左前图像的圆形图像、针对右前图像的圆形图像、针对左后图像的圆形图像和针对右后图像的圆形图像可以被映射到图片。另外，可以定义四个矩形区域以对应于相应的圆形图像，如图16中例示的。在该实施方式中，360度视频发送设备可以将一个圆形图像映射到一个矩形区域。
可以任意地确定基于左图像和右图像的图像布置。对于左图像，区域类型信息可以被指定为0，而对于右图像，区域类型信息可以被指定为1。能够发信号通知指示圆形图像是前图像还是后图像的区域附加信息。
360度视频接收设备可以基于鱼眼视频信息来提取与前/后/左/右图像对应的鱼眼360度视频数据。随后，360度视频接收设备可以基于所提取的鱼眼360度视频数据针对每个观看方向执行拼接(投影和混合)，因此可以针对适当区域渲染立体360度视频。
图17a和图17b例示了根据本发明的另一实施方式的接收方处理鱼眼360度视频的过程。
在图17a中例示的接收方处理鱼眼360度视频的过程的实施方式中，通过图片发送立体鱼眼360度视频，并且可以使用两个矩形区域。矩形区域的区域类型信息的值可以为2。在这种情况下，所获得的stereoscopic_flag字段的值可以为1，所获得的num_fisheye_picture_regions_minus1字段的值可以为1，并且所获得的region_type字段的值可以为2。
详细地，针对左前图像的圆形图像、针对右前图像的圆形图像、针对左后图像的圆形图像和针对右后图像的圆形图像可以被映射到图片。在该实施方式中，360度视频发送设备可以经由帧打包将两个圆形图像映射到一个矩形区域。即，如图17a的1700中例示的，可以在图片中定义两个矩形区域，并且可以将这两个圆形图像映射到一个矩形区域。
在该实施方式中，synchronized_left_right_360camera_flag字段的值可以被假定为1。即，对于左图像和右图像，观看方向的数目可以相等，即两个(前和后)。在本实施方式中，因为如上所述region_type字段的值为2，所以一个矩形区域可以根据偏航、俯仰和侧倾指示方向性。即，一个矩形区域可以指示特定的观看方向(前或后)。
例如，可以将图17a中例示的矩形区域#1(pic rgn#1)导出为指示前观看方向的矩形区域，因此，可以经由帧打包将与左前图像和右前图像对应的两个圆形图像映射到矩形区域#1。可以将图17a中例示的矩形区域#2(pic rgn#2)导出为指示后观看方向的矩形区域，因此，可以经由帧打包将与左后图像和右后图像对应的两个圆形图像映射到矩形区域#2。
即，在本实施方式中，根据左观看位置和右观看位置的圆形图像可以被设置在同一矩形区域中。尽管在该实施方式中使用了并排的帧打包格式，但是根据实施方式可以使用上下或不同的帧打包格式。
区域附加信息可以指示矩形区域是前矩形区域还是后矩形区域。
360度视频接收设备可以基于鱼眼视频信息提取每个矩形区域。接下来，360度视频接收设备可以基于帧打包布置信息(帧解包)来重构与每个观看方向对应的图像，并且可以根据每个观看位置来提取圆形图像。随后，360度视频接收设备可以执行拼接(投影和混合)，因此可以针对适当区域渲染立体360度视频。
根据实施方式，如图17b的1710中例示的，360度视频接收设备可以仅处理必要部分的图像，由此快速生成针对必要部分的立体视频。该必要部分可以是要根据用户的当前视口或360度视频内容的所关注区域(ROI)进行渲染的部分。
360度视频接收设备可以确定具有与对应于必要部分的观看方向和/或观看范围对应的偏航、俯仰、侧倾和/或观看角度的一个或更多个矩形区域。可以基于鱼眼视频信息执行该确定。360度视频接收设备可以提取所确定的(所选择的)矩形区域，可以在矩形区域上执行帧解包，可以提取对应的圆形图像，并且可以基于所提取的圆形图像执行拼接，由此快速生成必要部分的立体视频。
在图17b的1710中例示的实施方式中，前图像可以是与必要部分对应的图像。因此，可以选择前矩形区域，并且可以仅对前矩形区域应用接收方处理。因此，可以将前图像的立体360度视频快速地提供给用户。
图18a和图18b例示了根据本发明的另一实施方式的接收方处理鱼眼360度视频的过程。
在图18a中例示的接收方处理鱼眼360度视频的过程的实施方式中，通过图片发送立体鱼眼360度视频，并且可以使用两个矩形区域。矩形区域的区域类型信息的值可以为3。在这种情况下，所获得的stereoscopic_flag字段的值可以为1，所获得的num_fisheye_picture_regions_minus1字段的值可以为1，并且所获得的region_type字段的值可以为3。
详细地，针对左前图像的圆形图像、针对右前图像的圆形图像、针对左后图像的圆形图像和针对右后图像的圆形图像可以被映射到图片。在该实施方式中，360度视频发送设备可以经由帧打包将两个圆形图像映射到一个矩形区域。即，如图18a的1800中例示的，可以定义两个矩形区域，并且可以将这两个圆形图像映射到一个矩形区域。
在该实施方式中，synchronized_left_right_360camera_flag字段的值可以被假定为1。即，对于左图像和右图像，观看方向的数目可以相等，即两个(前和后)。在本实施方式中，因为如上所述region_type字段的值为3，所以一个矩形区域可以指示左/右观看位置。即，一个矩形区域可以指示观看位置(左图像或右图像)。
例如，可以将图18a的1800中例示的矩形区域#1(pic rgn#1)导出为指示左图像的观看位置的矩形区域，因此，可以经由帧打包将与左前图像和左后图像对应的两个圆形图像映射到矩形区域#1。可以将图18a的1800中例示的矩形区域#2(pic rgn#2)导出为指示右图像的观看位置的矩形区域，因此，可以经由帧打包将与右前图像和右后图像对应的两个圆形图像映射到矩形区域#2。
即，在本实施方式中，根据前观看方向和后观看方向的圆形图像可以被设置在同一矩形区域中。尽管在该实施方式中使用了并排的帧打包格式，但是根据实施方式可以使用上下或不同的帧打包格式。
区域添加信息可以指示矩形区域是对应于左图像的矩形区域还是对应于右图像的矩形区域。另外，如上所述，可以通过viewing_direction_left[i]字段和viewing_direction_right[i]字段来指定一个矩形区域中的圆形图像中的每一个的方向性。
360度视频接收设备可以基于鱼眼视频信息提取每个矩形区域。接下来，360度视频接收设备可以基于帧打包布置信息(帧解包)来重构与每个观看位置对应的图像，并且可以根据每个观看方向来提取圆形图像。随后，360度视频接收设备可以基于所提取的圆形图像执行拼接(投影和混合)，因此可以针对适当区域渲染立体360度视频。
根据实施方式，如图18b的1810中例示的，不支持立体视频的360度视频接收设备可以仅处理与任一个观看位置对应的图像，由此快速生成360度视频的单视场视频。
具体地，例如，360度视频接收设备可以确定与左图像或右图像对应的鱼眼360度视频数据当中的任一个观看位置。可以基于鱼眼视频信息执行该确定。例如，可以选择关于哪个区域附加信息的值为0或2的矩形区域。360度视频接收设备可以提取所确定的(所选择的)矩形区域，可以对所提取的矩形区域执行帧解包，可以提取对应的圆形图像，并且可以对圆形图像执行拼接，由此根据左图像或右图像的任一个观看位置来快速生成单视场360度视频。
在图18b的1810中例示的实施方式中，可以选择与左图像对应的矩形区域，并且可以仅对该矩形区域应用接收方处理。因此，360度视频接收设备可以仅使用与左图像对应的图像向用户快速提供单视场360度视频。
根据本发明的接收方处理鱼眼360度视频数据的过程的以上实施方式可以被彼此组合。在根据本发明的360度视频接收设备的实施方式中，接收方处理鱼眼360度视频的过程可以是根据以上实施方式的接收方处理鱼眼360度视频的过程。
图19例示了根据本发明的一个实施方式的映射圆形图像的处理。
根据本发明的映射圆形图像的过程可以对应于在以上操作当中的将圆形图像投影到3D空间(球体等)上和/或ERP平面上的过程。在该过程中，可以考虑到以下参数执行相关操作。
具体地，图19中例示的圆形图像的中心可以被导出为(circular_image_center_x[i]*2-16,circular_image_center_y[i]*2-16)。即，可以基于circular_image_center_x[i]字段和circular_image_center_y[i]字段来导出圆形图像的中心。可以用α和β表示图19中例示的归一化3D鱼眼透镜捕获坐标的Ф和θ，并且可以用Ф和θ表示经度和纬度。另外，图19可以示出基于本发明中发送的参数在3D球坐标系上呈现圆形图像的过程。
可以通过下式导出在3D球坐标系上呈现圆形图像的过程。
[式5]
如图19和式5中例示的，可以描述针对各个情况的式。这各个情况可以包括鱼眼坐标-3D鱼眼透镜捕获坐标转换、3D鱼眼透镜捕获坐标-XYZ坐标转换、ZYZ坐标-球坐标转换和/或球坐标-ERP坐标转换。以上的式可以被称为球坐标系映射式。即，球坐标系映射式可以是指用于将圆形图像映射到3D球坐标系上的式。
这里，可以假定circular_image_center_x[i]字段、circular_image_center_y[i]字段、circular_image_radius[i]字段和field_of_view[i]字段为16比特，用这16比特表示整数部分和分数部分。
根据本发明的映射圆形图像的过程的以上实施方式可以被彼此组合。在根据本发明的360度视频接收设备的实施方式中，映射圆形图像的过程可以是根据以上实施方式的映射圆形图像的过程。
如上所述，可以以ISOBMFF文件中的盒的形式传送鱼眼视频信息。可以如下表中例示地导出以ISOBMFF文件中的盒的形式传送的鱼眼视频信息。鱼眼视频信息可以被定义为OmnidirectionalFisheyeVideoInformationStruct。
[表4]
OmnidirectionalFisheyeVideoInformationStruct可以被定义为可以被包括在ISOBMFF文件中的盒。即，可以基于ISOBMFF文件存储和发送鱼眼360度视频数据，并且可以以ISOBMFF文件中的盒的形式来传送OmnidirectionalFisheyeVideoInformationStruct。
根据实施方式，可以针对通过对应的视频轨道(流)、样本、样本组等存储/传送的鱼眼360度视频数据发信号通知OmnidirectionalFisheyeVideoInformationStruct盒。另外，根据实施方式，OmnidirectionalFisheyeVideoInformationStruct盒可以存在于其中存储/发送鱼眼360度视频数据的轨道的视觉样本条目下。另外，根据实施方式，可以通过诸如CFF这样的格式来传送鱼眼视频信息。
表4中例示的鱼眼视频信息中所包括的每个字段可以具有与通过SEI消息发送的以上鱼眼视频信息的字段相同的含义。
根据传送鱼眼视频信息的另一实施方式，可以定义OmnidirectionalFisheyeVideoInformationSEI(ofvb)盒。可以如下表中例示地导出ofvb盒。
[表5]
ofvb盒可以包括SEI NAL单元，并且SEI NAL单元可以具有包括鱼眼视频信息的SEI消息。
ofvb盒可以被包括在与鱼眼视频信息关联的VisualSampleEntry、AVCSampleEntry、MVCSampleEntry、SVCSampleEntry、HEVCSampleEntry等中。
当ofvb盒被包括在VisualSampleEntry中时，可以如下表所例示地导出ofvb盒。
[表6]
当ofvb盒被包括在HEVCSampleEntry中时，可以如下表所例示地导出ofvb盒。
[表7]
[表8]
当ofvb盒被包括在HEVCSampleEntry中时，如表7中例示的，ofvb盒可以被包括在HEVCConfigurationBox中，或者如表8中例示的，ofvb盒可以被直接包括在HEVCSampleEntry中。
另外，根据实施方式，ofvb盒可以被包括在根据区域提供相关信息的SEI或视频可用性信息(VUI)中。因此，可以针对文件格式中所包括的视频帧提供针对每个区域的不同信令信息。
根据实施方式，鱼眼视频信息可以被定义为OmnidirectionalFisheyeVideoInformationStruct(ofvi)盒，并且可以经由定时的元数据来传送。当ofvi盒被包括在dime元数据中时，可以如下表中例示地导出ofvi盒。这里，“ofvi”盒中所包括的字段可以具有与SEI消息中定义的相同的含义。
[表9]
[表10]
当经由定时的元数据传送的鱼眼视频信息的内容等同地应用于所有视频样本时，ofvi盒可以被包括在对应定时的元数据轨道的报头(moov或moof盒)的样本条目中，如表9中例示的。在这种情况下，ofvi盒的字段可以应用于mdat中的所有元数据样本。
另选地，当需要根据视频样本不同地应用经由定时的元数据传送的鱼眼视频信息的内容时，ofvi盒可以被包括在定时的元数据样本中，如表10中例示的。在这种情况下，ofvi盒的字段可以应用于对应的视频样本。
另外，当需要将经由定时的元数据传送的鱼眼视频信息的内容应用于所有视频序列时，如上所述，ofvi盒可以被包括在定时的元数据轨道的样本条目中，其中，ofvi盒的多条信息(字段)可以在语义上扩展以应用于所有视频序列。
例如，假定捕获视频序列的鱼眼360度相机未改变，ofvi盒中所包括的视差字段、field_of_view字段、num_viewing_directions_minus1字段、center_yaw字段、center_pitch字段、center_roll字段、synchronized_left_right_360camera_flag字段、num_viewing_directions_per_right_view_minus1字段、center_yaw_per_right_view字段、center_pitch_per_right_view字段和center_roll_per_right_view字段可以应用于所有视频序列。
另外，当所有视频序列具有相同的图像打包格式时，ofvi盒中所包括的不仅num_picture_regions_minus1字段、region_type字段、region_info字段、viewing_direction_left_circular_image字段和viewing_direction_right_circular_image字段，而且rect_region_top字段、rect_region_left字段、rect_region_width字段、rect_region_height字段，circular_image_center_x字段、circular_image_center_y字段和circular_image_radius字段可以被定义为被应用于所有视频序列，并且可以被作为所有视频序列的参考。
可以根据DASH传送鱼眼视频信息。如下表中例示地，可以导出被描述为基于DASH的描述符的鱼眼视频信息。
[表11]
基于DASH的描述符可以包括@schemeIdUri字段、@value字段和/或@id字段。@schemeIdUri字段可以提供用于识别描述符的方案的URI。@value字段可以具有其含义由@schemeIdUri字段所指示的方案定义的值。即，@value字段可以根据该方案而具有描述符元素的值，并且这些描述符元素可以被称为参数并且可以通过“,”彼此区分开。@id字段可以指示描述符的标识符。当描述符具有相同的标识符时，描述符可以包括相同的方案ID、相同的值和相同的参数。
当根据DASH传送鱼眼视频信息时，鱼眼视频信息可以被描述为DASH描述符并且可以经由MPD发送到接收器。用于鱼眼视频信息的描述符可以被作为以上例示的必要属性描述符和/或补充属性描述符来传送。这些描述符可以被包括在MPD的自适应集合、呈现或子呈现中并进行传送。
在传送表11中所例示的鱼眼视频信息的描述符中，@schemeIdURI字段可以具有值urn:mpeg:dash:vr201x，该值可以是指示该描述符是传送鱼眼视频信息的描述符的值。
鱼眼视频信息的描述符的@value字段可以具有与表11中例示的实施方式中相同的值。即，@value字段中由“,”分隔的参数可以对应于以上例示的鱼眼视频信息的相应字段。相应参数可以具有与鱼眼视频信息的字段相同的含义。在所例示的实施方式中，相应参数可以具有与具有上述相同术语的信令字段相同的含义。
还可以以基于DASH的描述符的形式描述根据所有上述实施方式的鱼眼视频信息。即，尽管表11中例示的实施方式是鱼眼视频信息的上述各种实施方式当中的以@value的参数描述的一个实施方式，但是信令字段可以被将在上述的鱼眼视频信息的所有实施方式中描述的@value的参数替代。
这里，M可以指示参数是强制参数，O可以指示参数是可选参数，并且OD可以指示参数是具有默认值的可选参数。当没有给出OD参数的值时，预定义的默认值可以被用作该参数的值。在表11中例示的实施方式中，每个OD参数的默认值被在括号中给出。
根据本发明的鱼眼视频信息的以上实施方式可以被彼此组合。在根据本发明的360度视频发送设备和/或360度视频接收设备的实施方式中，鱼眼视频信息可以是根据以上实施方式的鱼眼视频信息。
在如上所述发送的鱼眼视频信息中还可以包括附加信息。如下表中例示地导出包括附加信息的鱼眼视频信息。
[表12]
参照表12，SEI消息可以包括omnidirectional_fisheye_video作为鱼眼视频信息。omnidirectional_fisheye_video可以包括鱼眼视频信息的字段。这些字段可以具有与上述相同的含义。
另外，参照表12，omnidirectional_fisheye_video可以包括spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段、spherical_center_offset_z[i]字段、focus_length[i]字段、lens_type[i]字段、supp_circular_image_radius[i]字段、num_of_supp_regions[i]字段、supp_rect_region_top[i]字段、supp_rect_region_left[i]字段、supp_rect_region_width[i]字段、supp_rect_region_height[i]字段和/或functional_descriptor()字段。
The spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段和spherical_center_offset_z[i]字段可以指示360度鱼眼相机所捕获的图像被渲染的球坐标(例如，单位球体)。具体地，当通过第i鱼眼透镜捕获的图像被渲染的(单位)球体被称为第i局部球体并且所有所得图像被渲染以构造360度视频的球体被称为全局球体时，spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段和spherical_center_offset_z[i]字段可以指示XYZ坐标系中的第i局部球体的中心与全局球体的中心的距离。即，以全局球体的中心为原点，spherical_center_offset_x[i]字段可以指示第i局部球体的中心的x分量，spherical_center_offset_y[i]字段可以指示第i局部球体的中心的y分量，并且spherical_center_offset_z[i]字段可以指示第i局部球体的中心的z分量。这里，分别由spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段和spherical_center_offset_z[i]字段指示的x分量、y分量和z分量的单位可以是单位球体，或者可以是实际长度(例如，单位为mm)。spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段和spherical_center_offset_z[i]字段可以与以上例示的center_pitch[i]和center_roll[i]一起使用，以便指示360度相机中所包括的个体相机的相对位置和成像表面的角度。
focus_length[i]字段可以指示鱼眼透镜的焦距。focus_length[i]字段所指示的焦距可以以mm为单元来表示。可以假定焦距与视场(FoV)可以具有反函数关系。可以如下式地导出焦距与FoV之间的关系。
[式6]
lens_type[i]字段可以指示针对图像的透镜类型。可以如下表中地导出lens_type[i]字段所指示的透镜类型。
[表13]
参照表13，可以基于lens_type[i]字段的值来导出透镜类型。例如，当lens_type[i]字段的值为1时，可以将透镜类型导出为等距类型；当lens_type[i]字段的值为2时，可以将透镜类型导出为球极类型；当lens_type[i]字段的值为3时，可以将透镜类型导出为等立体角类型；当lens_type[i]字段的值为4时，可以将透镜类型导出为正交类型。另外，当lens_type[i]字段的值为127时，用户可以定义任意函数并且可以传送关于其的参数。
例如，当lens_type[i]字段的值为127时，可以传送functional_descriptor()。在functional_descriptor()中，可以定义用于定义任意函数的参数，并且可以传送指示N个节中的一节的开始和结束的变量、定义节中使用的函数的类型(线性、多项式、指数或Bazier函数)的变量和指定每个函数的变量。
根据基于lens_type[i]字段所导出的透镜类型，可以应用鱼眼相机的不同球坐标映射式。
可以如下地导出根据透镜类型的球坐标系映射式。
[式7]
球极 a＝2＊atan(r/(2＊f))
等距 a＝r/f
立体角 a＝2＊asin(r/(2＊f))
正交 a＝asin(r/f)
这里，r是与圆形图像的中心的距离，即，r是圆形图像的半径，f是焦距，并且a是相对于光轴的角度。
具体地，例如，当spherical_center_offset_x[i]字段的值、spherical_center_offset_y[i]字段的值和spherical_center_offset_z[i]字段的值为0时，可以如下表中地执行根据透镜类型映射到球坐标并且根据ERP映射到投影的图片。
[表14]
当spherical_center_offset_x[i]字段的值、spherical_center_offset_y[i]字段的值和spherical_center_offset_z[i]字段的值不为0时，可以增加将映射到第i局部球体上的图像映射到全局球体的过程。
尽管在本发明中仅定义了鱼眼相机的透镜类型，但是上述语法元素可以用于根据通用相机的透镜类型或不同鱼眼相机的透镜类型来定义接收器操作。
supp_circular_image_radius[i]字段可以用于导出能够用于构造360度球体的样本的范围。这里，360度球体可以指示渲染360度视频的3D空间。例如，可以存在被360度相机的结构隐藏的区域，并且可以传送supp_circular_image_radius[i]字段，以从拼接过程中排除该区域。supp_circular_image_radius[i]字段可以指示例如未映射到360度视频的圆形区域的半径。supp_circular_image_radius[i]字段的值可以小于上述circular_image_radius[i]字段的值。
另外，可以发送关于多个矩形区域的信息，以传送关于360度球体的特定信息。矩形区域可以指示未映射到360度视频的区域，并且可以被称为盲区。为了减少360度视频的比特数，可以将矩形区域中的样本设置为同一样本值。例如，可以将矩形区域中的所有样本设置为指示黑色的样本值。
num_of_supp_regions[i]字段可以指示矩形区域的数目。supp_rect_region_top[i]字段和supp_rect_region_left[i]字段可以指示矩形区域的左上位置(左上点的位置)。supp_rect_region_width[i]字段可以指示矩形区域的宽度，并且supp_rect_region_height[i]字段可以指示矩形区域的高度。
supp_circular_image_radius[i]字段可以用于传送用于拼接过程的诸如必要信息和关于可以被认为没有错误(诸如，透镜阴影)的区域的信息这样的有用信息。
图20示意性地例示了根据本发明的360度视频发送设备进行的360度视频数据处理方法。可以由图5中公开的360度视频发送设备执行图20中公开的方法。具体地，例如，图20的S2000可以由360度视频发送设备的数据输入单元执行，S2010可以由360度视频发送设备的投影处理器执行，S2020可以由360度视频发送设备的数据编码器执行，S2030可以由360度视频发送设备的元数据处理器执行，并且S2040可以由360度视频发送设备的发送处理器执行。发送处理器可以被包括在发送器中。
360度视频发送设备获取包括由具有至少一个鱼眼透镜的相机捕获的360度视频的圆形图像(S2000)。360度视频发送设备可以获取包括由具有至少鱼眼透镜的相机捕获的360度视频的圆形图像。
360度视频发送设备将圆形图像映射到具有鱼眼视频格式的图片的矩形区域(S2010)。360度视频发送设备可将圆形图像映射到图片的矩形区域。360度视频发送设备可以获取多个圆形图像，并且图片可以包括至少一个矩形区域。在这种情况下，360度视频发送设备可以将多个圆形图像中的至少一个映射到矩形区域。
另外，360度视频发送设备可以执行旋转或重新布置图片的矩形区域或者改变矩形区域的分辨率的过程。该过程可以被称为按区域打包或帧打包。
360度视频发送设备对映射到圆形图像的图片进行编码(S2020)。360度视频发送设备可以对当前图片进行编码。另外，360度视频发送设备可以对元数据进行编码。
360度视频发送设备生成关于360度视频的元数据(S2030)。元数据可以包括鱼眼视频信息。
鱼眼视频信息可以包括如上所述的omnidirectional_fisheye_video_id字段、stereoscopic_flag字段、synchronized_left_right_360camera_flag字段、num_viewing_directions_minus1字段、num_picture_regions_minus1字段、视差字段、field_of_view字段、center_yaw[i]字段、center_pitch[i]字段、center_roll[i]字段、num_viewing_directions_per_right_view_minus1字段、field_of_view_per_right_view[i]字段、center_yaw_per_right_view[i]字段、center_pitch_per_right_view[i]字段、center_roll_per_right_view[i]字段、region_type[i]字段、region_info[i]字段、rect_region_top[i]字段、rect_region_left[i]字段、rect_region_width[i]字段、rect_region_height[i]字段、circular_image_center_x[i]字段、circular_image_center_y[i]字段、circular_image_radius[i]字段、spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段、spherical_center_offset_z[i]字段、focal_length[i]字段、lens_type[i]字段、supp_circular_image_radius[i]字段、num_of_supp_regions[i]字段、supp_rect_region_top[i]字段、supp_rect_region_left[i]字段、supp_rect_region_width[i]字段、supp_rect_region_height[i]字段和/或functional_descriptor()字段。
以上已描述了这些字段。
具体地，例如，鱼眼视频信息可以包括指示透镜类型的信息。透镜类型可以是等距类型、球极类型、等立体角类型、正交类型和用户定义类型中的一种。例如，当指示透镜类型的信息的值为1时，可以导出透镜类型是等距类型；当指示透镜类型的信息的值为2时，可以导出透镜类型是球极类型；当指示透镜类型的信息的值为3时，可以导出透镜类型是等立体角类型；当指示透镜类型的信息的值为4时，可以导出透镜类型是正交类型；当指示透镜类型的信息的值为127时，可以导出透镜类型是用户定义类型。指示透镜类型的信息可以是lens_type[i]字段。
可以基于透镜类型来导出用于将圆形图像映射到3D空间的球坐标系映射式。
例如，当圆形图像被映射到的3D空间的中心为(0,0,0)时，可以基于透镜类型如下地导出球坐标系映射式。
当透镜类型是等距类型时，可以如下式地导出球坐标系映射式。
[式8]
此处，circular_image_center_x[i]指示圆形图像的中心的x分量的语法，circular_image_center_y[i]指示圆形图像的中心的y分量的语法，circle_image_radius[i]指示圆形图像的半径的语法，并且field_of_view[i]指示相对于圆形图像的观看方向的视角的语法。可以基于式8来导出与圆形图像中的位置(x，y)对应的3D空间中的样本的位置(Ф，θ)。
在另一示例中，当透镜类型是球极类型时，可以如下式地导出球坐标系映射式。
[式9]
此处，circular_image_center_x[i]指示圆形图像的中心的x分量的语法，circular_image_center_y[i]指示圆形图像的中心的y分量的语法，circle_image_radius[i]指示圆形图像的半径的语法，并且field_of_view[i]指示相对于圆形图像的观看方向的视角的语法。可以基于式9来导出与圆形图像中的位置(x，y)对应的3D空间中的样本的位置(Ф，θ)。
另外，在另一示例中，当透镜类型是等立体角类型时，可以如下式地导出球坐标系映射式。
[式10]
此处，circular_image_center_x[i]指示圆形图像的中心的x分量的语法，circular_image_center_y[i]指示圆形图像的中心的y分量的语法，circle_image_radius[i]指示圆形图像的半径的语法，并且field_of_view[i]指示相对于圆形图像的观看方向的视角的语法。可以基于式10来导出与圆形图像中的位置(x，y)对应的3D空间中的样本的位置(Ф，θ)。
另外，在另一示例中，当透镜类型是正交类型时，可以如下式地导出球坐标系映射式。
[式11]
此处，circular_image_center_x[i]指示圆形图像的中心的x分量的语法，circular_image_center_y[i]指示圆形图像的中心的y分量的语法，circle_image_radius[i]指示圆形图像的半径的语法，并且field_of_view[i]指示相对于圆形图像的观看方向的视角的语法。可以基于式11来导出与圆形图像中的位置(x，y)对应的3D空间中的样本的位置(Ф，θ)。
在另一示例中，鱼眼视频信息可以包括关于未映射到360度视频数据的区域的信息。
例如，关于未映射到360度视频数据的区域的信息可以包括指示未映射到360度视频的圆形区域的半径的信息。指示圆形区域的半径的信息可以对应于supp_circular_image_radius[i]字段。
关于未映射到360度视频数据的区域的信息可以包括指示未映射到360度视频的矩形区域的数目的信息。关于未映射到360度视频数据的区域的信息可以包括指示未映射到360度视频的矩形区域的左上点的信息、指示矩形区域的高度的信息和指示矩形区域的宽度的信息。这里，未映射到360度视频数据的区域中的样本可以被设置为同一样本值。例如，未映射到360度视频数据的区域中的样本可以被设置为同一样本值，并且该样本值可以是呈现黑色的值。指示未映射到360度视频的矩形区域的数目的信息可以对应于num_of_supp_regions[i]字段，指示未映射到360度视频的矩形区域的左上点的信息可以对应于supp_rect_region_top[i]字段和supp_rect_region_left[i]字段，指示矩形区域的高度的信息可以对应于supp_rect_region_height[i]字段，并且指示矩形区域的宽度的信息可以对应于supp_rect_region_width[i]字段。
另外，在另一示例中，鱼眼视频信息可以包括指示鱼眼透镜相对于360度视频数据的焦距的信息。指示矩形区域的高度的信息可以对应于focal_length[i]字段。
另外，在另一示例中，鱼眼视频信息可以包括指示圆形图像被渲染的3D空间的中心的信息。指示圆形图像被渲染的3D空间的中心的信息可以对应于spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段和spherical_center_offset_z[i]字段。
另外，在另一示例中，鱼眼视频信息可以包括描述圆形图像的信息和描述映射到圆形图像的矩形区域的信息。描述圆形图像的信息和描述矩形区域的信息可以用于360度视频接收设备，以提取与圆形图像与矩形区域的交叉对应的360度视频数据。
描述圆形图像的信息可以包括指示捕获圆形图像的鱼眼透镜的视角的信息以及指示由圆形图像在3D空间中占据的区域的中心点的坐标的信息。描述矩形区域的信息可以包括用于指定矩形区域的指示矩形区域的左上点的位置、矩形区域的宽度和矩形区域的高度的信息以及用于指定映射到矩形区域的圆形图像的指示圆形图像的中心点的坐标和圆形图像的坐标的信息。
描述矩形区域的信息可以包括区域类型信息和根据区域类型信息的值而具有不同含义的区域附加信息。映射到图片的圆形图像可以包括立体360度视频数据。区域类型信息可以指示映射到矩形区域的圆形图像的观看位置，并且区域附加信息可以指示映射到矩形区域的圆形图像的观看方向。
区域类型信息还可以指示是否将具有相同观看方向的多个圆形图像映射到矩形区域。当具有相同观看方向的多个圆形图像被映射到矩形区域时，区域附加信息可以指示被映射到矩形区域的多个圆形图像的观看方向。
区域类型信息还可以指示是否将具有相同观看位置的多个圆形图像映射到矩形区域。当具有相同观看位置的多个圆形图像被映射到矩形区域时，区域附加信息可以指示被映射到矩形区域的多个圆形图像的观看位置。
可以通过SEI消息发送元数据。另外，元数据可以被包括在媒体呈现描述(MPD)的自适应集合、呈现或子呈现中。例如，鱼眼视频信息可以以MPD中所包括的通过HTTP的动态自适应流传输(DASH)描述符的形式发送。这里，SEI消息可以用于支持对2D图像或在3D空间中显示2D图像进行解码。
360度视频发送设备对编码后的当前图片和元数据执行存储或发送的处理(S2140)。360度视频发送设备可以将编码后的360度视频数据和/或元数据封装到文件等中。360度视频发送设备可以以诸如ISOBMFF或CFF这样的文件格式封装编码后的360度视频数据和/或元数据，或者可以将其处理为DASH片段等以便存储或发送它。360度视频发送设备可以包括文件格式的元数据。例如，元数据可以被包括在ISOBMFF中的具有各层的盒中，或者可以被包括为文件中的单独轨道的数据。另外，360度视频发送设备可以将元数据本身封装到文件中。360度视频发送设备可以对根据文件格式封装的360度视频数据应用发送处理。360度视频发送设备可以根据任何传输协议来处理360度视频数据。发送处理可以包括通过广播网络进行传送的处理以及通过诸如宽带这样的通信网络进行传送的处理。此外，360度视频发送设备还可以向元数据应用发送处理。360度视频发送设备可以通过广播网络和/或宽带来发送被处理以便发送的360度视频数据和元数据。
根据本发明，能够基于指示用于360度视频的鱼眼透镜的透镜类型的信息，根据透镜类型来导出球坐标系映射式，从而依据透镜类型将360度视频数据准确地映射到3D空间。另外，根据本发明，能够基于指示未映射到360度视频数据的区域的信息高效地导出映射到3D空间的360度视频数据，从而提高编码效率。
图21示意性地例示了根据本发明的执行360度视频数据处理方法的360度视频发送设备。可以由图21中公开的360度视频发送设备执行图20中公开的方法。具体地，例如，图21中的360度视频发送设备的数据输入单元可以执行图20的S2000，图21中的360度视频发送设备的投影处理器可以执行图20的S2010，图21中的360度视频发送设备的数据编码器可以执行图20的S2020，图21中的360度视频发送设备的元数据处理器可以执行图20的S2030，并且图21中的360度视频发送设备的发送处理器可以执行图20的S2040。发送处理器可以被包括在发送器中。
图22示意性地例示了根据本发明的360度视频接收设备进行的360度视频数据处理方法。图22中公开的方法可以由图6中公开的360度视频接收设备执行。具体地，例如，图22的S2200可以由360度视频接收设备的接收器执行，S2210可以由360度视频接收设备的接收处理器执行，S2220可以由360度视频接收设备的数据解码器执行，并且S2230和S2240可以由360度视频接收设备的渲染器执行。
360度视频接收设备接收360度视频数据(S2200)。360度视频接收设备可以通过广播网络接收从360度视频发送设备发信号通知的360度视频数据。另外，360度视频接收设备可以通过诸如宽带这样的通信网络或存储介质接收360度视频数据。
360度视频接收设备从360度视频数据获取关于编码后的图片和元数据的信息(S2210)。360度视频接收设备可以根据传输协议来处理接收到的360度视频数据，并且可以从360度视频数据获取关于编码后的图片的信息和元数据。另外，360度视频接收设备可以执行与以上提到的用于360度视频发送设备的发送的过程相反的过程。
元数据可以包括鱼眼视频信息。
鱼眼视频信息可以包括如上所述的omnidirectional_fisheye_video_id字段、stereoscopic_flag字段、synchronized_left_right_360camera_flag字段、num_viewing_directions_minus1字段、num_picture_regions_minus1字段、视差字段、field_of_view字段、center_yaw[i]字段、center_pitch[i]字段、center_roll[i]字段、num_viewing_directions_per_right_view_minus1字段、field_of_view_per_right_view[i]字段、center_yaw_per_right_view[i]字段、center_pitch_per_right_view[i]字段、center_roll_per_right_view[i]字段、region_type[i]字段、region_info[i]字段、rect_region_top[i]字段、rect_region_left[i]字段、rect_region_width[i]字段、rect_region_height[i]字段、circular_image_center_x[i]字段、circular_image_center_y[i]字段、circular_image_radius[i]字段、spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段、spherical_center_offset_z[i]字段、focal_length[i]字段、lens_type[i]字段、supp_circular_image_radius[i]字段、num_of_supp_regions[i]字段、supp_rect_region_top[i]字段、supp_rect_region_left[i]字段、supp_rect_region_width[i]字段、supp_rect_region_height[i]字段和/或functional_descriptor()字段。
以上已描述了这些字段。
具体地，例如，鱼眼视频信息可以包括指示透镜类型的信息。透镜类型可以是等距类型、球极类型、等立体角类型、正交类型和用户定义类型中的一种。例如，当指示透镜类型的信息的值为1时，可以导出透镜类型是等距类型；当指示透镜类型的信息的值为2时，可以导出透镜类型是球极类型；当指示透镜类型的信息的值为3时，可以导出透镜类型是等立体角类型；当指示透镜类型的信息的值为4时，可以导出透镜类型是正交类型；当指示透镜类型的信息的值为127时，可以导出透镜类型是用户定义类型。指示透镜类型的信息可以是lens_type[i]字段。
可以基于透镜类型来导出用于将圆形图像映射到3D空间的球坐标系映射式。360度视频接收设备可以根据基于透镜类型导出的球坐标系映射式将圆形图像映射到3D空间。
例如，当圆形图像被映射到的3D空间的中心为(0,0,0)时，可以基于透镜类型如下地导出球坐标系映射式。
当透镜类型是等距类型时，可以如式8地导出球坐标系映射式。在另一示例中，当透镜类型是球极类型时，可以如式9地导出球坐标系映射式。另外，在另一示例中，当透镜类型是等立体角类型时，可以如式10地导出球坐标系映射式。另外，在另一示例中，当透镜类型是正交类型时，可以如式11地导出球坐标系映射式。
根据本发明，能够基于关于用于360度视频的鱼眼透镜的透镜类型的信息，根据透镜类型来导出球坐标系映射式，由此依据透镜类型将360度视频准确地映射到3D空间。
在另一示例中，鱼眼视频信息可以包括关于未映射到360度视频数据的区域的信息。
例如，关于未映射到360度视频数据的区域的信息可以包括指示未映射到360度视频的圆形区域的半径的信息。指示圆形区域的半径的信息可以对应于supp_circular_image_radius[i]字段。
关于未映射到360度视频数据的区域的信息可以包括指示未映射到360度视频的矩形区域的数目的信息。关于未映射到360度视频数据的区域的信息可以包括指示未映射到360度视频的矩形区域的左上点的信息、指示矩形区域的高度的信息和指示矩形区域的宽度的信息。这里，未映射到360度视频数据的区域中的样本可以被设置为同一样本值。例如，未映射到360度视频数据的区域中的样本可以被设置为同一样本值，并且该样本值可以是呈现黑色的值。指示未映射到360度视频的矩形区域的数目的信息可以对应于num_of_supp_regions[i]字段，指示未映射到360度视频的矩形区域的左上点的信息可以对应于supp_rect_region_top[i]字段和supp_rect_region_left[i]字段，指示矩形区域的高度的信息可以对应于supp_rect_region_height[i]字段，并且指示矩形区域的宽度的信息可以对应于supp_rect_region_width[i]字段。
另外，在另一示例中，鱼眼视频信息可以包括指示鱼眼透镜相对于360度视频数据的焦距的信息。指示矩形区域的高度的信息可以对应于focal_length[i]字段。
另外，在另一示例中，鱼眼视频信息可以包括指示圆形图像被渲染的3D空间的中心的信息。指示圆形图像被渲染的3D空间的中心的信息可以对应于spherical_center_offset_x[i]字段、spherical_center_offset_y[i]字段和spherical_center_offset_z[i]字段。
另外，在另一示例中，鱼眼视频信息可以包括描述圆形图像的信息和描述映射到圆形图像的矩形区域的信息。360度视频接收设备可以基于描述圆形图像的信息和描述矩形区域的信息来提取与圆形图像与矩形区域的交叉对应的360度视频数据。
描述圆形图像的信息可以包括指示捕获圆形图像的鱼眼透镜的视角的信息以及指示由圆形图像在3D空间中占据的区域的中心点的坐标的信息。描述矩形区域的信息可以包括用于指定矩形区域的指示矩形区域的左上点位置、矩形区域的宽度和矩形区域的高度的信息以及用于指定映射到矩形区域的圆形图像的指示圆形图像的中心点的坐标和圆形图像的坐标的信息。
描述矩形区域的信息可以包括区域类型信息和根据区域类型信息的值而具有不同含义的区域附加信息。映射到图片的圆形图像可以包括立体360度视频数据。区域类型信息可以指示映射到矩形区域的圆形图像的观看位置，并且区域附加信息可以指示映射到矩形区域的圆形图像的观看方向。
区域类型信息还可以指示是否将具有相同观看方向的多个圆形图像映射到矩形区域。当具有相同观看方向的多个圆形图像被映射到矩形区域时，区域附加信息可以指示被映射到矩形区域的多个圆形图像的观看方向。
区域类型信息还可以指示是否将具有相同观看位置的多个圆形图像映射到矩形区域。当具有相同观看位置的多个圆形图像被映射到矩形区域时，区域附加信息可以指示被映射到矩形区域的多个圆形图像的观看位置。
可以通过SEI消息接收元数据。另外，元数据可以被包括在媒体呈现描述(MPD)的自适应集合、呈现或子呈现中。例如，鱼眼视频信息可以以MPD中所包括的通过HTTP的动态自适应流传输(DASH)描述符的形式接收。这里，SEI消息可以用于支持解码2D图像或在3D空间中显示2D图像。
360度视频接收设备基于关于编码后的图片的信息解码具有鱼眼视频格式的图片(S2220)。360度视频接收设备可以基于关于编码后的图片的信息对具有鱼眼视频格式的图片进行解码。
360度视频接收设备可以基于元数据从图片导出包括鱼眼视频的圆形图像(S2230)。例如，元数据的鱼眼视频信息可以包括描述圆形图像的信息和描述映射到圆形图像的矩形区域的信息。360度视频接收设备可以基于描述矩形区域的信息来导出矩形区域，并且可以基于描述圆形图像的信息来导出映射到矩形区域的圆形图像。在这种情况下，与矩形区域和映射到圆形区域的区域的内部交叉对应的区域可以是通过鱼眼透镜获得的实际360度视频数据。其余的无效区域可以用黑色等区别地指示。根据实施方式，360度视频接收设备可以提取与矩形区域和映射到圆形图像的区域的交叉对应的区域。这里，映射到圆形图像的区域可以被称为圆形区域。
鱼眼视频信息可以包括关于未映射到360度视频数据的区域的信息。360度视频接收设备可以基于关于未映射到360度视频数据的区域的信息来导出未映射到360度视频数据的区域。
360度视频接收设备基于元数据处理并渲染圆形图像(S2240)。鱼眼视频信息可以包括关于透镜类型的信息，并且360度视频接收设备可以根据基于透镜类型导出的球坐标系映射式将圆形图像映射到3D空间。具体地，360度视频接收设备可以根据基于透镜类型(投影)导出的球坐标系映射式将圆形图像映射到平面上。这里，该平面可以是等矩柱状投影(ERP)平面。该投影过程可以是将圆形图像重新投影到诸如球坐标系这样的3D空间中的中间步骤。360度视频接收设备可以基于最终合成的ERP平面(图片)执行渲染，由此生成对应的视口。
根据本发明，能够基于指示用于360度视频的鱼眼透镜的透镜类型的信息，根据透镜类型来导出球坐标系映射式，从而依据透镜类型将360度视频数据准确地映射到3D空间。另外，根据本发明，能够基于指示未映射到360度视频数据的区域的信息高效地导出映射到3D空间的360度视频数据，从而提高编码效率。
图23示意性地例示了根据本发明的执行360度视频数据处理方法的360度视频接收设备。图22中公开的方法可以由图23中公开的360度视频接收设备执行。具体地，例如，图23中的360度视频接收设备的接收器可以执行图22的S2200，图23中的360度视频接收设备的接收处理器可以执行图22的S2210，图23中的360度视频接收设备的数据解码器可以执行图22的S2220，并且图23中的360度视频接收设备的渲染器可以执行图22中的S2230和S2240。
根据实施方式可以省略上述步骤，或者可以用执行相似/相同操作的其它步骤替换上述步骤。
根据本发明的实施方式的360度视频发送设备可以包括上述的数据输入单元、拼接器、信令处理器、投影处理器、数据编码器、发送处理器和/或发送器。以上已描述了内部组件。根据本发明的实施方式的360度视频发送设备及其内部组件可以执行针对本发明的发送360度视频的方法的上述实施方式。
根据本发明的实施方式的360度视频接收设备可以包括上述的接收器、接收处理器、数据解码器、信令解析器、重新投影处理器和/或渲染器。以上已描述了内部组件。根据本发明的实施方式的360度视频接收设备及其内部组件可以执行针对本发明的接收360度视频的方法的上述实施方式。
上述设备的内部组件可以是执行存储在存储器或硬件组件中的连续过程的处理器。这些组件可以位于设备的内部/外部。
上述模块可以根据实施方式被省略或者被执行相似/相同操作的其它模块替换。
上述组件、模块或单元可以是执行存储在存储器(或存储单元)中的连续过程的处理器或硬件部件。在以上提到的实施方式中描述的步骤可以由处理器或硬件部件执行。在以上所述的实施方式中描述的模块/块/单元可以作为硬件/处理器操作。由本发明提出的方法可以作为代码被执行。这样的代码可以被写在处理器可读的存储介质上，并且因此可以由通过设备提供的处理器读取。
在以上的示例性系统中，虽然已经基于使用一系列步骤或框的流程图描述了方法，但是本发明不限于这些步骤的顺序，并且这些步骤中的一些可以按与剩余步骤不同的顺序执行或者可以与剩余步骤同时执行。此外，本领域的技术人员将理解，用流程图示出的步骤不是排他性的并且包括其它步骤，或者可以在不影响本公开的范围的情况下删除流程图中的一个或更多个步骤。
当用软件实现上述实施方式时，可以使用执行以上功能的模块(过程或函数)来实现上述方案。模块可以被存储在存储器中并且由处理器来执行。存储器可以被设置成在处理器的内部或外部并且使用各种熟知的手段连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理器。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储器件。

Claims (17)

1.一种由360度视频接收设备执行的360度视频数据处理方法，该360度视频数据处理方法包括以下步骤：
接收360度视频数据；
从所述360度视频数据获得关于编码后的图片的信息和元数据；
基于关于所述编码后的图片的信息来对具有鱼眼视频格式的图片进行解码；
基于所述元数据来从所述图片导出包括鱼眼视频的圆形图像；以及
基于所述元数据来处理并渲染所述圆形图像，
其中，具有所述鱼眼视频格式的所述图片包括映射到所述圆形图像的矩形区域，并且
其中，所述元数据包括鱼眼视频信息。
2.根据权利要求1所述的360度视频数据处理方法，其中，所述鱼眼视频信息包括指示透镜类型的信息。
3.根据权利要求2所述的360度视频数据处理方法，其中，所述透镜类型是等距类型、球极类型、等立体角类型、正交类型和用户定义的类型中的一种。
4.根据权利要求3所述的360度视频数据处理方法，其中，基于所述元数据来处理并渲染所述圆形图像的步骤包括以下步骤：基于以所述透镜类型为基础导出的球坐标系映射式来将所述圆形图像映射到3D空间。
5.根据权利要求1所述的360度视频数据处理方法，其中，所述鱼眼视频信息包括关于未映射到所述360度视频数据的区域的信息。
6.根据权利要求5所述的360度视频数据处理方法，其中，所述关于未映射到所述360度视频数据的区域的信息包括指示未映射到360度视频的圆形区域的半径的信息。
7.根据权利要求5所述的360度视频数据处理方法，其中，所述关于未映射到所述360度视频数据的区域的信息包括指示映射到所述360度视频的矩形区域的数目的信息。
8.根据权利要求7所述的360度视频数据处理方法，其中，所述关于未映射到所述360度视频数据的区域的信息包括指示未映射到所述360度视频的矩形区域的左上点的信息、指示所述矩形区域的高度的信息和指示所述矩形区域的宽度的信息。
9.根据权利要求5所述的360度视频数据处理方法，其中，所述未映射到所述360度视频数据的区域中的样本被设置成同一样本值，并且所述样本值是呈现黑色的值。
10.根据权利要求1所述的360度视频数据处理方法，其中，所述鱼眼视频信息包括指示针对所述360度视频数据的鱼眼透镜的焦距的信息。
11.根据权利要求1所述的360度视频数据处理方法，其中，所述鱼眼视频信息包括指示渲染所述圆形图像的3D空间的中心的信息。
12.根据权利要求1所述的360度视频数据处理方法，其中，以媒体呈现描述MPD中所包括的通过HTTP的动态自适应流传输DASH描述符的形式来接收所述鱼眼视频信息。
13.一种由360度视频发送设备执行的360度视频数据处理方法，该360度视频数据处理方法包括以下步骤：
获得包括由具有至少一个鱼眼透镜的相机捕获的360度视频的圆形图像；
将所述圆形图像映射到具有鱼眼视频格式的图片的矩形区域；
对映射到所述圆形图像的所述图片进行编码；
生成关于所述360度视频的元数据；以及
对编码后的当前图片和所述元数据执行存储或发送的处理，
其中，所述元数据包括鱼眼视频信息。
14.根据权利要求13所述的360度视频数据处理方法，其中，所述鱼眼视频信息包括指示透镜类型的信息。
15.根据权利要求14所述的360度视频数据处理方法，其中，所述透镜类型是等距类型、球极类型、等立体角类型、正交类型和用户定义的类型中的一种。
16.根据权利要求13所述的360度视频数据处理方法，其中，所述鱼眼视频信息包括关于未映射到所述360度视频数据的区域的信息。
17.根据权利要求16所述的360度视频数据处理方法，其中，所述关于未映射到所述360度视频数据的区域的信息包括指示映射到所述360度视频的矩形区域的数目的信息，并且
所述关于未映射到所述360度视频数据的区域的信息包括指示未映射到所述360度视频的矩形区域的左上点的信息、指示所述矩形区域的高度的信息和指示所述矩形区域的宽度的信息。
CN201880028803.4A 2017-10-24 2018-10-24 发送/接收包括鱼眼视频信息的360度视频的方法及其装置 Active CN110612723B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762576087P 2017-10-24 2017-10-24
US62/576,087 2017-10-24
PCT/KR2018/012606 WO2019083266A1 (ko) 2017-10-24 2018-10-24 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
CN110612723A true CN110612723A (zh) 2019-12-24
CN110612723B CN110612723B (zh) 2022-04-29

Family

ID=66247590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880028803.4A Active CN110612723B (zh) 2017-10-24 2018-10-24 发送/接收包括鱼眼视频信息的360度视频的方法及其装置

Country Status (6)

Country Link
US (1) US20190379877A1 (zh)
EP (1) EP3624446A4 (zh)
JP (1) JP2020521348A (zh)
KR (1) KR102202338B1 (zh)
CN (1) CN110612723B (zh)
WO (1) WO2019083266A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240358A (zh) * 2020-01-15 2020-06-05 东华大学 装载单目鱼眼镜头的小型无人机覆盖控制系统及控制方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
WO2018128247A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
EP3734982A4 (en) 2018-01-12 2020-11-25 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
WO2019147008A1 (ko) * 2018-01-23 2019-08-01 엘지전자 주식회사 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
JP2019144401A (ja) * 2018-02-20 2019-08-29 オリンパス株式会社 撮像装置および撮像方法
JP7047095B2 (ja) 2018-02-27 2022-04-04 エルジー エレクトロニクス インコーポレイティド カメラレンズ情報を含む３６０°ビデオを送受信する方法及びその装置
US10901687B2 (en) 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
US11538045B2 (en) * 2018-09-28 2022-12-27 Dish Network L.L.C. Apparatus, systems and methods for determining a commentary rating
CN110349109B (zh) * 2019-07-12 2023-04-21 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN112995646A (zh) * 2021-02-09 2021-06-18 聚好看科技股份有限公司 一种鱼眼视频的显示方法及显示设备
KR102455716B1 (ko) * 2021-10-07 2022-10-18 주식회사 벤타브이알 실시간 3d vr영상 중계를 위한 영상 스티칭 방법 및 시스템
CN115623217B (zh) * 2022-11-30 2023-03-21 泉州艾奇科技有限公司 一种图像预处理方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484729A (zh) * 2009-04-07 2012-05-30 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
CN105324791A (zh) * 2013-06-24 2016-02-10 三菱电机株式会社 坐标计算装置和方法、以及图像处理装置和方法
KR101725024B1 (ko) * 2016-11-18 2017-04-07 최재용 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
CN107113414A (zh) * 2014-11-14 2017-08-29 三星电子株式会社 使用区域自适应平滑的360度视频的编码
US20170287200A1 (en) * 2016-04-05 2017-10-05 Qualcomm Incorporated Dual fisheye image stitching for spherical image content

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
JP5506371B2 (ja) * 2009-12-24 2014-05-28 三星電子株式会社 画像処理装置、画像処理方法およびプログラム
JP2011223076A (ja) * 2010-04-03 2011-11-04 Tokuzawa Masamichi 双魚眼方式全方位パノラマ動画ライブ配信システム
WO2012166593A2 (en) * 2011-05-27 2012-12-06 Thomas Seidl System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
US10186012B2 (en) * 2015-05-20 2019-01-22 Gopro, Inc. Virtual lens simulation for video and photo cropping
JPWO2016199608A1 (ja) * 2015-06-12 2018-03-29 ソニー株式会社 情報処理装置および情報処理方法
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
US9787896B2 (en) * 2015-12-29 2017-10-10 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN108702528B (zh) * 2016-02-17 2021-06-01 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484729A (zh) * 2009-04-07 2012-05-30 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
CN105324791A (zh) * 2013-06-24 2016-02-10 三菱电机株式会社 坐标计算装置和方法、以及图像处理装置和方法
CN107113414A (zh) * 2014-11-14 2017-08-29 三星电子株式会社 使用区域自适应平滑的360度视频的编码
US20170287200A1 (en) * 2016-04-05 2017-10-05 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
KR101725024B1 (ko) * 2016-11-18 2017-04-07 최재용 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240358A (zh) * 2020-01-15 2020-06-05 东华大学 装载单目鱼眼镜头的小型无人机覆盖控制系统及控制方法

Also Published As

Publication number Publication date
JP2020521348A (ja) 2020-07-16
KR102202338B1 (ko) 2021-01-13
WO2019083266A1 (ko) 2019-05-02
EP3624446A1 (en) 2020-03-18
KR20190105102A (ko) 2019-09-11
EP3624446A4 (en) 2020-04-15
CN110612723B (zh) 2022-04-29
US20190379877A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110612723B (zh) 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
CN109691094B (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN108702528B (zh) 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
CN109076255B (zh) 发送、接收360度视频的方法及设备
KR102208132B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN111164969B (zh) 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
US11206387B2 (en) Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
CN111819842B (zh) 发送360度视频的方法和装置、接收360度视频的方法和装置
KR102221301B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
EP3780595A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
US20190387212A1 (en) 360 video processing method and apparatus therefor
KR102305634B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
KR20200000363A (ko) 360도 비디오를 송수신하는 방법 및 그 장치
KR102214079B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치
CN110999312B (zh) 发送360度视频的方法、接收360度视频的方法、发送360度视频的装置和接收360度视频的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant