CN110476430A - 用于针对虚拟现实应用程序发信号通知与最感兴趣区域相关联的信息的系统和方法 - Google Patents

用于针对虚拟现实应用程序发信号通知与最感兴趣区域相关联的信息的系统和方法 Download PDF

Info

Publication number
CN110476430A
CN110476430A CN201880021747.1A CN201880021747A CN110476430A CN 110476430 A CN110476430 A CN 110476430A CN 201880021747 A CN201880021747 A CN 201880021747A CN 110476430 A CN110476430 A CN 110476430A
Authority
CN
China
Prior art keywords
range
region
center
video
ver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880021747.1A
Other languages
English (en)
Inventor
萨钦·G·德施潘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110476430A publication Critical patent/CN110476430A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种设备，该设备可被配置为根据本文所述技术中的一者或多者发信号通知与全向视频的最感兴趣区域相关联的信息(参见段落[0070]中的“region_on_frame_flag”)。

Description

用于针对虚拟现实应用程序发信号通知与最感兴趣区域相关 联的信息的系统和方法
技术领域
本公开涉及交互式视频分发，并且更具体地涉及用于发信号通知与最感兴趣视频区域相关联的信息的技术。
背景技术
数字媒体播放功能可以包含在各种设备中，包括数字电视(包括所谓的“智能”电视)、机顶盒、膝上型电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话(包括所谓的“智能”电话)、专用视频流设备等。数字媒体内容(例如，视频和音频编程)可以源自多个源，包括例如无线电视提供商、卫星电视提供商、有线电视提供商、在线媒体服务提供商(包括所谓的流媒体服务提供商)等。数字媒体内容可以通过分组交换网络交付，包括双向网络(诸如互联网协议(IP)网络)和单向网络(诸如数字广播网络)。
可以根据视频编码标准来对数字媒体内容中包括的数字视频进行编码。视频编码标准可以结合视频压缩技术。视频编码标准的示例包括ISO/IEC MPEG-4Visual和ITU-TH.264(也称为ISO/IEC MPEG-4AVC)和高效率视频编码(HEVC)。视频压缩技术可减少存储和传输视频数据的数据需求。视频压缩技术可通过利用视频序列中固有的冗余来减少数据需求。视频压缩技术可将视频序列再分成连续较小的部分(即视频序列内的帧组、帧组内的帧、帧内的片段、片段内的编码树单元(例如，宏块)、编码树单元内的编码块等)。可以使用预测编码技术来生成待编码的单位视频数据与参考单位视频数据之间的差值。该差值可被称为残差数据。残差数据可被编码为量化变换系数。语法元素可以涉及残差数据和参考编码单元。残差数据和语法元素可以被包括在兼容的比特流中。可以根据数据结构来格式化兼容的比特流和相关联的元数据。可以根据传输标准将兼容比特流和相关联的元数据从源传输到接收器设备(例如，数字电视或智能电话)。传输标准的示例包括数字视频广播(DVB)标准、综合业务数字广播标准(ISDB)标准和由高级电视系统委员会(ATSC)开发的标准，包括例如ATSC 2.0标准。ATSC目前正在开发所谓的ATSC 3.0标准系列。
发明内容
在一个示例中，一种发信号通知与全向视频的最感兴趣区域相关联的信息的方法，该方法包括发信号通知指示是否在封装帧或投影帧上指示区域的位置和尺寸的语法元素。
附图说明
[图1]图1是示出根据本公开的一种或多种技术的可被配置为传输经解码的视频数据的系统的示例的框图。
[图2A]图2A是示出根据本公开的一种或多种技术的编码视频数据和对应数据结构的概念图。
[图2B]图2B是示出根据本公开的一种或多种技术的编码视频数据和对应数据结构的概念图。
[图3]图3是示出根据本公开的一种或多种技术的编码视频数据和对应数据结构的概念图。
[图4]图4是示出根据本公开的一种或多种技术的可被包括在可被配置为分发经编码视频数据的系统的具体实施中的部件的示例的概念图。
[图5]图5是示出可实现本公开的一种或多种技术的接收器设备的示例的框图。
[图6A]图6A是示出根据本公开的一种或多种技术的球体上的区域的示例的概念图。
[图6B]图6B是示出根据本公开的一种或多种技术的球体上的区域的示例的概念图。
具体实施方式
一般来讲，本公开描述用于编码视频数据的各种技术。具体地，本公开描述了用于发信号通知与全向视频的最感兴趣区域相关联的信息的技术。根据本文所述的技术的信息信令对于通过降低传输带宽和/或降低编码复杂度来改善视频分发系统性能可能特别有用。应当指出的是，虽然本公开的技术是相对于ITU-T H.264和ITU-T H.265描述的，但是本公开的技术通常可应用于视频编码。例如，本文中所描述的编码技术可并入包括块结构的视频编码系统(包括基于未来视频编码标准的视频编码系统)、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或熵编码技术，但ITU-T H.265中的那些除外。因此，对ITU-TH.264和ITU-T H.265的参考是用于描述性目的的，并且不应将其解释为限制本文描述技术的范围。此外，应当指出的是，将文献以引用方式并入本文不应被解释为限制或产生关于本文所用术语的歧义。例如，在某个并入的参考文献中提供的对某个术语的定义不同于另一个并入的参考文献和/或如本文中使用的该术语的情况下，则该术语应以广泛地包括每个相应定义的方式和/或以在包括替代方案中每个特定定义的方式来解释。
在一个示例中，设备包括被配置为发信号通知语法元素的一个或多个处理器，该语法元素指示是否在封装帧或投影帧上指示区域的位置和尺寸。
在一个示例中，非暂态计算机可读存储介质包括存储在其上的指令，该指令在被执行时使得设备的一个或多个处理器发信号通知指示是否在封装帧或投影帧上指示区域的位置和尺寸的语法元素。
在一个示例中，一种装置包括用于发信号通知指示是否在封装帧或投影帧上指示区域的位置和尺寸的语法元素的装置。
在以下附图和描述中阐述了一个或多个示例的细节。其他特征、目的和优点将从描述和附图以及权利要求书中显而易见。
视频内容通常包括由一系列帧组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频帧或图片可以包括一个或多个片段，其中一个片段包括多个视频块。视频块可被定义为可被预测性地编码的最大像素值(也被称为样本)阵列。视频块可以根据扫描模式(例如，光栅扫描)来排序。视频编码器对视频块和其子分区执行预测编码。ITU-TH.264规定了包括16×16亮度样本的宏块。ITU-T H.265规定了类似的编码树单元(CTU)结构，其中图片可以被分割成相同大小的CTU，并且每个CTU可以包括具有16×16、32×32或64×64亮度样本的编码树块(CTB)。如本文所用，术语视频块通常可以指图片的区域，或者可以更具体地指可以被预测性地编码的像素值的最大阵列、其子分区和/或对应结构。此外，根据ITU-T H.265，每个视频帧或图片可以被分区为包括一个或多个图块，其中图块是与图片的矩形区域相对应的编码树单元序列。
在ITU-T H.265中，可以根据相应的四叉树块结构将CTU的CTB分割成编码块(CB)。根据ITU-T H.265，一个亮度CB连同两个对应的色度CB和相关联的语法元素被称为一个编码单元(CU)。CU与为CU定义一个或多个预测单元(PU)的预测单元(PU)结构关联，其中PU与对应的参考样本相关联。也就是说，在ITU-T H.265中，使用帧内预测或帧间预测来对图片区域进行编码的决定是在CU级别进行的，并且对于CU，可以使用与帧内预测或帧间预测相对应的一个或多个预测来生成CU的CB的参考样本。在ITU-T H.265中，PU可以包括亮度和色度预测块(PB)，其中方形PB被支持用于帧内预测，并且矩形PB被支持用于帧间预测。帧内预测数据(例如，帧内预测模式语法元素)或帧间预测数据(例如，运动数据语法元素)可将PU与对应参考样本相关联。残差数据可以包括对应于视频数据的每个分量(例如，亮度(Y)和色度(Cb和Cr))的相应差值阵列。残差数据可能在像素域中。可对像素差值应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)、整数变换、小波变换或概念上类似的变换，以生成变换系数。应当指出的是，在ITU-T H.265中，CU可以进一步再分为变换单元(TU)。也就是说，为了生成变换系数，可以对像素差值的阵列进行再分(例如，可以将四个8×8变换应用于与16×16亮度CB对应的16×16残差值阵列)，此类子分区可以被称为变换块(TB)。可以根据量化参数(QP)量化变换系数。可以根据熵编码技术(例如，内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、概率区间分割熵编码(PIPE)等)对量化的变换系数(可称为位阶值)进行熵编码。此外，也可以对语法元素(诸如，指示预测模式的语法元素)进行熵编码。熵编码的量化变换系数和对应的熵编码语法元素可形成可用于再现视频数据的合规比特流。可以对语法元素执行二值化处理，将其作为熵编码处理的一部分。二值化是指将语法值转换为一个或多个位的序列的过程。这些位可以被称为“二进制位”。
虚拟现实(VR)应用程序可以包括可以利用头戴式显示器渲染的视频内容，其中仅渲染与用户头部的取向相对应的球形视频的区域。VR应用程序可以通过全向视频启用，全向视频也称为360°球形视频或360°视频。全向视频通常由多个相机捕获，这些相机覆盖高达360°的场景。与普通视频相比，全向视频的显著特征在于，通常仅显示整个捕获视频区域的子集，即，显示与当前用户的视场(FOV)相对应的区域。FOV有时也称为视区。在其他情况下，视区可以是当前由用户显示和查看的球形视频的一部分。应当指出的是，视区的尺寸可小于或等于视场。此外，应当指出的是，可以使用单视场相机或立体相机捕获全向视频。单视场相机可以包括捕获对象的单个视图的相机。立体相机可以包括捕获同一对象的多个视图(例如，使用两个镜头在略微不同的角度下捕获视图)的相机。此外，应当指出的是，在一些情况下，可以使用超广角镜头(即，所谓的鱼眼镜头)捕获用于全向视频应用程序中的图像。在任何情况下，通常可以将用于创建360°球形视频的过程描述为将输入图像拼接在一起并将拼接在一起的输入图像投影到三维结构(例如，球体或立方体)上，这可以导致形成所谓的投影帧。此外，在一些情况下，可以对投影帧的区域进行变换、尺寸调整和重新定位，这可以导致形成所谓的封装帧。
全向视频图片中的最感兴趣区域可以指整个视频区域的在统计上最有可能在该图片的呈现时间渲染给用户(即，最有可能在FOV中)的子集。应当指出的是，全向视频的最感兴趣区域可以由导演或制作者的意图确定，或者由服务或内容提供商根据用户统计数据导出(例如，通过在通过流服务提供全向视频内容时，大多数用户请求/观看哪些区域的统计数据)。最感兴趣区域可以用于边缘服务器或客户端的全向视频自适应流传输中的数据预取，以及/或者当全向视频被转码为例如不同的编解码或投影映射时的转码优化。因此，在全向视频图像中发信号通知最感兴趣区域可以通过降低传输带宽和降低解码复杂度来改善系统性能。应当指出的是，在一些情况下，最感兴趣区域可被称为最令人感兴趣区域或感兴趣区域。
Choi等人，ISO/IEC JTC1/SC29/WG11 N16636，“MPEG-A Part 20(WD on ISO/IEC23000-20):Omnidirectional Media Application Format”，2017年1月，Geneva，CH，该文献以引用方式并入本文，并且在本文中被称为Choi，其限定了能够启用全向媒体应用程序的媒体应用格式。Choi指定：可用于将球形或360°视频转换为二维矩形视频的投影技术列表；如何利用国际标准化组织(ISO)基础媒体文件格式(ISOBMFF)存储全向媒体和相关联元数据；如何利用超文本传输协议(HTTP)上的动态自适应流传输(DASH)来封装、发信号通知和流传输全向媒体；以及哪些视频和音频编码标准以及媒体编码配置可以用于全向媒体信号的压缩和回放。
如上所述，根据ITU-T H.265，每个视频帧或图片可以被分区为包括一个或多个片段，并且进一步被分区为包括一个或多个图块。图2A至图2B是示出包括片段并进一步将图片分区为图块的一组图片的示例的概念图。在图2A所示的示例中，Pic4被示出为包括两个片段(即，Slice1和Slice2)，其中每个片段包括CTU序列(例如，以光栅扫描顺序排列)。在图2B所示的示例中，Pic4被示出为包括六个图块(即，Tile1至Tile6)，其中每个图块是矩形的并且包括CTU序列。应当指出的是，在ITU-T H.265中，图块可以由包含在不止一个片段中的编码树单元组成，并且片段可以由包含在不止一个图块中的编码树单元组成。然而，ITU-TH.265规定应满足以下一个或两个条件：(1)片段中的所有编码树单元属于同一个图块；以及(2)图块中的所有编码树单元属于同一个片段。因此，相对于图2B，每个图块可以属于相应的片段(例如，Tile1至Tile6可以分别属于片段Slice1至Slice6)或者多个图块可以属于一个片段(例如，Tile1至Tile3可以属于Slice1，而Tile4至Tile6可以属于Slice2)。
此外，如图2B所示，图块可以形成图块集(即，Tile 2和Tile 5形成图块集)。可以使用图块集来定义用于编码依赖性的边界(例如，帧内预测依赖性、熵编码依赖性等)，并且因此可以在编码和感兴趣区域编码中启用并行性。例如，如果图2B所示的示例中的视频序列与夜间新闻节目相对应，则由Tile2和Tile5形成的图块集可以与包括阅读新闻的新闻主播的视觉感兴趣区域相对应。ITU-T H.265定义了启用运动约束图块集(MCTS)的信令。运动约束图块集可以包括图块集，对于该图块集，图片间预测依赖性限于参考图片中的并置的图块集。因此，可能独立于MCTS外部的其他图块集的解码来执行给定MCTS的运动补偿。例如，参见图2B，如果由Tile2和Tile5形成的图块集是MCTS并且Pic1至Pic3中的每一个包括并置的图块集，可以在与Pic4中的Tile1、Tile3、Tile4和Tile6的编码无关的Tile2和Tile5以及在Pic1至Pic3的每一个中与图块Tile1、Tile3、Tile4和Tile6并置的图块上执行运动补偿。根据MCTS对视频数据进行编码对于包括全向视频呈现的视频应用程序可能是有用的。
如图3所示，图块(即，Tile1至Tile6)可以形成全向视频的最感兴趣区域。此外，由Tile2和Tile5形成的图块集可以是包括在最感兴趣区域内的MCTS。依赖于视区的视频编码(其也可以被称为依赖于视区的部分视频编码)可以用于启用仅对整个视频区域的一部分进行编码。也就是说，例如，依赖于视区端口的视频编码可用于提供用于渲染当前FOV的足够信息。例如，可以使用MCTS对全向视频进行编码，使得覆盖视区的每个可能区域可以跨时间与其他区域独立编码。在这种情况下，例如，对于特定的当前视区，可以将覆盖视区的最小图块集发送到客户端，已解码并且/或者已渲染。该过程可以被称为基于简单图块的部分解码(STPD)。
如上所述，Choi指定：可用于将球形或360°视频转换为二维矩形视频的投影技术列表。Choi指定投影帧是具有360°视频投影指示符指示的表示格式的帧的情况以及投影是通过其将一组输入图像投影到投影帧上的过程的情况。此外，Choi指定投影结构包括三维结构的情况，其中三维结构包括将捕获的图像/视频内容投影到其上且可从其形成相应的投影帧的一个或多个表面。最后，Choi提供了逐区域封装包括对投影帧进行逐区域转换、调整尺寸和重新定位的情况以及封装帧是由投影帧的逐区域封装产生的帧的情况。因此，在Choi中，用于创建360°球形视频的过程可以被描述为包括图像拼接、投影和逐区域封装。应当指出的是，Choi指定了坐标系、全向投影格式，包括等距柱状投影、矩形逐区域封装格式和全向鱼眼视频格式，为了简洁起见，本文未提供对Choi的这些部分的完整描述。然而，参考了Choi的相关部分。
应当指出的是，在Choi中，如果不应用逐区域封装，则封装帧与投影帧相同。原本，通过指示封装帧中每个区域的位置、形状和尺寸，将投影帧的区域映射到封装帧上。此外，在Choi中，在立体360°视频的情况下，拼接一个时间实例的输入图像以生成表示两个视图(每个眼睛一个视图)的投影帧。两个视图均可以映射到相同的封装帧上，并由传统的二维视频编码器进行编码。另选地，Choi提供其中投影帧的每个视图可以被映射到其自身的封装帧的情况，在这种情况下，图像拼接、投影和逐区域封装类似于上述单视场情况。此外，在Choi中，左视图和右视图中任一者的封装帧的序列可以独立地被编码，或者可以在使用多视图视频编码器时独立地根据另一视图预测。最后，应当指出的是，在Choi中，可以针对相同源图像执行图像拼接、投影和逐区域封装处理多次，以创建相同内容的不同版本，例如，用于投影结构的不同取向，并且类似地，可以从相同的投影帧执行逐区域封装处理多次，以创建一个以上的待编码封装帧序列。
Choi指定通常支持以下类型的元数据的文件格式：(1)指定投影帧的投影格式的元数据；(2)指定球形表面的被投影帧覆盖的区域的元数据；(3)指定与全局坐标系中的投影帧相对应的投影结构的取向的元数据；(4)指定逐区域封装信息的元数据；以及(5)指定任选的逐区域质量排名的元数据。
应当指出的是，关于本文所用的公式，可使用以下算术运算符：
+加法
-减法(作为双参数运算符)或负数(作为一元前缀运算符)
*乘法，包括矩阵乘法
xy求幂。具体x对y的幂。在其他情况下，此类符号用于上标而非旨在用于解释为求幂。
/将结果向着零截断的整数除法。例如，将7/4和-7/-4截断为1，将-7/4和7/-4截断为-1。
÷在不旨在进行截断或舍入情况下用于表示数学公式中的除法。
在不旨在进行截断或舍入情况下用于表示数学公式中的除法。
应当指出的是，关于本文所用的公式，可使用以下逻辑运算符：
x&&y x和y的布尔逻辑“和”
x||y x和y的布尔逻辑“或”
！布尔逻辑“否”
x？y:z如果x为TRUE或不等于0，则求值为y；否则，求值为z。
应当指出的是，关于本文所用的公式，可使用以下关系运算符：
>大于
>＝大于或等于
<小于
<＝小于或等于
＝＝等于
！＝不等于
关于全向投影格式，Choi为等距柱状投影提供以下内容：
位置(i,j)处的投影帧的样本对应于该节中指定的角坐标(φ,θ)。角坐标分别对应于坐标系中的偏航角和俯仰角[其中偏航绕Y(垂直，向上)轴旋转、绕X(横向，左右)轴俯仰并绕Z(前后)轴滚动。旋转是外在的，即绕X、Y和Z固定参考轴。当朝原点查看时，角度逆时针增加。其中偏航范围为-180°(包括端值)至180°(不含端值)；俯仰范围为-90°(包括端值)至90°(不含端值)；滚动范围为-180°(包括端值)至180°(不含端值)。]
当RegionWisePackingBox不存在时，推断proj_frame_width和proj_frame_height等于VisualSampleEntry的宽度和高度。
当CoverageInformationBox不存在时，推断hor_range等于36000并且推断ver_range等于18000。
变量yawMin、yawMax、pitchMin和pitchMax的推导如下：
注：变量yawMin、yawMax、pitchMin和pitchMax的值范围不限于上文指定的偏航角和俯仰角的值范围。
yawMin＝(center_yaw–hor_range÷2)*0.01*π÷180
yawMax＝(center_yaw+hor_range÷2)*0.01*π÷180
pitchMin＝(center_pitch-ver_range÷2)*0.01*π÷180
pitchMax＝(center_pitch+ver_range÷2)*0.01*π÷180
对于i等于0到proj_frame_width-1(包括端值)并且j等于0到proj_frame_height-1(包括端值)，亮度样本位置的对应角坐标(φ,θ)(用弧度表示)由以下等距柱状映射公式给出
对于使用的色度格式和色度位置类型LocType，在表1中指定了CenterLeftOffsetC、CenterTopOffsetC、FrameWidthC和FrameHeightC的值：
表1
对于i等于0到FrameWidthC-1(包括端值)并且j等于0到FrameHeightC-1(包括端值)，色度样本位置的对应角坐标(φ,θ)(用弧度表示)由以下等距柱状映射公式给出：
φ＝(i+CenterLeftOffsetC)*(yawMax-yawMin)÷FrameWidthC+yawMin
θ＝(j+CenterTopOffsetC)*(pitchMin-pitchMax)÷FrameHeightC-pitchMin
应当指出的是，Choi中提供的等距柱状投影可能不太理想。
关于逐区域封装，Choi为矩形逐区域封装提供以下定义、语法和语义：
定义
RectRegionPacking(i)指定如何将投影帧的源矩形区域封装到封装帧的目标矩形区域上。可指示水平镜像和旋转90°、180°或270°，并且从区域的宽度和高度推断出垂直和水平重采样。
语法
语义
proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]和proj_reg_left[i]在投影帧中以像素为单位指示，其宽度和高度分别等于proj_frame_width和proj_frame_height。
proj_reg_width[i]指定投影帧的第i个区域的宽度。
proj_reg_width[i]应大于0。
proj_reg_height[i]指定投影帧的第i个区域的高度。
proj_reg_height[i]应大于0。
proj_reg_top[i]和proj_reg_left[i]指定投影帧中的顶部样本行和最左边样本列。这些值应分别在0(包括端值)(指示投影帧的左上角)到proj_frame_height和proj_frame_width(不含端值)的范围内。
应约束proj_reg_width[i]和proj_reg_left[i]，使得proj_reg_width[i]+proj_reg_left[i]小于proj_frame_width。
应约束proj_reg_height[i]和proj_reg_top[i]，使得proj_reg_height[i]+proj_reg_top[i]小于proj_frame_height，
当投影帧为立体时，proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]和proj_reg_left[i]应使得由投影帧上的这些字段标识的区域在投影帧的单个组成帧内。
transform_type[i]指定已应用于投影帧的第i个区域以将其映射到封装帧的旋转和镜像。当transform_type[i]指定旋转和镜像两者时，在镜像之后应用旋转。指定以下值并保留其他值：
1：无变换
2：水平镜像
3：旋转180°(逆时针)
4：水平镜像后旋转180°(逆时针)
5：水平镜像后旋转90°(逆时针)
6：旋转90°(逆时针)
7：水平镜像后旋转270°(逆时针)
8：旋转270°(逆时针)
packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]分别指定封装帧中区域的宽度、高度、顶部样本行和最左边样本列。对于0到i-1范围内(包括端值)的任何j值，由packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]指定的矩形应与由packed_reg_width[j]、packed_reg_height[j]、packed_reg_top[j]和packed_reg_left指定的矩形不重叠。
应当指出的是，Choi中提供的用于逐区域封装的语法可能不太理想。此外，应当指出的是，在上面的语法和本文中使用的语法中，unsigned int(n)是指具有n位的无符号整数。
如上所述，Choi指定如何利用国际标准化组织(ISO)基础媒体文件格式(ISOBMFF)存储全向媒体和相关联元数据。此外，Choi指定文件格式支持以下类型的盒的情况：方案类型盒(SchemeTypeBox)、方案信息盒(SchemeInformationBox)、投影全向视频盒(ProjectedOmnidirectionalVideoBox)、立体视频盒(StereoVideoBox)、鱼眼全向视频盒(FisheyeOmnidirectionalVideoBox)、逐区域封装盒(RegionWisePackingBox)和投影取向盒(ProjectionOrientationBox)。应当指出的是，Choi指定附加类型盒，为了简洁起见，本文未提供在Choi中指定的所有类型的盒的完整描述。关于SchemeTypeBox、SchemeInformationBox、ProjectedOmnidirectionalVideoBox、StereoVideoBox和RegionWisePackingBox，Choi提供以下内容：
-针对受限视频样本条目类型“rosy”使用全向视频方案指示经解码的图片是鱼眼视频图片和包含单视场内容和立体内容中任一者的封装帧中的任一者。通过等于SchemeTypeBox内的“odvd”(全向视频)的scheme_type指示全向视频方案的使用。
-利用SchemeInformationBox内包含的ProjectedOmnidirectionalVideoBox指示投影单视场帧的格式。利用SchemeInformationBox内包含的FisheyeOmnidirectionalVideoBox指示鱼眼视频的格式。当方案类型为“odvd”时，ProjectedOmnidirectionalVideoBox和FisheyeOmnidirectionalVideoBox中仅仅一者应当存在于SchemeInformationBox中。
-当SchemeInformationBox中存在ProjectedOmnidirectionalVideoBox时，StereoVideoBox和RegionWisePackingBox可以存在于相同的SchemeInformationBox中。当SchemeInformationBox中存在FisheyeOmnidirectionalVideoBox时，StereoVideoBox和RegionWisePackingBox不应存在于相同的SchemeInformationBox中。
-对于立体视频，利用SchemeInformationBox内包含的StereoVideoBox指示投影的左右帧的帧封装布置。不存在StereoVideoBox指示轨道的全向投影内容是单视场的。当用于全向视频方案的SchemeInformationBox中存在StereoVideoBox时，应指示上下帧封装或左右帧封装。
-利用SchemeInformationBox内包含的RegionWisePackingBox指示任选逐区域封装。不存在RegionWisePackingBox指示未应用逐区域封装。
关于逐区域封装盒，Choi提供以下定义、语法和语义：
定义
盒类型：“rwpk”
容器：方案信息盒(“schi”)
强制性的：No
数量：零或一
RegionWisePackingBox指示：投影帧是逐区域封装的，并且在呈现之前需要解封。
语法
语义
num_region指定封装区域的数量。保留值0。
proj_frame_width和proj_frame_height分别指定投影帧的宽度和高度。
Packing_type指定逐区域封装的类型，等于0的packing_type指示矩形逐区域封装。保留其他值。
关于投影全向视频盒，Choi提供以下定义、语法和语义：
定义
盒类型：“povd”
容器：方案信息盒(“schi”)
强制性的：No
数量：零或一(当scheme_type等于“odvd”时，“povd”和“fovd”中任一者必须存在)
ProjectedOmnidirectionalVideoBox用于指示轨道中包含的样本是投影帧还是封装帧。
利用以下各项指示投影帧的属性：
·单视场投影帧的投影格式(用于轨道中包含的单视场视频的C，用于立体视频的左视图和右视图的CL和CR)；
·投影结构相对于全局坐标系的取向；并且
·投影全向视频的球形覆盖面(即，球形表面上由投影帧表示的区域)。
语法
语义
geometry_type指示数学约定，其中空间内的点可以由一个或多个维度中的位置唯一地标识。当geometry_type等于1时，根据指定的坐标系，投影指示符以球形坐标给出，其中φ是方位角(经度)或偏航角，θ是高度(纬度)或俯仰角。保留geometry_type的其他值。
projection_type指示矩形解码器图片输出样本到由geometry_type指定的坐标系上的特定映射。当projection_type等于1时，geometry_type应等于1。Projection_type等于1指示所指定的等距柱状投影。保留projection_type的其他值。
关于投影取向盒，Choi提供以下定义、语法和语义：
定义
盒类型：“pror”
容器：投影全向视频盒(“povd”)
强制性的：No
数量：零或一
当投影格式为等距柱状投影时，该盒中的字段分别提供投影到球形表面时投影帧的中心点的偏航角、俯仰角和滚动角。就立体全向视频而言，这些字段分别应用于每个视图而不是帧封装的立体帧。当ProjectionOrientationBox不存在时，字段orientation_yaw、orientation_pitch和orientation_roll均被视为等于0。
语法
语义
orientation_yaw、orientation_pitch和orientation_roll指定相对于全局坐标系以0.01°为单位的投影的偏航、俯仰和滚动。orientation_yaw应在-18000到17999的范围内(包括端值)，orientation_pitch应在-9000到9000的范围内(包括端值)，orientation_roll应在-18000到18000的范围内(包括端值)。
此外，关于覆盖信息盒，Choi提供以下定义、语法和语义：
定义
盒类型：“covi”
容器：投影全向视频盒(“povd”)
强制性的：No
数量：零或一
该盒提供有关球形表面上的区域的信息，该区域由与容器ProjectedOmnidirectionalVideoBox相关联的投影帧表示。缺少该盒表示投影帧是整个球体的表示。当存在时，该盒中的字段在应用ProjectionOrientationBox之后应用。
当投影格式为等距柱状投影时，由投影帧表示的球形区域是由两个偏航圆和两个俯仰圆指定的区域。
语法
语义
当RegionOnSphereStruct(1)包括在CoverageInformationBox中时，以下情况适用：
center_yaw和center_pitch指定相对于通过ProjectionOrientationBox指定的坐标系以0.01°为单位的由投影帧表示的球形区域的中心点。center_yaw应在-18000到17999的范围内(包括端值)。center_pitch应在-9000到9000的范围内(包括端值)。
hor_range和ver_range分别指定以0.01°为单位的由投影帧表示的区域的水平和垂直范围。hor_range和ver_range指定通过区域中心点的范围。hor_range应在1到36000的范围内(包括端值)。ver_range应在1到18000的范围内(包括端值)。center_pitch ver_range÷2不应大于9000。center_pitch-ver_range÷2不应小于-9000。
应当指出的是，Choi中提供的等距柱状投影、逐区域封装盒、投影取向盒和覆盖信息盒可能不太理想。
如上所述，在全向视频图像中发信号通知最感兴趣区域可以通过降低传输带宽和降低解码复杂度来改善系统性能。Choi提供以下语法和语义用于发信号通知最感兴趣区域：
语法
语义
regionbase_id指定底部区域，靠近该底部区域指定最感兴趣区域的位置和尺寸。
entry_count指定条目数。
left_horizontal_offset、top_vertical_offset、region_width和region_height是整数值，指示最感兴趣区域的位置和尺寸。left_horizontal_offset和top_vertical_offset分别指示最感兴趣区域相对于底部区域的左上角的亮度样本中的水平和垂直坐标。region_width和region_height分别指示最感兴趣区域相对于底部区域的亮度样本中的宽度和高度。
应当指出的是，Choi中提供的发信号通知最感兴趣区域可能不太理想。
如上所述，Choi指定用于流式全向媒体的技术。这样，Choi提供用于指示球体上的区域的通用定时元数据轨道语法，该语法可用于流式全向媒体。Choi中的定时元数据轨道的目的由样本条目类型指示，并且所有元数据轨道的样本格式以公共部分开始，并且可后跟特定于该元数据轨道的样本条目的扩展部分。
此外，每个样本指定球体上的区域。Choi为定时元数据轨道样本条目提供以下定义、语法和语义：
定义
样本条目中应只存在一个RegionOnSphereConfigBox。RegionOnSphereConfigBox指定由样本指定的区域的形状。当样本中区域的水平和垂直范围不变时，可在样本条目中指示它们。
语法
语义
shape_type等于0指定该区域由四个大圆指定。
shape_type等于1指定该区域由两个偏航圆和两个俯仰圆指定。
保留大于1的shape_type值。
dynamic_range_flag等于0指定该区域的水平和垂直范围在参考该样本条目的所有样本中保持不变。dynamic_range_flag等于1指定以样本格式指示该区域的水平和垂直范围。
static_hor_range和static_ver_range分别指定以0.01°为单位的参考该样本条目的每个样本的区域的水平和垂直范围。static_hor_range和static_ver_range指定通过区域中心点的范围。
num_regions指定参考该样本条目的样本中的区域数。num_regions应等于1。保留num_regions的其他值。
Choi为样本格式提供以下定义、语法和语义：
定义
每个样本指定球体上的区域。RegionOnSphereSampie结构可在派生的轨道格式中扩展。
语法
语义
当RegionOnSphereStruct()包括在RegionOnSphereSample()结构中时，以下情况适用：
center_yaw和center_pitch指定相对于全局坐标系以0.01°为单位的由该样本指定的区域的中心点。center_yaw应在-18000到17999的范围内(包括端值)。center_pitch应在-9000到9000的范围内(包括端值)。
hor_range和ver_range(当存在时)分别指定以0.01°为单位的由该样本指定的区域的水平和垂直范围，hor_range和ver_range指定通过区域中心点的范围。
此外，Choi为初始视点提供以下定义、语法和语义：
定义
初始视区球体上区域元数据指示应在播放相关媒体轨道时使用的初始视区取向。在不存在该类型的元数据的情况下，应使用全局坐标系的(偏航，俯仰，滚动)的取向(0,0,0)来开始回放。
应使用样本输入类型“invp”。
shape_type应等于0，dynamic_range_flag应等于0，static_hor_range应等于0，并且static_ver_range在样本条目的RegionOnSphereConfigBox中应等于0。
语法
语义
注1：当样本结构从RegionOnSphereSample扩展时，RegionOnSphereSample的语法元素包括在样本中。
center_yaw、center_pitch和roll指定相对于全局坐标系以0.01°为单位的视区取向。center_yaw和center_pitch指示视区的中心，roll指示视区的滚动角度。roll应在-18000至18000的范围内(包括端值)。
refresh_flag等于0指定在从相关媒体轨道中的时间并行样本开始回放时应使用所指示的-视区取向。refresh_flag等于1指定在渲染每个相关媒体轨道的时间并行样本(即均连续回放)时和从时间平行样本开始回放时，应始终使用所指示的视区取向。
注2：refresh_flag等于1使内容作者能够指示即使在连续播放视频时也推荐使用特定的视区取向。例如，可针对场景剪辑位置指示等于1的refresh_flag。
此外，Choi为推荐视区提供以下描述：
推荐视区定时元数据轨道指示当用户无法控制查看取向或已释放对查看取向的控制时应显示的视区。
注：推荐视区定时元数据轨道可用于指示导演的剪辑。
应使用样本条目类型“rcvp”。
应使用RegionOnSphereSample的样本语法。
shape_type在样本条目的RegionOnSphereConfigBox中应等于0。
static_hor_range和static_ver_range(当存在时)或hor_range和ver_range(当存在时)分别指示推荐视区的水平和垂直视场，
center_yaw和center_pitch指示推荐视区的中心点。
应当指出的是，Choi中提供的发信号通知用于球体上区域的定时元数据可能不太理想。另外，如上所述，Choi中提供的等距柱状投影、投影取向盒和覆盖信息盒可能不太理想。具体地，在一种情况下，用于发信号通知角度值的精度和技术可能不太理想。
图1是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码(例如，编码和/或解码)的系统的示例的框图。系统100表示可以根据本公开的一种或多种技术封装视频数据系统的示例。如图1所示，系统100包括源设备102、通信介质110和目标设备120。在图1所示的示例中，源设备102可以包括被配置为对视频数据进行编码并将编码的视频数据发送到通信介质110的任何设备。目标设备120可包括被配置为经由通信介质110接收编码的视频数据并且对编码的视频数据进行解码的任何设备。源设备102和/或目标设备120可包括配备用于进行有线和/或无线通信的计算设备，并且可以包括例如机顶盒、数字视频录像机、电视机、台式电脑、膝上型电脑或平板电脑、游戏控制台、医学成像设备和移动设备，包括例如智能电话、蜂窝电话、个人游戏设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任意组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括被配置为允许访问万维网例如互联网的网络。网络可以根据一个或多个电信协议的组合来运营。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视系统委员会(ATSC)标准、综合服务数字广播(ISDB)标准、有线数据业务接口规范(DOCSIS)标准、全球移动通信系统(GSM)标准、码分多址(CDMA)标准、第3代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准以及电气与电子工程师协会(IEEE)标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂态计算机可读介质。计算机可读介质可以包括光盘、闪存、磁存储器或任何其他合适的数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器，并且在其他示例中，存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如，安全数字(SD)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。数据可以根据定义的文件格式存储在存储设备上。
图4是示出可以包括在系统100的具体实施中的部件的示例的概念图。在图4所示的示例性具体实施中，系统100包括一个或多个计算设备402A至402N、电视服务网络404、电视服务提供商站点406、广域网408、局域网410和一个或多个内容提供商站点412A至-412N。图4中所示的具体实施表示系统的示例，该系统可被配置为允许数字媒体内容(诸如电影、现场体育赛事等)和与其相关联的数据和应用程序以及媒体呈现被分发到多个计算设备(诸如计算设备402A-402N)并由这些多个计算设备访问。在图4所示的示例中，计算设备402A至402N可以包括被配置为从电视服务网络404、广域网408和/或局域网410中的一者或多者接收数据的任何设备。例如，计算设备402A至402N可以配备用于有线和/或无线通信，并且可被配置为通过一个或多个数据信道接收服务，并且可以包括电视，包括所谓的智能电视、机顶盒和数字视频记录器。此外，计算设备402A至402N可以包括台式计算机、膝上型计算机或平板计算机、游戏控制台、移动设备，包括例如“智能”电话、蜂窝电话和个人游戏设备。
电视服务网络404是被配置为使得能够分发包括电视服务的数字媒体内容的网络的示例。例如，电视服务网络404可以包括公共空中电视网络、基于公共或订阅的卫星电视服务提供商网络，以及基于公共或订阅的有线电视提供商网络和/或通过顶部或互联网服务提供商。应当指出的是，尽管在一些示例中，电视服务网络404可以主要用于使得能够提供电视服务，但是电视服务网络404还可以使得能够根据本文描述的电信协议的任何组合来提供其他类型的数据和服务。此外，应当指出的是，在一些示例中，电视服务网络404可以启用电视服务提供商站点406与计算设备402A至402N中的一个或多个之间的双向通信。电视服务网络404可以包括无线和/或有线通信媒体的任何组合。电视服务网络404可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。电视服务网络404可以根据一个或多个电信协议的组合来运营。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括DVB标准、ATSC标准、ISDB标准、DTMB标准、DMB标准、有线数据服务接口规范(DOCSIS)标准、HbbTV标准、W3C标准和UPnP标准。
再次参见图4，电视服务提供商站点406可被配置为经由电视服务网络404分发电视服务。例如，电视服务提供商站点406可以包括一个或多个广播站、有线电视提供商，或卫星电视提供商，或基于互联网的电视提供商。例如，电视服务提供商站点406可被配置为通过卫星上行链路/下行链路接收包括电视节目的传输。此外，如图4所示，电视服务提供商站点406可以与广域网408通信，并且可被配置为从内容提供商站点412A至412N接收数据。应当指出的是，在一些示例中，电视服务提供商站点406可以包括电视演播室，并且内容可以源自该电视演播室。
广域网408可以包括基于数据包的网络，并且根据一个或多个电信协议的组合进行操作。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括全球系统移动通信(GSM)标准、码分多址(CDMA)标准、第3代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、欧洲标准(EN)、IP标准、无线应用协议(WAP)标准、以及电气与电子工程师协会(IEEE)标准，诸如，一个或多个IEEE 802标准(例如，Wi-Fi)。广域网408可以包括无线和/或有线通信媒体的任何组合。广域网480可以包括同轴电缆、光纤电缆、双绞线电缆、以太网电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。在一个示例中，广域网408可以包括互联网。局域网410可以包括基于数据包的网络，并且根据一个或多个电信协议的组合进行操作。可以基于访问级别和/或物理基础设施将局域网410与广域网408区分开。例如，局域网410可以包括安全家庭网络。
再次参见图4，内容提供商站点412A至412N表示可以向电视服务提供商站点406和/或计算设备402A至402N提供多媒体内容的站点的示例。例如，内容提供商站点可以包括具有一个或多个工作室内容服务器的工作室，该工作室内容服务器被配置为向电视服务提供商站点406提供多媒体文件和/或流。在一个示例中，内容提供商站点412A至412N可被配置为使用IP套件提供多媒体内容。例如，内容提供商站点可被配置为根据实时流协议(RTSP)、HTTP等向接收机设备提供多媒体内容。此外，内容提供商站点412A至412N可被配置为通过广域网408向接收机设备402A至402N和/或电视服务提供商站点406中的一个或多个提供包括基于超文本的内容等的数据。内容提供商站点412A至412N可包括一个或多个web服务器。可以根据数据格式来定义由数据提供者站点412A至412N提供的数据。
再次参见图1，源设备102包括视频源104、视频编码器106、数据封装器107和接口108。视频源104可包括配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括摄像机和可操作地与其耦接的存储设备。视频编码器106可包括被配置为接收视频数据并产生表示视频数据的合规比特流的任何设备。合规比特流可以指视频解码器可以从其接收和再现视频数据的比特流。合规比特流的各方面可根据视频编码标准来定义。当生成合规比特流时，视频编码器106可以压缩视频数据。压缩可能是有损的(观察者可觉察的或不可觉察的)或无损的。
再次参考图1，数据封装器107可以接收经编码的视频数据，并根据定义的数据结构生成兼容比特流，例如，NAL单元序列。接收兼容比特流的设备可以从其再现视频数据。应当指出的是，可以使用术语符合性比特流来代替术语兼容比特流。如上所述，Choi中提供的元数据的信令可能不太理想。在一个示例中，数据封装器107可被配置为根据本文所述的一种或多种技术发信号通知元数据。应当指出的是，数据封装器107不需要必须位于与视频编码器106相同的物理设备中。例如，被描述为由视频编码器106和数据封装器107执行的功能可以分布在图4所示的设备中。
参考上述Choi中的等距柱状投影描述，在一个示例中，数据封装器107可被配置为根据以下示例条件和公式导出变量yawMin、yawMax、pitchMin和pitchMax：
当RegionWisePackingBox不存在时，推断proj_frame_width和proj_frame_height等于VisualSampleEntry的宽度和高度。
当CoverageInformationBox不存在时，推断hor_range等于720*65536，并且推断ver_range等于360*65536。
yawMin＝(((center_yaw-hor_range÷2)<-18000)？(center_yaw-hor_range÷2+36000):(center_yaw-hor_range÷2))*0.01*π÷180
yawMax＝(((center_yaw+hor range÷2)>17999)？(center_yaw+hor_range÷2-36000):(center_yaw+hor_range÷2))*0.01*π÷180
pitchMin＝(((center_pitch-ver_range÷2)<-9000)？(center_pitch-ver_range÷2+18000):(center_pitch-ver range÷2))*0.01*π÷180
pitchMax＝(((center_pitch+ver_range÷2)>9000)？(center_pitch+ver_range÷2-18000):(center_pitch+ver_range÷2))*0.01*π÷180
如果使用16位二进制角度测量：
yawMin＝(center_yaw-hor_range÷2)*(1+65536)*π÷180
yawMax＝(center_yaw+hor_range÷2)*(1+65536)*π÷180
pitchMin＝(center_pitch-ver range÷2)*(1+65536)*π÷180
pitchMax＝(center_pitch+ver_range÷2)*(1+65536)*π÷180
如果使用16.16定点表示法：
yawMin＝(center_yaw-hor_range÷2)*(360÷4294967296)*π÷180
yawMax＝(center_yaw+hor_range÷2)*(360÷4294967296)*π÷180
pitchMin＝(center_pitch–ver_range÷2)*(180÷4294967296)*π÷180
pitchMax＝(center_pitch+ver_range÷2)*(180÷4294967296)*π÷180
因此，根据本文所述的技术，数据封装器107可被配置为能够増强角度值的精确度。
参考上述Choi中提供的RectRegionPacking(i)语法，在一个示例中，数据封装器107可被配置为更有效地发信号通知RectRegionPacking(i)。在一个示例中，数据封装器107可被配置为根据以下语法发信号通知RectRegionPacking(i)：
在该示例中，transform_type[i]的语义可使用3位发信号通知八种变换类型中的一种，并且可具有语义：
transform_type[i]指定已应用于投影帧的第i个区域以将其映射到封装帧的旋转和镜像。当transform_type[i]指定旋转和镜像两者时，在镜像之后应用旋转。指定了以下值：
1：无变换
2：水平镜像
3：旋转180°(逆时针)
4：水平镜像后旋转180°(逆时针)
5：水平镜像后旋转90°(逆时针)
6：旋转90°(逆时针)
7：水平镜像后旋转270°(逆时针)
0：旋转270°(逆时针)
应当指出的是，与Choi相比，transform_type[i]的值0用于指示旋转270°(逆时针)并且无保留值。此外，使用16位发信号通知其他语法元素中的每一者，这与Choi中提供的RectRegionPacking(i)相比导致显著的位节省。
参考上述Choi中提供的RegionWisePackingBox语法，在一个示例中，数据封装器107可被配置为更有效地发信号通知RegionWisePackingBox。在一个示例中，数据封装器107可被配置为发信号通知RegionWisePackingBox，其中使用16位发信号通知语法元素proj_frame_width和proj_frame_height中的每一者，如以下语法所示：
此外，在一个示例中，可约束语法元素proj_frame_width和proj_frame_height，使得proj_frame_width不应等于0并且proj_frame_height不应等于0。即，proj_frame_width应大于零，并且proj_frame_height应大于零。在一个示例中，语法元素proj_frame_width和proj_frame_height可使用减一信令。即，它们的值加一可分别指示投影帧的宽度和高度。此外，在一个示例中，数据封装器107可被配置为发信号通知RegionWisePackingBox，其中num_regions使用减一信令。在这种情况下，可使用以下示例语义：
对于0到num_regions-1范围内的每个i值由packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]指定的矩形应与对于0到i-1范围内(包括端值)的任何j值由packed_reg_width[j]、packed_reg_height[j]、packed_reg_top[j]和packed_reg_left[j]指定的矩形不重叠。
对于0到num_regions-1范围内的所有i值，由packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]指定的矩形的并集应覆盖由左上角(x,y)坐标(0,0)指定的矩形所指定的整个投影帧，并且宽度和高度分别等于proj_frame_width和proj_frame_height。
应当指出的是，在Choi中，Pitch值(例如，ProjectionOrientationBox中的orientation_pitch和RegionOnSphereStruct中的center_pitch)以0.01°为单位指定，有效范围为-9000至9000(包括端值)。因此，所允许的俯仰值范围仅需要15位。相反，orientation_pitch和center_pitch使用16位。在一个示例中，orientation_pitch和center_pitch使用15位，并且可保留节约的1位以供将来使用。建议的变化如下所示。参考上述Choi中提供的ProjectionOrientationBox语法，在一个示例中，数据封装器107可被配置为更有效地发信号通知ProjectionOrientationBox。在一个示例中，数据封装器107可被配置为根据以下语法发信号通知ProjectionOrientationBox：
此外，在一个示例中，数据封装器107可被配置为根据以下语法和语义发信号通知ProjectionOrientationBox：
语法
语义
orientation_yaw、orientation_pitch和orientation_roll分别指定相对于全局坐标系以2-16°为单位的投影的偏航、俯仰和滚动。orientation_yaw应在-180*2-16到(180*216)-1的范围内(包括端值)。orientation_pitch应在-90*216到90*216的范围内(包括端值)，orientation roll应在-180*216到(180*216)-1的范围内(包括端值)。
此外，关于覆盖信息盒，在一个示例中，数据封装器可被配置为根据以下语义发信号通知CoverageInformationBox：
语义
当RegionOnSphereStruct(1)包括在CoverageInformationBox中时，以下情况适用：
center_yaw和center_pitch分别指定相对于通过ProjectionOrientationBox指定的坐标系以2-16°为单位的由投影帧表示的球形区域的中心点。center_yaw应在-180*2-16到(180*216)-1的范围内(包括端值)。center_pitch应在-90*2-16到90*216的范围内(包括端值)。
horrange和ver_range分别指定分别以360÷232和180÷232°为单位的由投影帧表示的区域的水平和垂直范围。hor_range和ver_range指定通过区域中心点的范围。hor_range应在1到232-1的范围内(包括端值)。ver_range应在1到232-1的范围内(包括端值)。
因此，根据本文所述的技术，数据封装器107可被配置为能够増强角度值的精确度。
参考上述Choi中提供的RegionOnSphereStruct语法，在一个示例中，数据封装器107可被配置为更有效地发信号通知RegionOnSphereStruct。在一个示例中，数据封装器107可被配置为根据以下语法发信号通知RegionOnSphereStruct：
参考上述Choi中提供的用于发信号通知最感兴趣区域的语法和语义，在一个示例中，数据封装器107可被配置为更有效地发信号通知最感兴趣区域。目前，Choi中最感兴趣区域信令不包括标识跨定时元数据轨道发信号通知最感兴趣区域的信息。例如，如果对应于“导演剪辑”的最感兴趣区域矩形在时间上发生变化，则无法用当前的Choi语法来指示这一点。根据本文所述的示例技术，区域标签标识符与区域相关联，以标识跨定时元数据轨道发信号通知最感兴趣区域。下文的示例描述发信号通知最感兴趣区域的region_tag_id。
此外，Choi中的当前语法不允许为最感兴趣区域指定人类可读标签。例如，此类标签可包括“导演剪辑”或“最注释区域”或“社交媒体流行视区”等。以下描述有效地发信号通知用于最感兴趣区域的人类可读的region_label。
在一个示例中，数据封装器107可被配置为根据以下语法发信号通知最感兴趣的区域：
在这种情况下，可使用以下示例语义：
regionbase_id指定底部区域，靠近该底部区域指定最感兴趣区域的位置和尺寸。
entry_count指定条目数。entry_count应大于0。在另一示例中，该元素可相反被发信号通知为entry_count_minus 1，其加1指定条目数。
left_horizontal_offset、top_vertical_offset、region_width和region_height为整数值，其指示最感兴趣区域的位置和尺寸。
left_horizontal_offset和top_vertical_offset分别指示最感兴趣区域相对于底部区域的左上角的亮度样本中的水平和垂直坐标。region_width和region_height分别指示最感兴趣区域相对于底部区域的亮度样本中的宽度和高度。
region_tag_id指定标识符，该标识符标识底部区域内的该区域并将其与region_label相关联。对于整个定时元数据轨道中的区域标签，具有特定regionbase_id值的底部区域内具有特定region_tag_id值的区域应具有相同的值。
region_label_present标志等于1指示该区域标签紧随该元素存在。region_label_present标志等于0指示不存在region_label。
region_label是NULL终止的UTF-8字符串，其提供与该最感兴趣区域相关联的人类可读标签。当region_label不存在时，如果在具有与该样本条目的region_tag_id值相同的region_tag_id值的任何样本条目中存在，则其值被推断为等于该定时元数据轨道中的region_label的值，否则为NULL。
上文所述的Choi中提供的用于发信号通知最感兴趣区域的语法和语义仅允许指示封装帧上的最感兴趣区域。对应于最感兴趣区域的一些用例更适用于指示投影帧上的最感兴趣区域而不是封装帧上的最感兴趣区域。这些包括与指示渲染帧上的区域有关的任何用例。例如，包括球体上的导演视图的用例以及用于点播内容的初始视区可受益于2D投影帧的指示。在这些情况下，最感兴趣区域可以只是用于渲染目的的元数据信息。此外，最感兴趣区域的语法可如下文所示容易地使用标记来扩展，以指示所指示的最感兴趣区域是否在封装帧或投影帧上。
其中：
region_on_frame_flag等于1指示由left_horizontal_offset、top_vertical_offset、region width和region_height标识的该最感兴趣区域在封装帧上指示，region_on_frame_flag等于0指示由left_horizontal_offset、top_vertical_offset、region_width和region_height值标识的该最感兴趣区域在投影帧上指示。
应当指出的是，当上述两种信号技术一起使用时，可在region_tag_id之前发信号通知region_on_frame_flag，并且region_tag_id可使用14位。
因此，总体语法可如下所示：
在一个示例中，数据封装器107可被配置为根据以下语法和语义发信号通知最感兴趣区域：
语法
语义
注1：当样本结构从RegionOnSphereSample扩展时，RegionOnSphereSample的语法元素包括在样本中。
regionbase_id指定底部区域，靠近该底部区域指定最感兴趣区域的位置和尺寸。
entry_count指定条目数。
left_horizontal_offset、top_vertical_offset、region_width和region_height是整数值，指示最感兴趣区域的位置和尺寸。left_horizontal_offset和top_vertical_offset分别指示最感兴趣区域相对于底部区域的左上角的亮度样本中的水平和垂直坐标。region_width和region_height分别指示最感兴趣区域相对于底部区域的亮度样本中的宽度和高度。
ioh_mir等于0指定该定时元数据轨道中的指示值left_horizontal_offset、top_vertical_offset、region_width和region height应用于参考轨道中的样本，直到在定时元数据轨道中下一次出现这些值为止。ioh_mir等于1指定应在连续样本之间线性插入该定时元数据轨道中的指示值left_horizontal_offset、top_vertical_offset、region_width和region_height。
根据本文所述的技术，以下约束和语义变化中的一者或多者可用于最感兴趣区域的多个条目计数和矩形参数的语法元素。这些可包括以下一者或多者：指定regionbase_id以指示track_ID值，其中保留值0；在entry_count上包括约束；在left_horizontal_offset、top_vertical_offset、region_width和region_height上包括约束，以强制避免可能落在封装帧之外的信令值。在一个示例中，可根据以下语义来实现这些约束：
regionbase_id指定底部区域，靠近该底部区域指定最感兴趣区域的位置和尺寸。在另一示例中，regionbase_id指定对应于ISOMBFF文件中的轨道的track_ID，针对该轨道指定最感兴趣区域的位置和尺寸。保留值0。
entry_count指定条目数。entry_count应大于0。在示例中，保留值0。在另一示例中，该元素可相反被发信号通知为entry_count_minus 1，其加1指定条目数。
left_horizontal_offset、top_vertical_offset、region_width和region_height为整数值，其指示最感兴趣区域的位置和尺寸。
left_horizontal_offset和top_vertical_offset分别指示最感兴趣区域相对于底部区域的左上角的亮度样本中的水平和垂直坐标。region_width和region_height分别指示最感兴趣区域相对于底部区域的亮度样本中的宽度和高度。
如果不存在RegionWisePackingBox(即不使用逐区域封装)，
对于在1到entry_count(left_horizontal_offset+region_width)范围内的每个i应小于proj_frame_width。
对于1到entry_count(top_vertical_offset+region_height)范围内的每个i应小于proj_frame_height。
在一个示例中，由left_horizontal_offset、top_vertical_offset、region_width和region_height指示的最感兴趣区域矩形应完全跨越封装帧。当封装帧为立体时，由left_horizontal_offset、top_vertical_offset、region_width和region_height指示的最感兴趣区域矩形应完全跨越封装帧的单个组成帧。
在一个示例中，当region_on_frame_flag等于1时，由left_horizontal_offset、top_vertical_offset、region_width和region_height指示的最感兴趣区域矩形应完全跨越封装帧，或者当region_on_frame_flag等于0时应完全跨越投影帧。当封装帧为立体时，在region_on_frame_flag等于1时由left_horizontal_offset、top_vertical_offset、region_width和region_height指示的最感兴趣区域矩形应完全跨越封装帧的单个组成帧，或者当region_on_frame_flag等于0时应完全跨越投影帧的单个组成帧。
关于上文提供的示例语法和语义，数据封装器107可被配置为发信号通知指示是否在封装帧或投影帧上指示区域的位置和尺寸的语法元素。
参考上述Choi中提供的RegionOnSphereConfigBox语法和语义，在一个示例中，数据封装器107可被配置为更有效地发信号通知RegionOnSphereConfigBox。在一个示例中，数据封装器107可被配置为发信号通知static_hor_range和static_ver_range，使得static_hor_range应在1到36000的范围内(包括端值)和/或static_ver_range应在1到18000的范围内(包括端值)。又如，static_hor_range应在0到36000的范围内(包括端值)。Static_ver_range应在0到18000的范围内(包括端值)。在这些示例中，static_hor_range和static_ver_range允许值0。这允许指示球体上的点。在某些用例中，例如，指示标线或十字准线或注视指针，指示球上的点而不是区域可能是重要的。因此，根据本文所述的技术，可能存在球体上这种点的指示。
此外，在一个示例中，数据封装器107可被配置为根据以下示例语法和语义发信号通知RegionOnSphereConfigBox：
语义
shape_type等于0指定该区域由四个大圆指定。
shape_type等于1指定该区域由两个偏航圆和两个俯仰圆指定，
保留大于1的shape_type值。
dynamic_range_等于0指定该区域的水平和垂直范围在参考该样本条目的所有样本中保持不变。
Dynamic_range_flag等于1指定以样本格式指示区域的水平范围和垂直范围。
static_hor_range和static_ver_range分别指定以2-16°为单位的参考该样本条目的每个样本的区域的水平和垂直范围。static_hor_range应在0到720*65536的范围内(包括端值)。static_ver_range应在0到360*65536的范围内(包括端值)，static_hor_range和static_ver_range指定通过区域中心点的范围。
需注意，static_hor_range和static_ver_range允许值0以允许指示球体上的点。在这种情况下，在一些示例中，该区域可具有零区域。
num_regions指定参考该样本条目的样本中的区域数。num_regions应等于1。保留num_regions的其他值。
因此，根据本文所述的技术，数据封装器107可被配置为能够増强角度值的精确度。
参考上述Choi中提供的RegionOnSphereStruct语法和语义，在一个示例中，数据封装器107可被配置为更有效地发信号通知RegionOnSphereStruct。在一个示例中，数据封装器107可被配置为根据以下语法发信号通知RegionOnSphereStruct：
在这种情况下，可使用以下示例语义：
当RegionOnSphereStruct()包括在RegionOnSphereSample()结构中时，以下情况适用：
center_yaw和center_pitch指定相对于全局坐标系以0.01°为单位的由该样本指定的区域的中心点。center_yaw应在-18000到17999的范围内(包括端值)。center_pitch应在-9000到9000的范围内(包括端值)。
hor_range和ver_range(当存在时)分别指定以0.01°为单位的由该样本指定的区域的水平和垂直范围。hor_range和ver_range指定通过区域中心点的范围。
hor_range(当存在时)应在1到36000的范围内(包括端值)。ver_range(当存在时)应在1到18000的范围内(包括端值)。
又如，hor_range(当存在时)应在0到36000的范围内(包括端值)。ver_range(当存在时)应在0到18000的范围内(包括端值)。在这种情况下，hor_range和ver_range允许值0。这允许指示球体上的点。
当range_included_flag等于1时，center_pitch+ver_range÷2不应大于9000且center_pitch-ver_range÷2不应小于-9000。当range_included_flag等于1时，center_yaw+hor_range÷2不应大于17999且center_yaw-hor_range÷2不应小于-18000。当range_included_flag等于0时，center_pitch+static_ver_range÷2不应大于9000且center_pitch-static_ver_range÷2不应小于-9000。
当range_included_flag等于0时，center_yaw+static_hor_range÷2不应大于17999且center_yaw-static_hor_range÷2不应小于-18000。
又如，代替或除了上述约束之外，可指定以下约束：
当range_included_flag等于1时：
当center_pitch+ver_range÷2大于9000时，其将被计算为(center_pitch+ver_range÷2-18000)
当center_pitch-ver_range÷2小于-9000时，其将被计算为(center_pitch+ver_range÷2+18000)
当center_yaw+hor_range÷2大于17999时，其将被计算为(center_yaw+hor_range÷2-36000)
当center_yaw-hor_range÷2小于-18000时，其将被计算为(center_yaw+hor_range÷2+36000)
当range_included_flag等于0时：
当center_pitch+static_ver_range÷2大于9000时，其将被计算为(center_pitch+static_ver_range÷2-18000)
当center_pitch-static_ver_range÷2小于-9000时，其将被计算为(center_pitch static_ver_range÷2+18000)
当center_yaw+static_hor_range÷2大于17999时，其将被计算为(center_yaw+static_hor_range+2-36000)
当center yaw-static_hor_range÷2小于-18000时，其将被计算为(center_yaw+static_hor_range÷2+36000)
此外，在一个示例中，数据封装器107可被配置为根据以下语法和语义发信号通知RegionOnSphereStruct：
语法
语义
当RegionOnSphereStruct()包括在RegionOnSphereSample()结构中时，以下情况适用：
center_yaw、center_pitch和center_roll分别指定相对于全局坐标系以2-16°为单位的由该样本指定的区域的中心点。center_yaw应在-180*2-16到(180*216)-1的范围内(包括端值)。center_pitch应在-90*216到90*216的范围内(包括端值)。center_roll应在-180*216到(180*216)-1的范围内(包括端值)
hor_range和ver_range(当存在时)分别指定以2-16°为单位的由该样本指定的区域的水平和垂直范围。hor_range应在0到720*65536的范围内(包括端值)。ver_range应在0到360*360的范围内(包括端值)。hor_range和ver_range指定通过区域中心点的范围。
需注意，hor_range和ver_range允许值0以允许指示球体上的点。在这种情况下，在一些示例中，该区域可具有零区域。
球体上的区域使用如下所示的变量cYaw1、cYaw2、cPitch1、cPitch2来定义：
cYaw1＝(((center_yaw-(range_included_flag？hor_range:static_hor_range)÷2)<-18000)？((center_yaw-(range_included_flag？hor_range:static_hor_range)÷2)+36000:((center_yaw-(range_included_flag？hor_range:static_hor_range)÷2))*0.01*π÷180
cYaw2＝(((center_yaw+(range_included_flag？hor_range:static_hor_range)÷2)>17999)？(center_yaw+(range_included_flag？hor_range:
statie_hor_range)÷2)-36000:(((center_yaw+(range_included_flag？hor_range:static_hor_range)÷2))*0.01*π÷180
cPitch1＝(((center_pitch-(range_included_flag？ver_range static_verrange)÷2)<-9000？(center_pitch-(range_included_flag？ver_range:static_ver_range)÷2)+18000:(center_pitch-(range_included_flag？ver_range:static_ver_range)÷2))*0.01*π÷180
cPitch2＝(((center_pitch+(range_included_flag？ver_range:static_ver_range)÷2)>9000？(center_pitch+(range_included_flag？ver_range:static_ver_range)÷2)-18000:(center_pitch+(range_included_flag？ver_range:static_ver_range)÷2))*0.01*π÷180
如果shape_type等于0，则该区域由四个点cYaw1、cYaw2、cPitch1、cPitch2(用由上述公式定义的弧度表示)定义的四个大圆指定，并且中心点由center_pitch和center_yaw定义，并且如图6A所示。
如果shape_type等于1，则该区域由四个点cYaw1、cYaw2、cPitch1、cPitch2(用由上述公式定义的弧度表示)定义的两个偏航圆和两个俯仰圆指定，并且中心点由center_pitch和center yaw定义，并且如图6B所示。
如果使用16位二进制角度测量：
球体上的区域使用如下所示的变量cYaw1、cYaw2、ePiteh1、cPitch2来定义：
cYaw1＝(center_yaw-(range_included_flag？hor_range static_hor_range)÷2)*(1÷65536)*π÷180
cYaw2＝(center_yaw+(range_included_flag？hor_range:static_hor_range)÷2)(1÷65536)*π÷180
cPitch1＝(center_pitch-(range_included_flag？ver_range static_ver_range)÷2)*(1÷65536)*π÷180
cPitch2＝(center_pitch+(range_included_flag？ver_range:static_ver_range)÷2)*(1÷65536)*π÷180
如果使用16.16定点表示法：
球体上的区域使用如下所示的变量cYaw1、cYaw2、cPitch1、cPitch2来定义：
cYaw1＝(center_yaw-(range_included_flag？hor_rangc static_hor_range)÷2)*(360÷4294967296)*π÷180
cYaw2＝(center_yaw+(range_included_flag？hor range:static_horrange)÷2)*(360÷4294967296)*π÷180
cPitchl＝(center_pitch-(range_included flag？ver_range:static_ver_range)÷2)*(180÷4294967296)*π÷180
cPitch2＝(center_pitch+(range_included_flag？ver_range:static_ver_range)÷2)*(180÷4294967296)*π÷180
又如，以下公式可用于导出变量cYaw1、cYaw2、ePitch1、ePitch2：
cYaw1＝(((center_yaw-(range_included_flag？hor_range:static_hor_range)÷2)<-18000)？((center_yaw-(range_included_flag？hor_range:static_hor_range)÷2)+36000:((center_yaw-(range_included_flag？hor_range:static_hor_range)÷2))*(360÷65536)*π÷180
cYaw2＝(((center_yaw+(range_included_flag？hor_range:static_hor_range)÷2)>17999)？(center_yaw+(range_included_flag？hor_range:static_hor_range)÷2)-36000:(((center_yaw+(range_included_flag？hor_range:static_hor_range)÷2))*(360+65536)*π÷180
ePitch1＝(((center_pitch-(range_included_flag？ver range:static_ver_range)÷2)<-9000？(center_pitch-(range_included_flag？ver_range:statie_ver_range)÷2)+18000；(center_pitch-(range_included_flag？ver_range:static_ver_range)÷2))*(180÷65536)*π÷180
cPitch2＝(((center_pitch+(range_included_flag？ver_range:static_ver_range)÷2)>9000？(center_pitch+(range_included_flag？ver_range:static_ver_range)÷2)-18000:(center_pitch+(range_included_flag？ver_range:static_ver_range)÷2))*(180÷65536)*π÷180
因此，根据本文所述的技术，数据封装器107可被配置为能够増强角度值的精确度。
参考上述Choi中提供的IntialViewpointSample语法，在一个示例中，数据封装器107可被配置为更有效地发信号通知滚动作为16位带符号整数。因为滚动角可在-180到179.99的范围内(包括端值)变化，所以在初始视区中改变滚动的数据类型可能是有用的。此外，改变允许滚动的范围。在一个示例中，数据封装器107可被配置为使用以下语法和语义来更有效地发信号通知滚动：
语法
语义
center_yaw、center_pitch和roll指定相对于全局坐标系以0.01°为单位的视区方向。center_yaw和center_pitch指示视区的中心，roll指示视区的滚动角度。roll应在-18000至17999的范围内(包括端值)。
参考上述Choi中提供的RegionOnSphereConfigBox语法，在一个示例中，数据封装器107可被配置为更有效地发信号通知num_regions作为8位无符号整数。当前，只允许并定义num_regions的一个值。因此，要求num_regions应等于1。如下所示在RegionOnSphere-ConfigBox中发信号通知num_regions可能更有效：
语法
参考上述Choi中提供的最感兴趣区域的信令语法，在一个示例中，可使用(32)无符号整数来发信号通知最感兴趣区域矩形(left_horizontal_offset、top_vertical_offset、region_width和region_height)的位宽，以便能够指定与Choi中其他字段的位宽一致的完整矩形，如下所示：
参考上述Choi中提供的推荐视区描述，推荐视区定时元数据轨道指示当用户无法控制查看取向或已释放对查看取向的控制时应显示的视区。根据本文所述的技术，数据封装器107可被配置为发信号通知语法元素，该语法元素指示是否保留或内插用于所推荐的偏航、俯仰和水平和垂直范围的定时元数据轨道中的先前信号值，这提供了例如比发信号通知每个样本的推荐视区有效的信令。在一个示例中，根据本文所述的技术，数据封装器107可被配置为基于以下示例定义、语法和语义来发信号通知推荐视区。
定义
推荐视区定时元数据轨道指示当用户无法控制查看取向或已释放对查看取向的控制时应显示的视区。
注：推荐视区定时元数据轨道可用于指示导演的剪辑。
应使用样本条目类型“rcvp”。
应使用RegionOnSphereSample的样本语法。
shape_type在样本条目的RegionOnSphereConfigBox中应等于0。
语法
语义
static_hor_range和static_ver_range(当存在时)或hor_range和ver_range(当存在时)分别指示推荐视区的水平和垂直视场。
center_yaw和center_pitch指示推荐视区的中心点。
在一个示例中，ioh等于0指定该RecommendedViewportSample中所指示的推荐视区的center_yaw、center_pitch、hor_range(如果存在)和ver_range(如果存在)值将用于参考轨道中的样本，直到下一个RecommendedViewportSample。ioh等于1指定应在连续RecommendedViewportSample的对应值之间线性插入所指示的推荐视区的center_yaw、center_pitch、hor_range(如果存在)和ver_range(如果存在)值。
在一个示例中，ioh等于0指定该RecommendedViewportSample中所指示的推荐视区的center_yaw、center_pitch、static_hor_range(当存在时，否则hor_range值)、static_ver_range(当存在时，否则ver_range值)将用于参考轨道中的样本，直到下一个RecommendedViewportSample。ioh等于1指定将/应/可在连续RecommendedViewportSample的对应值之间线性插入所指示的推荐视区的center_yaw、center_pitch、static_hor_range(当存在时，否则hor_range值)、static_ver_range(当存在时，否则ver_range值)。
在一个示例中，ioh等于0指示在先前样本和当前样本之间不应插入任何推荐视区的center_yaw、center_pitch、hor_range(如果存在)和ver_range(如果存在)值。ioh等于1指示应用程序可在先前样本和当前样本之间线性插入推荐视区的center_yaw、center_pitch、hor_range(如果存在)和ver_range(如果存在)值。
在一个示例中，ioh等于0指定该RecommendedViewportSample中所指示的推荐视区的center_yaw、center_pitch值将用于参考轨道中的样本，直到下一个RecommendedViewportSample。ioh等于1指定应在连续RecommendedViewportSample的相应值之间线性插入所指示的推荐视区的center_yaw、center_pitch值。
在另一示例中，上述语法元素unsigned int(1)ioh；可包括在如以下示例所示的RegionOnSphereConfigBox中：
语法
在这种情况下，在一个示例中，ioh等于0指定该RegionOnSphereConfigBox中所指示的center_yaw、center_piteh、hor_range(如果存在)和ver_range(如果存在)值将用于参考轨道中的样本，直到下一个RegionOnSphereConfigBox。ioh等于1指定应在连续RegionOnSphereConfigBox的对应值之间线性插入所指示的推荐视区的center_yaw、center_pitch、hor_range(如果存在)和ver_range(如果存在)值。
在另一示例中，上述语法元素unsigned int(1)ioh；可包括在如下所示的RegionOnSphereStruct中：
在这种情况下，在一个示例中，ioh等于0指定该RegionOnSphereStruct中所指示的center_yaw、center_pitch、hor_range(如果存在)和ver_range(如果存在)值将用于参考轨道中的样本，直到下一个RegionOnSphereStruct。ioh等于1指定应在连续RegionOnSphereStruct的对应值之间线性插入所指示的推荐视区的center_yaw、center_pitch、hor_range(如果存在)和ver_range(如果存在)值。
应当指出的是，在一个示例中，相应的标志可包括在推荐的视区语法中，以指示是否在连续的定时元数据轨道样本之间插入或保持偏航、俯仰、水平和垂直范围。在推荐的视区语法中包括这些相应标志的示例中，语法和语义可基于下文提供的示例语法和语义：
语法
语义
注1：当样本结构从RegionOnSphereSample扩展时，RegionOnSphereSample的语法元素包括在样本中。
static_hor_range和static_ver_range(当存在时)或hor_range和ver_range(当存在时)分别指示推荐视区的水平和垂直视场。
center_yaw和center_pitch指示推荐视区的中心点。
ioh等于0指定该RecommendedViewportSample中所指示的推荐视区的center_yaw、center_pitch、hor_range值(如果存在)和ver_range值(如果存在)将用于参考轨道中的样本，直到下一个RecommendedViewportSample。ioh等于1指定应在连续RecommendedViewportSample的对应值之间线性插入所指示的推荐视区的center_yaw、center_pitch、hor_range值(如果存在)和ver_range值(如果存在)。
ioh_yaw等于0指定该RecommendedViewportSample中所指示的推荐视区的center_yaw值将用于参考轨道中的样本，直到下一个RecommendedViewportSample。ioh_yaw等于1指定应在连续RecommendedViewportSample的center_yaw值之间线性插入所指示的推荐视区的center_yaw值。
ioh_pitch等于0指定该RecommendedViewportSample中所指示的推荐视区的center_pitch值将用于参考轨道中的样本，直到下一个RecommendedViewportSample。ioh_pitch等于1指定应在连续RecommendedViewportSample的center_pitch值之间线性插人所指示的推荐视区的center_pitch值，
ioh_hrange等于0指定该RecommendedViewportSample中所指示的推荐视区的hor_range值(如果存在)将用于参考轨道中的样本，直到下一个RecommenendedViewportSample。ioh_hrange等于1指定应在连续RecommendedViewportSample的hor_range值之间线性插人所指示的推荐视区的hor_range值(如果存在)。
ioh_vrange等于0指定该RecommendedViewportSample中所指示的推荐视区的ver_range值(如果存在)将用于参考轨道中的样本，直到下一个RecommendedViewportSample。ioh_vrange等于1指定应在连续RecommendedViewportSample的ver_range值之间线性插入所指示的推荐视区的ver_range值(如果存在)。
应当指出的是，在一个示例中，内插值可保持直到下一个样本。
再次参见图1，接口108可以包括被配置为接收由数据封装器107生成的数据并且将数据发送和/或存储到通信介质的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机系统接口，该计算机系统接口可以使文件能够存储在存储设备上。例如，接口108可以包括支持外围组件互连(Peripheral ComponentInterconnec,PCI)和高速外围组件互连(Peripheral Component Interconnect Express,PCIe)总线协议的芯片集、专用总线协议、通用串行总线(Universal Serial Bus,USB)协议、I2C、或任何其他可用于互连对等设备的逻辑和物理结构。
再次参考图1，目标设备120包括接口122、数据解封装器123、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收数据的任何设备。接口122可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括计算机系统接口，使得能够从存储设备检索合规的视频比特流。例如，接口122可包括支持PCI和PCIe总线协议、专用总线协议、USB协议、I2C的芯片组，或者可被用于互连对等设备的任何其他逻辑和物理结构。数据解封装器123可被配置为接收由数据封装器107生成的比特流和元数据，并执行倒数解封装过程。
视频解码器124可以包括被配置为接收比特流和/或其可接受变体，并且从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126可以包括各种显示设备诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示器中的一种。显示器126可以包括高清显示器或超高清显示器。显示器126可以包括立体显示器。应当指出的是，虽然在图1所示的示例中，视频解码器124被描述为将数据输出到显示器126，但视频解码器124可被配置为将视频数据输出到各种类型的设备和/或其子部件。例如，视频解码器124可被配置为将视频数据输出到任何通信介质，如本文所述。目标设备120可以包括接收器设备。
图5是示出可实现本公开的一种或多种技术的接收器设备的示例的框图。即，接收器设备600可被配置为基于上述语义来解析信号。接收器设备600是计算设备的示例，其可以被配置为从通信网络接收数据并允许用户访问多媒体内容(包括虚拟现实应用程序)。在图5所示的示例中，接收器设备600被配置为经由电视网络(例如，上述电视服务网络404)接收数据。此外，在图5所示的示例中，接收器设备600被配置为经由广域网发送和接收数据。应当指出的是，在其他示例中，接收器设备600可以被配置为通过电视服务网络404简单地接收数据。本文所述的技术可以由被配置为利用通信网络的任意组合和所有组合进行通信的设备使用。
如图5中所示，接收器设备600包括中央处理单元602、系统存储器604、系统接口610、数据提取器612、音频解码器614、音频输出系统616、视频解码器618、显示系统620、I/O设备622和网络接口624。如图5所示，系统存储器604包括操作系统606和应用程序608。中央处理单元602、系统存储器604、系统接口610、数据提取器612、音频解码器614、音频输出系统616、视频解码器618、显示系统620、I/O设备622和网络接口624中的每一个可以互连(物理地、通信地和/或可操作地)用于部件间的通信，并且可以实现为各种合适的电路中的任一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。应当指出的是，尽管接收器设备600被示出为具有不同的功能块，但是此类图示是出于描述的目的，并且不会将接收器设备600限制到特定的硬件构架。可以使用硬件、固件和/或软件具体实施的任意组合来实现接收器设备600的功能。
CPU 602可以被配置为实现用于在接收器设备600中执行的功能和/或处理指令。CPU 602可以包括单核和/或多核中央处理单元。CPU 602能够检索和处理用于实现本文所述技术中的一种或多种的指令、代码和/或数据结构。指令可以存储在计算机可读介质上，诸如系统存储器604。
系统存储器604可以被描述为非暂态或有形计算机可读存储介质。在一些示例中，系统存储器604可以提供临时和/或长期存储。在一些示例中，系统存储器604或其部分可以被描述为非易失性存储器，并且在其他示例中，系统存储器604的部分可以被描述为易失性存储器。系统存储器604可以被配置为存储可在操作期间由接收器设备600使用的信息。系统存储器604可以用于存储程序指令以供CPU 602执行，并且可以由在接收器设备600上运行的程序使用以在程序执行期间临时存储信息。此外，在其中接收器设备600作为数字视频录像机的一部分被包括的示例中，系统存储器604可以被配置为存储多个视频文件。
应用程序608可以包括在接收器设备600内实现或由其执行的应用程序，并且可以被实现或包含在接收器设备600的部件内，可以由该计算设备的部件操作、执行，并且/或者可操作地/通信地耦接到该计算设备的部件。应用程序608可以包括可使接收器设备600的CPU 602执行特定功能的指令。应用程序608可以包括在计算机编程语句中表达的算法，诸如for循环、while循环、if语句、do循环等。可以使用指定的编程语言来开发应用程序608。编程语言的示例包括JavaTM、JiniTM、C、C++、Objective C、swift、Perl、Python、PhP、UNIXShell、Visual Basic和Visual Basic Script。在其中接收器设备600包括智能电视的示例中，应用程序可以由电视制造商或广播公司开发。如图5所示，应用程序608可以结合操作系统606执行。也就是说，操作系统606可以被配置为促进应用程序608与CPU 602以及接收器设备600的其他硬件部件的交互。操作系统606可以是被设计为安装在机顶盒、数字视频录像机、电视等上的操作系统。应当指出的是，本文描述的技术可以被配置为利用软件架构的任何和所有组合进行操作的设备使用。
系统接口610可以被配置为启用接收器设备600的部件之间的通信。在一个示例中，系统接口610包括使数据能够从一个对等设备传输到另一个对等设备或传输到存储介质的结构。例如，系统接口610可以包括支持基于加速图形端口(AGP)的协议、基于外围部件互连(PCI)总线的协议(诸如PCI ExpressTM(PCIe)总线规范)的芯片组，其由外围部件互连专门兴趣组或者可用于互连对等设备的任何其他形式的结构(例如，专用总线协议)维护。
如上所述，接收器设备600被配置为经由电视服务网络接收并任选地发送数据。如上所述，电视服务网络可以根据电信标准进行操作。电信标准可以定义通信属性(例如，协议层)，例如物理信令、寻址、信道访问控制、数据包属性和数据处理。在图5所示的示例中，数据提取器612可以被配置为从信号中提取视频、音频和数据。可以根据例如DVB标准、ATSC标准、ISDB标准、DTMB标准、DMB标准和DOCSIS标准等方面来定义信号。
数据提取器612可以被配置为从信号中提取视频、音频和数据。也就是说，数据提取器612可以与服务分发引擎互逆的方式操作。此外，数据提取器612可以被配置为基于上述结构中的一者或多者的任意组合来解析链路层数据包。
数据分组可以由CPU 602、音频解码器614和视频解码器618来处理。音频解码器614可以被配置为接收和处理音频包。例如，音频解码器614可以包括被配置为实现音频编解码器的各方面的硬件和软件的组合。也就是说，音频解码器614可以被配置为接收音频包并将音频数据提供给音频输出系统616以进行呈现。音频数据可以使用多信道格式编码，诸如由杜比和数字影院系统开发的格式。可以使用音频压缩格式对音频数据进行编码。音频压缩格式的示例包括运动图像专家组(MPEG)格式、高级音频编码(AAC)格式、DTS-HD格式和杜比数字(AC-3)格式。音频输出系统616可以被配置为呈现音频数据。例如，音频输出系统616可以包括音频处理器、数字-模拟转换器、放大器和扬声器系统。扬声器系统可以包括各种扬声器系统中的任一种，诸如耳机、集成立体声扬声器系统、多扬声器系统或环绕声系统。
视频解码器618可以被配置为接收和处理视频包。例如，视频解码器618可以包括用于实现视频编解码器的各方面的硬件和软件的组合。在一个示例中，视频解码器618可以被配置为解码根据任何数量的视频压缩标准编码的视频数据，这些视频压缩标准诸如ITU-T H.262或ISO/IEC MPEG-2Visual、ISO/IEC MPEG-4Visual、ITU-T H.264(也称为ISO/IECMPEG-4高级视频编码(AVC))、以及高效视频编码(HEVC)。显示系统620可以被配置为检索和处理视频数据以供显示。例如，显示系统620可以从视频解码器618接收像素数据并输出数据以用于视觉呈现。此外，显示系统620可以被配置为结合视频数据(例如，图形用户界面)输出图形。显示系统620可以包括各种显示设备中的一种，诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、或能够向用户呈现视频数据的其他类型的显示设备。显示设备可以被配置为显示标准清晰度内容、高清晰度内容或超高清内容。
I/O设备622可以被配置为在接收器设备600的操作期间接收输入并提供输出。也就是说，I/O设备622可以使用户能够选择要呈现的多媒体内容。可以从输入设备处生成输入，诸如，按钮式遥控器、包括触敏屏幕的设备、基于运动的输入设备、基于音频的输入设备、或配置为接收用户输入的任何其他类型的设备。I/O设备622可以利用标准化通信协议可操作地耦接到接收器设备600，该标准化通信协议诸如通用串行总线协议(USB)、蓝牙、ZigBee或专有通信协议(诸如，专有的红外通信协议)。
网络接口624可以被配置为使接收器设备600能够经由局域网和/或广域网发送和接收数据。网络接口624可以包括网络接口卡，诸如以太网卡、光收发器、射频收发器或者被配置为发送和接收信息的任何其他类型的设备。网络接口624可以被配置为根据网络中利用的物理和媒体访问控制(MAC)层执行物理信令、寻址和信道访问控制。接收器设备600可以被配置为解析根据上述任何技术生成的信号。这样，接收器设备600表示被配置为解析包括与虚拟现实应用程序相关联的信息的一个或多个语法元素的设备的示例
在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实现，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从某个地方传输到另一个地方的任何介质的传播介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。
可以由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实现本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(IC)或一组IC(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，可以将各种单元组合在编解码器硬件单元中，或者通过互操作硬件单元包括如上所述的一个或多个处理器的集合，结合合适的软件和/或固件来提供各种单元。
此外，每个上述实施方案中所使用的基站设备和终端设备的每个功能块或各种特征可通过电路(通常为一个集成电路或多个集成电路)实施或执行。被设计为执行本说明书中所述的功能的电路可包括通用处理器、数字信号处理器(DSP)、专用或通用集成电路(ASIC)、现场可编程门阵列(FPGA)，或其他可编程逻辑设备、分立栅极或晶体管逻辑器，或分立硬件部件，或它们的组合。通用处理器可为微处理器，或另选地，该处理器可为常规处理器、控制器、微控制器或状态机。通用处理器或上述每种电路可由数字电路进行配置，或可由模拟电路进行配置。此外，当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时，也能够使用通过该技术生产的集成电路。
已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。
<交叉引用>
本非临时专利申请根据《美国法典》第35卷第119节(35 U.S.C.§119)要求于2017年3月27日提交的临时申请号62/477,379、2017年3月30日提交的号62/479,162、2017年4月5日提交的号62/482,124、2017年4月6日提交的号62/482,289的优先权，其全部内容据此以引用方式并入。

Claims (9)

1.一种发信号通知与全向视频的最感兴趣区域相关联的信息的方法，所述方法包括：
发信号通知语法元素，所述语法元素指示是否在封装帧或投影帧上指示区域的位置和尺寸。
2.根据权利要求1所述的方法，还包括发信号通知与具有区域标签的标识区域相关联的语法元素。
3.根据权利要求1或2中任一项所述的方法，还包括发信号通知指示是否存在区域标签的语法元素。
4.根据权利要求2或3中任一项所述的方法，其中区域标签包括字符串。
5.一种设备，所述设备包括被配置为执行根据权利要求1至4中所述步骤的任意组合和全部组合的一个或多个处理器。
6.一种设备，所述设备包括被配置为解析根据权利要求1至4中所述步骤的任意组合和全部组合生成的信号的一个或多个处理器。
7.一种系统，包括：
根据权利要求5所述的设备；和
根据权利要求6所述的设备。
8.一种装置，所述装置包括用于执行根据权利要求1至4所述步骤的任意组合和全部组合的装置。
9.一种包括存储在其上的指令的非暂态计算机可读存储介质，所述指令在被执行时，使得设备的一个或多个处理器执行根据权利要求1至4所述步骤的任意组合和全部组合。
CN201880021747.1A 2017-03-27 2018-02-09 用于针对虚拟现实应用程序发信号通知与最感兴趣区域相关联的信息的系统和方法 Pending CN110476430A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762477379P 2017-03-27 2017-03-27
US62/477379 2017-03-27
US201762479162P 2017-03-30 2017-03-30
US62/479162 2017-03-30
US201762482124P 2017-04-05 2017-04-05
US62/482124 2017-04-05
US201762482289P 2017-04-06 2017-04-06
US62/482289 2017-04-06
PCT/JP2018/004574 WO2018179903A1 (en) 2017-03-27 2018-02-09 Systems and methods for signaling of information associated with most-interested regions for virtual reality applications

Publications (1)

Publication Number Publication Date
CN110476430A true CN110476430A (zh) 2019-11-19

Family

ID=63675078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021747.1A Pending CN110476430A (zh) 2017-03-27 2018-02-09 用于针对虚拟现实应用程序发信号通知与最感兴趣区域相关联的信息的系统和方法

Country Status (5)

Country Link
US (1) US20200382809A1 (zh)
EP (1) EP3603082A4 (zh)
JP (1) JP2020516133A (zh)
CN (1) CN110476430A (zh)
WO (1) WO2018179903A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11140373B2 (en) * 2018-04-05 2021-10-05 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101507281A (zh) * 2006-07-12 2009-08-12 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
CN102246491A (zh) * 2008-10-08 2011-11-16 诺基亚公司 用于存储多源多媒体表示的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101507281A (zh) * 2006-07-12 2009-08-12 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
CN102246491A (zh) * 2008-10-08 2011-11-16 诺基亚公司 用于存储多源多媒体表示的系统和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BYEONGDOO CHOI等: "Text of ISO/IEC 23000-20 CD Omnidirectional Media Application Format", 《ISO/IEC JTC1/SC29/WG11 N16636，JANUARY 2017, GENEVA, SWITZERLAND》 *
HANNUKSELA M M等: "OMAF PACK-VE:Rectangular region-wise", 《117.MPEG MEETING,16-1-2017--20-1-2017,GENEVA》 *
ORANGE (RAPPORTEUR): "S4-170125 "TR 26.918 Virtual reality (VR) media services v0.5.0"", 《3GPP》 *
POLIN LAI: "OMAF PACK-VE Report", 《117.MPEG MEETING,16-1-2017--20-1-2017,GENEVA》 *

Also Published As

Publication number Publication date
WO2018179903A1 (en) 2018-10-04
US20200382809A1 (en) 2020-12-03
EP3603082A1 (en) 2020-02-05
EP3603082A4 (en) 2020-08-05
JP2020516133A (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
US10652553B2 (en) Systems and methods of signaling of regions of interest
US20200120326A1 (en) Systems and methods for signaling view information for virtual reality applications
WO2019189038A1 (en) Systems and methods for signaling camera parameter information
CN110506421A (zh) 用于以媒体应用程序格式发信号通知可伸缩视频的系统和方法
US20210211780A1 (en) Systems and methods for signaling sub-picture timed metadata information
US20210377571A1 (en) Systems and methods for signaling position information
US20210058600A1 (en) Systems and methods for signaling sub-picture composition information for virtual reality applications
CN110574381A (zh) 用于在虚拟现实应用中发信号通知区域的质量信息的系统和方法
US20200344462A1 (en) Systems and methods for signaling sub-picture composition information for virtual reality applications
WO2020184645A1 (en) Systems and methods for signaling viewpoint information in omnidirectional media
CN112237004A (zh) 用于发送信号通知叠层信息的系统和方法
CN110476430A (zh) 用于针对虚拟现实应用程序发信号通知与最感兴趣区域相关联的信息的系统和方法
CN110870320A (zh) 用于针对虚拟现实应用程序发送信号通知投影区域的系统和方法
WO2021125117A1 (en) Systems and methods for signaling information for a mesh in omnidirectional media
CN110463211A (zh) 用于针对虚拟现实应用程序发送信号通知信息的系统和方法
WO2021075407A1 (en) Systems and methods for enabling interactivity for actionable locations in omnidirectional media
US20220345714A1 (en) Multi-atlas encapsulation of immersive media
WO2020141604A1 (en) Systems and methods for signaling camera parameter information
US20210084283A1 (en) Systems and methods for signaling application specific messages in a virtual reality application
WO2019139052A1 (en) Systems and methods for signaling source information for virtual reality applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191119