CN109891893B - 一种媒体内容处理方法 - Google Patents

一种媒体内容处理方法 Download PDF

Info

Publication number
CN109891893B
CN109891893B CN201780063566.0A CN201780063566A CN109891893B CN 109891893 B CN109891893 B CN 109891893B CN 201780063566 A CN201780063566 A CN 201780063566A CN 109891893 B CN109891893 B CN 109891893B
Authority
CN
China
Prior art keywords
media
track
sample
sub
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780063566.0A
Other languages
English (en)
Other versions
CN109891893A (zh
Inventor
王新
赖柏霖
陈鲁林
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109891893A publication Critical patent/CN109891893A/zh
Application granted granted Critical
Publication of CN109891893B publication Critical patent/CN109891893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的方面提供一种来自参考媒体展示的其他子区域的用户选择的子区域(例如，视口或感兴趣的区域)的动态构建的方法或系统。参考媒体展示的分量被编码为分量轨道。流解码器接收参考媒体展示的流媒体文件并显示参考媒体展示的任意选择的子区域。流媒体文件具有(i)参考多个分量轨道中的一个或多个分量轨道并且(ii)基于所参考的分量轨道的媒体样本指定用于构建媒体样本的一组操作的推导轨道流解码器通过取回参考的分量轨道并执行由推导轨道指定的一组操作来为选择的子区域提供媒体样本。

Description

一种媒体内容处理方法
交叉引用
本发明主张在2016年10月17日提出的申请号为62/408,867的美国临时专利申请的优先权；主张在2016年10月20日提出的申请号为62/410,414的美国临时专利申请的优先权，其内容整体以引用方式并入本文中。
技术领域
本发明涉及媒体内容的传送，且更具体而言，涉及对于感兴趣区域(region ofinterest，ROI)的支持或者360度虚拟现实(360-degree virtual reality，360VR)视频展示的视口。
背景技术
除非此处另有说明外，本部分所描述的方法相对于权利要求保护的范围来说不是现有技术，并且本部分包含的内容不被承认是现有技术。
视频编码被广泛地应用，应用范围包括多媒体信息发送、通过行动电视的视频通话和视频会议、无线和因特网视频流、标清和高清电视广播以及虚拟现实(virtualreality，VR)。此外，视频内容被传送到各种具有异构显示和计算能力的解码设备。
360度虚拟现实(360-degree Virtual Reality，360VR)是具有可变的、增强的或者可代替的环境的视听仿真。虚拟现实视频环绕着用户，允许用户从任意方向或任意视角观看，就像他或她在现实生活中能做的一样。360VR视频生成超级高质量和高分辨率的全景视频，其可用于例如娱乐、飞行员训练、外科手术以及太空或者深水探测之类的各种应用的印刷和全景虚拟旅游产品。
发明内容
以下概述仅用于说明，并不用于以任意方式限制本发明。也就是说，提供以下概述用于介绍本文中描述的新颖且非显而易见的技术的概念、亮点、益处和优点。在接下来的描述中将详细描述选择的而不是所有的实施方式。因此，下面的概述不是为了标识所要保护的主题的基本特征，也不是用于确定所要保护的主题的范围。
有鉴于此，本发明特提供一种新型流媒体展示方法。
流媒体编码器接收用于参考媒体展示的媒体内容。流编码器将接收到的媒体内容编码为多个分量轨道。每个分量轨道包含用于参考媒体展示的分量的媒体或元数据样本。流编码器对推导轨道进行编码，该推导轨道(i)参考多个分量轨道中的一个或多个并且(ii)基于来自分量参考轨道的媒体或元数据样本指定用于构建该参考媒体展示的子区域的该媒体和元数据样本的一组操作。流编码器存储编码的分量轨道和编码的推导轨道以用于(例如，通过流、下载等)作为流媒体文件取回。
流解码器接收包括用于参考媒体展示的推导轨道的流媒体文件。流解码器选择参考媒体展示中的子区域(例如，ROI)。流解码器从流媒体文件中取回推导轨道。流解码器接收由推导轨道参考的参考分量轨道。流解码器然后通过执行由推导轨道指定的一组操作来为选择的子区域提供媒体样本。
在一些实施例中，指定的一组操作可以包括根据存储在一个或多个参考分量轨道中的元数据样本来构建子区域轨道的指令。该指令可以包括对存储媒体样本的一个或多个分量轨道和存储元数据样本的一个或多个分量轨道的轨道参考。该指令还可以包括调用对存储媒体样本的一个或多个分量轨道和存储元数据样本的一个或多个分量轨道的轨道参考的构造器。该指令还可以包括对存储媒体样本的一个或多个分量轨道的轨道参考以及用于指示元数据样本存储在推导轨道中的指示符。
本发明的流媒体展示方法能够更好展示VR内容。
附图说明
提供下列图式以进一步理解本发明公开的内容，并且这些图式被纳入且构成本发明公开的一部分。这些图式说明了本发明的实施方式，并与说明书一起用以解释本发明的原理。为了清楚地说明本发明的概念，由于与实际实施方式中的尺寸相比，一些组件可以不按照比例被示出，这些图式无需按照比例绘制。
图1是对于参考媒体展示任意选择的子区域的动态构建。
图2是支持所选子区域的动态构建的生成的媒体文件的编码、传输和解码。
图3是流编码器的示例。
图4是流解码器的示例。
图5是基于轨道构建器的信号机制。
图6是基于视口或ROI定义元数据的信号机制。
图7是基于视口/ROI定义样本描述的信号机制。
图8是样本ROI转换属性的语法示例。
图9是样本视口转换属性的语法示例。
图10是参数shape的可能值的表格。
图11示出了用于生成分量轨道和至少一个参考至少部分分量轨道的推导轨道的过程。
图12是用于基于流媒体文件中的推导轨道动态构建指定的子区域(例如，视口或ROI)的过程。
图13是实现流编码器中的视频编码器中的至少部分的视频编码器的示例。
图14是实现流编码器中的视频解码器中的至少部分的视频解码器的示例。
图15是实现本发明的一些实施例的电子系统。
具体实施方式
在下面的详细描述中，为了提供对相关教导的透彻理解，通过举例说明许多具体细节。基于本文描述的教导的任意变化、推导出的和/或扩展都在本发明的保护范围内。在某些情况下，可以在相对较上位的级别上描述与本文中公开的一个或多个实施方式示例有关的众所周知的方法、程序、分量和/或电路，以免不必要的模糊本发明教导的方面。
I.基于推导出的路径的动态ROI构建
对于例如虚拟现实(virtual reality，VR)、自由视口电视(free viewpointtelevision，FTV)、感兴趣区域(region of interest，ROI)以及视频图块(video tile)组成的应用，本发明的一些实施例提供了一种支持用户从参考媒体展示的其他子区域中选择的子区域(例如视口或ROI)的动态构建方法和/或系统。在系统的流媒体编码器和/或发送器一侧，不同的空间对象(例如不同的子区域、视图、角度、视口、ROI等等)可以被编码并作为流媒体文件中的不同的分量轨道传输。在系统的解码器和/或接收器的一侧，用户可以从参考媒体展示的子区域中动态地或者任意地选择一个子区域，解码器从流媒体文件中的不同的分量轨道中构建动态选择的子区域的内容。
参考媒体展示可以是视频、音频和/或其他类型的媒体内容(例如标题和定时文本)的展示，其可以包括几种不同的分量。这些分量可以是视频分量或者音频分量，其占据了参考媒体展示的不同的空间和/或时间位置。这样的分量的示例可以包括图形叠加、视频片段、音频片段或者定义的子区域。定义的子区域可对应于更多的参考媒体展示的指定的方面、角度、视图、区域、视口或ROI。例如，参考媒体展示可以是包括柏拉图立体投影格式(例如，立方体映射投影、八面体投影)或其他类型的投影格式(例如，球面投影、等面积投影)的全方位图像的360度虚拟现实(360-degree Virtual Reality，360VR)展示。在这些情况下，不同的分量可以对应于全方位图像的不同面或子区域。不同的分量还可以对应于360度虚拟现实(360-degree Virtual Reality，360VR)展示的不同部分上的不同ROI或视口(例如，由参考媒体展示的作者预定义)。
每个分量具有对应的媒体样本和/或元数据，其可以被存储在流媒体文件的相应分量轨道中。分量的媒体样本可以包括该分量的压缩的视觉或音频值的样本。分量的元数据样本定义分量的元数据，包括分量的空间和时间属性，例如位置，时间信息或转换属性或ROI。
图1是对于参考媒体展示110任意选择的子区域的动态构建。参考媒体展示110是具有若干分量111-119的360VR展示。该图将分量111-119示出为在参考媒体展示110上的预定义的ROI或视口。在一些实施例中，分量111-119也可以是360VR展示中的全方位图像的不同视图或面。
参考媒体展示的分量111-119被编码成若干分量轨道121-130。分量轨道121-129包含分量(ROI或视图)111-119的媒体内容和/或定义元数据的样本。分量轨道130可以包括与参考媒体展示110的其他分量相对应的一个或多个轨道，如音频轨道、定时文本轨道、元资料轨道或推导轨道。尽管未示出，但是在一些实施例中，分量轨道121-129包括媒体轨道和元数据轨道，其中媒体轨道用于存储或推导出ROI的媒体内容的样本，元数据轨道用于存储定义元数据的样本或ROI的定时元资料。
该图还示出了推导轨道120，通过参考分量轨道121-130中的一个或多个分量轨道来指定用于推导出媒体内容的指令或信息。所推导出的内容可以用于动态地构建实时ROI或视口105。动态构建的实时(real-time，RT)ROI 105可以是由用户(由子区域的选择222说明)任意选择的参考媒体展示110的一部分。实时ROI105在参考媒体展示中的位置可以在参考媒体展示110被显示时被任意确定，而不是在参考媒体展示110被编码到分量轨道121-130中时被静态地确定。
由推导轨道120说明的指令或信息允许子区域105的内容被动态地或者是按照分量轨道121-130的内容的需求构建，而不是在流媒体文件中被硬编码或者预先生成。在图1所示的示例中，子区域105被用户选择以与预先定义的ROI112重迭。对应地，子区域105的内容可以由存储于对应的分量轨道(例如，分量轨道122)的媒体样本和/或元数据基于推导轨道120中说明的指定推导得到。
虽然未示出，参考媒体展示的分量轨道可以具有多个推导轨道，此外，推导轨道可以以递归或者嵌套的方法参考其他的推导轨道。对应一些实施例而言，分量轨道121-130可以包括一个或多个推导轨道(除了推导轨道120之外)。
在一些实施例中，流编码器基于接收的媒体内容生成流媒体文件以用于参考媒体展示。流编码器将接收的媒体内容编码为多个分量轨道。每个分量轨道都具有媒体样本。流编码器对推导轨道进行编码，该推导轨道(i)参考多个分量轨道中的一个或多个并且(ii)指定一组操作以基于来自参考分量轨道的媒体样本推导出参考媒体展示的子区域的媒体样本。流编码器将编码的分量轨道和编码的推导轨道作为流媒体文件的一部分存储者或传输。在一些实施例中，一些编码分量轨道被流媒体文件参考而不是被传输到解码器。
流解码器接收流媒体文件(或者通过流、下载或推导来取回推导轨道和多个分量轨道中的至少若干个)。流解码器选择参考媒体展示中的子区域(例如，ROI)并且通过执行一组由推导轨道指定的操作向选择的子区域提供媒体样本。
图2是支持所选子区域的动态构建的生成的媒体文件的编码、传输和解码。如图所示，流编码器210从源媒体内容215接收参考媒体展示110的媒体内容，并生成分量轨道121-129。流编码器还生成推导轨道120，其可以参考分量轨道121-129中的一个或多个分量轨道。流编码器210将包括推导轨道120的流媒体文件240穿过传输介质250传递到流解码器220。流解码器220接收流媒体文件240，取回由随后的流媒体文件245中的推导轨道120所要求的分量轨道，根据推导轨道120说明的操作来由取回的分量轨道构建选择的子区域105以进行显示。
源媒体内容215提供将被流编码器210为了参考媒体展示110而编码的媒体内容。所提供的媒体内容的形式可以是像素值、仿真视频信号或其他形式的数据信号的形式。源媒体内容215提供参考内体展示110的各个分量的内容。对于一些参考媒体展示110是360VR展示的实施例，位于不同角度的不同相机可以捕捉到全方位图像的不同子区域(例如，面、视图、ROI、视口)。
流编码器210从源媒体内容215接收参考媒体展示110的各个分量的内容，以生成分量轨道121-130以及推导轨道120。推导轨道120和分量轨道121-130被选择性地打包成为流媒体文件(例如240或245)。在一些实施例中，流媒体文件240和245是ISO基媒体文件格式(ISOBMFF，根据ISO/IEC 14496-12定义)并且以例如基于HTTP的动态自适应流媒体(Dynamic Adaptive Streaming over HTTP，DASH)的流传输格式进行封装以通过传输介质250传输。
流媒体文件240包含推导轨道120。流媒体文件240可以包含分量轨道121-130中的一个或多个分量轨道。在一些实施例中，流媒体文件240不包含实际的分量轨道121-130，但是仅包含这些轨道的参考。流解码器220在接收到流媒体文件240之后，可以使用其包含的参考来通过例如要求随后的来自流编码器210的流媒体文件245的方法来取回必要的分量轨道。
图3是流编码器210的示例。如图所示，流编码器210包括若干个视频编码器311-319、流媒体文件编辑器320、推导轨道编码器325和流传输器330。在一些实施例中，视频编码器311-319、流媒体文件编辑器320、推导轨道编码器325和流传输器330是由计算设备或电子设备的一个或多个处理单元(例如，处理器)执行的软件指令的模块。在一些实施例中，这些模块是由电子设备的一个或多个集成电路(integrated circuit，IC)应用的硬件电路模块。尽管模块311-319、320、325和330被图标为分开的模块，但是一些模块也可以组合成一个单独的模块。
视频编码器311-319中的每一个接收参考媒体展示110的对应的分量内容(例如，预定义的ROI、视图、面或者其他类型的子区域)并对其各自的分量内容执行编码以生成对应的媒体样本和/或定义的元数据。视频编码器311-319可以被配置为在例如H.264、H.265、VP9等的视频编解码标准下执行编码或压缩。视频编码器311-319还可以跟你讲不同的适配编解码标准执行其他对应的编码或者压缩操作。视频编码器311-319可以各自独立地执行其编码或者压缩操作。在一些实施例中，视频编码器311-319还可以基于程序编写的输入提供定义的元数据。
流媒体文件编辑器320从视频编码器311-319(以及其他编码器)接收编码分量内容并生成分量轨道120-130。生成的分量轨道120-130被示为存储在存储器100中以用于通过流媒体进行取回或传送。
来自每个视频编码器的编码分量内容被存储在对应的分量轨道中作为该轨道的媒体样本和/或元数据样本。在所示的示例中，流媒体文件编辑器320将由视频编码器311-319生成的编码分量内容分别存储到分量轨道121-129。尽管没有示出，流编码器210还包括一个或多个其他类型的媒体编码器，用于生成其他分量轨道130。这些其他媒体编码器可以包括用于音频轨道、定时文本轨道和/或元数据轨道的编码器。
流媒体编码器210还生成推导轨道120。推导轨道编码器325(其可以是流媒体文件编辑器320的分量)通过参考分量轨道121-129中至少若干个分量轨道生成推导轨道120，在一些实施例中，推导轨道编码器325存储在推导轨道120的定义元数据样本中。这些定义的元数据样本详细说明了用于基于来自于参考分量轨道的媒体和/或元数据样本推导出参考媒体展示的子区域的媒体样本的操作或指令。推导轨道120(例如，流编码器220)的接收器通过参考分量轨道121-129使用指定的操作来为选择的子区域105生成媒体样本。
流传输器330选择性地从存储器100中取回所生成的分量轨道和/或推导轨道，并且根据流传输格式(例如，DASH)将取回的轨道打包为流媒体文件240或245。流媒体文件240可以不包括参考媒体展示的所有的分量轨道，而是仅仅包括由流解码器要求的推导轨道120和/或分量轨道的有限子集。
流解码器220接收来自于用户界面225的子区域的选择222，其实时指示参考媒体展示110中用户选择的子区域105。流解码器220生成来自接收的流媒体文件240的选择的子区域105的内容。显示设备298接收并显示为选择的子区域生成的内容。在一些实施例中，流媒体解码器220、用户界面225和显示设备298是电子设备270的组成部分。这样的电子设备可以是VR观看设备(例如，VR眼镜或者支持VR显示的移动设备)，其允许它的用户动态的选择子区域(视口)并显示该子区的内容。在一些实施例中，流解码器220、用户界面225和显示设备298包括被电子设备270的一个或多个集成电路(integrated circuit，IC)应用的硬件电路模块。
图4是流解码器220的示例。如图所示，流解码器220包括若干个视频解码器411-419、媒体内容提取器420、推导轨道解码器425和流接收器430。在一些实施例中，视频编码器411-419、媒体内容提取器420、推导轨道解码器425和流接收器430是计算设备或电子设备的一个或多个处理单元(例如，处理器)所执行的软件指令的模块。在一些实施例中，这些模块是电子设备的一个或多个集成电路(integrated circuit，IC)应用的硬件电路模块。尽管模块411-419、420、425和430被图标为单独的模块，但是一些模块可以被组合成单个模块。
流接收器430通过执行流协议(DASH)并且条带化流封装来接收来自于传输介质250的流媒体文件240。媒体内容提取器420随后从接收的流媒体文件240中提取推导轨道120以及任意分量轨道(例如，分量轨道121-130)。视频解码器411-419根据例如H.264、H.265或VP9之类的视频编解码标准分别接收并解码分量轨道121-129。(分量轨道130不被视频解码器411-419解码)。
推导视频解码器425接收并解码推导轨道120。推导视频解码器425还接收来自于视频解码器411-419的解码媒体样本和/或元数据样本。推导视频解码器425还接收来自用户界面225的子区域的选择222。基于接收的子区域的选择222和推导轨道120，推导视频解码器425构建选择的子区105的媒体内容。具体地，推导视频解码器425可以执行由存储在推导轨道120中的定义的元数据样本所指定的操作，以生成子区域的选择222的媒体样本。生成的媒体样本随后被作为子区域内容105传送给显示设备298以用于显示。
由于动态构建的子区域可能仅仅覆盖参考媒体展示110的一小部分(例如，预定义的ROI的子集)，选择的子区域的内容的生成可能仅仅需要分量轨道的子集。换句话说，这些分量轨道中的一部分分量轨道的内容不需要推导子区域内容105才能得到。在一些实施例中，流解码器220会识别哪一些分量轨道在生成选择的子区域时需要的，哪一些是不需要的。流解码器220可以仅仅取回并解码生成选择的子区域所需要的分量轨道，而省略对那些不需要的分量轨道的取回和解码的操作。流解码器220可以仅仅要求来自于流编码器210(或者通过传输介质250的其他任意流源)的需要的分量轨道，而绕过不需要的分量轨道。流编码器仅仅在流媒体文件240(或在随后的流媒体文件245中)中依次传输需要的分量轨道。
II.用于推导轨道的信号机制
图5-图7是用于流传输的信号机制和支持参考多个其他分量轨道的推导轨道流媒体文件。参考如上文中图1所提到的，推导轨道允许接收器通过参考参考媒体展示110的其他分量轨道来构建媒体内容。推导轨道是能够参考其他多个分量轨道的，以使得对应的子区域(例如，任意选择的子区域105)基于来自于其他分量轨道的视口和定义的区域来推导出其内容。
在一些实施例中，推导轨道在架构上与ISOBMFF中其他任意媒体轨道都相似。用于构建视口或来自于其他视口或RIO轨道的信号机制依赖于ISO/IEC/23001-8中定义的编码独立代码点(Coding Independent Code Points，CICP)和在ISOBMFF中作为定时元数据和样本的描述的其他数据。视口或ROI的定义被作为元数据轨道中的定时元数据或媒体轨道中的样本描述信息被携带。信号机制可以采用ISOBMFF中的轨道引用类型来识别被参考为媒体内容样本的媒体轨道和被参考为视口/定义的区域的样本的元数据轨道的分量轨道。
在一些实施例中，指定的一组操作可以包括根据存储在参考分量轨道中元数据样本来构建子区域轨道的指令。该指令可以包括对一个或多个存储媒体样本的分量轨道和一个或多个存储元数据样本的分量轨道的轨道参考。该指令还可以包括调用对一个或多个存储媒体样本的分量轨道和一个或多个存储元数据样本的分量轨道的轨道参考的构建器。该指令还可以包括存储在推导轨道中的对一个或多个存储媒体样本的分量轨道的轨道参考和用于指示元数据样本的指示符。
图5是基于轨道构建器的信号机制。构建器是可以通过参考一个或多个分量轨道(其可以是视口/ROI轨道)以作为构建视口/ROI轨道的指令的嵌入推导轨道的流内架构。参考分量轨道通过使用轨道参考(例如ISOBMFF的“tref”所指示)与构建器所在的推导轨道连接。轨道参考可以是不同的类型。例如，轨道参考可以是“cnst”类型，其指示参考轨道是包括用于视口/ROI的媒体样本的媒体轨道，或者是“inst”类型，其指示参考轨道是包括视口/ROI定义元数据，或者，更确切地说，用于定义视口/ROI的定时元数据的元数据轨道。
该图示出了在ISOBMFF中具有若干分量轨道511-518的参考流媒体文件510。其中，轨道511是调用“构建器”架构的推导轨道。构建器使用“cnst”类型的轨道参考来参考轨道513和轨道517，以便使用它们的样本作为媒体样本(使用“mdat”存储在轨道513和517中)。构建器还使用“inst”类型的轨道参考参考轨道512，以便使用其样本(使用“mdat”存储在轨道512中)作为定义元数据。
该图还示出流封装(例如，DASH)如何与流媒体文件的轨道连接。如图所示，流封装520使用空间关系描述符号(spatial relationship descriptor，SRD)构建来参考流媒体文件510的轨道。例如，SDR521与推导轨道511相关，SDR523与分量轨道513相关，以及SDR524与分量轨道514相关等。
图6是基于视口或ROI定义元数据的信号机制。信号机制使用推导轨道中的轨道参考作为指令，以通过参考一个或者多个用于视口或ROI的分量轨道来构建视口/ROI轨道。
该图示出了在ISOBMFF中具有若干分量轨道611-618流媒体文件610。其中，轨道611是推导轨道。推导轨道611使用“cnst”类型的“tref”轨道参考来参考轨道613和轨道617，以便使用它们的样本作为媒体样本(使用“mdat”存储在轨道613和617中)。推导轨道611还使用“inst”类型的轨道参考参考轨道612，以便使用其样本(使用“mdat”存储在轨道612中)作为定义元数据。
该图还示出流封装(例如，DASH)如何与流媒体文件的轨道连接。如图所示，流封装620使用空间关系描述符号(spatial relationship descriptor，SRD)构建来参考流媒体文件610的轨道。例如，SDR621与推导轨道611相关、SDR623与分量轨道613相关，以及SDR624与分量轨道614相关等。
图7是基于视口/ROI定义样本描述的信号机制。在该信号机制下，推导轨道具有为了其媒体样本参考其他媒体轨道的轨道参考，推导轨道还具有用于指示推导轨道其自身存储的作为为了视口/ROI的定义元数据的定义样本描述的指示符(“stsd”)。存储于参考媒体轨道的媒体样本和存储于推导轨道的定义样本描述其本身被依次用于构建视口/ROI轨道。
该图示出了在ISOBMFF中具有若干分量轨道711-718的参考流媒体文件710。其中，轨道711是推导轨道。推导轨道711使用“cnst”类型的“tref”轨道参考来参考轨道713和轨道717，以便使用它们的样本作为媒体样本(使用“mdat”存储在轨道713和717中)。推导轨道711还使用指示符“stsd”来指示用于视口/ROI的定义元数据其自身作为定义样本描述被存储于推导轨道711。
该图还示出流封装(例如，DASH)如何与流媒体文件的轨道连接。如图所示，流封装720使用空间关系描述符号(spatial relationship descriptor，SRD)构建来参考流媒体文件710的轨道。例如，SDR721与推导轨道711相关、SDR723与分量轨道713相关，以及SDR724与分量轨道714相关等。
III.视口或ROI的定义元数据
在一些实施例中，用于视口或ROI的定义元数据报括定义元数据样本(例如，存储在轨道512、612和712中的元数据样本)。元数据的每个样本都包括将要在输入图像项目或样本的有序列表上被执行的操作的有序列表。
在一些实施例中，每个操作是在ISOBMFF ISO/IEC 14496-12下具有“TransformProperty”类型的转换操作。这样的操作或者转换属性的示例包括标识(“idtt”，输入图像项目的复制)、干净光圈(“clap”，输入图像项目的裁剪转换)、样本旋转(“sort”，输入图像项目的样本旋转)以及解散(“dslv”，两个或多个输入图像项目的平滑混合)。
为了支持视口和/或ROI的构建，本发明的一些实施例还提供以下操作或转换属性：样本ROI(“sroi”)和样本视口(“svpt”)。这些操作可能具有与ISO/IEC 23001-10中定义的定时ROI元数据样本具有相同的语法。
样本ROI(“sroi”)转换属性(或操作)根据ROI定义从输入图像项目或输入图像项目的列表中提取ROI。图8是样本ROI转换属性的语法示例。以下是样本ROI转换属性的语法示例中的语义解释：
参数reference_width和reference_height分别给出参考举行空间的宽度和高度，其中所以的ROI坐标(top_left_x、top_left_y、width和height)都被计算。这些字段允许将ROI元数据轨道与具有不同分辨率但代表相同视觉源的视频轨道相关。
参数top_left_x和top_left_y分别给出与参考轨道的媒体样本相关的矩形区域的左上角的水平和垂直坐标。
参数width和height分别给出与参考轨道的媒体样本相关的矩形区域的宽度和高度。
参数interpolate指示连续样本的时间上的连续性。当该参数值为真，则应用可以在之前的样本和当前的样本间线性地插入ROI的坐标值。当该参数值为假时，则不在之前的样本和当前样本之间插值。当使用插值时，期望内插的样本匹配参考轨道的样本的展示时间。例如，对于视频轨道的每一个视频样本，计算一个内插2D笛卡尔坐标样本。
样本视口
样本视口(“svpt”)转换属性根据视口定义从输入图像项目或输入图像列表中构建(或提取)视口样本图像。图9是样本视口转换属性的语法示例。以下是样本视口转换属性的语法示例中的语义解释：
参数dimension指示视口所处的自由空间的维度。其取值为1、2或3。
参数reference_x、reference_y和reference_z分别给出参考系统中的x轴、y轴和z轴的坐目标参考值(或偏移值)，其中所有视口的摆动(x)、起伏(y)和震荡(z)都被计算。
参数reference_pitch、reference_yaw和reference_roll分别给出参考系统中的俯仰、偏航和滚转角度的参考值(或偏移值)，其中所有视口的俯仰、偏航和滚转角度都被计算。reference_x、reference_y和reference_z的最大范围分别为[0，180]、[0，360]和[0，360]，代表俯仰、偏航和滚转角度的最大角度范围为[-90，90]、[-180，180]和[-180，180]。最大值范围也可以被选择用来代表俯仰、偏航和滚转角度的最大角度范围，其范围分别为[-90，90]、[0，360]、[0，360]。
参数reference_2d_width和reference_2d_height分别给出参考2D平面矩形空间的宽度和高度，其中所有的视口视图坐标(top_left_x，top_left_y，center_x和center_y)都被计算。
参数x、y和z分别给出参考系统中的x轴坐标、y轴坐标和z轴坐目标值，其中所有视口的摆动(x)、起伏(y)和震荡(z)都被计算。这些字段允许视口元数据轨道与具有不同分辨率但代表相同视觉源的视频轨道相关。
参数pitch、yaw和roll分别给出参考系统中俯仰、偏航和滚转角度，其中视口的俯仰、偏航和滚转角度都被计算。这些字段允许视口元数据轨道与具有不同分辨率但代表相同视觉源的参考媒体轨道的媒体样本相关。
参数shape指示视口视图的形状。图10是参数shape的可能值的表格。
参数top_left_x和top_left_y分别给出与参考轨道中的媒体样本相关的矩形(shape＝1)、三角形(shape＝2)和正方形(shape＝3)的视口视图左上角的水平和垂直坐标。
参数width和height分别给出与参考轨道中的媒体样本相关的矩形(shape＝1)和三角形(shape＝2)的视口视图的宽度和高度。
参数rotation给出与参考轨道的媒体样本相关的三角形(shape＝2)的视口视图的取向。其值0、1、2和3分别代表正向(不旋转)、颠倒(180°旋转)、左上(逆时针90°旋转)和右上(顺时针90°旋转)。
参数size给出与参考轨道的媒体样本相关的正方形(shape＝3)的视口视图的大小。
参数center_x和center_y分别给出与参考轨道的媒体样本相关的圆形(shape＝3)的视口视图的中心的水平和垂直坐标。
参数radius给出与参考轨道的媒体样本相关的圆形(shape＝3)的视口视图的半径。
参数interpolate指示连续样本的时间上的连续性。当该参数值为真，则应用可以在之前的样本和当前的样本间线性地插入对应的视口元数据属性的值。当该参数值为假时，则不在之前的样本和当前样本之间插值。当使用内插时，期望内插的样本匹配参考轨道的样本的展示时间。例如，对于视频轨道的每一个视频样本，计算一个内插视口定义样本。
需要注意的是，图9-图10所示的语法支持各种不同大小和形状的信号视口。对于一些实施例，如果通过信号发送的视口的维度和形状是已知的并且固定的(例如，“dimension＝3”和“shape＝1”)，则语法可以被简化。
IV.过程示例
图11示出了用于生成分量轨道和至少一个参考至少部分分量轨道的推导轨道的过程1100。在一些实施例中，当生成流媒体文件(例如ISOBMFF中的流媒体文件240、245、510、610或710)时，流编码器(例如流编码器210)执行过程1100。在一些实施例中，实现流编码器的计算设备的一个或多个处理单元(例如，处理器)通过执行存储在计算器可读介质上的指令来执行过程1100。
当流编码器接收用于参考媒体展示的媒体内容时(在步骤1110中)，过程1100开始。这样的参考媒体展示可以是360VR展示。参考媒体展示可以包括多种不同的分量，例如视口、ROI、面或全方位图像之类的展示的图形叠加、视频片段、音频片段或者定义的子区域。
流编码器将接收到的媒体内容编码为多个分量轨道(在步骤1120中)。每个分量轨道包含媒体样本或元数据样本。分量轨道可以是包含参考媒体展示(例如视口或ROI的视频样本)中对应的分量的媒体样本的媒体轨道。分量轨道还可以是包含元数据样本(定义元数据)元数据轨道，元数据样本提供用于参考媒体展示的对应的分量的定义和/或参数(例如视口或ROI的几何定义或参数)。
流编码器还对推导轨道进行编码(在步骤1130中)，该推导轨道(i)参考一个或多个分量轨道，以及(ii)指定一组用于基于来自于参考分量轨道的媒体样本和元数据原本来推导出参考媒体展示的子区域的媒体样本的操作。推导轨道的信号机制如上文中图5-图7所示。被参考元数据样本说明的操作如上文中图8-图10所示。流编码器存储编码分量轨道和编码推导轨道以用于取回(在步骤1140中)。
流编码器传输流媒体文件(在步骤1145中)，该流媒体文件包括推导轨道。流编码器还可以接收对部分或全部分量轨道的请求(在步骤1150中)。接收推导轨道的流解码器可以基于哪个轨道被请求用来根据推导轨道来动态构建子区域(ROI或视口)来生成该请求。流编码器依次在一个或多个流媒体文件中传输(在步骤1160中)被请求的分量轨道。传输的流媒体文件可以ISOBMFF和DASH格式。然后过程1100结束。
图12是用于基于流媒体文件中的推导轨道动态构建指定的子区域(例如，视口或ROI)的过程1200。在一些实施例中，流解码器(例如，流解码器220)在接收流媒体文件(例如，流媒体文件240)之后执行过程1200。在一些实施例中，实现流解码器的计算设备的一个或多个处理单元(例如，处理器)通过执行存储在计算器可读介质上的指令来执行过程1100。
当流解码器接收用于参考媒体展示的流媒体文件(在步骤1210中)时，过程1200开始。流媒体文件可以是通过DASH协议接收的流ISOBMFF媒体文件。流媒体文件可以包括一个或多个分量轨道和/或可以参考一个或多个用于参考媒体展示的分量轨道。流媒体文件还可以包括参考一个或多个分量轨道的推导轨道。分量轨道可以是包括参考媒体展示的对应的分量(例如，视口或ROI)的媒体样本的媒体轨道。分量轨道还可以是包括提供用于参考媒体展示的对应的分量的定义和/或参数元数据样本的元数据轨道。
流解码器接收参考媒体展示中的子区域的选择(在步骤1220中)。该选择可以是来自360VR设备的用户通过用户界面(例如，界面225)进行的实时选择。
流解码器接收来自于流媒体文件的对应于子区域选择的推导轨道(在步骤1230中)。该推导轨道(i)参考一个或多个分量轨道，以及(ii)指定一组用于基于媒体样本和来自于参考分量轨道的元数据样本来构建参考媒体展示的子区域的操作。推导轨道的信号机制如上文中图5-图7所示。被参考元数据样本说明的操作如上文中图8-图10所示。
流解码器随后接收一个或多个分量轨道(在步骤1240中)，这些分量轨道被推导轨道参考。取回到的分量轨道包括为了构建推导轨道的内容而参考和/或需要的媒体样本或元数据样本。要求的分量轨道可以已经与推导轨道一起在流媒体文件中。流解码器还可以通过要求随后的包含要求的分量轨道的流媒体文件(例如，流媒体文件245)来取回要求分量轨道。流解码器还可以首先以递归的方式推导出推导轨道所需的分量轨道。
流解码器通过执行一组由推导轨道指定的操作来提供用于选择的子区域的媒体样本(在步骤1250中)，该组操作使用和/或参考取回到的分量轨道中的媒体样本或元数据样本以构建选择子区域的内容。在一些实施例中，子区域选择动态地确定(通过参考元数据样本)执行哪一组有推导轨道指定的操作。然后过程1200结束。
V.视频编码器示例
图13是实现流编码器210中的视频编码器311-319中的至少部分的视频编码器1300的示例。
如图所示，视频编码器1300接收来自于视频源1305的输入视频信号，并且将该信号编码为比特流1395。视频编码器1300具有若干个用于编码视频信号1305的分量或模块，其中包括转换模块1310、量化模块1311、逆量化模块1314、逆转换模块1315、帧内估计模块1320、帧内预测模块1325、运动补偿模块1330、运动估计模块1335、环路内滤波器1345、重构图像缓冲器1350、MV缓冲器1365、MV预测模块1375和熵编码器1390。
在一些实施例中，模块1310-1390是由计算设备或电子设备的一个或多个处理单元(例如，处理器)执行的软件指令的模块。在一些实施例中，模块1310-1390是由电子16成单个模块。
视频源1305提供原始视频信号，其不压缩地展示每个视频帧的像素数据。减法器1308计算来自视频源1305的原始像素数据与来自运动补偿1330的预测像素数据1313或者帧内预测1325之间的差。转换模块1310将该差(或残差像素数据)转换为转换系数(例如，通过执行离散余弦转换或DCT)。量化器1311将转换系数量化为量化数据(或量化系数)1312，。被熵编码器1390编码到比特流1395中。
逆量化模块1314对量化数据(或量化系数)1312进行解量化以获得转换系数，逆转换模块1315对转换系数执行逆转换以生成重构像素数据1317(在加上预测像素数据1313之后)。在一些实施例中，重构的像素数据1317被临时存储在行缓冲器(未示出)中以用于帧内预测和空间MV预测。重构的像素由环内滤波器1345滤波并存储在重构图像缓冲器1350中。在一些实施例中，重构图像缓冲器1350是视频编码器1300外部的存储器。在一些实施例中，重构图像缓冲器1350是视频编码器1300内部的存储器。
帧内估计模块1320基于重构的像素数据1317执行帧内预测以生成帧内预测数据。帧内预测数据被提供给熵编码器1390以被编码到比特流1395中。帧内预测数据还被帧内预测模块1325用来生成预测的像素资料1313。
运动估计模块1335通过生成MV来执行帧间预测，以参考存储在重构图像缓冲器1350中的先前解码帧的像素数据。将这些MV提供给运动补偿模块1330以生成预测像素资料。这些MV对于在单信道解码系统中重构视频帧也是必需的。视频编码器1300使用时间MV预测来生成预测的MV，而不是在比特流中编码完整的真实MV，而是将用于运动补偿的MV与预测的MV之间的差编码为残差运动数据并存储在比特流1395为单信道解码系统。
视频编码器1300基于为编码先前视频帧(即，用于执行运动补偿的运动补偿MV)而生成的参考MV而生成预测MV。视频编码器1300从MV缓冲器1365中取回来自先前视频帧的参考MV。视频编码器1300将为当前视频帧生成的MV存储在MV缓冲器1365中作为用于生成预测MV的参考MV。
MV预测模块1375使用参考MV来创建预测的MV。预测的MV可以通过空间MV预测或时间MV预测来计算。当前帧(残差运动数据)的预测MV与运动补偿MV(MC MV)之间的差由熵编码器1390编码到比特流1395中。
熵编码器1390通过使用例如上下文自适应二进制算术编解码(context-adaptivebinary arithmetic coding，CABAC)或霍夫曼编码的熵编码技术将各种参数和数据编码到比特流1395中。熵编码器1390将例如量化的转换数据和残差运动数据之类的参数编码到比特流中。
回路内滤波器1345对重构像素数据1317执行滤波或平滑操作以减少编解码的伪像，特别是在像素块的边界处。在一些实施例中，所执行的滤波操作包括样本自适应偏移(sample adaptive offset，SAO)。在一些实施例中，滤波操作包括自适应环路滤波器(adaptive loop filter，ALF)。
VI.视频解码器示例
图14是实现流编码器210中的视频解码器411-419中的至少部分的视频解码器1400的示例。
如图所示，视频解码器1400是图像解码或视频解码电路，其接收比特流1495并将该比特流1495的内容解码为视频帧的像素数据以供显示。视频解码器1400具有用于解码比特流1495的若干分量或模块，包括逆量化模块1405、逆转换模块1415、帧内预测模块1425、运动补偿模块1435、环内滤波器1445、解码图像缓冲器1450、MV缓冲器1465、MV预测模块1475和比特流解析器1490。
在一些实施例中，模块1410-1490是由计算设备或电子设备的一个或多个处理单元(例如，处理器)执行的软件指令的模块。在一些实施例中，模块1410-1490是由电子设备的一个或多个集成电路(integrated circuit，IC)实现的硬件电路的模块。虽然模块1410-1490被图标为分离的模块，但是一些模块可以被组合成单个模块。
解析器(或熵解码器)1490接收比特流1495，并根据由视频编码或图像编码标准定义的语法来执行初始解析。解析语法元素包括各种头元素、标志以及量化的数据(或量化的系数)1412。解析器1490通过使用例如上下文自适应二进制算术编码(context-adaptivebinary arithmetic coding，CABAC)或霍夫曼编码之类的熵编码技术来解析出各种语法元素。
逆量化模块1405对量化数据(或量化系数)1412解量化以获得转换系数1416，逆转换模块1415对转换系数1416执行逆转换以生成解码像素数据1417(在加上来自帧内预测模块1425或运动补偿模块1435的预测像素资料1413之后)。解码像素数据由环内滤波器1445滤波并存储在解码图像缓冲器1450中。在一些实施例中，解码图像缓冲器1450是视频解码器1400外部的存储器。在一些实施例中，解码图像缓冲器1450是视频解码器1400内部的存储器。
帧内预测模块1425从比特流1495接收帧内预测资料，并且根据该帧内预测数据从存储在解码图像缓冲器1450中的解码像素数据1417生成预测像素资料1413。在一些实施例中，解码像素数据1417也被存储在用于帧内预测和空间MV预测的行缓冲器(未示出)中。
在一些实施例中，解码图像缓冲器1450的内容被用于显示。显示设备1455可以直接取回解码图像缓冲器1450的内容以供显示，也可以将解码图像缓冲器的内容取回到显示缓冲器。在一些实施例中，显示设备通过像素传输来自于解码图像缓冲器1450接收像素值。
运动补偿模块1435根据运动补偿MV(MC MV)由存储在解码图像缓冲器1450中的解码像素数据1417生成预测像素资料1413。这些运动补偿MV通过添加来自于比特流1495接收的残差运动数据与从MV预测模块1475接收到的预测MV相加来解码。
视频解码器1400基于参考MV而生成预测MV，其中，参考MV是为了解码先前视频帧而生成的，视频帧可以是用于执行运动补偿的运动补偿MV。视频解码器1400取回来自于MV缓冲器1465的先前视频帧的参考MV。视频解码器1400还将为解码当前视频帧而生成的运动补偿MV作为用于生成预测MV的参考MV存储在MV缓冲器1465中。
回路内滤波器1445对解码像素数据1417执行滤波或平滑操作以减少编解码的伪像，特别是在像素块的边界处。在一些实施例中，所执行的滤波操作包括样本自适应偏移(sample adaptive offset，SAO)。在一些实施例中，滤波操作包括自适应环路滤波器(adaptive loop filter，ALF)。
VII.电子系统示例
许多上述特征和应用被实现为被指定为记录在计算器可读存储介质(也被称为计算器可读介质)上的一组指令的软件过程。当这些指令由一个或多个计算或处理单元(例如，一个或多个处理器、处理器的核或其他处理单元)执行时，它们使得处理单元执行在指令中指示的动作。计算器可读介质的示例包括但不限于CD-ROM、闪存驱动器、随机存取存储器(random-access memory，RAM)芯片、硬盘驱动器、可擦除可编程只读存储器(erasableprogrammable read only memories，EPROM)、电可擦除可编程只读存储器(electricallyerasable programmable read-only memories，EEPROM)等。计算器可读介质不包括通过无线或有线连接传送的载波和电子信号。
在本说明书中，术语“软件”意味着包括驻留在只读存储器中的韧体或存储在磁存储器中的应用，其可以被读取到存储器中以供处理器处理。而且，在一些实施例中，多个软件发明可以被实现为较大程序的子部分，同时保留不同的软件发明。在一些实施例中，多个软件发明也可以被实现为分开的程序。最后，一起实现这里描述的软件发明的单独程序的任意组合都在本公开的范围内。在一些实施例中，软件程序在被安装以在一个或多个电子系统上操作时定义执行和执行软件程序的操作的一个或多个特定机器实现。
图15是实现本发明的一些实施例的电子系统1500。电子系统1500可以是计算器(例如台式计算器、个人计算器、平板计算机等)、电话、PDA或任意其他类型的电子设备。这样的电子系统包括各种类型的计算器可读介质和用于其他各种类型的计算器可读介质的界面。电子系统1500包括总线1505、处理单元1510、图形处理单元(graphics-processingunit，GPU)1515、系统存储器1520、网络1525、只读存储器1530、永久性存储设备1535、输入设备1540、以及输出设备1545。
总线1505共同表示通信地连接电子系统1500的多个内部设备的所有系统、外围设备和芯片组总线。例如，总线1505通信地将处理单元1510与GPU 1515、只读存储器1530、系统存储器1520和永久存储设备1535连接。
处理单元1510从这些各种存储器单元中取回要执行的指令和要处理的数据以执行本发明的过程。在不同实施例中，处理单元可以是单个处理器或多核处理器。一些指令被传递给GPU 1515并由GPU 1515执行。GPU 1515可以卸除各种计算或者补偿由处理单元1510提供的图像处理。
只读存储器(read-only-memory，ROM)1530存储静态数据和指令，静态数据和指令是被处理单元1510和电子系统的其他模块所需的。永久性存储设备1535另一方面是读写存储设备。该设备是非易失性存储器单元，即使当电子系统1500关闭时也存储指令和数据。本发明的一些实施例使用大容量存储设备(例如磁盘或光盘及其相应的磁盘驱动器)作为永久存储设备1535。
其他实施例使用可移动存储设备(例如软盘，闪存设备等以及其相应的磁盘驱动器)作为永久性存储设备。像永久性存储设备1535一样，系统存储器1520是读写存储设备。然而，与存储设备1535不同，系统存储器1520是易失性读写存储器，例如随机存取存储器。系统存储器1520存储处理器在运行时间所需的一些指令和数据。在一些实施例中，依照本发明的过程被存储在系统存储器1520、永久性存储设备1535和/或只读存储器1530中。例如，根据一些实施例，各种存储器单元包括用于处理多媒体剪辑的指令。处理单元1510从这些各种存储器单元中取回要执行的指令和要处理的数据以执行一些实施例的过程。
总线1505还连接到输入和输出设备1540和1545。输入设备1540使得用户能够向电子系统传达信息和选择命令。输入设备1540包括字母数字键盘和指点设备(也称为“光标控制设备”)、相机(例如网络摄像头)、麦克风或用于接收语音命令的类似设备等。输出设备1545显示由电子系统生成的图像或输出数据。输出设备1545包括打印机和显示设备，例如阴极射线管(cathode ray tubes，CRT)或液晶显示器(liquid crystal displays，LCD)，以及扬声器或类似的音频输出设备。一些实施例包括例如触摸屏之类的用作输入和输出设备的设备。
最后，如图15所示，总线1505还通过网络适配器(未示出)将电子系统1500耦接网络1525。以这种方式，计算器可以是计算器网络的一部分(例如局域网(“LAN”)、广域网(“WAN”)或内部网络)或网络中的网络，例如互联网。例如电子系统1500的任意或全部分量可以与本发明结合使用。
一些实施例包括例如微处理器、存储和存储计算器程序指令的存储器之类的电子分量，计算器程序指令存储在机器可读或计算器可读介质中(或者被称为计算器可读存储介质、机器可读介质或机器可读介质、可读存储介质)。这种计算器可读介质的一些例子包括RAM、ROM、只读光盘(read-only compact disc，CD-ROM)，可记录光盘(recordablecompact disc，CD-R)，可重写光盘(rewritable compact disc，CD-RW)，只读数字通用光盘(例如，DVD-ROM、双层DVD-ROM)，各种可记录/可重写DVD(例如DVD-RAM、DVD-RW、DVD+RW等)，闪存(例如，SD卡、迷你SD卡、微型SD卡等)，磁性和/或固态硬盘驱动器，只读和可记录的蓝光光盘、超密度光盘、任意其他光学或磁性介质以及软盘。计算器可读介质可以存储可由至少一个处理单元执行的计算器程序，并且包括用于执行各种操作的指令组。计算器程序或计算器代码的示例包括例如由编译程序产生的机器代码，以及包括由计算器、电子分量或使用注释器的微处理器执行的更高级代码的文件。
尽管以上讨论主要涉及执行软件的微处理器或多核处理器，但是上述特征和应用中的许多特征和应用可以由一个或多个例如专用集成电路(application specificintegrated circuit，ASIC)或现场可编程门数组(field programmable gate array，FPGA)之类的集成电路执行。在一些实施例中，这样的集成电路执行的指令存储在电路本身上。另外，一些实施例执行存储在可编程逻辑器件(programmable logic device，PLD)，ROM或RAM设备中的软件。
如在本说明书和本申请的任意权利要求中所使用的，术语“计算器”、“服务器”、“处理器”和“存储器”全部是指电子或其他技术设备。这些术语排除人或人群。为了说明的目的，术语显示意味着电子设备上的显示。如在本说明书和本申请的任意权利要求中所使用的，术语“计算器可读介质”、“计算器可读媒介”和“机器可读介质”完全限于以有形物理对象，其以计算器可读形式存储信息。这些术语排除任意无线信号，有线下载信号以及任意其他短暂信号。
尽管已经参考许多具体细节描述了本发明，但是本领域普通技术人员将认识到，可以在不脱离本发明的精神的情况下以其他具体形式来实施本发明。另外，许多图(包括图11和图12)概念地说明了过程。这些过程的具体操作可能不按照所示和所述的确切顺序执行。具体操作可以不在连续的一系列操作中执行，并且可以在不同的实施例中执行不同的具体操作。而且，这个过程可以使用几个子过程来实现，或者作为一个更大的大过程的一部分。因此，本领域的普通技术人员将理解，本发明不受前文所述说明性细节的限制，而是由所附权利要求限定。
附加的注意事项
本文所描述的主题有时包含在不同的其他分量内或与其连接的不同分量示出。应该理解的是，这样描述的架构仅仅是示例，并且实际上可以实施许多其他架构实现相同的功能。在概念意义上，用于实现相同功能的任意分量布置被有效地“关联”，从而实现期望的功能。因此，本文中被组合以实现特定功能的任意两个分量可以被视为彼此“相关联”，从而实现期望的功能，而与架构或中间分量无关。同样地，如此关联的任意两个分量也可以被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能，并且支持如此关联的任意两个分量也可以被视为“可操作地耦接”，相互达成所需的功能。可操作地可耦合的具体示例包括但不限于物理上可配对的和/或物理上交互的分量和/或无线交互和/或无线交互分量和/或逻辑交互和/或逻辑交互分量。
此外，关于本文中基本上任意复数和/或单数术语的使用，本领域技术人员可以根据上下文适当地将复数转化为单数和/或将单数转化为复数以使其适合语境和/或应用程序。为了清楚起见，这里可以明确地阐述各种单数/复数置换。
此外，本领域技术人员将会理解，一般而言，本文所使用的术语，特别是所附权利要求(例如所附权利要求书的主体)中的术语通常意图为“开放”术语，例如，术语“包括”应被解释为“包括但不限于”，术语“具有”应被解释为“至少具有”，术语“包括”应被解释为“包括但不限于”等等。本领域的技术人员将会进一步理解，如果意图引入的权利要求中的具体数量，则这样的意图将在权利要求中明确地记载，并且在没有这样的表述的情况下，不存在这样的意图。例如，作为对理解的帮助，以下所附权利要求可以包含介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求陈述。然而，这种短语的使用不应当被解释为暗示由不定冠词“一”或“一个”引入的权利要求表述将包含这种引入的权利要求表述的任意特定权利要求限制为仅包含一个这样的表述的实施方式，甚至当相同的权利要求包括介绍性短语“一个或多个”或“至少一个”以及例如“一”或“一个”的不定冠词，例如“一个”和/或“一个”应解释为意指“至少一个“或”一个或多个“，对于使用用于引入权利要求陈述的定冠词也是如此。另外，即使明确列举了具体数量的引入的权利要求列举，本领域技术人员将认识到，这样的列举应该被解释为至少意味着所列举的数量，例如没有“两个叙述”其他修饰语意指至少两个叙述，或者两个或更多个叙述。此外，在使用类似于“A，B和C等中的至少一个”的惯例的那些情况下，通常这样的构造旨在于本领域技术人员将理解该惯例的含义，例如，“具有A，B和C中的至少一个的系统”将包括但不限于仅具有A、仅具有B、仅具有C、具有A和B在一起、具有A和C在一起、具有B和C在一起的系统、和/或A、B和C一起等。在使用类似于“A，B或C等中的至少一个”的惯例的那些情况下，通常这样的构造意图为本领域技术人员将理解该惯例，例如“具有A，B或C中的至少一个的系统”将包括但不限于仅具有A、仅具有B、仅具有C、具有A和B的系统、A和C一起、B和C一起、和/或A，B和C一起等。本领域技术人员将进一步理解，实际上任意分离的词和/或短语在说明书、权利要求书或附图中展示两个或更多个替代术语应理解为考虑包括术语中的一个，术语中的任一个或两个术语的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
从上文中可以理解，为了说明的目的，本文已经描述了本发明的各种实施方式，并且在不脱离本发明的范围和精神的情况下可以对实施方式进行各种修改。因此，本文所公开的各种实施方式不旨在是限制性的，真正的范围和精神由权利要求指示。

Claims (24)

1.一种媒体内容处理方法，其特征在于，包括：
接收用于参考媒体展示的媒体内容；
对接收到的该媒体内容编码为多个分量轨道，每个分量轨道包括用于该参考媒体展示的分量的媒体或元数据样本；
对推导轨道进行编码，该推导轨道(i)参考该多个分量轨道中的一个或多个，并且(ii)基于来自该一或多个参考的分量轨道的媒体或元数据样本指定用于构建该参考媒体展示的子区域的该媒体和元数据样本的一组操作，其中该参考媒体展示的子区域的媒体样本是通过参考该一或多个参考的分量轨道来构建的，以及其中该推导轨道包括定义样本描述，该定义样本描述用于构建该参考媒体展示的子区域；以及
提供已编码的该参考媒体展示的子区域的媒体样本以供取回。
2.如权利要求1所述的媒体内容处理方法，其特征在于，该子区域对应于视口或感兴趣区域，并且该多个分量轨道中的每个分量轨道是为一个子区域提供媒体样本的子区域轨道。
3.如权利要求1所述的媒体内容处理方法，其特征在于，该方法进一步包括：
接收对该多个分量轨道的子集的请求；以及
仅仅传输请求的分量轨道。
4.如权利要求1所述的媒体内容处理方法，其特征在于，
该组操作包括根据一个或多个该一个或多个参考分量轨道的元数据样本来构建用于该推导轨道的子区域轨道的媒体样本的指令。
5.如权利要求4所述的媒体内容处理方法，其特征在于，
该指令包括对存储媒体样本的一个或多个分量轨道的以及存储元数据样本的一个或多个分量轨道的轨道参考。
6.如权利要求4所述的媒体内容处理方法，其特征在于，
该指令包括构建器，该构建器调用对存储媒体样本的一个或多个分量轨道和存储元数据样本的一个或多个分量轨道的轨道参考。
7.如权利要求4所述的媒体内容处理方法，其特征在于，
该指令包括对存储媒体样本的一个或多个分量轨道的轨道参考以及用于指示该元数据样本被存储在该推导轨道中的指示符。
8.如权利要求1所述的媒体内容处理方法，其特征在于，
由该推导轨道指定的该组操作包括要在输入图像的有序列表上执行的操作的有序列表或来自用于该参考媒体展示的该多个分量轨道的样本。
9.如权利要求8所述的媒体内容处理方法，其特征在于，
参考分量轨道中的一个或多个是存储元数据样本的元数据轨道，其中参考的元数据轨道的每个元数据样本指定该参考媒体展示中的子区域的维度和子区域的位置以用于执行操作的该有序列表。
10.如权利要求9所述的媒体内容处理方法，其特征在于，
该子区域对应于视口，并且该参考媒体展示是360度虚拟现实视频展示，并且其中每个元数据样本还指定该视口与该参考媒体展示相关的一组角度，用于执行操作的该有序列表。
11.如权利要求9所述的媒体内容处理方法，其特征在于，
每个元数据样本还指定该子区域的形状。
12.一种媒体内容处理方法，其特征在于，包括：
接收用于包括多个分量的参考媒体展示的流媒体文件，该多个分量中的每一个具有对应的分量轨道，每个分量轨道包括媒体或元数据样本；
在该参考媒体展示中选择子区域；
从该流媒体文件中取回推导轨道，其中该推导轨道(i)参考该多个分量轨道中的一个或多个并且(ii)基于该一个或多个参考分量轨道的媒体样本指定用于构建媒体样本的一组操作，其中该参考媒体展示的子区域的媒体样本是通过参考该一或多个参考的分量轨道来构建的，以及其中该推导轨道包括定义样本描述，该定义样本描述用于构建该参考媒体展示的子区域。
13.如权利要求12所述的媒体内容处理方法，其特征在于，
为该选择的子区域提供该媒体样本，该选择的子区域包括基于该子区域的指定来选择该一或多个参考分量轨道的子集，并且基于在子区域的该选择的子集中的该媒体样本来执行该组操作，而不在分量轨道的该选择的子集中的该媒体样本上执行该组操作。
14.如权利要求12所述的媒体内容处理方法，其特征在于，
该选择的子区域对应于视口或感兴趣区域(ROI)。
15.如权利要求12所述的媒体内容处理方法，其特征在于，
存储媒体样本的每个参考分量轨道是为该参考媒体展示中的子区域提供媒体样本的子区域轨道。
16.如权利要求12所述的媒体内容处理方法，其特征在于，
该组操作包括根据一个或多个该参考分量轨道的元数据样本来构建用于派推导轨道的子区域轨道的媒体样本的指令。
17.如权利要求16所述的媒体内容处理方法，其特征在于，
该指令包括对存储媒体样本的一个或多个分量轨道以及存储元数据样本的一个或多个分量轨道的轨道参考。
18.如权利要求16所述的媒体内容处理方法，其特征在于，
该指令包括构建器，该构建器调用对存储媒体样本的一个或多个分量轨道和存储元数据样本的一个或多个分量轨道的轨道参考。
19.如权利要求16所述的媒体内容处理方法，其特征在于，
该指令包括对存储媒体样本的一个或多个分量轨道的轨道参考以及用于指示该元数据样本被存储在该推导轨道中的指示符。
20.如权利要求12所述的媒体内容处理方法，其特征在于，
由该推导轨道指定的该组操作包括要在输入图像的有序列表上执行的操作的有序列表或来自用于该参考媒体展示的该多个分量轨道的样本。
21.如权利要求20所述的媒体内容处理方法，其特征在于，
该参考分量轨道中的一个或多个是存储元数据样本的元数据轨道，其中参考元数据轨道的每个元数据样本指定该参考媒体展示中的子区域的维度和子区域的位置以用于执行操作的该有序列表。
22.如权利要求21所述的媒体内容处理方法，其特征在于，
该子区域对应于视口，并且该参考媒体展示是360度虚拟现实视频真是，并且其中每个元数据样本还指定该视口与该参考媒体展示相关的一组角度，用于执行操作的该有序列表。
23.如权利要求21所述的媒体内容处理方法，其特征在于，
每个元数据样本还指定该子区域的形状。
24.一种用于媒体内容处理的电子设备，其特征在于，包括：
用户界面电路，能够接收对参考媒体展示中的子区域的选择；以及
流解码器电路，能够：
接收用于包括多个分量的参考媒体展示的流媒体文件，该分量中的每一个具有对应的分量轨道，每个分量轨道包括媒体或元数据样本；以及
取回来自该流媒体文件的推导轨道，该推导轨道(i)参考该多个分量轨道中的一个或多个，并且(ii)基于该一个或多个参考分量轨道的该媒体样本来指定用于构建媒体样本的一组操作，其中该参考媒体展示的子区域的媒体样本是通过参考该一或多个参考的分量轨道来构建的，以及其中该推导轨道包括定义样本描述，该定义样本描述用于构建该参考媒体展示的子区域。
CN201780063566.0A 2016-10-17 2017-10-17 一种媒体内容处理方法 Active CN109891893B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662408867P 2016-10-17 2016-10-17
US62/408,867 2016-10-17
US201662410414P 2016-10-20 2016-10-20
US62/410,414 2016-10-20
US15/730,851 2017-10-12
US15/730,851 US11197040B2 (en) 2016-10-17 2017-10-12 Deriving and signaling a region or viewport in streaming media
PCT/CN2017/106535 WO2018072683A1 (en) 2016-10-17 2017-10-17 Deriving and signaling a region or viewport in streaming media

Publications (2)

Publication Number Publication Date
CN109891893A CN109891893A (zh) 2019-06-14
CN109891893B true CN109891893B (zh) 2022-04-12

Family

ID=61902371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063566.0A Active CN109891893B (zh) 2016-10-17 2017-10-17 一种媒体内容处理方法

Country Status (5)

Country Link
US (1) US11197040B2 (zh)
CN (1) CN109891893B (zh)
DE (1) DE112017005235T5 (zh)
TW (1) TWI662833B (zh)
WO (1) WO2018072683A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
GB2575288B (en) * 2018-07-04 2022-05-25 Canon Kk Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
US11711526B2 (en) 2018-04-05 2023-07-25 Canon Kabushiki Kaisha Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
US10826964B2 (en) 2018-09-05 2020-11-03 At&T Intellectual Property I, L.P. Priority-based tile transmission system and method for panoramic video streaming
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
US20230215129A1 (en) * 2020-06-16 2023-07-06 Dolby Laboratories Licensing Corporation Representing volumetric video in saliency video streams
US11922561B2 (en) * 2020-10-06 2024-03-05 Mediatek Singapore Pte. Ltd. Methods and systems for implementing scene descriptions using derived visual tracks
CN115474053A (zh) 2021-06-11 2022-12-13 腾讯科技（深圳）有限公司 一种媒体数据的处理方法及相关设备
WO2023055612A1 (en) * 2021-09-30 2023-04-06 Dolby Laboratories Licensing Corporation Dynamic spatial metadata for image and video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540947A (zh) * 2009-04-03 2009-09-23 中兴通讯股份有限公司 移动流媒体模拟直播方法及其使用的内容切换方法
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0618526A3 (en) * 1993-03-31 1995-09-27 Us West Advanced Tech Inc Method and apparatus for a multi-level and airship video environment.
CN1689332A (zh) * 2002-10-15 2005-10-26 皇家飞利浦电子股份有限公司 用于经ip网络发送可伸缩编码视频的系统和方法
AU2003900137A0 (en) * 2003-01-14 2003-01-30 Canon Kabushiki Kaisha Process and format for reliable storage of data
US7683940B2 (en) * 2003-09-12 2010-03-23 Canon Kabushiki Kaisha Streaming non-continuous video data
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US8788933B2 (en) 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
US20070168866A1 (en) * 2006-01-13 2007-07-19 Broadcom Corporation Method and system for constructing composite video from multiple video elements
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US20090119594A1 (en) * 2007-10-29 2009-05-07 Nokia Corporation Fast and editing-friendly sample association method for multimedia file formats
CA2730543C (en) * 2008-07-16 2014-04-22 Nokia Corporation Method and apparatus for track and track subset grouping
US20100183033A1 (en) * 2009-01-20 2010-07-22 Nokia Corporation Method and apparatus for encapsulation of scalable media
GB2469563B (en) * 2009-04-14 2011-11-16 Apple Inc Method and apparatus for media data transmission
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
US8930562B2 (en) * 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
EP2580738A4 (en) * 2010-08-10 2018-01-03 LG Electronics Inc. Region of interest based video synopsis
CN101984619A (zh) * 2010-10-12 2011-03-09 中兴通讯股份有限公司 一种流媒体业务的实现方法及系统
US8789095B2 (en) * 2012-05-15 2014-07-22 At&T Intellectual Property I, Lp Apparatus and method for providing media content
WO2014055488A2 (en) * 2012-10-02 2014-04-10 Carestream Health, Inc. Rapid frame-rate wireless imaging
KR101786276B1 (ko) * 2012-10-12 2017-11-15 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
GB2509954B (en) * 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
RU2616185C2 (ru) * 2013-01-18 2017-04-13 Кэнон Кабусики Кайся Способ, устройство и компьютерная программа для инкапсуляции сегментированных синхронизированных мультимедийных данных
US9027067B2 (en) * 2013-03-12 2015-05-05 The United States Of America, As Represented By The Secretary Of The Navy System and method for interactive spatio-temporal streaming data
IN2013CH03069A (zh) * 2013-07-09 2015-08-28 Samsung India Software Operations Pvt Ltd
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
GB2516826B (en) * 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
US10721530B2 (en) * 2013-07-29 2020-07-21 Koninklijke Kpn N.V. Providing tile video streams to a client
US9648348B2 (en) * 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
GB2531993B (en) * 2014-10-14 2018-04-25 Canon Kk Description of image composition with HEVC still image file format
GB2533624B (en) * 2014-12-23 2017-08-09 Canon Kk Methods, devices, and computer programs for improving coding of media presentation description data
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
US10034010B2 (en) * 2015-10-14 2018-07-24 Qualcomm Incorporated Alignment of operation point sample group in multi-layer bitstreams file format
US10306253B2 (en) * 2015-10-14 2019-05-28 Qualcomm Incorporated Signaling of parameter sets in files of multi-layer bitstreams
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
WO2018038523A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
WO2018038520A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540947A (zh) * 2009-04-03 2009-09-23 中兴通讯股份有限公司 移动流媒体模拟直播方法及其使用的内容切换方法
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Also Published As

Publication number Publication date
US11197040B2 (en) 2021-12-07
TWI662833B (zh) 2019-06-11
CN109891893A (zh) 2019-06-14
WO2018072683A1 (en) 2018-04-26
TW201820869A (zh) 2018-06-01
DE112017005235T5 (de) 2019-07-11
US20180109817A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
CN109891893B (zh) 一种媒体内容处理方法
JP6801764B2 (ja) 復号装置および復号方法
JP6640373B2 (ja) 仮想現実ビデオコンテンツを表現するための四角錐台の幾何学的形状およびフレームパッキング構造
CN109716759B (zh) 提升质量递送及合成处理
US20110026596A1 (en) Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
US11683513B2 (en) Partitioning of coded point cloud data
WO2014166338A1 (en) Method and apparatus for prediction value derivation in intra coding
US20190141332A1 (en) Use of synthetic frames in video coding
CN112153391A (zh) 视频编码的方法、装置、电子设备及存储介质
CN115022715B (zh) 一种沉浸媒体的数据处理方法及设备
WO2019115867A1 (en) An apparatus, a method and a computer program for volumetric video
US20210400295A1 (en) Null tile coding in video coding
US20210243447A1 (en) Planar prediction mode for visual media encoding and decoding
KR20240049612A (ko) 비디오 처리를 위한 방법, 기기 및 매체
KR20240050413A (ko) 비디오 처리를 위한 방법, 장치 및 매체
WO2020157376A1 (en) An apparatus, a method and a computer program for volumetric video
US20150124871A1 (en) Visual Perceptual Transform Coding of Images and Videos
US20170214941A1 (en) Method and apparatus for selecting an intra prediction mode for use in multiview video coding (mvc)
US20240236327A1 (en) Signaling of down-sampling information for video bitstreams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant