CN109328462A - 一种用于流视频内容的方法及装置 - Google Patents

一种用于流视频内容的方法及装置 Download PDF

Info

Publication number
CN109328462A
CN109328462A CN201780039497.XA CN201780039497A CN109328462A CN 109328462 A CN109328462 A CN 109328462A CN 201780039497 A CN201780039497 A CN 201780039497A CN 109328462 A CN109328462 A CN 109328462A
Authority
CN
China
Prior art keywords
projection
spatial relation
region
coordinate
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780039497.XA
Other languages
English (en)
Other versions
CN109328462B (zh
Inventor
赖柏霖
刘杉
王新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109328462A publication Critical patent/CN109328462A/zh
Application granted granted Critical
Publication of CN109328462B publication Critical patent/CN109328462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种装置，包括接口电路、处理电路和显示装置。接口电路用于接收媒体数据的媒体展现描述信息。该媒体数据包括根据投影自球面的视频内容投影的二维平面上的视频内容。该二维平面上的视频内容包括多个在该二维平面上具有不同视频覆盖的段流。该媒体展现描述信息使用基于投影的空间关系描述以根据该投影该二维平面上的视频内容描述不同的视频覆盖。处理电路用于基于用于图像生成的感兴趣区域和该基于投影的空间关系描述确定一个或者多个段流，在该一个或者多个段流中选择多个段，并且使得该接口电路请求并接收该选择的多个段流。

Description

一种用于流视频内容的方法及装置
【交叉引用】
本申请的申请专利范围依35 U.S.C.§119要求如下申请的优先权：2016年07月29日提出的名称为“Methods and Apparatus of signalling Spatial Relationship andDependency for VR and 360 video Content”的申请号为62/368,205号的美国临时案以及2017年07月26日提出的名称为“METHOD AND APPARATUS FOR STREAMING VIDEOCONTENT”的申请号为15/660,710号的美国案。在此合并参考上述申请案的申请标的。
【技术领域】
本发明的所公开实施例涉及视频编解码方法及装置，且更具体而言，涉及一种全向视频编解码技术。
【背景技术】
此处提供的先前技术描述用作一般呈现本发明的内容的目的。目前署名发明人的工作内容，既包含在本先前技术部分中所描述的工作的内容，也包含在申请时未被认为是先前技术的说明书的各方面，这些既不明确也不暗示地被承认是本发明的先前技术。
可渲染三维环境以提供特殊的用户体验。例如，在虚拟现实(virtual reality，VR)应用中，电脑技术创建复制现实环境的现实图像、声音以及其他感觉，或者创建想象的环境，这样用户可以具有在三维环境中物理存在的类比体验。
【发明内容】
本发明提供一种装置，包括接口电路、处理电路和显示装置。接口电路用于接收媒体数据的媒体展现描述信息。该媒体数据包括根据投影自球面的视频内容投影的二维平面上的视频内容。该二维平面上的视频内容包括多个在该二维平面上具有不同视频覆盖的段流。该媒体展现描述信息使用基于投影的空间关系描述以根据该投影该二维平面上的视频内容描述不同的视频覆盖。处理电路用于基于用于图像生成的感兴趣区域和该基于投影的空间关系描述确定一个或者多个段流，在该一个或者多个段流中选择多个段，并且使得该接口电路请求并接收该选择的多个段流。显示装置用于显示基于该选择的多个段而产生的多个图像。
在一个实施例中，处理电路用于自该基于投影的空间关系描述中解析出投影标识。进一步地，在一个示例中，该处理电路用于在该投影标识表示等角投影时，自该基于投影的空间关系描述中解析出球面坐标系统中的偏航座标和俯仰座标。在一个示例中，该处理电路用于自该基于投影的空间关系描述中解析出偏航座标的最小值、偏航座标的最大值、俯仰座标的最小值和俯仰座标的最大值，其中该基于投影的空间关系描述中定义了该二维平面内的区域。在另一个示例中，该处理电路用于解析出定义了矩形区域的角点的偏航座标和俯仰座标，并自该基于投影的空间关系描述中解析出在偏航座标和俯仰座标上的该矩形区域的宽度和高度。
在另一实施例中，该处理电路用于在该投影标识表示多面体投影时，自该基于投影的空间关系描述中解析出一个或者多个面索引。进一步地，在一个实施例中，该处理电路用于在该投影标识表示没有投影时，自该基于投影的空间关系描述中解析出欧式坐标系统中的多个座标。
根据本发明的一方面，该处理电路用于解析该媒体展现描述信息，以提取第一段流到第二段流的依存，在该第一段流和该第二段流中选择多个段，并且，使得该接口电路请求并接收该选择的多个段。例如，该处理电路用于提取该第一段流到该第二段流的区域依存、带宽依存和图像尺寸依存中的至少一个。
在一个实施例中，该媒体展现描述信息使用在适应集层、展示层和子展示层中至少一个中的该基于投影的空间关系描述，以根据该投影描述该二维平面内不同的视频覆盖。
本发明提供一种图像渲染的方法。该方法包括接收媒体数据的媒体展现描述信息。该媒体数据包括根据投影自球面的视频内容投影的二维平面上的视频内容。该二维平面上的视频内容包括多个在该二维平面上具有不同视频覆盖的段流。该媒体展现描述信息使用基于投影的空间关系描述以根据该投影该二维平面上的视频内容描述不同的视频覆盖。该方法进一步包括基于用于图像生成的感兴趣区域和该基于投影的空间关系描述确定一个或者多个段流，在该一个或者多个段流中选择多个段，发送用于该选择的多个段的请求，接收该选择的多个段，以及显示基于该选择的多个段而产生的多个图像。
【附图说明】
将结合下面的图式对被提供作为示例的本发明的各种实施例进行详细描述，其中相同的符号表示相同的元件，以及其中：
图1是根据本发明实施例的媒体系统100的方框图；
图2是根据本发明实施例的媒体表示(media presentation)200的示例；
图3是根据本发明另一实施例的媒体表示300的示例；
图4是根据本发明实施例的示出一种动态适应流(adaptive streaming)的示例的示意图400；
图5是根据本发明实施例的示出一种处理示例500的流程图；
图6是示出根据本发明实施例的等角投影(equirectangular projection，ERP)的绘图600；
图7是示出根据本发明实施例的多面体投影(platonic solid projection)示例的绘图700；
图8是示出根据本发明实施例的在基于投影的空间关系描述中所使用的参数的表格800；以及
图9-16是示出根据本发明实施例的媒体表示的示例
【具体实施方式】
图1示出了根据本发明实施例的媒体系统100的方框图。媒体系统100包括耦接在一起的源系统110、传输系统150和渲染系统160。源系统110用于获取用于三维环境的媒体数据，并适当地封装媒体数据。传输系统150用于将来自于源系统110的已封装的媒体数据传输到渲染系统160。渲染系统160用于根据媒体数据渲染类比的三维环境。
根据本发明的一方面，源系统110用于获取三维(three-dimensional，3D)球面的视觉数据，将球面的视觉数据投影到二维(two-dimension，2D)平面，例如，二维矩形图像，并且，根据投影生成在平面内具有不同视频覆盖(video coverages)(例如，区域覆盖(region coverages)、品质覆盖(quality coverages))的段流(segment stream)，且在描述段中包含段流的空间信息(spatial information)，例如，媒体展现描述(mediapresentation description，MPD)段。在一个实施例中，媒体展现描述段使用基于投影的空间关系描述(spatial relationship description，SRD)来描述二维平面内段流的不同视频覆盖。此外，在一个实施例中，媒体展现描述段包括依存描述(dependency description)以辅助视频编解码。依存描述可以包括位于不同区域的视频内容的区域依存、用于不同带宽的视频内容的带宽依存和不同图像尺寸的视频内容的图像尺寸依存。传输系统150被配置为存储描述段、用于视频内容的段流以及其他合适的媒体数据。此外，渲染系统160可以下载描述段，并基于空间要求(例如，用于图像生成的感兴趣区域)和空间信息，例如基于投影的空间关系描述、依存描述等，来确定一个或者多个段流。进一步地，渲染系统160可以从一个或者多个段流中选择段，并请求来自于传输系统150的已选择的段。当渲染系统160接收已选择的段，渲染系统160可以基于已选择的段生成感兴趣区域的图像。
使用任何合适的技术可以实施源系统110。在一个示例中，在一个设备封装中组装源系统110的元件。在另一个示例中，源系统110是一个分散式系统，源系统110的元件可以被设置在不同位置，并适当耦接在一起，例如，通过有线连接和/或无线连接。
在图1的示例中，源系统110包括耦接在一起的获取设备112、处理电路120(例如，包括影像处理电路、音频处理电路等)、存储器115以及接口电路111。
获取设备112用于获取各种媒体数据，如三维环境的图像、视频、声音等。获取设备112可以具有任何适当的配置。在一个示例中，获取设备112包括具有多个摄像机的摄像设备(未示出)，如具有两个鱼眼(fisheye)摄像机的成像系统、具有四个摄像机的四面体成像系统、具有六个摄像机的立体成像系统、具有八个摄像机的八面成像系统、具有二十个摄像机的二十面成像系统等，其用于拍摄环绕空间内的各个方向的图像和/或视频。
在一个实施例中，由多个摄像机拍摄的图像和/或视频是重迭的，且可以被缝合(stitch)，以提供比单个摄像机更大覆盖的环绕空间。在一个示例中，由多个摄像机拍摄的图像和/或视频可以提供整个环绕空间的360°球面覆盖。应注意，由多个摄像机拍摄的图像和/或视频可以提供小于360°球面覆盖的环绕空间。
可以适当地将获取设备112所获取的媒体数据进行存储或者缓存，例如，在存储器115内。处理电路120可以访问存储器115、处理媒体数据以及以合适的格式封装媒体数据。然后，将已封装的媒体数据进行存储或者缓存，例如，在存储器115内。
在一个实施例中，处理电路120包括音频处理路径，其用于处理音频数据，并且包括图像/视频处理路径，其用于处理图像/视频数据。处理电路120然后根据合适的格式用中继数据(metadata)对音频、图像和视频数据进行封装。
在一个示例中，在图像/视频处理路径上，处理电路120可以将由不同摄像机拍摄的多个图像缝合在一起，以形成一个已缝合的图像，例如全向(omnidirectional)图像等。然后，处理电路120可以根据合适的二维平面投影(project)全向图像，以将全向图像转换成使用二维编码技术可以编码的二维图像。然后处理电路120可以适当地编码图像和/或图像流。
根据本发明的一方面，处理电路120可以根据不同投影技术将球面的全向图像投影到二维平面内的二维图像，且不同投影技术使得二维平面内二维图像具有不同的与投影技术相关的空间关系特征。因此，在一个实施例中，基于投影来描述空间关系。在一个示例中，基于投影的空间关系描述(projection based SRD，P-SRD)使用与不同的投影相关的不同空间描述技术。此外，在一个示例中，基于投影的空间关系描述用于反向相容(back-compatible)通用的二维空间关系描述，其用于没有投影的二维图像。
应注意，处理电路120可以根据任一合适的投影技术投影全向图像。在一个实施例中，处理电路120可以使用等角投影(equirectangular projection，ERP)投影全向图像。等角投影以一种与将地球表面投影到地图上的方式相似的方式将球面(sphere surface)，例如全向图像，投影到二维平面，例如2D图像。在一个示例中，球面(例如地球表面)使用偏航(yaw)(例如经度)和俯仰(pitch)(例如纬度)的球面坐标系统，并且二维平面使用XY坐标系统。在投影过程中，将偏航圈(yaw circle)转换为垂直线，将俯仰圈(pitch circle)转换为水平线，偏航圈和俯仰圈在球面坐标系统中是正交的，垂直线和水平线在XY坐标系统中是正交的。
在等角投影的实施例中，在等角投影过程中，图案在水平方向(沿着纬度方向)上进行变形(deform)(例如，拉伸)，并基于纬度使用不同的度进行变形。等角投影可以保持空间连续性(spatial continuity)，这样在球面上的相邻物体在二维平面内也是相邻物体。在一个实施例中，偏航和俯仰(例如，沿着经度和纬度)可以用于识别出二维平面内的位置。
在另一个实施例中，处理电路120可以将全向图像投影到多面体(platonicsolid)的面，例如，四面体、立方体、八面体、二十面体等。可以分别重新排列已投影的面，例如旋转、重新定位(relocated)，以在矩形平面内形成2D图像。然后编码该2D图像。
根据本发明的一方面，多面体投影会破坏球面内的空间连续性，球面内的相邻物体在二维平面内可能不是相邻物体。在一些实施例中，添加虚拟面(dummy face)，并且这些虚拟面不具有图像信息或者具有更少图像信息。在一个示例中，由于投影过程中面的重新排列，相邻面之间可以存在或者不存在空间关系，例如相似性、依存性等。非相邻面可能具有空间关系，例如，相似性、依存性等。在一个实施例中，面索引用于定位用于多面体投影的二维平面内区域的位置。
应注意，在一个实施例中，由除了处理电路120之外的元件来执行该投影操作。在一个示例中，可以将不同摄像机所拍摄的图像排列在二维平面内，以形成2D图像。也应注意，在一个实施例中，处理电路120可以编码由不同摄像机拍摄的多个图像，并且对多个图像不执行缝合操作和/或投影操作。
也应注意，处理电路120可以使用任一合适的格式封装媒体数据。在一个示例中，以单轨道(single track)封装媒体数据。例如，等角投影将球面投影到二维平面，单轨道可以包括二维平面的一个矩形图像流。
在另一示例中，以多个轨道封装媒体数据。在一个示例中，等角投影将球面投影到二维平面，二维平面被划分成多个子图像区域。一个轨道包括一个或者多个子图像区域的图像流。在另一示例中，一个轨道可以包括来自于一个或者多个摄像机的图像流。在另一示例中，一个轨道可以包括多面体的一个或者多个投影面的图像流。
根据本发明的一方面，处理电路120用于基于各种媒体特征生成来自于媒体数据的段流，例如时间周期、空间特征、媒体类型、语言、编码方案等。进一步地，处理电路120用于生成目录(catalog)，例如媒体展现描述段等。目录包括段流的媒体特征，并可以协助一个渲染系统，例如渲染系统160，以请求段序列(sequence of segments)。
在一个实施例中，媒体展现描述段使用基于投影的空间关系描述来描述二维平面内不同视频覆盖。在一个示例中，基于投影的空间关系描述用于描述不同投影的视频覆盖，并且反向相容不使用投影的二维视频处理。此外，在一个实施例中，媒体展现描述段包括依存描述，以辅助视频编解码。
在图1的示例中，处理电路120包括MPD生成模组130，其用于生成包含段流的媒体特征的媒体展现描述段，媒体特征包括空间特征。媒体展现描述段可以由一个渲染系统使用，如渲染系统160，以为了满足客户和环境要求来选择段，例如，感兴趣区域、语言、网络带宽、使用者喜好等。
具体地，在一个实施例中，处理电路120可以生成用于视频内容的适应集(adaptation set)，并生成视频内容的替代表示(alternative representation)。在一个示例中，视频内容是用于球面的，并且球面被投影以生成二维平面内的视频内容，二维平面内的视频内容可以被划分成具有相同尺寸或者不同尺寸的子图像(sub-picture，也可以用作sub-pic)区域。应注意，可以使用任何将球面投影或者映射到二维平面的合适的投影或者映射，例如，等角投影、多面体投影等。
根据本发明的一方面，基于投影的空间关系描述可以用于发信(signal)位于各种层的空间特征(例如，位置、依存等)，例如，在运动图像专家组(Moving Picture ExpertsGroup，MPEG)DASH(Dynamic Adaptive Streaming over HTTP,DASH)中的适应集层(adaptation set level)、展示层(representation level)、子展示层(sub-representation level)等。
在一个实施例中，媒体展现描述段包括用于视频的多个适应集。多个适应集分别用于多个子图像区域，例如，用于第一区域的第一适应集、用于第二区域的第二适应集等。子图像区域可以是二维平面的分割，可以是二维平面中的面，以及可以是二维平面的多个分辨率分割(resolution partition)。在本实施例中，基于投影的空间关系描述可以用于发信位于适应集层处的子图像区域的空间特征(例如，位置、依存等)
在另一个实施例中，媒体展现描述段包括用于视频的适应集。适应集包括用于各自子图像区域的多个表示集，例如用于第一区域的第一替代表示集(first set ofalternative representation)、用于第二区域的第二替代表示集等。一个表示法(arepresentation)对应于具有用于连续时隙(time slot)的多个段的一个段流。在一个示例中，替代表示(alternative representations)具有不同的视频品质，例如，不同的分辨率，不同的视频品质适合于不同的带宽、不同的比特速率等。在本实施例中，基于投影的空间关系描述可以用于发信位于展示层处的子图像区域的空间特征(例如，位置、依存等)。
在另一个实施例中，媒体展现描述段包括用于视频的适应集。适应集包括具有不同品质的多个表示集，例如，第一品质的第一表示集、第二品质的第二表示集、第三品质的第三表示集等。进一步地，表示包括分别用于多个子图像区域的多个子表示。例如，第一表示包括用于第一区域的第一子表示，和用于第二区域的第二子表示。在本实施例中，基于投影的空间关系描述可以用于发信位于子表示集处的子图像区域的空间特征(例如，位置、依存等)。
将结合图2-3以及图8-16讨论各种形式的媒体展现描述段。
在一个实施例中，使用一个或者多个处理器来实施处理电路120，且一个或者多个处理器用于执行软件指令来执行媒体数据处理。在另一个实施例中，使用集成电路来实施处理电路120。
在图1的示例中，通过接口电路111将段流和媒体展现描述段提供给传输系统150。传输系统150用于适当地提供媒体数据给客户设备，例如渲染系统160。在图1的示例中，传输系统150包括具有存储器141的超文字传输协定(hypertext transfer protocol，HTTP)伺服器140。存储器141存储媒体展现描述段142和多个段143。媒体展现描述段142包括用于多个段143的各自地址(例如，URL地址)。在图1的示例中，媒体展现描述段142使用基于投影的空间关系描述以描述空间特征。超文字传输协定伺服器140用于根据HTTP协定提供多个段给渲染系统，例如渲染系统160。传输系统150的元件通过有线和/或无线连接适当地耦接在一起。传输系统150通过有线和/或无线连接适当地与源系统110和渲染系统160耦接。
可以使用任何适当的技术来实施渲染系统160。在一个示例中，在一个设备封装中集成渲染系统160的元件。在另一个示例中，渲染系统160是一种分散式系统，源系统110的元件可以位于不同位置，并通过有线连接和/或无线连接适当地耦接在一起。
在图1的示例中，渲染系统160包括耦接在一起的接口电路161、处理电路170和显示装置165。接口电路161用于发送消息至传输系统150，例如请求消息等，以请求媒体数据，并用于接收来自于传输系统150的媒体数据的消息，例如媒体展现描述段142、多个段等。
处理电路170用于处理媒体数据并生成图像，以让显示装置165展现给一个或者多个用户。显示装置165可以是任何适合的显示器，例如电视机、智慧手机、穿戴设备、头戴式(head-mounted)设备等。
根据本发明的一方面，处理电路170用于使得接口电路161请求媒体展现描述段并处理媒体展现描述段。进一步地，处理电路170可以确定客户要求和环境要求，例如感兴趣区域、语言、网络带宽、使用者喜好等。在一个示例中，处理电路170可以检测感兴趣区域。例如，处理电路170基于头戴式设备的位置确定感兴趣区域。基于感兴趣区域，处理电路170可以确定空间要求。处理电路170可以确定其他要求，例如，比特速率要求。在一个示例中，处理电路170可以检测网络状态。例如，处理电路170可以监测一个用于缓存传输系统150所提供的多个段流的缓冲器(未示出)，以检测网络状态。在一个示例中，基于网络状态，处理电路170可以确定比特速率要求。
进一步地，根据本发明的一方面，处理电路170可以基于媒体展现描述段确定视频内容的一个或者多个段流，以满足空间要求以及其他合适的要求，例如，比特速率要求。处理电路170然后可以在确定的多个段流中选择多个段，并使得接口电路161基于媒体展现描述段中的选择的多个段的地址请求来自于超文字传输协定伺服器140的选择的多个段。
应注意，处理电路170可以确定其他媒体数据的多个段流，例如音频等，从其他媒体数据的所确定的多个段流中选择多个段，并使得接口电路161请求来自于超文字传输协定伺服器140的选择的多个段。
在一个实施例中，当通过接口电路161接收媒体数据的请求的多个段，处理电路170可以处理多个段。例如，处理电路170可以解码视频内容的多个段，并相应地生成多个图像。显示装置165可以将所生成的多个图像展现给一个或者多个用户。
在一个示例中，处理电路170包括MPD处理模组180和图像生成模组190。例如，MPD处理模组180用于处理媒体展现描述段，基于媒体展现描述段中的空间信息确定视频内容的一个或者多个段流，在所确定的段流中选择多个段，提取所选择的多个段的地址(例如，URL地址)，以及使用地址来请求来自于超文字传输协定伺服器140的多个段。图像生成模组190用于基于所接收的多个段生成感兴趣区域的多个图像。MPD处理模组180和图像生成模组190可以被实施为处理器，其执行软件指令，并可以被实施为集成电路。
在一个实施例中，MPD处理模组180处理媒体展现描述段，提取基于投影的空间关系描述，解析基于投影的空间关系描述，并判断媒体展现描述段是否用于使用投影将球面的全向图像投影到二维平面内的二维图像的全向视频。当媒体展现描述段用于全向视频时，MPD处理模组180基于基于投影的空间关系描述确定投影的类型，并进一步基于投影的类型处理基于投影的空间关系描述。在一个示例中，MPD处理模组180可以提取用于多个段流的空间信息，并且可以提取多个段流的依存信息。基于多个段流的空间信息和依存信息，处理电路170可以选择一个或者多个段流，并进一步选择的段以请求。
图2示出了根据本发明实施例的媒体表示200的示例。在一个示例中，MPD生成模组130用于基于媒体表示200生成媒体展现描述段，存储器141用于存储媒体展现描述段，MPD处理模组180用于处理媒体展现描述段。
在图2的示例中，媒体表示200表示多个结构，以排列媒体内容的已编码的媒体数据。在图2的示例中，媒体内容是根据时间来划分(sliced)的，媒体表示200包括一个或者多个周期的序列，例如媒体内容的第一周期201(例如，周期1)、媒体内容的第二周期210(例如，周期2)等。每个周期对应于一个时间间隔。在一个示例中，周期的序列是连续且非重迭的。例如，第一周期201从0秒处开始，并持续100秒，第二周期210从第100秒处开始，并持续195秒等。
进一步地，在图2的示例中，一个周期的媒体内容包括对应于不同媒体元件的多个适应集。例如，第二周期210包括视频元件的第一适应集220、音频元件或视频元件的第二适应集221等。
在一个实施例中，第一适应集220和第二适应集221对应于空域内具有不同覆盖的视频元件。第一适应集220和第二适应集221均是用于子图像区域的部分，并在用于子图像区域的部分中分别包括地理信息。例如，第一适应集220包括用于第一子图像区域的一个或者多个表示，第二适应集221包括用于第二子图像区域的一个或者多个表示，其中第二子图像区域与第一子图像区域不相同。当第二适应集221对应于视频元件时，相似地，第二适应集221的配置方式与第一适应集220的配置方式相似。在本实施例中，基于投影的空间关系描述可以用于发信位于适应集层处的子图像区域的空间特征(例如，位置、依存等)。
进一步地，在图2的示例中，一个适应集包括用于媒体元件的一个或者多个表示。表示可以具有空间差异和/或其他差异(例如，品质)。例如，第一适应集220包括视频内容的一个或者多个表示，例如具有空域上的不同覆盖和/或其他差异的第一表示230、第二表示250等。在一个示例中，第一表示230和第二表示250是同一视频内容的替代表示。第一表示230和第二表示250可以在空域上具有不同的覆盖(例如，区域覆盖、品质覆盖)。在一个示例中，在第二周期210内的某个时间，可以选择第一表示230和第二表示250中的一个。
在图2的示例中，一个表示对应于一个段流。在媒体展现描述段中，一个表示包括用于段流的特定信息。在本实施例中，基于投影的空间关系描述可用于发信位于展示层处的子图像区域的空间特征(例如，位置、依存等)。例如，第一表示230包括为基于投影的空间关系描述的基于投影的空间关系描述231，以发信空间特征，例如区域覆盖等。在一个示例中，基于投影的空间关系描述231可以由渲染系统来使用，例如渲染系统160，以确定第一段流是否满足空间要求。第一表示230也包括用于第一段流的段信息240。同理，第二表示250包括基于投影的空间关系描述251和段信息260。
在一个示例中，当两个或者以上表示对应于相同区域，例如其具有不同品质，媒体展现描述段可以包括位于展示层之上的区域部分，并包括位于区域部分处的基于投影的空间关系描述的复制本，例如，在图2的示例中的基于投影的空间关系描述225。
在图2的示例中，段信息240包括段初始化信息271、第一段流内的用于第一段的第一段信息272、第一段流内的用于第二段的第二段信息273等。第一段信息272包括第一段的计时信息和地址，如用于第一段的URL地址。在一个示例中，计时信息表示第一周期201内的子时间间隔。例如，计时信息可以由渲染系统160来使用，以在确定的段流内选择多个段。地址由渲染系统160来使用，以请求来自于超文字传输协定伺服器140的选择的多个段。
图3示出了根据本发明实施例的媒体表示300的示例。在一个示例中，MPD生成模组130用于基于媒体表示300生成媒体展现描述段，存储器141用于存储媒体展现描述段，MPD处理模组180用于处理媒体展现描述段。
媒体表示300包括与媒体表示200相似的多个结构。上面已经提供了这些结构的说明，为了简洁，此处将省略。但是，媒体表示300内的第一适应集320具有与媒体表示200内的第一适应集220不相同的结构。
具体地，第一适应集320对应于一个表面的视频内容，例如球面、二维平面等。表面被划分成重迭或者非重迭的多个子图像区域。第一适应集320包括在空域中具有不同覆盖的多个表示，例如，第一表示330、第二表示350等。
进一步地，每个表示包括用于子图像区域的子表示。例如，第一表示330包括用于不同子图像区域的子表示1.1和子表示1.2，第二表示350包括用于不同子图像区域的子表示2.1和子表示2.2。在本实施例中，基于投影的空间关系描述可以用于发信位于子展示层处的子图像区域的空间特征(例如，位置、依存等)。
图4示出了根据本发明实施例的动态适应流的示例的示意图400。在一个示例中，渲染系统160根据示意图400请求并接收视频内容的流。
示意图400示出了在空域内具有不同覆盖的视频内容的用于第一段流410的第一表示、第二段流420的第二表示和第三段流430的第三表示。在一个示例中，第一段流410具有第一分辨率，其是相对较低的分辨率，且第一段流410覆盖第一区域，其是相对较大的区域(例如，整个平面)。第二段流420具有第二分辨率，且第二段流420覆盖第二区域。第三段流430具有第二分辨率，且第三段流430覆盖第三区域。在一个示例中，第二分辨率比第一分辨率高。在一个示例中，媒体展现描述段，例如图11中的媒体展现描述段，用于描述第一段流410、第二段流420和第三段流430的信息。例如，在图11的示例中，第一段流410对应于区域1，第二段流420对应于区域2，第三段流430对应于区域3。
在图4的示例中，第一段流410包括多个第一段(第一段R1-S1到第一段R1-S6)，第二段流420包括多个第二段(第二段R2-S1到第二段R2-S4)，并且第三段流430包括多个第三段(第三段R3-S1到第三段R3-S4)。
在操作期间，在一个示例中，渲染系统160接收媒体展现描述段，例如，图11中的媒体展现描述段。媒体展现描述段包括用于区域1的基于投影的空间关系描述(例如，基于投影的空间关系描述P-SRD-1)、用于区域2的基于投影的空间关系描述(例如，基于投影的空间关系描述P-SRD-2)和用于区域3的基于投影的空间关系描述(例如，基于投影的空间关系描述P-SRD-3)。在本示例中，开始时，渲染系统160请求并接收第一段流410内的段，例如R1-S1、R1-S2。第一段流410内的段具有较低比特速率，并占用相对较低的带宽。基于第一段流410内的段而生成的图像具有相对较低的分辨率。
随后，渲染系统160检测更高带宽是可用的。渲染系统160检测到感兴趣区域是在第二子图像区域内。因此，基于基于投影的空间关系描述P-SRD-2，渲染系统160选择第二段流420，然后请求并接收第二段流420内的段，例如R2-S2，并且，基于例如段R2-S2生成图像。进一步地，渲染系统160检测到感兴趣区域从第二子图像区域到第三子图像区域的变化，这样基于基于投影的空间关系描述P-SRD-3，渲染系统160重新选择第三段流430，然后请求并接收第三段流430内的段，例如R3-S3，并且，基于例如段R3-S3生成图像。
图5示出了根据本发明实施例的一种处理示例500的流程图。在一个示例中，根据本发明实施例，由渲染系统160执行处理500。从S501处开始，并继续到S510。
在S510中，下载媒体展现描述段。在一个示例中，渲染系统160从超文字传输协定伺服器140中下载媒体展现描述段142。
在S520中，解析媒体展现描述段，并且提取各种信息，例如空间特征信息。在一示例中，渲染系统160提取用于子图像区域的基于投影的空间关系描述、依存信息等。
在S530中，确定空间要求(例如感兴趣区域)和其他要求，例如比特速率要求。在一个示例中，渲染系统160确定初始比特速率和初始感兴趣区域。
在S540中，确定满足空间要求和其他要求的一个或者多个段流。在一个示例中，基于子图像区域的基于投影的空间关系描述和依存信息，渲染系统160选择具有满足空间要求的地理信息的一个或者多个子图像区域。然后渲染系统160选择用于所选择的子图像区域的多个表示中的一个，其满足比特速率要求。所选择的表示对应于段流，并包括段流内的段的段信息(例如，计时信息、URL地址信息)。
在S550中，从所确定的段流中选择段。在一个示例中，渲染系统160基于时间选择段。
在S560中，下载所选择的段。在一个示例中，渲染系统160基于所选择的段的URL地址从超文字传输协定伺服器140中下载所选择的段。随后，基于下载的段生成图像。
在S570中，当一个或者多个要求更新后，处理返回到S540，以基于更新后的要求确定段流；否则处理返回到S550，以从所确定的段流中选择段。在一个示例中，渲染系统160检测网络通信状态内的变化，并更新比特速率要求，这样，处理返回到S540。在另一示例中，渲染系统160检测感兴趣区域内的变化，并更新空间要求，这样处理返回到S540。在另一示例中，渲染系统160更新时间周期，并且处理返回到S540。
图6示出了描述根据本发明实施例的等角投影的绘图600。绘图600示出了具有球面610的球体611。球面610(例如，地球表面)使用偏航角(yaw)(例如经度方向)和俯仰角(pitch)(例如纬度方向)的球面坐标系统。在图6的示例中，球面610上的区域605的边界线是由偏航圈620(例如经度线)和俯仰圈630(例如纬度线)形成的。
进一步地，图6示出了从球面640到二维平面670的等角投影。在本示例中，球面640使用偏航和俯仰的球面坐标系统。在本示例中，使用偏航圈(例如，偏航圈651、偏航圈652)和俯仰圈(例如，俯仰圈661、俯仰圈662)来参考球面640。二维平面670使用XY坐标系统，并使用垂直线和水平线来参考。在图6的示例中，X轴对应于经度，Y轴对应于纬度。
等角投影以与将地球表面投影到地图的方式相似的方式将球面投影到二维平面。在投影过程中，偏航圈被转换成垂直线，俯仰圈被转换成水平线，偏航圈和俯仰圈在球面坐标系统中是正交的，并且，垂直线和水平线在XY坐标系统中是正交的。因此，球面被投影成二维平面670内的矩形。在一个示例中，矩形内的点具有位于[0,360]范围的偏航座标，以及位于[-90,90]范围的俯仰座标。
在图6的示例中，球面640上的感兴趣区域645被投影到二维平面670上的感兴趣区域675。在图6的示例中，球面640上的感兴趣区域645的边界线为偏航圈651-652和俯仰圈661-662。偏航圈651-652被投影到二维平面670，作为垂直线681-682，俯仰圈661-662被投影到二维平面670，作为水平线691-692。
图7示出了描述根据本发明实施例的多面体投影示例的绘图700。在图7的示例中，如图7所示，球面740被投影到立方体的面(例如，面1到面6)。这些立方体的面被排列在二维平面内，并且，在二维平面内添加虚拟面(例如，阴影面)。
图8示出了根据本发明实施例的在基于投影的空间关系描述中所使用的参数的表格800。表格800包括3列，为列810-列830。列810提供基于投影的空间关系描述中参数的名称，列820提供参数的类型，且列830提供参数的描述。
在图8的示例中，参数GEOMETRY_TYPE用作投影标识，以标识是否使用投影且使用哪种投影。例如，当参数GEOMETRY_TYPE的值为“0”时，不使用投影，且基于投影的空间关系描述以与传统的欧式几何(Euclidean geometry)空间关系描述的方式相同的方式被定义。在一个示例中，传统的欧式几何空间关系描述使用参数OBJECT_X、参数OBJECT_Y、参数OBJECT_WIDTH和参数OBJECT_HEIGHT来定义矩形区域。在本示例中，参数OBJECT_X和参数OBJECT_Y提供角点(corner point)的座标，例如，矩形区域的左上角。参数OBJECT_WIDTH提供矩形区域的宽度，以及参数OBJECT_HEIGHT提供矩形区域的高度。
此外，当参数GEOMETRY_TYPE的值为“1”时，使用等角投影，并且基于投影的空间关系描述使用球面几何坐标系统。在图8的示例中，当参数GEOMETRY_TYPE的值为“1”时，参数REGION_YAW_MIN、参数REGION_YAW_MAX、参数REGION_PITCH_MIN和参数REGION_PITCH_MAX用于定义矩形区域。参数REGION_YAW_MIN提供矩形区域的最小偏航值，参数REGION_YAW_MAX提供矩形区域的最大偏航值，参数REGION_PITCH_MIN提供矩形区域的最小俯仰值，以及REGION_PITCH_MAX提供矩形区域的最大俯仰值。应注意，其他参数集可以用于定义矩形区域。例如，通过角点的偏航值和俯仰值，在偏航的宽度，以及在俯仰的高度，矩形区域可以被定义。
在图8的示例中，当参数GEOMETRY_TYPE的值为“1”时，基于投影的空间关系描述可以包括多个可选的参数，例如参数TOTAL_YAW_MIN、参数TOTAL_YAW_MAX、参数TOTAL_PITCH_MIN和参数TOTAL_PITCH_MAX。例如，当全向图像小于360°时，参数TOTAL_YAW_MIN、参数TOTAL_YAW_MAX、参数TOTAL_PITCH_MIN和参数TOTAL_PITCH_MAX可以用于提供全向图像的尺寸。
此外，当参数GEOMETRY_TYPE的值为“2”时，使用多面体投影，并且基于投影的空间关系描述使用面索引(face index)系统。在图8的示例中，当参数GEOMETRY_TYPE的值为“2”时，参数REGION_FACE和参数TOTAL_FACE用于定义区域，其为多面体的面。参数TOTAL_FACE提供用于多面体的面数，参数REGION_FACE提供面的索引。
图9示出根据本发明实施例的在适应集层处使用基于投影的空间关系描述的媒体展现描述段930以提供空间信息的示例。
在图9的示例中，根据等角投影，球面910的视频内容被投影到二维平面920内的矩形。二维平面920内的矩形被划分成四个区域，区域1到区域4。媒体展现描述段930提供用于二维平面920内视频内容的描述，并使用基于投影的空间关系描述来提供空间信息。
媒体展现描述段930包括对应于多个区域的多个适应集，并且包括在适应集层处的基于投影的空间关系描述，以提供用于多个区域的空间信息。例如，基于投影的空间关系描述，在适应集层处的值931提供用于区域1的空间信息，在适应集层处的值934提供用于区域4的空间信息。
在一个示例中，处理电路170可以解析媒体展现描述段930，以提取用于区域1的值931。进一步，处理电路170可以解析值931以确定区域1的空间信息。例如，处理电路170确定参数SOURCE_ID的值为“0”，以及参数GEOMETRY_TYPE的值为“1”。这样，处理电路170确定使用等角投影，且使用球面几何坐标系统来定义区域1，例如，使用参数REGION_YAW_MIN、参数REGION_YAW_MAX、参数REGION_PITCH_MIN和参数REGION_PITCH_MAX。随后，根据值931，处理电路170确定参数REGION_YAW_MIN的值为“0”，参数REGION_YAW_MAX的值为“180”，参数REGION_PITCH_MIN的值为“0”，以及参数REGION_PITCH_MAX的值为“90”。
相似地，根据值934，处理电路170确定用于区域4的参数REGION_YAW_MIN的值为“180”，参数REGION_YAW_MAX的值为“360”，参数REGION_PITCH_MIN的值为“-90”，以及参数REGION_PITCH_MAX的值为“0”。
图10示出根据本发明实施例的在适应集层处使用基于投影的空间关系描述的媒体展现描述段1030以提供空间信息的示例1000。
在图10的示例中，球面的视频内容被投影到立方体的面1-面6。面1到面6被重新排列成二维平面1020。媒体展现描述段1030提供用于二维平面1020内视频内容的描述，并使用基于投影的空间关系描述来提供空间信息。
媒体展现描述段1030包括对应于多个区域的多个适应集，例如图10的示例中的多个面，并且包括在适应集层处的基于投影的空间关系描述，以提供用于多个区域的空间信息。例如，基于投影的空间关系描述，在适应集层处的值1031提供用于面1的空间信息，在适应集层处的值1036提供用于面6的空间信息。
在一个示例中，处理电路170可以解析媒体展现描述段1030，以提取用于面1的值1031。进一步，处理电路170可以解析值1031以确定用于面1的空间信息。例如，处理电路170确定参数SOURCE_ID的值为“0”，以及参数GEOMETRY_TYPE的值为“2”。这样，处理电路170确定使用多面体投影，且使用球面几何坐标系统来定义面1，例如，使用参数REGION_FACE和参数TOTAL_FACE。随后，根据值1031，处理电路170确定参数REGION_FACE的值为“1”，参数TOTAL_FACE的值为“6”，其表示立方体投影。
相似地，根据值1036，处理电路170确定用于面6的参数TOTAL_FACE的值为“6”。
图11示出根据本发明实施例的在适应集层处使用基于投影的空间关系描述的媒体展现描述段1140以提供空间信息的示例。
在图11的示例中，根据等角投影，球面的视频内容被投影到二维平面。二维平面内的视频内容被处理，例如，向下采样(down-sample)，以产生多个分辨率帧，例如480x270图元的第一矩形信息框(first rectangular frame)1110，960x540图元的第二矩形信息框1120和1920x1080图元的第三矩形信息框1130。在一个示例中，这些矩形信息框被分割成多个区域，以具有相同数量的图元。在图11的示例中，第一矩形信息框1110被分割成区域1，第二矩形信息框1120被分割成区域2-区域5，第三矩形信息框1130被分割成区域6-区域21。媒体展现描述段1140提供用于这些矩形信息框1110-矩形信息框1130内的视频内容的描述，并使用基于投影的空间关系描述来提供空间信息。
媒体展现描述段1140包括对应于多个区域的多个适应集，并且包括在适应集层处的基于投影的空间关系描述，以提供用于多个区域的空间信息。例如，基于基于投影的空间关系描述，在适应集层处的值1141提供用于区域1的空间信息，在适应集层处的值1142提供用于区域2的空间信息，在适应集层处的值1146提供用于区域6的空间信息，并且，在适应集层处的值1161提供用于区域21的空间信息。
在一个示例中，处理电路170可以解析媒体展现描述段1140，以提取用于区域1的值1141。进一步，处理电路170可以解析值1141以确定区域1的空间信息。例如，处理电路170确定参数SOURCE_ID的值为“0”，以及参数GEOMETRY_TYPE的值为“1”。这样，处理电路170确定使用等角投影，且使用球面几何坐标系统来定义区域1，例如，使用参数REGION_YAW_MIN、参数REGION_YAW_MAX、参数REGION_PITCH_MIN和参数REGION_PITCH_MAX。随后，根据值1141，处理电路170确定参数REGION_YAW_MIN的值为“0”，参数REGION_YAW_MAX的值为“360”，参数REGION_PITCH_MIN的值为“-90”，以及参数REGION_PITCH_MAX的值为“90”。
进一步地，处理电路170确定可选的参数TOTAL_YAW_MIN、参数TOTAL_YAW_MAX、参数TOTAL_PITCH_MIN和参数TOTAL_PITCH_MAX被用在值1141中。随后，根据值1141，处理电路170确定参数TOTAL_YAW_MIN的值为“0”，参数TOTAL_YAW_MAX的值为“360”，参数TOTAL_PITCH_MIN的值为“-90”，以及参数TOTAL_PITCH_MAX的值为“90”。
相似地，根据值1142，处理电路170确定用于区域2的参数REGION_YAW_MIN的值为“0”，参数REGION_YAW_MA的值为“180”，参数REGION_PITCH_MIN的值为“0”，参数REGION_PITCH_MAX的值为“90”，参数TOTAL_YAW_MIN的值为“0”，参数TOTAL_YAW_MAX的值为“360”，参数TOTAL_PITCH_MIN的值为“-90”，以及参数TOTAL_PITCH_MAX的值为“90”。
相似地，根据值1146，处理电路170确定用于区域6的参数REGION_YAW_MIN的值为“0”，参数REGION_YAW_MA的值为“90”，参数REGION_PITCH_MIN的值为“45”，参数REGION_PITCH_MAX的值为“90”，参数TOTAL_YAW_MIN的值为“0”，参数TOTAL_YAW_MAX的值为“360”，参数TOTAL_PITCH_MIN的值为“-90”，以及参数TOTAL_PITCH_MAX的值为“90”。
相似地，根据值1161，处理电路170确定用于区域21的参数REGION_YAW_MIN的值为“270”，参数REGION_YAW_MA的值为“360”，参数REGION_PITCH_MIN的值为“-90”，参数REGION_PITCH_MAX的值为“-45”，参数TOTAL_YAW_MIN的值为“0”，参数TOTAL_YAW_MAX的值为“360”，参数TOTAL_PITCH_MIN的值为“-90”，以及参数TOTAL_PITCH_MAX的值为“90”。
在一个示例中，处理电路170可以确定合适的段流，以基于媒体展现描述段中的基于投影的空间关系描述和其他信息进行请求以满足空间要求和其他要求。例如，处理电路170确定感兴趣区域(矩形信息框1110、矩形信息框1120和矩形信息框1130中的黑色矩形)。随后，根据分辨率要求，处理电路170可以选择区域1的段流，或者区域3的段流，或者区域8和区域12的段流。
图12示出根据本发明实施例的在展示层处使用基于投影的空间关系描述的媒体展现描述段1230以提供空间信息的示例。
在图12的示例中，根据等角投影，球面1210的视频内容被投影到二维平面1220内的矩形。二维平面1220内的矩形被划分成四个区域，区域1到区域4。媒体展现描述段1230提供用于二维平面1220内视频内容的描述，并使用基于投影的空间关系描述来提供空间信息。
媒体展现描述段1230包括用于视频内容的适应集。适应集包括多个表示。多个表示根据区域而被分组。例如，用于区域1的表示被分组在一起，用于区域4的表示被分组在一起。在图12的示例中，用于区域的表示是用于不同带宽的替代表示。用于区域的一组表示包括在展示层处的基于投影的空间关系描述，以提供用于多个区域的空间信息。例如，基于基于投影的空间关系描述，在展示层处的值1231提供用于区域1的空间信息，在展示层处的值1234提供用于区域4的空间信息。
在一个示例中，处理电路170可以解析媒体展现描述段1230，以提取用于位于展示层处的区域1的值1231。进一步，处理电路170可以解析值1231以确定区域1的表示集的空间信息。例如，处理电路170确定参数SOURCE_ID的值为“0”，以及参数GEOMETRY_TYPE的值为“1”。这样，处理电路170确定使用等角投影，且使用球面几何坐标系统来定义区域1，例如，使用参数REGION_YAW_MIN、参数REGION_YAW_MAX、参数REGION_PITCH_MIN和参数REGION_PITCH_MAX。随后，根据值1231，处理电路170确定参数REGION_YAW_MIN的值为“0”，参数REGION_YAW_MAX的值为“180”，参数REGION_PITCH_MIN的值为“0”，以及参数REGION_PITCH_MAX的值为“90”。
相似地，根据值1234，处理电路170确定用于区域4的参数REGION_YAW_MIN的值为“180”，参数REGION_YAW_MAX的值为“360”，参数REGION_PITCH_MIN的值为“-90”，以及参数REGION_PITCH_MAX的值为“0”。
应注意，媒体展现描述段1230可以被适当地修改，以提供用于位于展示层处的多面体投影示例的空间信息，并且可以被适当地修改以提供用于位于展示层处的多分辨率和多分割示例的空间信息。
图13示出根据本发明实施例的在展示层处使用基于投影的空间关系描述的媒体展现描述段1330以提供空间信息的示例。
在图13的示例中，根据等角投影，球面1310的视频内容被投影到二维平面1320内的矩形。二维平面1320内的矩形被划分成四个区域，区域1到区域4。媒体展现描述段1330提供用于二维平面1320内视频内容的描述，并使用基于投影的空间关系描述来提供空间信息。
媒体展现描述段1330包括用于视频内容的适应集。适应集包括视频内容的一个或者多个表示。一个表示包括对应于多个区域的多个子表示，对应于一个区域的一个子表示包括位于子展示层处的基于投影的空间关系描述，以提供用于区域的空间信息。例如，基于基于投影的空间关系描述，在子展示层处的值1331提供用于区域1的空间信息，在子展示层处的值1332提供用于区域2的空间信息，在子展示层处的值1333提供用于区域3的空间信息，以及在展示层处的值1334提供用于区域4的空间信息。
在一个示例中，处理电路170可以解析媒体展现描述段1330，以提取用于区域1的值1331。进一步，处理电路170可以解析值1331以确定区域1的表示集的空间信息。例如，处理电路170确定参数SOURCE_ID的值为“0”，以及参数GEOMETRY_TYPE的值为“1”。这样，处理电路170确定使用等角投影，且使用球面几何坐标系统来定义区域1，例如，使用参数REGION_YAW_MIN、参数REGION_YAW_MAX、参数REGION_PITCH_MIN和参数REGION_PITCH_MAX。随后，根据值1331，处理电路170确定参数REGION_YAW_MIN的值为“0”，参数REGION_YAW_MAX的值为“180”，参数REGION_PITCH_MIN的值为“0”，以及参数REGION_PITCH_MAX的值为“90”。
相似地，根据值1332，处理电路170确定用于区域2的参数REGION_YAW_MIN的值为“180”，参数REGION_YAW_MAX的值为“360”，参数REGION_PITCH_MIN的值为“0”，以及参数REGION_PITCH_MAX的值为“90”。
相似地，根据值1333，处理电路170确定用于区域3的参数REGION_YAW_MIN的值为“0”，参数REGION_YAW_MAX的值为“180”，参数REGION_PITCH_MIN的值为“-90”，以及参数REGION_PITCH_MAX的值为“0”。
相似地，根据值1334，处理电路170确定用于区域4的参数REGION_YAW_MIN的值为“180”，参数REGION_YAW_MAX的值为“360”，参数REGION_PITCH_MIN的值为“-90”，以及参数REGION_PITCH_MAX的值为“0”。
应注意，媒体展现描述段1330可以被适当地修改，以提供用于位于子展示层处的多面体投影示例的空间信息，并且可以被适当地修改以提供用于位于子展示层处的多分辨率和多分割示例的空间信息。
图14示出根据本发明实施例的具有区域依存信息的媒体展现描述段1400的示例。
媒体展现描述段1400与媒体展现描述段1230相似，其包括位于展示层处的基于投影的空间关系描述，以提供用于多个区域的空间信息。例如，如1410所示，区域2的表示“r2_1”依存于区域1的表示“r1_1”；如1420所示，区域2的表示“r2_3”依存于区域1的表示“r1_3”；如1430所示，区域4的表示“r4_1”依存于区域3的表示“r3_1”；如1440所示，区域4的表示“r4_3”依存于区域1的表示“r3_3”。
在一个示例中，区域2的视频内容与区域1的视频内容相似。处理电路120计算区域2到区域1的视频内容差值，并在用于区域2的段流中编码视频内容差值。例如，表示“r1_1”对应于区域1的视频内容的段流，表示“r2_1”对应于区域2到区域1的视频内容差值的段流。处理电路120包含媒体展现描述段1400中的区域依存信息。
在本示例中，处理电路170处理媒体展现描述段1400，提取区域依存信息，并且在视频渲染过程中使用区域依存信息。例如，当感兴趣区域位于区域2内时，由于表示“r2_1”到表示“r1_1”的依存关系，处理电路170可以选择对应于表示“r2_1”到表示“r1_1”的段流中的两个，并在这两个段流中请求段。随后，处理电路170可以基于区域1内的视频内容和区域2到区域1的视频内容差值对区域2内的视频内容进行渲染。
图15示出根据本发明实施例的具有带宽依存的媒体展现描述段1500的示例。
媒体展现描述段1500与媒体展现描述段1230相似，其包括位于展示层处的基于投影的空间关系描述，以提供用于多个区域的空间信息。进一步地，媒体展现描述段1500包括不同带宽下相同区域的多个表示之间的带宽依存信息。例如，表示“r1_1”和表示“r1_3”为不同带宽下相同区域的替代表示。如1510所示，表示“r1_3”依存于表示“r1_1”。相似地，如1520所示，区域2的表示“r2_3”依存于区域2的表示“r2_1”。如1530所示；区域3的表示“r3_3”依存于区域3的表示“r3_1”；如1540所示，区域4的表示“r4_3”依存于区域4的表示“r4_1”。
在图15的示例中，高带宽的表示依存于用于相同区域的低带宽的表示。在一个示例中，处理电路120计算用于相同区域的不同带宽的视频内容差值，并在用于高带宽的段流中编码视频内容差值。例如，表示“r1_1”对应于低带宽的区域1的视频内容的段流，表示“r1_3”对应于用于区域1的高带宽与低带宽之间的视频内容差值的段流。处理电路120包含媒体展现描述段1500中的表示“r1_3”到表示“r1_1”的依存信息。
在本示例中，处理电路170处理媒体展现描述段1400，提取依存信息，并且在视频渲染过程中使用依存信息。例如，感兴趣区域为区域1，开始时，处理电路170可以选择对应于表示“r1_1”的段流。当更高带宽可用时，在一个示例中，由于表示“r1_3”到表示“r1_1”的依存关系，处理电路170可选择对应于表示“r1_3”到表示“r1_1”的段流中的两个，并在这两个段流中请求段。随后，处理电路170可以基于低带宽的视频内容和高带宽与低带宽之间的视频内容差值渲染更高品质的视频内容。
图16示出根据本发明实施例的具有图像尺寸依存的媒体展现描述段1600的示例。
媒体展现描述段1600与媒体展现描述段1230相似，其包括位于展示层处的基于投影的空间关系描述，以提供用于多个区域的空间信息。进一步地，媒体展现描述段1600包括图像尺寸依存信息。例如，表示“r1_2”和表示“r1_1”为不同图像尺寸(例如宽度)下区域1的替代表示。如1610所示，表示“r1_2”依存于表示“r1_1”。相似地，如1620所示，区域2的表示“r2_2”依存于区域2的表示“r2_1”；如1630所示，区域3的表示“r3_2”依存于区域3的表示“r3_1”；如1640所示，区域4的表示“r4_2”依存于区域4的表示“r4_1”。
在图16的示例中，大图像尺寸的表示依存于用于相同区域的小图像尺寸的表示。在一个示例中，处理电路120计算用于相同区域的不同图像尺寸的视频内容差值，并在大图像尺寸的段流中编码视频内容差值。例如，表示“r1_1”对应于小图像尺寸的区域1的视频内容的段流，表示“r1_2”对应于用于区域1的大图像尺寸与小图像尺寸之间的视频内容差值的段流。处理电路120包含媒体展现描述段1600中的表示“r1_2”到表示“r1_1”的依存信息。
在本示例中，处理电路170处理媒体展现描述段1600，提取依存信息，并且在视频渲染过程中使用依存信息。例如，感兴趣区域为区域1，开始时，处理电路170可以选择对应于表示“r1_1”的段流。当需要大图像尺寸时，在一个示例中，由于表示“r1_2”到表示“r1_1”的依存关系，处理电路170可选择对应于表示“r1_2”到表示“r1_1”的段流中的两个，并在这两个段流中请求段。随后，处理电路170可以基于小图像尺寸的视频内容和大图像尺寸与小图像尺寸之间的视频内容差值渲染大图像尺寸的视频内容。
当在硬件中实施时，硬件可以包括一个或者多个离散元件、集成电路、特定应用的集成电路(application-specific integrated circuit，ASIC)等。
由于已经结合本发明的被提出用作示例的具体实施例描述了本发明的各个方面，可以做出这些示例的替代、修改和变形。因此，此处所说明的实施例用作示意目的，但不用于限制。在不脱离权利要求的范围的情况下，可以做出改变。

Claims (20)

1.一种装置，包括：
接口电路，用于接收媒体数据的媒体展现描述信息，其中，该媒体数据包括根据投影自球面的视频内容投影的二维平面上的视频内容，该平面上的视频内容包括在该二维平面上具有不同视频覆盖的多个段流，并且该媒体展现描述信息使用基于投影的空间关系描述以根据该投影该二维平面上的视频内容描述不同的视频覆盖；
处理电路，用于基于用于图像生成的感兴趣区域和该基于投影的空间关系描述确定一个或者多个段流，在该一个或者多个段流中选择多个段，并且使得该接口电路请求并接收选择的多个段；以及
显示装置，用于显示基于该选择的多个段而产生的多个图像。
2.根据权利要求1所述的装置，其特征在于，该处理电路用于自该基于投影的空间关系描述中解析出投影标识。
3.根据权利要求2所述的装置，其特征在于，该处理电路用于在该投影标识表示等角投影时，自该基于投影的空间关系描述中解析出球面坐标系统中的偏航座标和俯仰座标。
4.根据权利要求3所述的装置，其特征在于，该处理电路用于自该基于投影的空间关系描述中解析出偏航座标的最小值、偏航座标的最大值、俯仰座标的最小值和俯仰座标的最大值，其中该基于投影的空间关系描述中定义了该二维平面内的区域。
5.根据权利要求3所述的装置，其特征在于，该处理电路用于解析出定义了矩形区域的角点的偏航座标和俯仰座标，并自该基于投影的空间关系描述中解析出在偏航座标和俯仰座标上的该矩形区域的宽度和高度。
6.根据权利要求2所述的装置，其特征在于，该处理电路用于在该投影标识表示多面体投影时，自该基于投影的空间关系描述中解析出一个或者多个面索引。
7.根据权利要求2所述的装置，其特征在于，该处理电路用于在该投影标识表示没有投影时，自该基于投影的空间关系描述中解析出欧式坐标系统中的多个座标。
8.根据权利要求1所述的装置，其特征在于，该媒体展现描述信息使用在适应集层、展示层和子展示层中至少一个中的该基于投影的空间关系描述，以根据该投影描述该二维平面内不同的视频覆盖。
9.根据权利要求1所述的装置，其特征在于，该处理电路用于解析该媒体展现描述信息，以提取第一段流到第二段流的依存，在该第一段流和该第二段流中选择多个段，并且，使得该接口电路请求并接收该选择的多个段。
10.根据权利要求9所述的装置，其特征在于，该处理电路用于提取该第一段流到该第二段流的区域依存、带宽依存和图像尺寸依存中的至少一个。
11.一种图像渲染的方法，包括：
接收媒体数据的媒体展现描述信息，其中，该媒体数据包括根据投影自球面的视频内容投影的二维平面上的视频内容，该二维平面上的视频内容包括在该二维平面上具有不同视频覆盖的多个段流，并且该媒体展现描述信息使用基于投影的空间关系描述以根据该投影该二维平面上描述不同的视频覆盖；
基于用于图像生成的感兴趣区域和该基于投影的空间关系描述确定一个或者多个段流；
在该一个或者多个段流中选择多个段；
发送用于选择的多个段的请求；
接收该选择的多个段；以及
显示基于该选择的多个段而产生的多个图像。
12.根据权利要求11所述的图像渲染的方法，其特征在于，进一步包括：
解析该基于投影的空间关系描述，以提取投影标识。
13.根据权利要求12所述的图像渲染的方法，其特征在于，进一步包括：
在该投影标识表示等角投影时，自该基于投影的空间关系描述中解析出球面坐标系统中的偏航座标和俯仰座标。
14.根据权利要求13所述的图像渲染的方法，其特征在于，
在该投影标识表示等角投影时，自该基于投影的空间关系描述中解析出球面坐标系统中的偏航座标和俯仰座标，包括：
自该基于投影的空间关系描述中解析出偏航座标的最小值、偏航座标的最大值、俯仰座标的最小值和俯仰座标的最大值，其中该基于投影的空间关系描述中定义了该二维平面内的区域。
15.根据权利要求13所述的图像渲染的方法，其特征在于，
在该投影标识表示等角投影时，自该基于投影的空间关系描述中解析出球面坐标系统中的偏航座标和俯仰座标，包括：
自该基于投影的空间关系描述中解析出定义了矩形区域的角点的偏航座标和俯仰座标；以及
自该基于投影的空间关系描述中解析出在偏航座标和俯仰座标上的该矩形区域的宽度和高度。
16.根据权利要求12所述的图像渲染的方法，其特征在于，进一步包括：
在该投影标识表示多面体投影时，自该基于投影的空间关系描述中解析出一个或者多个面索引。
17.根据权利要求12所述的图像渲染的方法，其特征在于，进一步包括：
在该投影标识表示没有投影时，自该基于投影的空间关系描述中解析出欧式坐标系统中的多个座标。
18.根据权利要求11所述的图像渲染的方法，其特征在于，进一步包括：
解析该媒体展现描述信息，以提取第一段流到第二段流的依存；
在该第一段流和该第二段流中选择多个段；
发送用于该第一段流和该第二段流中的选择的多个段的请求；
接收该选择的多个段；以及
显示基于该第一段流和该第二段流中的该选择的多个段而产生的多个图像。
19.根据权利要求11所述的图像渲染的方法，其特征在于，该媒体展现描述信息使用在适应集层、展示层和子展示层中至少一个中的该基于投影的空间关系描述，以根据该投影描述该二维平面内不同的视频覆盖。
20.根据权利要求18所述的图像渲染的方法，其特征在于，
解析该媒体展现描述信息，以提取该第一段流到该第二段流的依存，包括：
提取该第一段流到该第二段流的区域依存、带宽依存和图像尺寸依存中的至少一个。
CN201780039497.XA 2016-07-29 2017-07-28 一种用于流视频内容的方法及装置 Active CN109328462B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662368205P 2016-07-29 2016-07-29
US62/368,205 2016-07-29
US15/660,710 US10313763B2 (en) 2016-07-29 2017-07-26 Method and apparatus for requesting and receiving selected segment streams based on projection information
US15/660,710 2017-07-26
PCT/CN2017/094913 WO2018019293A1 (en) 2016-07-29 2017-07-28 Method and apparatus for streaming video content

Publications (2)

Publication Number Publication Date
CN109328462A true CN109328462A (zh) 2019-02-12
CN109328462B CN109328462B (zh) 2021-05-04

Family

ID=61012391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780039497.XA Active CN109328462B (zh) 2016-07-29 2017-07-28 一种用于流视频内容的方法及装置

Country Status (4)

Country Link
US (1) US10313763B2 (zh)
CN (1) CN109328462B (zh)
TW (1) TWI644562B (zh)
WO (1) WO2018019293A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
EP3510744B1 (en) * 2016-09-09 2022-05-04 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
JP7271672B2 (ja) 2018-12-14 2023-05-11 中興通訊股▲ふん▼有限公司 没入型ビデオビットストリーム処理
KR102317938B1 (ko) * 2019-03-19 2021-10-27 한국전자기술연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
CN112150603B (zh) * 2019-06-28 2023-03-28 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102056015A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种全景虚拟现实漫游中的流媒体应用方法
US20130038632A1 (en) * 2011-08-12 2013-02-14 Marcus W. Dillavou System and method for image registration of multiple video streams
CN103503446A (zh) * 2012-03-01 2014-01-08 索尼公司 发送装置、发送方法以及接收装置
US20150026242A1 (en) * 2013-07-19 2015-01-22 Electronics And Telecommunications Research Institute Apparatus and method for providing content
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
WO2016002496A1 (ja) * 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置および方法
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US20170339469A1 (en) * 2016-05-23 2017-11-23 Arjun Trikannad Efficient distribution of real-time and live streaming 360 spherical video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102056015A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种全景虚拟现实漫游中的流媒体应用方法
US20130038632A1 (en) * 2011-08-12 2013-02-14 Marcus W. Dillavou System and method for image registration of multiple video streams
CN103503446A (zh) * 2012-03-01 2014-01-08 索尼公司 发送装置、发送方法以及接收装置
US20150026242A1 (en) * 2013-07-19 2015-01-22 Electronics And Telecommunications Research Institute Apparatus and method for providing content
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
WO2016002496A1 (ja) * 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置および方法
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEONG YONG LIM: "Tiled panoramic video transmission system based on MPEG-DASH", 《2015 INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY 》 *

Also Published As

Publication number Publication date
TW201811025A (zh) 2018-03-16
US10313763B2 (en) 2019-06-04
US20180035172A1 (en) 2018-02-01
CN109328462B (zh) 2021-05-04
WO2018019293A1 (en) 2018-02-01
TWI644562B (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN109328462A (zh) 一种用于流视频内容的方法及装置
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10650590B1 (en) Method and system for fully immersive virtual reality
US9947139B2 (en) Method and apparatus for providing hybrid reality environment
US11244584B2 (en) Image processing method and device for projecting image of virtual reality content
CN109565571B (zh) 标示关注区域的方法与装置
KR102261559B1 (ko) 정보 처리 방법 및 장치
EP3780595A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
CN110073662A (zh) 全景视频的建议视口指示
US20120120201A1 (en) Method of integrating ad hoc camera networks in interactive mesh systems
KR102278848B1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
US10547879B2 (en) Method and apparatus for streaming video content
EP3631602A1 (en) Methods and systems for customizing virtual reality data
US20190320156A1 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
US11055917B2 (en) Methods and systems for generating a customized view of a real-world scene
KR20190029505A (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
CN114189697B (zh) 一种视频数据处理方法、装置以及可读存储介质
US11348252B1 (en) Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
WO2018109265A1 (en) A method and technical equipment for encoding media content
CN113542721B (zh) 深度图处理方法、视频重建方法及相关装置
US20150375109A1 (en) Method of Integrating Ad Hoc Camera Networks in Interactive Mesh Systems
JP2023545139A (ja) ビュー依存ポイントクラウドレンディションを使用する技法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant