CN111295880A - 用于发送沉浸式媒体的方法和设备 - Google Patents

用于发送沉浸式媒体的方法和设备 Download PDF

Info

Publication number
CN111295880A
CN111295880A CN201880067795.4A CN201880067795A CN111295880A CN 111295880 A CN111295880 A CN 111295880A CN 201880067795 A CN201880067795 A CN 201880067795A CN 111295880 A CN111295880 A CN 111295880A
Authority
CN
China
Prior art keywords
soi
partial
description information
immersive media
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880067795.4A
Other languages
English (en)
Other versions
CN111295880B (zh
Inventor
金东妍
苏泳完
裵宰贤
梁贤九
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111295880A publication Critical patent/CN111295880A/zh
Application granted granted Critical
Publication of CN111295880B publication Critical patent/CN111295880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

提供了一种用于通过媒体发送设备支持沉浸式媒体服务的方法。该方法包括以下步骤:基于感兴趣空间描述信息确定多个感兴趣空间中的至少一个感兴趣空间；以及向媒体接收设备发送感兴趣空间描述信息中的、与所确定的感兴趣空间相对应的部分感兴趣空间描述信息，以及沉浸式媒体数据中的、与所确定的至少一个感兴趣空间相对应的部分沉浸式媒体数据，其中，该部分感兴趣空间描述信息包括至少一个感兴趣空间的标识信息、感兴趣对象的空间范围指示符、感兴趣对象的优先级指示符、以及感兴趣对象的对象向量中的至少一个。

Description

用于发送沉浸式媒体的方法和设备
技术领域
本公开涉及用于提供与用户的沉浸式媒体的预测的观看点(viewing point)和/或观看方向(viewing direction)相对应的感兴趣空间描述信息的方法和设备。
背景技术
媒体技术的发展趋势是向用户提供高质量的媒体。这样的示例可以是沉浸式媒体。
沉浸式媒体是指包括与三维(3D)空间中对象的移动相关的信息的多媒体。具体地，对于沉浸式媒体，在3D空间中表示的场景以多个二维(2D)图像的方式被捕获，并且两个图像被拼接(stitch)并投影到球体上。虚拟现实(Virtual reality，VR)媒体是沉浸式媒体的示例。
发明内容
【技术问题】
当正在观看沉浸式媒体的用户的观看点改变时，媒体接收装置可以不播放沉浸式媒体，直到接收到与改变的观看点相对应的数据。结果，流服务可能会降低质量并且体验延迟。
为此，当在流服务中提供沉浸式媒体时，可能需要一种无时间延迟地提供反映用户的观看点的数据的方法。例如，可能需要开发一种方法，该方法预测用户的观看点在给定的3D空间中将移动到的坐标，并基于预测的坐标预先提供数据，以便没有延迟地提供高质量沉浸式媒体。
本公开的一个实施例可以提供一种生成感兴趣空间中包括的元素以预测用户将采取的新的观看点的方法和装置。感兴趣空间中包括的元素意指配置感兴趣空间的信息。因此，用户设备可以基于感兴趣空间中包括的元素，根据沉浸式媒体中的场景和对象、网络环境、UE能力和用户的观看点，选择性地自适应地播放沉浸式媒体。
【技术方案】
根据本公开的各种实施例，一种由媒体发送装置支持沉浸式媒体服务的方法包括:基于感兴趣空间描述信息确定多个感兴趣空间中的至少一个感兴趣空间；以及向媒体接收装置发送来自感兴趣空间描述信息的、与所确定感兴趣空间相对应的部分感兴趣空间描述信息，以及来自沉浸式媒体数据的、与所确定感兴趣空间相对应的部分沉浸式媒体数据。其中，部分感兴趣空间描述信息包括至少一个感兴趣空间的标识信息、感兴趣对象的空间范围指示符、感兴趣对象的优先级指示符、或者感兴趣对象的对象向量中的至少一个。
根据本公开的各种实施例，一种通过媒体接收装置支持沉浸式媒体服务的方法包括：接收部分感兴趣空间描述信息和部分沉浸式媒体数据；以及基于部分感兴趣空间描述信息和部分沉浸式媒体数据播放沉浸式媒体。
根据本公开的各种实施例，一种媒体发送装置包括：收发器和耦合到收发器的处理器。处理器被配置为：基于感兴趣空间描述信息确定多个感兴趣空间中的至少一个感兴趣空间；以及向媒体接收装置发送来自感兴趣空间描述信息的、与所确定感兴趣空间相对应的部分感兴趣空间描述信息，以及来自沉浸式媒体数据的、与所确定感兴趣空间相对应的部分沉浸式媒体数据。其中，部分感兴趣空间描述信息包括至少一个感兴趣空间的标识信息、感兴趣对象的空间范围指示符、感兴趣对象的优先级指示符、或者感兴趣对象的对象向量中的至少一个。
根据本公开的各种实施例，一种媒体接收装置包括：收发器和耦合到收发器的处理器。处理器被配置为：接收部分感兴趣空间描述信息和部分沉浸式媒体数据；以及基于部分感兴趣空间描述信息和部分沉浸式媒体数据播放沉浸式媒体。
实施例的其他细节被包括在详细描述和附图中。
【有益效果】
根据本公开的各种实施例，向媒体接收装置提供感兴趣空间描述信息可以使得根据用户的观看点和/或观看方向选择性和自适应地提供沉浸式媒体服务，并且减轻对沉浸式媒体数据的数据大小施加的约束。
附图说明
图1是示出根据本公开中提出的各种实施例的示例性的3自由度(degrees offreedom，3DoF)沉浸式媒体和6DoF沉浸式媒体的图。
图2是示出根据本公开中提出的各种实施例的其中改变观看沉浸式媒体的用户的观看点的示例的图。
图3是示出根据本公开中提出的各种实施例的示例性的感兴趣空间和示例性的感兴趣对象的图。
图4是示出根据本公开中提出的各种实施例的示例性的感兴趣对象的对象向量(object vector，OV)的图。
图5是示出根据本公开中提出的各种实施例的示例性的感兴趣对象的内部向量(internal vector，IV)的图。
图6是示出根据本公开中提出的各种实施例的示例性的感兴趣对象的外部向量(external vector，EV)的图。
图7是示出根据本公开中提出的各种实施例的预测用户关于沉浸式媒体的观看方向和/或观看点的示例的图。
图8是示出根据本公开中提出的各种实施例的预测用户关于沉浸式媒体的观看方向的另一示例的图。
图9是示出根据本公开中提出的各种实施例的当沉浸式媒体通过MPEG媒体传输(MPEG media transport，MMT)协议发送时，感兴趣空间描述符的图。
图10是示出根据本公开中提出的各种实施例的用于预测用户关于沉浸式媒体的观看方向的控制流程的图。
图11是示出根据本公开中提出的各种实施例的用于回放沉浸式媒体的控制流程的图。
图12是根据本公开中提出的各种实施例的媒体发送装置的框图。
图13是根据本公开中提出的各种实施例的媒体接收装置的框图。
具体实施方式
参考附图描述了本公开的各种实施例。然而，这里使用的实施例和术语并不旨在限制本公开的技术范围，并且应当理解，本公开覆盖各种修改、等同物和/或替代物。关于附图的描述，相似的附图标记可以用于指代相似的元素。
在本公开中，术语“具有”、“可以具有”、“包括”或“可以包括”表示相应的特征(例如，数量、功能、操作或部件如部分)的存在，不排除一个或多个其他特征的存在。
在本公开中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”可以覆盖列举的项目的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以表示以下所有情况:(1)包含至少一个A，(2)包含至少一个B，和(3)包含至少一个A和至少一个B。
本公开中使用的术语“第一”、“第二”、“第一个”或“第二个”可以用于各种组件的名称，而不考虑顺序和/或重要性，不限制组件。这些表述用于区分一个组件和另一个组件。例如，第一用户设备(user equipment，UE)和第二UE可以指示不同的UE，而不管顺序或重要性。例如，在不脱离本公开的范围的情况下，第一组件可以被称为第二组件，反之亦然。
当说组件(例如，第一组件)与另一组件(例如，第二组件)“可操作地或可通信地耦合”/组件(例如，第一组件)“可操作地或可通信地耦合到”另一组件(例如，第二组件)，或者组件(例如，第一组件)“连接到”另一组件(例如，第二组件)时，应当理解，一个组件直接地或通过任何其他组件(例如，第三组件)连接到另一组件。另一方面，当说一个组件(例如，第一组件)“直接地连接到”或“直接地耦合到”另一个组件(例如，第二组件)时，可以理解在组件之间没有其他组件(例如，第三组件)。
这里使用的术语“被配置为”在特定情况下可以用例如术语“适合于”、“有能力”、“设计成”、“适应于”、“制造成”或“能够”替换。术语“被配置为”不一定意指硬件中的“专门被设计(或被配置)为”。相反，术语“被配置为…的设备”可以意指设备可能“能够”与另一个设备或部件一起。例如，“被设计(或被配置)为执行A、B和C的处理器”可能意指用于执行相应操作的专用处理器(例如，嵌入式处理器)或用于执行操作的通用处理器(例如，中央处理单元(central processing unit，CPU)或应用处理器)。
本公开中使用的术语仅用于描述特定实施例，并不旨在限制其他实施例的范围。应当理解，单数形式包括复数形式，除非上下文另外明确规定。本公开中使用的包括技术或科学术语的术语可以具有与本领域技术人员通常理解的相同的含义。字典中通常定义的术语可以被解释为具有与相关技术的上下文含义相同或相似的含义。除非另外定义，否则这些术语不应被解释为理想的或过于正式的含义。当需要时，即使在本公开中定义的术语也不能被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括例如智能手机、平板个人计算机(personal computer，PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(personal digital assistant，PDA)、便携式多媒体播放器(portable multimedia player，PMP)、MP3播放器、移动医疗设备、相机或可佩戴设备中的至少一个。根据本公开的各种实施例，可穿戴设备可以包括附件类型(例如，手表、戒指、手镯、踝镯、项链、眼镜、隐形眼镜或头戴式设备(head-mounted device，HMD))、织物或衣服类型(例如，电子衣服)、身体附着类型(例如，皮肤垫或纹身)或可植入类型(例如，可植入电路)中的至少一个。
根据本公开的一些实施例，电子设备可以是家用电器。家用电器可以包括例如电视、数字多功能盘(digital versatile disk，DVD)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，三星HomeSyncTM、苹果TVTM或谷歌TVTM)、游戏控制台(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、便携式摄像机或电子相框中的至少一个。
根据本公开的其他实施例，电子设备可以包括以下中的至少一个：医疗设备(例如，便携式医疗仪(血糖仪、心率仪、血压计、体温仪等)、磁共振血管造影(magneticresonance angiography，MRA)设备、磁共振成像(magnetic resonance imaging，MRI)设备、计算机断层摄影(computed tomography，CT)设备、成像设备、超声波设备等)、导航设备、全球导航卫星系统(global navigation satellite system，GNSS)、事件数据记录器(event data recorder，EDR)、飞行数据记录器(flight data recorder，FDR)、汽车信息娱乐设备、海军电子设备(例如，海军导航设备、陀螺罗盘等)、航空电子设备、安全设备、车载头部单元、工业或消费类机器人、金融设施中的自动柜员机(automatic teller machine，ATM)、商店中的销售点(point of sales，POS)设备或物联网设备(例如，电灯泡、各种传感器、电表或煤气表、自动喷水器，火警、恒温器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)。
根据本公开的一些实施例，电子设备可以包括家具、建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，水、电、气体或电磁波测量设备)中的至少一个。根据各种实施例，电子设备可以是前述设备中的一个或者是前述设备中两个或多个的组合。根据一些实施例，电子设备可以是柔性电子设备。此外，根据本公开实施例的电子设备不限于前述设备，而是覆盖随着技术发展而产生的新的电子设备。
参考附图，下面将描述根据各种实施例的电子设备。在本公开中，术语用户可以指使用电子设备的人或设备(例如，人工智能电子设备)。
图1是示出根据本公开中提出的各种实施例的示例性的3自由度(3DoF)沉浸式媒体和6DoF沉浸式媒体的图。
DoF指示沉浸式媒体可以在三维(3D)空间中表现的真实程度，即用户可以在3D坐标上移动的自由度。
参考图1(a)，示出了3DoF沉浸式媒体。对于3DoF沉浸式媒体，用户100可以相对于在x、y、z坐标系中的三个轴(x轴(滚动(roll))、y轴(俯仰(Pitch))和z轴(偏航(yaw)))旋转观看点。
因为只允许在轴上旋转，3DoF沉浸式媒体的场景可以仅在球形结构的表面上呈现。因此，佩戴设备的用户100在没有任何空间移动的情况下可以在3D球体内的固定位置处仅观看相邻的观看点。该设备可以是虚拟现实(VR)设备或HMD。
参照图1(b)，示出了6DoF沉浸式媒体。对于6DoF沉浸式媒体，用户100可以相对于在x、y、z坐标系中的三个轴(x轴(滚动)、y轴(俯仰)和z轴(偏航))旋转观看点。此外，用户100可以相对于x轴(波动(Surge))、y轴(摇摆(Sway))和z轴(起伏(Heave))移动观看点。也就是说，6DoF沉浸式媒体允许用户在x轴上前后移动观看点，在y轴上左右移动移动观看点，在z轴上上下移动移动观看点。
这里，观看点是指用户位置。
因为沿着轴移动以及在轴上旋转是可能的，6DoF沉浸式媒体的场景可以在球形结构的表面上表示并且基于内部坐标表示。因此，用户可以在球体内的各个位置处观看相邻的观看点，并且可以在用户的位置处从不同角度观看对象。也就是说，对于6DoF沉浸式媒体，用户100可以移动到3D球体内的任何坐标，并在任何坐标处沿所有360度方向观看沉浸式媒体。
尽管在6DoF沉浸式媒体的上下文中给出了本公开的实施例的以下描述，但是同样的事情可以应用于3DoF沉浸式媒体。
图2是示出根据本公开中提出的各种实施例的其中改变观看沉浸式媒体的用户的观看点的示例的图。
参考图2，用户可以从第一观看点210改变到第二观看点220。第二观看点220处的场景可能不会被回放，直到用户设备接收到与第二观看点220处的观看方向相对应的沉浸式媒体数据。观看方向是指用户正在观看的方向。
因此，本公开提出了一种用于预测用户将采取的新的观看点和/或观看方向并且提供与预测的用户的观看点和/或观看方向相对应的感兴趣空间描述信息的方法和装置。
为了根据改变的用户的观看点和/或观看方向选择性地处理沉浸式媒体数据，应该指定全部或部分沉浸式媒体数据。在沉浸式媒体中选择性地处理数据的空间称为感兴趣空间(space of interest，SOI)。多个SOI可以存在于一个沉浸式媒体中。此外，SOI可以在概念上覆盖二维(2D)视频数据中的感兴趣区域(region of interest，ROI)。
一个SOI包括至少一个感兴趣的对象(object of interest，OOI)。此外，可以基于SOI描述信息来确定一个SOI。
SOI描述信息可以包括以下中的至少一个元素：对象优先级、对象速度、对象向量(OV)、对象事件、对象角色、对象依赖性、内部向量(IV)、关系事件、关系角色、或者外部向量(EV)。
对象优先级表示包含在一个SOI中的OOI之间的优先级。
对象速度是OOI移动的瞬时速度。
OV指定特定时间范围内OOI移动的方向。一旦知道OOI在特定时间或时间范围内的OV，就可以预测OOI的移动。
对象事件是指根据特定时间范围内内容的上下文、所呈现的场景的内容或者用户之间的交互而可能发生的事件。OOI的属性可能会根据所生成的事件的类型和内容而变化。
对象角色意指根据沉浸式媒体中内容的上下文或所呈现的场景的内容来描述OOI所表示的内容的文本表示。对象关系之间的优先级可以根据对象角色而改变。
对象依赖性表示OOI之间的依赖性。对象依赖性可以指示OOI之间的等同、依赖或任何其他关系。
IV表示在SOI内在特定的时间范围内OOI的移动之间的关系。一旦知道在特定时间或时间范围内的OOI之间的IV，就可以预测OOI之间的共同移动区域。
关系事件是指根据沉浸式媒体中特定时间范围内的内容的上下文、所呈现的场景的内容或者用户之间的交互而发生的事件。OOI之间关系的特征可能会根据所生成的事件的类型和内容而变化。
关系角色意指根据沉浸式媒体中内容的上下文或所呈现的场景的内容来描述关系所表示的内容的文本表示。
EV表示特定时间范围内SOI的特征方向。EV覆盖了在媒体接收装置中回放传统的基于2D视频的VR媒体、全向媒体或其他沉浸式媒体时三维地扩展正面、默认视口等的概念。也就是说，当用户观看SOI内部或外部沉浸式媒体时，可以基于SOI的EV来确定观看点和/或观看方向。媒体接收装置可以是HMD。
SOI的EV可以不同于在沉浸式媒体的总空间中的不感兴趣空间的EV。
将在以下实施例中描述SOI描述信息的每个元素。虽然在向媒体接收装置提供具有篮球比赛的内容的沉浸式媒体的配置的上下文中描述了实施例，但是这不应被解释为限制。此外，尽管在以下实施例中公开的沉浸式媒体被给出为6DoF多媒体，但是它们也可以是3DoF多媒体。
图3是示出根据本公开中提出的各种实施例的示例性的SOI和示例性的OOI的图。
为了以使用户感觉在真实的篮球场地观看篮球比赛的方式提供篮球比赛的沉浸式媒体，媒体发送装置可以将沉浸式媒体中包括的整个空间设置为篮球场地。媒体发送装置可以是服务器。
参考图3，媒体发送装置可以将与篮球场地相对应的总空间310中的篮球框、球、运动员等的有限空间设置为SOI 320。在这种情况下，观众座位或者除了篮球场地之外的空间可以在SOI 320之外。存在于SOI 320内部的对象，例如，篮球框331、篮球332和投出篮球的最后一个运动员333，可以是OOI。
图4是示出根据本公开中提出的各种实施例的示例性的OOI的OV的图。
可在OOI之间确定OV。OV可以表示为指示3D空间中的3D方向的形式(form)，例如，(x，y，z)向量。当要表示与OOI的移动相对应的速度以及OOI的方向时，x、y、z的绝对值可以表示为等于或大于1的数字。
参考图4，OV表示OOI 410、420和430的方向和速度。例如，作为固定在一个位置的篮球框的OOI 410、作为投球并朝向篮球框跑去的最后一个运动员的OOI 420、以及作为运动员投的球的OOI 430的OV可以表示为向量。媒体发送装置可以基于OV预测在特定时间范围内与篮球框410、篮球运动员420和球430的移动相对应的轨迹，或者表示该轨迹。媒体发送装置可以基于OOI 410、420和430的OV来预测或确定用户将观看沉浸式媒体的坐标和/或方向。
图5是示出根据本公开中提出的各种实施例的示例性的OOI的IV的图。
参考图5，可以在与篮球框510、篮球运动员520和球530相对应的OOI之间设置IV。在沉浸式媒体中，可以呈现篮球运动员520投球530，同时朝向篮球框510的位置跑去的场景。此时，篮球运动员520的IV被设置为朝向篮球框510和球530的方向，并且球530的IV被设置为朝向篮球框510的方向。媒体发送装置可以通过IV表示或预测在特定时间范围内与篮球框510、篮球运动员520和球530的移动相对应的轨迹。
例如，当用户将观看点和/或观看方向移动到篮球运动员520的视线(gaze)时，用户可以在相对于篮球运动员520的360度方向中的、在空中飞行的球530的方向上观看。飞行的球530的方向可以是用户的感兴趣方向。飞行的球530的方向可以从球530和篮球运动员520之间的IV来确定。媒体发送装置可以选择性地和/或优先地发送来自与相对于篮球运动员520的360度方向相对应的沉浸式媒体数据中的与感兴趣方向相对应的沉浸式媒体数据。
图6是示出根据本公开的各种实施例的示例性的OOI的EV的图。
参考图6，可以在SOI 640中设置EV。EV是指在特定时间范围内的SOI640的特征方向。当用户基于EV体验与SOI 640相对应的沉浸式媒体时，媒体发送装置可以设置参考方向。
例如，当用户以各种方向观看沉浸式媒体并且想要在沉浸式媒体中在产生主要内容的观看点和方向再次观看时，可以使用EV。主要内容可以是篮球运动员620将球630投向篮球框610的情况。
图7是示出根据本公开中提出的各种实施例的预测用户关于沉浸式媒体的观看方向和/或观看点的示例的图。
SOI描述信息的元素可以是用于确定要发送沉浸式媒体数据的哪个数据的标准。具体地，当根据网络环境的状态和用户当前在总空间中观看的空间的范围来确定选择性地和自适应地发送哪些数据时，媒体发送装置考虑SOI描述信息的元素。
例如，当用户在SOI内的特定观看点观看沉浸式媒体时，用户可能优先地观看针对OOI的沉浸式媒体。也就是说，沉浸式媒体的场景很可能会基于OOI之间的IV进行旋转、放大和缩小。
参照图7，当正在播放其中运动员710正在投球730，同时跑向篮球框720的场景时，用户很可能从运动员710的观看点观看球730的方向，以生动地体验篮球比赛。
此外，用户很可能基于作为OOI的运动员710、篮球框720和球730的方向性来看OOI710、720和730。
图8是示出根据本公开中提出的各种实施例的预测用户关于沉浸式媒体的观看方向的另一示例的图。
与其中用户从运动员810的观看点观看运动员810的周围环境的前述实施例相比，用户可以从运动员810周围的位置以各种角度观察运动员810。在这种情况下，当可以确定在与360度相对应的运动员的外貌当中的用户可能主要感兴趣的范围时，只有与所确定的范围相对应的沉浸式媒体数据可以被发送到媒体接收装置，从而提高发送效率。
媒体发送装置可以基于OV确定用户感兴趣范围。
由于运动员810正跑向篮球框，用户很可能将沉浸式媒体的场景从当前播放的角度旋转到允许用户看到运动员810的角度，以便观看运动员810的面部而不是运动员810的背部。
此外，如上所述，媒体发送装置可以确定每个OOI的特征和OOI之间的关系的特征以及每个OOI的OV或者OOI之间的OV，以便确定用户想要在哪个方向上旋转以及观看针对哪个OOI的沉浸式媒体的场景。
例如，媒体发送装置可以将篮球运动员设置为最高优先级的OOI，将球柱或者球设置为较低优先级的OOI。在这种情况下，可以确定SOI中三个OOI之间关系的优先级。媒体发送装置还可以在特定事件发生时有条件地改变OOI之间关系的优先级。
例如，媒体发送装置可以根据OOI的移动速度来改变OOI关系的优先级。如果运动员以特定速度或高于特定速度奔跑，则媒体发送装置可以将运动员和篮球之间的关系的优先级提高到高于运动员和球柱之间的关系的优先级。
在另一示例中，在来自行驶在长道路上的汽车中的驾驶员的观看点的SOI的情况下，当行驶速度高时，媒体发送装置可以增加与道路相关联的对象关系的优先级，而当汽车静止时，可以增加与周围环境相关联的对象关系的优先级。
因此，在发送沉浸式媒体数据的过程中，媒体发送装置可以首先发送与SOI相对应的沉浸式媒体数据，而不是与总空间相对应的所有沉浸式媒体数据。
此外，媒体发送装置可以考虑OOI及其移动的特征、场景内内容的上下文特征、OV、以及OOI之间(甚至SOI中的)的IV，来首先发送特定沉浸式媒体数据。
例如，当用户在总空间内的SOI外部的特定观看点和/或观看方向观看沉浸式媒体时，用户很可能首先观看与相对于SOI的EV的一个空间相对应的沉浸式媒体的场景。
在篮球比赛的沉浸式媒体中，取决于篮球比赛的时间范围，可能存在其中比赛在靠近A队的篮球框附近进行的情况，以及其中比赛在靠近B队的篮球框附近进行的情况。当比赛在靠近A队的篮球框附近进行时，媒体发送装置可以将从B队的篮球框朝向A队的篮球框的方向确定为SOI的EV，并且当比赛在靠近B队的篮球框附近进行时，将从A队的篮球框朝向B队的篮球框的方向确定为SOI的EV。
因此，在沉浸式媒体数据的发送期间，媒体发送装置可以基于SOI的EV来确定要发送的沉浸式媒体数据的范围。
根据上述实施例，媒体发送装置基于SOI、SOI中的OOI和OV，选择性地发送沉浸式媒体数据的一部分或者与所选择的空间相对应的沉浸式媒体数据的一部分。
除了基于SOI描述信息选择性地将沉浸式媒体数据发送到媒体接收装置之外，媒体发送装置可以自适应地将沉浸式媒体数据发送到媒体接收装置。
沉浸式媒体数据的自适应发送是基于网络的状态，这指的是发送环境，作为发送设备的媒体发送装置的能力和作为接收设备的媒体接收装置的能力的发送。基于发送环境自适应地发送的沉浸式媒体数据可以包括与用户体验的视频质量相关的元素，诸如沉浸式媒体的分辨率、比特率、帧速率、高动态范围(high dynamic range，HDR)应用或非应用、媒体格式(例如，全向媒体格式(omnidirectional media format，OMAF)格式、点云压缩格式等)、或者编码格式。
例如，媒体发送装置可以以高质量(例如，超高清晰度(ultrahigh definition，UHD))发送总空间之外的SOI，并且以普通质量(例如，高清晰度(high definition，HD))发送不对应于SOI的剩余空间。此外，可以以基于点云压缩的3D数据来发送SOI，点云压缩是高容量、高质量的6DoF多媒体格式，而剩余空间可以以基于OMAF文件格式的2D球体数据来发送，OMAF文件格式是3DoF多媒体格式。
此外，媒体发送装置可以从媒体接收装置接收沉浸式媒体的当前观看信息，根据当前观看信息确定与基于SOI描述信息预测的用户沉浸式媒体观看方向和/或观看点相对应的SOI，并且将与确定的SOI相对应的SOI描述信息和与确定的SOI相对应的沉浸式媒体数据发送到媒体接收装置。
图9是示出根据本公开中提出的各种实施例的当沉浸式媒体通过MPEG媒体传输(MMT)协议发送时，SOI描述符的图。
参考图9，当媒体发送装置通过MMT协议发送沉浸式媒体数据时，SOI描述符是描述在预定时间范围内的SOI的MMT信令信息。SOI描述符允许媒体发送装置基于媒体发送装置和媒体接收装置的选择或者发送网络的状态，选择性地和自适应地发送全部或部分沉浸式媒体。
SOI描述符可以定义在由沉浸式媒体表示的总空间中的在预定时间范围内的SOI，并且定义在SOI中包含的OOI。每一个OOI在特定点可以具有其自己的OV，并且可以有OOI之间的IV。在应用SOI描述符的总时间范围内，关于所有OV的信息每次都可能改变。
SOI描述符还可以定义OOI以及OOI之间的关系速度、关系角色、关系优先级、关系依赖性和关系事件。
SOI描述符的每个元素具有以下含义。
SOI_id:标识在沉浸式媒体的总空间中存在的一个或多个SOI中的、由SOI描述符描述的SOI的ID。
SOI_start_time:应用由SOI描述符所描述的内容的时间范围的开始时间。开始时间可以用绝对时间表示，或者可以在整个多媒体播放时间范围内相对地表示。绝对时间可以表示为基于网络时间协议(network time protocol，NTP)或协调通用时间(universaltime coordinated，UTC)的时间戳。
SOI_duration:这指示从由SOI_start_time所指示的开始时间开始的时间段，在此期间将应用由SOI描述符所描述的内容。
SOI_space_structure:这指示在沉浸式媒体的总空间中应用由SOI描述符描述的内容的空间范围。空间范围可以表示为通过使用预定坐标系中的坐标的SOI的边界点、边界平面等。SOI可以由一个或多个球体和平面来定义。例如，可以定义位于距特定坐标相同距离处的点的集合对应于球体，并且球体被定义为边界表面，使得由SOI描述符描述的内容被应用于与边界表面内存在的所有坐标相对应的媒体数据，以及与媒体相关的所有数据。
SOI_ext_vector:这意指ROI中的SOI的EV。这是SOI在由ext_vector_timestamp指示的特定时间戳处具有的特征方向。EV是用于确定用户消费(consume)与SOI相对应的沉浸式媒体的参考方向的基础。SOI的EV可以不同于与沉浸式媒体的总空间的一部分相对应的空间的EV，该空间不是SOI。它可以由ext_vector_x、ext_vector_y和ext_vector_z表示为(x，y，z)坐标。可替代地，也可以使用ext_vector_extension中定义的格式。
num_of_objects:这指定了SOI中包含的OOI的数量。
object_id:将SOI中的一个或多个OOI彼此区分的ID。
object_space_structure:这指示OOI的空间范围。类似于SOI_space_structure，它可以通过使用预定坐标系中的坐标值的点、表面等来表示。
Object_priority:SOI中的OOI之间的优先级。可以结合对SOI中其他OOI的依赖性(object_dependency)和OOI的对象角色(object_role)来考虑优先级。
Object_speed:OOI的瞬时速度。如果OOI与多个相关的OOI(related_obj_id)相关联，则可以结合object_priority、object_dependency、object_event、object_role、relation_event和relation_role来确定每个关系的重要性。
object_vector:这意指OOI的OV。它是OOI在由object_vector_timestamp指示的特定时间戳处移动的方向。它有助于预测OOI在由object_vector_timestamp指示的时间前后的移动。通过使用object_vector_x、object_vector_y和object_vector_z，可以将OV表示为(x，y，z)坐标。可替代地，可以遵循由object_vector_extension定义的格式。
object_event:当OOI的属性可能根据发生的事件而改变时，这指示OOI的属性和事件。
object_role:OOI的角色。例如，这是当前媒体中场景的文本表示，诸如，人、对象、主要角色、辅助表演者、道具、球等。
Num_of_related_objs:这指定了与OOI具有方向关系的OOI的数量。
related_obj_id：这指示与OOI具有方向关系的OOI的object_id。
object_dependency:这描述了由object_id指示的OOI和由related_obj_id指示的相关的OOI之间的依赖性。例如，它可以表示为相等的关系，或者由related_obj_id指示的OOI是对应于主从(master-slave)关系中的主还是从。
internal_vector:这指示OOI和相关的OOI的移动之间的关系。在由int_vector_timestamp指示的时间戳处，OOI之间的IV有助于预测从一个OOI到另一个OOI的移动，或者预测OOI之间的共同移动的区域。它可以使用int_vector_x、int_vector_y和int_vector_z表示为(x，y，z)坐标。可替代地，也可以遵循由int_vector_extension定义的格式。
relation_event:当沉浸式媒体内容的属性可能根据发生的事件而改变时，这描述了事件和属性。
relation_role:这描述了关系的角色。例如，它是描述当前媒体(诸如，驾驶、运动和风景)中场景的文本表示。
图10是示出根据本公开中提出的各种实施例的用于预测用户关于沉浸式媒体的观看方向的控制流程的图。
参考图10，在操作1010，媒体发送装置可以从捕获设备接收沉浸式媒体的视频。沉浸式媒体的视频可以是压缩视频数据。
在操作1020中，媒体发送装置可以基于沉浸式媒体的视频生成沉浸式媒体数据。当生成沉浸式媒体数据时，媒体发送装置可以使用诸如视频拼接、3D建模等的多媒体生成工具。
在操作1030中，媒体发送装置可以基于生成的沉浸式媒体数据生成多个SOI和用于多个SOI的SOI描述信息。媒体发送装置可以使用对象识别工具、行为识别工具和相机特征相关的因素来生成SOI描述信息，例如OOI、OV、IV和EV。之前已经参照图3至图8描述了SOI和SOI中包括的元素。
在操作1040中，媒体发送装置可以确定与用户对沉浸式媒体的观看方向和/或观看点相对应的SOI，该SOI是基于SOI描述信息预测的。
在操作1050，媒体发送装置可以向媒体接收装置发送与确定的SOI相对应的SOI描述信息和与确定的SOI相对应的沉浸式媒体数据。媒体发送装置可以以与媒体接收装置预先确定的发送协议的格式处理沉浸式媒体数据和SOI描述信息，并且然后将处理的沉浸式媒体数据发送到媒体接收装置。例如，当预定发送协议是多媒体复用传输协议(multimediamultiplexing transport protocol，MMTP)时，媒体发送装置可以将沉浸式媒体数据配置为媒体处理单元(media processing unit，MPU)数据，并且然后在MMTP中将MPU发送到媒体接收装置。此外，媒体发送装置可以将SOI描述信息配置为MMT信令，并且然后在MMTP分组中将MMT信令发送到媒体接收装置。已经参照图8详细描述了操作1050。
虽然上面已经描述了通过媒体发送装置发送与确定的SOI相对应的SOI描述信息和沉浸式媒体数据的实施例，但是媒体发送装置可以发送与多个SOI相对应的SOI描述信息和总沉浸式媒体数据。
图11是示出根据本公开中提出的各种实施例的用于回放沉浸式媒体的控制流程的图。
参考图11，在操作1110，媒体接收装置可以从媒体发送装置接收与预测的用户对沉浸式媒体的观看方向和/或观看点相对应的用于SOI的SOI描述信息和与SOI相对应的沉浸式媒体数据。
在操作1120中，媒体接收装置可以基于SOI描述信息和沉浸式媒体数据来播放沉浸式媒体。媒体接收装置可以根据用户已经移动的SOI和/或观看方向和/或观看点来播放沉浸式媒体。例如，当沉浸式媒体的内容是篮球比赛时，媒体接收装置可以播放沉浸式媒体，使得用户可以从观众或运动员的角度观看篮球比赛。
此外，媒体接收装置可以向媒体发送设备发送用户交互信息、关于媒体接收装置的环境的信息或者关于网络环境的信息中的至少一个。例如，媒体接收装置可以发送关于用户的观看方向、头部跟踪、眼睛跟踪、媒体接收装置的视频质量相关的能力、网络状态或用户选择的信息。媒体发送装置可以基于从媒体接收装置接收的用户交互信息、关于媒体接收装置的环境的信息或者关于网络环境的信息中的至少一个来预测用户的观看点和/或观看方向，并且设置与预测的用户的观看点和/或观看方向相对应的SOI。媒体发送设备可以向媒体接收装置发送与确定的SOI相对应的SOI描述信息和与确定的SOI相对应的沉浸式媒体数据。
媒体接收装置可以通过回放沉浸式媒体来向用户提供交互体验。交互体验是指提供定制广告服务、相关的视频、广告、网页等的附加服务。
图12是根据本公开中提出的各种实施例的媒体发送装置的框图。
参考图12，媒体发送装置1200可以包括处理器1210和收发器1220。
处理器1210和收发器1220可以执行前面参考图3至9描述的操作。
图13是根据本公开中提出的各种实施例的媒体接收装置的框图。
参考图13，媒体接收装置1300可以包括处理器1310和收发器1320。
处理器1310和收发器1320可以执行前面参考图3至8和图10描述的操作。
虽然已经参考附图描述了本公开的实施例。本领域技术人员将理解，在不改变本公开的技术思想和基本特征的情况下，本公开可以以其他特定形式实践。因此，上述实施例在所有方面都应该被理解为示例性的，而不是限制性的。

Claims (15)

1.一种由媒体发送装置支持沉浸式媒体服务的方法，所述方法包括:
基于感兴趣空间(SOI)描述信息确定多个SOI中的至少一个SOI；以及
向媒体接收装置发送所述SOI描述信息中的部分SOI描述信息和沉浸式媒体数据中的部分沉浸式媒体数据，其中，所述部分SOI描述信息对应于所确定的SOI，并且所述部分沉浸式媒体数据对应于所确定的至少一个感兴趣区域，
其中，所述部分SOI描述信息包括所述至少一个SOI的标识信息、感兴趣对象(OOI)的空间范围指示符、所述OOI的优先级指示符、或者所述OOI的对象向量中的至少一个。
2.根据权利要求1所述的方法，还包括：获得所述部分SOI描述信息。
3.根据权利要求1所述的方法，还包括:
确定用于所述部分SOI描述信息和所述部分沉浸式媒体数据的发送的视频质量，
其中，所述部分SOI描述信息和所述部分沉浸式媒体数据的发送包括以所确定的视频质量发送所述部分SOI描述信息和所述部分沉浸式媒体数据。
4.根据权利要求1所述的方法，其中，所述部分SOI描述信息还包括应用所述部分SOI描述信息的时间范围的开始时间指示符。
5.根据权利要求4所述的方法，其中，所述部分SOI描述信息还包括指示从由所述开始时间指示符指示的开始时间开始应用的预定时间段的指示符。
6.根据权利要求1所述的方法，其中，所述部分SOI描述信息还包括在预定时间的所述至少一个SOI的方向指示符。
7.根据权利要求1所述的方法，其中，所述部分SOI描述信息还包括所述OOI的瞬时速度指示符。
8.根据权利要求1所述的方法，其中，当所述OOI的属性根据所述沉浸式媒体发生的事件而改变时，所述部分感兴趣空间描述信息还包括指示所述OOI的属性和所述事件的指示符。
9.根据权利要求1所述的方法，其中，所述部分SOI描述信息还包括指示所述OOI和与所述OOI相关的OOI之间的依赖性的指示符。
10.根据权利要求1所述的方法，其中，所述部分SOI描述信息还包括指示所述OOI和与所述OOI相关的OOI之间的移动的指示符。
11.一种由媒体接收装置支持沉浸式媒体服务的方法，所述方法包括:
接收部分感兴趣空间(SOI)描述信息和部分沉浸式媒体数据；以及
基于所述部分SOI描述信息和所述部分沉浸式媒体数据播放沉浸式媒体。
12.根据权利要求11所述的方法，其中，所述部分SOI描述信息还包括应用所述部分SOI描述信息的时间范围的开始时间指示符。
13.根据权利要求11所述的方法，其中，所述部分SOI描述信息还包括指示从由所述开始时间指示符指示的开始时间开始应用的预定时间段的指示符。
14.一种媒体发送装置，包括:
收发器；和
耦合到所述收发器的处理器，
其中，所述处理器被配置为：基于感兴趣空间(SOI)描述信息确定多个SOI中的至少一个SOI；以及向媒体接收装置发送所述SOI描述信息中的部分SOI描述信息和沉浸式媒体数据中的部分沉浸式媒体数据，其中，所述部分SOI描述信息对应于所确定的SOI，并且所述部分沉浸式媒体数据对应于所确定的至少一个感兴趣区域，
其中，所述部分SOI描述信息包括所述至少一个感兴趣空间的标识信息、感兴趣对象(OOI)的空间范围指示符、所述OOI的优先级指示符、或者所述OOI的对象向量中的至少一个。
15.一种媒体接收装置，包括:
收发器；和
耦合到所述收发器的处理器，
其中，所述处理器被配置为：接收部分感兴趣空间(SOI)描述信息和部分沉浸式媒体数据；以及基于所述部分SOI描述信息和所述部分沉浸式媒体数据播放沉浸式媒体。
CN201880067795.4A 2017-10-17 2018-10-16 用于发送沉浸式媒体的方法和设备 Active CN111295880B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0134909 2017-10-17
KR1020170134909A KR102390208B1 (ko) 2017-10-17 2017-10-17 멀티미디어 데이터를 전송하는 방법 및 장치
PCT/KR2018/012174 WO2019078580A2 (ko) 2017-10-17 2018-10-16 실감형 미디어를 전송하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN111295880A true CN111295880A (zh) 2020-06-16
CN111295880B CN111295880B (zh) 2022-03-25

Family

ID=66173266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880067795.4A Active CN111295880B (zh) 2017-10-17 2018-10-16 用于发送沉浸式媒体的方法和设备

Country Status (5)

Country Link
US (1) US11463673B2 (zh)
EP (1) EP3675489B1 (zh)
KR (1) KR102390208B1 (zh)
CN (1) CN111295880B (zh)
WO (1) WO2019078580A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4123644B1 (en) * 2018-04-11 2024-08-21 Dolby International AB 6dof audio decoding and/or rendering
US11200700B2 (en) * 2019-01-10 2021-12-14 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data
CN112150603B (zh) * 2019-06-28 2023-03-28 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
KR102373833B1 (ko) * 2020-01-09 2022-03-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN114969394A (zh) * 2021-02-22 2022-08-30 腾讯科技（深圳）有限公司 非时序点云媒体的数据处理方法、装置以及设备
US11570417B2 (en) * 2021-05-20 2023-01-31 Apple Inc. Immersive video streaming using view-adaptive prefetching and buffer control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
CN106231291A (zh) * 2016-07-18 2016-12-14 杭州当虹科技有限公司 一种基于虚拟现实视频的影片故事回溯方法
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355990B1 (ko) 2000-08-12 2002-10-18 (주)아이엠티소프트 인터넷 가상현실 서비스에서 점진적 데이터 전송을 위한ｖｒｍｌ 노드 확장 및 처리 방법
DE102004038494A1 (de) * 2004-08-07 2006-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Sensorsystems
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
KR101539714B1 (ko) 2013-11-27 2015-08-06 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
KR102231676B1 (ko) * 2014-12-23 2021-03-25 한국전자통신연구원 실감 효과 메타데이터 생성 장치 및 방법
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
US10096130B2 (en) * 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
WO2017187694A1 (ja) * 2016-04-28 2017-11-02 シャープ株式会社 注目領域画像生成装置
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
KR102352933B1 (ko) 2016-09-09 2022-01-20 삼성전자주식회사 3차원 이미지를 프로세싱하기 위한 방법 및 장치
US20180349708A1 (en) * 2017-05-30 2018-12-06 Google Inc. Methods and Systems for Presenting Image Data for Detected Regions of Interest
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
US11711544B2 (en) * 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN106231291A (zh) * 2016-07-18 2016-12-14 杭州当虹科技有限公司 一种基于虚拟现实视频的影片故事回溯方法

Also Published As

Publication number Publication date
WO2019078580A2 (ko) 2019-04-25
US11463673B2 (en) 2022-10-04
CN111295880B (zh) 2022-03-25
KR20190043059A (ko) 2019-04-25
KR102390208B1 (ko) 2022-04-25
EP3675489A4 (en) 2020-11-04
EP3675489A2 (en) 2020-07-01
EP3675489B1 (en) 2024-03-27
US20200228780A1 (en) 2020-07-16
WO2019078580A3 (ko) 2019-06-13

Similar Documents

Publication Publication Date Title
CN111295880B (zh) 用于发送沉浸式媒体的方法和设备
US11050977B2 (en) Immersive interactive remote participation in live entertainment
US10372209B2 (en) Eye tracking enabling 3D viewing
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
EP3106963B1 (en) Mediated reality
US20120200667A1 (en) Systems and methods to facilitate interactions with virtual content
US11868546B2 (en) Body pose estimation using self-tracked controllers
US10964085B2 (en) Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
WO2017061890A1 (en) Wireless full body motion control sensor
US20200257112A1 (en) Content generation apparatus and method
WO2019150201A1 (en) Multiviewing virtual reality user interface
EP3776405A1 (en) Generating a mixed reality
JP7172036B2 (ja) ３ｄｃｇ空間の鑑賞条件連動システム、方法、およびプログラム
US11983306B2 (en) Peripheral tracking system and method
TWI850320B (zh) 場景的影像表示
TW202038605A (zh) 場景的影像表示
CN106125940A (zh) 虚拟现实交互界面管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant