CN113691883A - 在vr360应用中传输视点切换能力的方法和装置 - Google Patents

在vr360应用中传输视点切换能力的方法和装置 Download PDF

Info

Publication number
CN113691883A
CN113691883A CN202110976866.6A CN202110976866A CN113691883A CN 113691883 A CN113691883 A CN 113691883A CN 202110976866 A CN202110976866 A CN 202110976866A CN 113691883 A CN113691883 A CN 113691883A
Authority
CN
China
Prior art keywords
viewpoint
switching
application
parameter
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110976866.6A
Other languages
English (en)
Inventor
玛丽·卢克·乔治斯·亨瑞·坎姆佩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110976866.6A priority Critical patent/CN113691883A/zh
Publication of CN113691883A publication Critical patent/CN113691883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Abstract

本申请是中国申请201980001273.9的分案申请。本公开实施例提供了在VR360应用中传输视点切换能力的方法和装置。该在VR360应用中传输视点切换能力的方法包括：确定在VR360应用中的视点之间进行切换的配置；将配置传输到VR360应用。

Description

在VR360应用中传输视点切换能力的方法和装置
本申请是申请号为201980001273.9、申请日为2019年03月20日、发明名称为“在VR360应用中传输视点切换能力的方法和装置”的中国申请的分案申请。
技术领域
本公开的实施例通常涉及虚拟现实360(Virtual Reality 360，VR360)技术，特别涉及用于在VR360应用中传输视点切换能力的方法和装置。
背景技术
OMAF(Omnidirectional MediA Format，全向媒体格式)定义了一种能够实现全向媒体应用的媒体格式，其聚焦于360°视频、图像和音频，以及相关的同步文本。OMAF详细说明了(包括但不限于)：
1).包括单位球面和三维空间的坐标系；
2).可分别用于将球形视频序列或图像分别转换为二维矩形视频序列或图像的投影和矩形区域包装方法；
3).利用ISO/IEC 14496-12中规定的ISOBMFF(ISO Base Media File Format，ISO基础媒体文件格式)对全向媒体和相关元数据进行存储；
4).在媒体流系统中的全向媒体的封装、信令传输、流传输，该媒体流系统例如，ISO/IEC 23009-1中规定的HTTP上的动态自适应流传输(DASH)，或ISO/IEC 23008-1中规定的MPEG媒体传输(MMT)，以及
5).媒体配置文件和展示配置文件为媒体编解码器提供了交互和一致性的要点以及可用于全向媒体内容的压缩、流传输和回放的媒体编码和封装配置。
全向视频是其中一种常见的全向媒体应用，也被称为360°视频。全向视频典型的可以通过能覆盖场景的360°的多个摄像机拍摄。与传统的媒体应用格式相比，由于多样的拍摄和视频投影技术导致全向视频的端到端技术(从拍摄到播放)更容易被分裂。对于拍摄端来说，现在已经多种不同类型的摄像机具有拍摄360°视频的能力，且在播放端也存在多种具有不同处理能力的不同设备能够播放360°视频。
为了避免全向媒体内容和设备的分裂，OMAF标准ISO/IEC 23090-2(MPEG-I part2)详细说明了全向媒体应用程序的标准格式。
当通过例如头戴式播放器或是头戴式受话器的OMAF播放器呈现全向媒体内容时，只展现对应于用户视线方向上的一部分媒体，犹如用户正处于拍摄媒体的时间和地点一样。
图1示例性的示出了发生在具有3个房间：房间A、房间B、房间C的一个VR360应用的场景。对于每个房间，用户能够在如图1所示的视点(viewpoint)位置播放全向视频。对于每个房间的视点(图1所示的视点A、视点B、视点C)是呈现该360°视频的范围的中心。这也可以被理解为用户的位置。
对于每个视点，各自预定义有推荐视口(recommended viewport)/默认视口(default viewport)。如图1所示的，该推荐视点/默认视点分别为视口A、视口B、视口C。
视口(viewport)是VR360视频中的一部分。例如可视视口是用户实际看到一部分VR360视频的位置。对于可视石窟可以被理解为用户视线方向。
当前，MPEG-I中并不支持在不同视点之间进行切换。
发明内容
本公开提出了一种在同一VR360应用中在不同视点之间进行切换的方案。
根据本发明实施例的第一方面，本申请实施例提供了一种方法，该方法包括：
确定在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
将配置传输到所述VR360应用。
根据本发明实施例的第二方面，本申请实施例提供了一种方法，该方法包括：
获取在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
根据所述配置在所述VR360应用的视点间进行切换。
根据本发明实施例的第三方面，本申请实施例提供了一种装置，该装置包括：
确定模块，被配置为确定在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
传输模块，被配置为将所述配置传输到所述VR360应用。
根据本发明实施例的第四方面，本申请实施例提供了一种装置，该装置包括：
获取模块，被配置为获取在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
切换模块，被配置为根据所述配置在所述VR360应用的视点间进行切换。
根据本发明实施例的第五方面，本申请实施例提供了一种装置，该装置包括至少一个内存，以及被配置为执行以下指令的至少一个处理器：
确定在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
将配置传输到所述VR360应用。
根据本发明实施例的第六方面，本申请实施例提供了一种装置，该装置包括至少一个内存，以及被配置为执行以下指令的至少一个处理器：
获取在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
根据所述配置在所述VR360应用的视点间进行切换。
根据本发明实施例的第七方面，本申请实施例提供了一种计算机可读介质具有存储在其中的可以被处理器调用和执行的至少一个指令以执行操作：
确定在虚拟现实360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
将配置传输到所述VR360应用。
根据本发明实施例的第八方面，本申请实施例提供了一种计算机可读介质具有存储在其中的可以被处理器调用和执行的至少一个指令以执行操作：
获取在虚拟现实360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
根据所述配置在所述VR360应用的视点间进行切换。
当结合附图阅读时，通过以下对特定实施例的描述，本公开的实施例的其他特征和优点也将是显而易见的，附图通过示例的方式示出了本公开的实施例的原理。
附图说明
本发明的实施例是以示例的形式呈现的，并且下面参考附图详细解释它们的优点，其中：
图1示例性的示出了在一个场景中有多视点和多视口的例子；
图2示例性的示出了本公开实施例的方法200的流程图；
图3a到图3f示例性的示出了在视点之间进行切换的激活窗口的例子；
图4a到图4d示例性的示出了在视点之间进行切换的视口的例子；
图5示例性的示出了在切换过渡时的播出时间的例子；
图6示例性的示出了在视点之间进行切换的例子；
图7示例性的示出了本公开实施例的方法700的流程图；
图8示例性的示出了适用于实现本公开实施例的装置800的模块图；
图9示例性的示出了适用于实现本公开实施例的装置900的模块图；
图10示例性的示出了适用于实现本公开实施例的装置1000的模块图；
图11示例性的示出了适用于实现本公开实施例的装置1100的模块图。
具体实施方式
现在将参考若干示例实施方式来讨论本文描述的主题。应当理解，仅为了使得本领域技术人员更好地理解并且由此实现本文描述的主题的目的而讨论这些实施方式，并不是对主题的范围提出的任何限制。
本公开使用的术语仅是为了描述特定实施方式的目的，而不是旨在限制示例实施方式。如本公开使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文明确地另外指示。还将理解，术语“包括”和/或“包含”在本文中使用时，指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合的存在或附加。
应当注意，在一些可替换的实施方式中，图中记录的功能和动作可以不限于图中记录的顺序。例如，基于涉及的功能和动作，两个表现为连续的功能或动作实际上可以被同时执行或是某些时候可以被倒序执行。
本公开的实施例可以被应用于多种装置和/或系统。基于飞速的发展，其当然可以被呈现在以后种类类型的技术、系统和装置中。应当注意，本公开的保护范围不应当被限制在前述的装置和/或系统。
如本公开使用的，术语“VR360播放器”是指能够播放VR360媒体的装置，例如头戴式播放器、耳机以及其他。该VR360媒体是指全向视频数据流，也被称为360°视频、全向媒体、或全向媒体视频。在本公开的一些实施例中，该VR360媒体可以是OMAF媒体。在本公开的一些实施例中，该VR360播放器可以是OMAF播放器。该术语“VR360应用”是指包括至少一个视点的应用，且该VR360播放器能够在视点之间进行切换，例如该VR360能够从一个视点(被称为源视点)切换到另一个视点(被称为目的视点)。具有本领域常识的技术人员能够理解VR360应用能够通过任何必要的设备生成，且能够被任何必要的设备所播放，例如VR360播放器或OMAF播放器。
如本公开使用的，术语“视点切换”是指VR360播放器在VR360应用中从源视点切换到目的视点。
在本公开的一些实施例中，定义了以下的ISOBMFF结构：
ViewpointPosStruct()定义了视点在全坐标系统中的位置，此外还可以有GPS信息；
ViewpointGlobalCoordinateSysRotationStruct()定义了视点在全坐标系统中的方向；
ViewpointGlobalCoordinateSysRotationStruct()允许对视点进行分组；以及
ViewpointEntry()定义了每一个视点的唯一视点id(viewpoint_id)。
为了描述视点之间的所有可能的过渡，本公开提出了与至少一个视点或切换时存在过渡相关的新配置。因而，在VR360应用中的故事线中描述每一种可能路径变为了可能。在本公开的一些实施例中，该配置可以是关联到视点或是关联到切换过渡的额外的ISOBMFF结构。
以下是基于附图来描述一些本公开的示例性实施例。
图2举例说明了基于本公开实施例的方法200的流程。该方法200可以通过用于生成VR360应用的设备或是其他相似的设备来实现。
步骤201，确定在VR360应用中的视点之间进行切换的配置；
步骤202，将配置传输到VR360应用。
在一些实施例中，该配置可以通过配置在视点上的或是切换过渡上的至少一个容器来实现。在一些实施例中，如果该配置被多个容器来实现的时候，其中一些容器可以被配置在视点上，一些容器可以被配置在切换过渡上。
在一些实施例中，该容器可以为ISOBMFF容器或是其他任何类似的格式。本领域内技术人员能够理解该配置能够通过任何恰当的格式来实现。
在一些实施例中，该配置包括以下任一参数或是参数任何组合：
视口参数(viewport parameter)指示特定视点切换的初始视口；
过渡效果参数(transition effect parameter)指示特定视点切换的特定过渡效果；
激活窗口参数(activation window parameter)指示视点切换的至少一个激活窗口；
切换时点参数(time switching parameter)指示特定视点切换的在目的媒体时间中的播放时间线的起始位置。
在一些实施例中，该四个参数可以被单独配置或组合配置。在一些实施例中，以上的任一个参数或是参数组合可以通过一个或多个容器来实现。
在一些实施例中，该视口参数指示特定视点切换过渡中的初始视口的信息。在一些实施例中，如果设有视口参数，该特定初始视口将在视点切换过渡后被使用。否则，使用推荐视口或是默认视口被使用。
在一些实施例中，该过渡效果参数指示在视点切换过渡中的效果媒体的信息。该效果媒体可以是一段视频或已知真实转换，例如消失在黑暗中、镜像效果、飘扬，或是其他。在一些实施例中，该转换可以通过在一个预先定义的列表中的ID来进行标识，或是用于指示用于在进行视点切换过渡时进行播放的内部或外部的视频流的ISOMBFF追踪id(track_id)来进行标识。在一些实施例中，如果设有该切换效果参数，则该VR360播放器在特定视点切换过渡时根据该切换效果参数播放特定的过渡效果；否则，该VR360播放器不播放任何切换效果，立即播放与目的视点相关的VR360视频。
在一些实施例中，该激活窗口参数指示当过渡被激活时与当前视点媒体时间线相关的至少一个激活窗口。在一些实施例中，如果设有该激活窗口参数，该VR360播放器可以只在激活窗口中切换到目的视点。否则，VR360能够在时间线的任何时间点切换到目的视点。
在一些实施例中，该切换时点参数指示在视点切换过渡后从目的视点的VR360媒体的时间线的何处进行播放。在一些实施例中，如果设置了偏移量，则该VR360播放器在切换到目的视点后从该偏移量处开始播放VR360媒体。否则，该VR360播放器在切换到目的视点后从该目的视点的VR360媒体的绝对位置t0或相对位置tcurr处播放VR360媒体。在一些实施例中，绝对位置t0是指目的视点媒体时间线的开始位置，相对位置tcurr是指目的视点媒体时间线的当前时刻(current time)。该“当前时刻”是指视点切换过渡被激活的时间点。
在一些实施例中，该切换时点参数包括以下的至少一个参数：
时间线切换偏移量标识符(timeline-switching-offset flag)指示是否设置了时间偏移量；
偏移量指示符(offset indicator)指示偏移量的数值；
与当前相关标识符(relative-to-current flag)指示偏移量的起始点。
在一些实施例中，该绝对偏移量是指该偏移量是相对于视点媒体时间线起始点的偏移量；而相对偏移量是指该偏移量是相对于视点媒体时间线的当前时刻的偏移量。
在一个实施例中，如果时间线切换偏移量标识符timeline-switching-offsetflag＝0且该与当前相关标识符relative-to-current flag＝0，在切换过渡后，该与目的视点相关的视点媒体从时间t0，即该视点媒体时间线的起始点开始播放。如果时间线切换偏移量标识符timeline-switching-offset flag＝0且该与当前相关标识符relative-to-current flag＝1，在切换过渡后，该与目的视点相关的视点媒体从时间tcurr，即该视点媒体时间线的当前时刻开始播放。该“当前时刻”是指视点切换过渡被激活的时间点。如果时间线切换偏移量标识符timeline-switching-offset flag＝1且该与当前相关标识符relative-to-current flag＝0，在切换过渡后，该与目的视点相关的视点媒体从时间t0+offset开始播放。如果时间线切换偏移量标识符timeline-switching-offset flag＝1且该与当前相关标识符relative-to-current flag＝1，在切换过渡后，该与目的视点相关的视点媒体从时间tcurr+offset开始播放。
图3a示例性的示出了一个发生在具有3个房间：房间A、房间B、房间C的VR360应用的场景。用户能够在如图3a所示的视点和视口来播放VR360媒体。基于一些实施例，三个ISOBMFF容器分别附在三个视点，或是四个SOBMFF容器分别附在四个可能的切换过渡。该四个可能的过渡分别是：从视点A切换到视点B，从视点B切换到视点A，从视点A切换到视点C，从视点C切换到视点A。本领域技术人员理解该ISOBMFF可以只附在其中一些视点上，或只附在其中一些切换过渡上，或是一些ISOBMFF容器附在视点上且一些ISOBMFF容器附在切换过渡上。
在一些实施例中，该视口参数包括：
视口标识符(viewport flag)指示目的视点是否配置有初始视口。
在一些实施例中，该视口标识符指示目的视点是否具有初始视口。如果具有初始视口，则VR360播放器在视点切换过渡后从提供的初始视口来播放与视点相关的VR360媒体。在一些实施例中，当不具有初始视口，则该VR360播放器在视点切换过渡后从推荐视口或默认视口来播放与视点相关的VR360媒体。
图3a示例性的示出了三个视点各自的推荐视口/默认视口：视口A、视口B、视口C。在一些实施例中，该初始视口可以与推荐视口/默认视口相同，也可以不相同。
图3b、图3c、图3d、图3e和图3f示例性的示出了基于本公开实施例的VR360应用。
在如图3b所示的一些实施例中，如果不具有初始视口，当用户从视点B切换到视点A时，用户在视点A的视口为推荐视口/默认视口，即视口A。但是在真实场景中，用户的视线方向是如图3b所示的视口BA的方向。在本公开的一些实施例中，初始视口，即视口BA，被预先定义为从视点B切换到视点A的视口。如果初始视口被视口标识符配置，则该初始视口BA能够将好像用户是从房间B与房间A之间的门走过的视线点呈现给用户。
在如图3c所示的一些实施例中，如果不具有初始视口，当用户从视点C切换到视点A时，用户在视点A的视口是推荐视口/默认视口，即视口A。但是在真实场景下，用户的视线方向是如图3c所示的视口CA的方向。在本公开的一些实施例中，初始视口，即视口CA，被预先定义为从视点C切换到视点A的视口。如果初始视口被视口标识符配置，则该初始视口CA能够将好像用户是从房间C与房间A之间的门走过的视线点呈现给用户。
在如图3d所示的一些实施例中，两个初始视口，视口BA和视口CA，都被预先定义。在本公开的一些实施例中，两个视口都被配置在视点A上，或是被各自配置在两个切换过渡上。本领域技术人员可以理解，在一些实施例中，可以如图3b或图3c所示的只配置其中一个初始视口。
请参考图3d，不同的切换可能对应不同的初始视口；例如，当从视点B切换到视点B对应配置在视点A的视口BA，且从视点C切换到视点A对应配置在视点A的视口CA。
在如图3e所示的一些实施例，如果不具有初始视口，当用户从视点A切换到视点B，则该用户在视点B的视口为推荐视口/默认视口，即视口B。但是在真实场景下，用户的视线方向是如图3e所示的视口AB的方向。在本公开的一些实施例中，初始视口，即视口AB，被预先定义为从视点A切换到视点B的视口。如果初始视口被视口标识符配置，则该初始视口CA能够将好像用户是从房间B与房间A之间的门走过的视线点呈现给用户。
在如图3f所示的一些实施例，如果不具有初始视口，当用户从视点A切换到视点C，则该用户在视点C的视口为推荐视口/默认视口，即视口C。在本实施例中，切换的初始视口是与推荐视口/默认视口相同的。在一些实施例中，如果用户的真实视线方向与推荐视口/默认视口不同的时候，应当预先定义与用户真实视线方向相同的初始视口。
本领域技术人员理解，在一些实施例中，初始视口可以根据真实视线方向来预先定义。
基于以上的实施例，本领域内技术人员理解对同一视点的每一过渡对应的初始视口可以是不同的，例如，视口BA和视口CA。
在一些实施例中，该配置进一步包括多种切换可能中每一种切换可能具有最多一个视口参数(multiple switching possibilities with at most one viewport perswitching possibility parameter)，其中该参数包括一下至少一个参数：
数字参数(number parameter)指示可能的视点切换数字；
对于每一个可能的视点切换，ID参数(ID parameter)指示目的视点的ID和与该目的视点相关的过渡。
在一些实施例中，每一个视点都具有通过例如是ViewpointEntry()的ISOBMFF结构来确定的视点id(viewpoint_id)。该视点id区分出视点。ID参数指示可能的目的视点的视点id。该数字参数指示当前视点的可能的视点切换的数量。
在一些实施例中，该过渡效果参数包括以下至少一个参数：
过渡效果标识(transition effect flag)指示是否配置了过渡效果；
过渡效果类型标识(transition effect type flag)指示特定切换的过渡效果的类型；
过渡效果指示符(transition effect indicator)指示特定过渡效果视频存储的位置。
在一些实施例中，该过渡效果可以为预先定义的视频或音频或其他任何能够在进行切换过渡时播放的恰当媒体。
在一些实施例中，过渡效果类型可以为音频，或已知真实转换，例如消失在黑暗中、镜像效果、飘扬，或是其他。该过渡效果可以通过过渡效果类型标识(transitioneffect type flag)来指示。
在一些实施例中，该过渡效果指示符包括对应于能够在进行切换过渡时播放的视频的追踪id。该追踪id标识出在过渡时播放的媒体。在一些实施例中，该媒体被存储在VR360内容中。在一些媒体中，该过渡效果指示符包括在过渡时播放的媒体的URL(UniformResource Locator，统一资源定位符)。本领域内技术人员理解该过渡效果标识符可以包括追踪id，URL，或能够寻址该媒体的任何已有技术。
在一些实施例中，该激活窗口参数包括以下的至少一种参数：
最小时间标识符(minimum time flag)指示切换过渡的最小时间是否被配置，如果最小时间被配置，则过渡只能够在该最小时间之后才能够被激活；
最小时间参数(minimum time parameter)指示最小时间的数值；
最大时间标识符(maximum time flag)指示切换过渡的最大时间是否被配置，如果最大时间被配置，则过渡只能够在该最大时间之前才能够被激活；
最大时间参数(maximum time parameter)指示最大时间的数值。
在一些实施例中，该激活窗口参数是相对于当前视点在过渡被激活后的媒体时间线。在一些实施例中，切换过渡能够被在当前视点媒体时间线的任何时间点被激活。
图4a-图4d示出了本公开的一些实施例。在图4a中，最小时间标识符和最大时间标识符被设定。该视点媒体时间线上的最小时间和最大时间确定了一个视点切换的激活窗口。在一些实施例中，如图4a所示的在当前视点媒体时间线中预先定义了一个激活窗口。在一些实施例中，通过利用定时元数据轨道中的ViewpointSwitchingStruct()，如图4b所示的在当前视点的媒体时间线上有多个激活窗口可以被预先定义。
在一些实施例中，如图4c所示的，只有视点媒体时间线上的最小时间被设定，且最大时间未被设定。这意味着只有该激活窗口的开始时间通过最小时间参数被预先设定，而结束位置并不限制。换句话说，激活窗口的起点是该最小时间且终点是该视点的媒体时间线的终点。
在一些实施例中，如图4d所示的，只有视点媒体时间线上的最大时间被设定，且最小时间未被设定。这意味着只有该激活窗口的结束位置通过最大时间参数被预先设定，而开始位置并不限制。换句话说，激活窗口的起点是该视点的媒体时间线的起点且终点是该视点的媒体时间线的最大时间。
在一些实施例中，该切换时点参数包括以下的至少一个参数：
时间线切换偏移量标识符(timeline-switching-offset flag)指示是否设置了时间偏移量；
偏移量指示符(offset indicator)指示偏移量的数值；
与当前相关标识符(relative-to-current flag)指示偏移量的起始点。
在一些实施例中，该绝对偏移量是指偏移量是相对于视点的媒体时间线的起始点的，且相对偏移量是指偏移量是相对于视点的媒体时间线的当前时刻的。
在一个实施例中，如果时间线切换偏移量标识符timeline-switching-offsetflag＝0且该与当前相关标识符relative-to-current flag＝0，在切换过渡后，该与目的视点相关的视点媒体从时间t0，即该视点媒体时间线的起始点开始播放。如果时间线切换偏移量标识符timeline-switching-offset flag＝0且该与当前相关标识符relative-to-current flag＝1，在切换过渡后，该与目的视点相关的视点媒体从时间tcurr，即该视点媒体时间线的当前时刻开始播放。该“当前时刻”是指视点切换过渡被激活的时间点。如果时间线切换偏移量标识符timeline-switching-offset flag＝1且该与当前相关标识符relative-to-current flag＝0，在切换过渡后，该与目的视点相关的视点媒体从时间t0+offset开始播放。如果时间线切换偏移量标识符timeline-switching-offset flag＝1且该与当前相关标识符relative-to-current flag＝1，在切换过渡后，该与目的视点相关的视点媒体从时间tcurr+offset开始播放。
图5示例性的示出了本公开的VR360应用的一些实施例。具有VR360播放器的用户从房间A的允许用户看到门的视口A开始，与视点A相关的VR360媒体从VR360媒体时间线的起始点的时间t0开始播放。当用户在时间t0从房间A进入房间B时，该到视点B的过渡以及其初始视口能够将好像用户是从房间B与房间A之间的门走过的视线点呈现给用户。与视点B相关的VR360媒体也从VR360媒体时间线的起始点的时间t0开始播放。
当在时间tcurr用户从房间B移动回房间A时，回到视点A的过渡及其初始视口能够将好像用户是从房间B与房间A之间的门走过的视线点呈现给用户。在此时，该关联到视点A的视点媒体继续从当前时刻(tcurr)加播放过渡效果视频的时间点继续播放。当该偏移量offset是绝对偏移量时，该关联到视点A的媒体继续从时间点t0+offset的位置开始播放，或当偏移量offset为相对偏移量时，该关联到视点A的媒体继续从时间点tcurr+offset的位置开始播放。
此外，本技术公开提出了用过渡特性的要素来填充该新的视点切换结构。
其包括：
过渡效果用于为用户实际播放该过渡；这样的过渡效果可以是在预先定义的列表(其并非本公开的保护范围，因为可以从很多现有技术中选择)中的一个id指示或也可以是由URL指示或ISOBMFF的用于指出内部或外部的在过渡时进行播放的视频流的追踪id(track_id)指示的实际已知变换(例如消失在黑暗中、镜像效果、飘扬……)。
在过渡被激活期间的当前视点媒体时间线相关的时间窗。
在与目的视点相关的媒体时间线上时间上何时进行切换的相关信息。
在与目的视点相关的媒体时间线上空间上(视口)何处进行切换的相关信息。
以下的ISOBMFF代码是本公开的一种可能的实施例：
Figure BDA0003227852920000131
Figure BDA0003227852920000141
以下语意是上述ISOBMFF程序实施例相关联的语意：
表1-可能的ISOBMFF程序的语意
Figure BDA0003227852920000142
Figure BDA0003227852920000151
表2-过渡效果类型
值 描述
0 放大(Zoom-in)效果
1 走过(Walk through)效果
2 淡出黑色(Fade-to-black)效果
3 镜像(Mirror)效果
4 视频过渡(通过track_id)
5 视频过渡(通过URL)
6-127 预留给将来的扩展
本领域技术人员理解，在本公开的一些实施例可以利用但不限于以上的ISOBMFF程序。且上述的参数的值只是一个例子。
相比较于当前的OMAF工作文档(Working Draft W18227)，以上的本公开定义的视点的ISOBMFF容器依赖于以下的新的ISOBMFF架构：
ViewpointSwitchingStruct()定义了从视点的可能的切换过渡数量、视点切换的目的视点的视点id(viewpoint_id)、以及切换过渡的切换特性。
在本公开的一些实施例中，由ViewpointSwitchingStruct容器提供的该切换激活时间窗机制只允许一个最小时间和最大时间。为了给当前视点媒体的播放时间线提供多激活窗口，本公开提议了在时间元数据轨道中为动态视点信息增加ViewpointSwitchingStruct容器。
在本公开的一些实施例中，
该视口参数(viewport parameter)包括：目的视口标识符(destination_viewport_flag)；
该多种切换可能中每一种切换可能具有最多一个视口参数(multiple switchingpossibilities with at most one viewport per switching possibility parameter)包括：视点切换数量(num_viewpoint_switching)和目的视点id(destination_viewpoint_id)；
该切换效果参数(transition effect parameter)包括：过渡效果标识符(transition_effect_flag)，过渡效果类型(transition_effect_type)，过渡视频追踪id(transition_video_track_id)，以及过渡视频URL(transition_video_URL)；
该切换时点参数(time switching parameter)包括：时间线切换偏移量标识符(timeline_switching_offset_flag)，相对于当前标识符(relative_to_current_flag)，以及偏移量(t_offset)；以及
该激活窗口参数(activation window parameter)包括：最小时间标识符(min_time_flag)，最大时间标识符(max_time_flag)，最小时间(t_min)，以及最大时间(t_max)。
图6示例性的示出了本公开的VR360应用的一些实施例。在本公开的一些实施例中，该VR360应用典型的是OMAF应用。由于本公开，以下的故事线路径可能被描述：
该OMAF应用开始于具有使得用户能够看到房间B和房间C的推荐视口A的房间A。该视点A相关的视频开始于t0。
当用户从房间A进入到房间B的时候，到视点B的过渡和其初始视口能够将好像用户是从房间B与房间A之间的门走过的视线点呈现给用户。且视点B相关的视频也从其起始点(t0)开始。
当用户从房间A进入到房间C的时候，到视点C的过渡和其初始视口能够将好像用户是从房间C与房间A之间的门走过的视线点呈现给用户。且视点C相关的视频也从其起始点(t0)开始。
当用户从房间B走回房间A时，回到视点A的过渡和其初始视口能够将好像用户是从房间C与房间A之间的门走过的视线点呈现给用户。此时，与视点A相关的视频继续从时间线的当前时刻(tcurr)继续进行播放。
当用户从房间C回房间A时，回到视点A的过渡和其初始视口能够将好像用户是从房间C与房间A之间的门走过的视线点呈现给用户。此时，与视点A相关的视频继续从时间线的当前时刻(t’curr)继续进行播放。
请注意在实际中，基于用户从那个屋子来的，从房间B还是从房间C来的用户的初始视点(视口)实际上是不同的。
本公开提供了以下的至少一个优势：
在任何时间点，利用关联到视点的独特的ISOBMFF容器能够将从当前视点的视点切换能力方便的输送到OMAF播放器。
可以支持很多种过渡效果，包括：播放的(短)视频既可以是利用其追踪id(track_id)嵌入同一OMAF应用文件中，也可以是由于URL而在远程位置提供。
当切换到目的视点的时候，新媒体的播放起始位置既可以是绝对偏移量，也可以是从一个相对于源视点媒体当前播放时间的相对偏移量。
当前换到目的视点的时候，可以指定特定视口。这样就允许，举例来说，从不同源视点切换到同一目的视点时具有不同的视口。请参考图6所示的例子。
对于传输的任何视点切换，也可以定义一个激活窗口。对于多激活窗口，本公开还定义了一个方式将其传输到动态视点信息元数据轨道。
图7示出了基于本申请的一些实施例的方法700的流程图。该方法300能够用VR360播放器或OMAF播放器或其他相似的设备来执行。
步骤701，获取在VR360应用中在视点之间进行切换的配置，
步骤702，根据该配置在VR360应用中进行视点切换。
请参考从图3a到图6，方法700中该切换过渡的实施例与图3a到图6相同。
图8是适用于执行本公开的一些实施例的装置800的简化模块图。如图8所示的，该装置800包括一个或多个处理器810，一个或多个连接到处理器的内存820。该装置800可以被用作制造VR360应用的设备。
在本公开的一些实施例中，该处理器810被配置为执行以下操作：
确定用于在VR360应用中进行视点切换的配置；
将该配置传输到VR360应用中。
请参考从图3a到图6，切换过渡装置800执行的一些实施例可以为如图3a到图6所示的实施例。
该处理器810作为参考示例的，可以是任何适合于制造VR360应用的类型，且可以包括一个或多个通用的计算机、特定用途计算机、微处理器、数子信号处理器(DSPs)以及基于多核处理器架构的处理器。该装置800可以具有多个处理器，例如特定用途的在时间上从属于与主处理器同步时钟的集成电路芯片。
该内存820作为参考示例的，可以是任何适合于存储VR360应用的内存，可以通过任何适合的数据存储技术实现，例如非暂时性计算机可读存储介质，基于半导体的存储器设备，磁存储器设备和系统，光学存储器设备和系统，固定存储器和可移动存储器。
该内存820存储至少一部分的程序830。该程序830被认为包括程序指令，以在被相关的处理器810执行时，使得装置800能够执行如图2到图6的本公开的实施例。也就是说，本公开的实施例可以被装置800的处理器810所执行的软件实现，或通过硬件，或通过硬件和软件的结合。
图9是适用于执行本公开的一些实施例的装置900的简化模块图。如图8所示的，该装置900包括一个或多个处理器910，一个或多个连接到处理器的内存920。该装置900可以被用作播放VR360应用的设备。
在本公开的一些实施例中，该装置910被配置为执行以下操作：
获取用于在VR360应用中的视点之间进行切换的配置；以及
根据该配置在VR360应用中的视点之间进行切换。
请参考图3a到图6，该切换过渡装置900执行的一些实施例可以为如图3a到图6所示的实施例。
在一些实施例中，装置900可以进一步包括连接到处理器910的一个或多个发射器/接收器(TX/RX)940。在一些实施例中，该发射器/接收器(TX/RX)940被配置为定位该装置900。
该处理器910作为参考示例的，可以是任何适合于播放VR360应用的类型，也可以包括一个或多个通用的计算机、特定用途计算机、微处理器、数子信号处理器(DSPs)以及基于多核处理器架构的处理器。该装置900可以具有多个处理器，例如特定用途的在时间上从属于与主处理器同步时钟的集成电路芯片。
该内存920作为参考示例的，可以是任何适合于存储VR360应用的内存，可以通过任何适合的数据存储技术实现，例如非暂时性计算机可读存储介质，基于半导体的存储器设备，磁存储器设备和系统，光学存储器设备和系统，固定存储器和可移动存储器。
该内存920存储至少一部分的程序930。假定该程序930包括程序指令，以在被相关的处理器910执行时，使得装置900能够执行如图7的本公开的实施例。也就是说，本公开的实施例可以被装置900的处理器910所执行的软件实现，或通过硬件，或通过硬件和软件的结合。
图10是是适用于执行本公开的一些实施例的装置1000的简化模块图。该装置1000可以被用作VR360播放器。如图所示，该装置1000包括：
获取模块1010，被配置为获取用于在VR360应用中的视点之间进行切换的配置；以及
切换模块1020，被配置为根据该配置在VR360应用中的视点之间进行切换。
该配置包括以下任一参数或是参数的任何方式的组合：
视口参数(viewport parameter)指示特定视点切换的初始视口；
过渡效果参数(transition effect parameter)指示特定视点切换的特定过渡效果；
激活窗口参数(activation window parameter)指示视点切换的至少一个激活窗口；
切换时点参数(time switching parameter)指示特定视点切换的在目的媒体时间中的播放时间线的起始位置。
请参考图3a到图6，该切换过渡装置1000执行的一些实施例可以为如图3a到图6所示的实施例。
图11是适用于执行本公开的一些实施例的装置1100的简化模块图。该装置1100可以被用作VR360播放器。如图所示，该装置1100包括：
确定模块，被配置为确定在VR360中在视点之间进行切换的配置；以及
传输模块，被配置为将该配置传输到VR360应用中。
该配置包括以下任一参数或是参数的任何方式的组合：
视口参数(viewport parameter)指示特定视点切换的初始视口；
过渡效果参数(transition effect parameter)指示特定视点切换的特定过渡效果；
激活窗口参数(activation window parameter)指示视点切换的至少一个激活窗口；
切换时点参数(time switching parameter)指示特定视点切换的在目的媒体时间中的播放时间线的起始位置。
请参考图3a到图6，该切换过渡装置1100执行的一些实施例可以为如图3a到图6所示的实施例。
图2和图7中所示的各种框可以被视为方法步骤，和/或作为由计算机程序代码操作所产生的操作，和/或被构造为用于输出相关的功能的具有多个耦合的逻辑电路元件。本公开的示例性实施例的至少一些方面可以在诸如集成电路芯片和模块的各种组件中实现，并且本公开的示例性实施例可以体现为集成电路，可配置为根据本公开的示例性实施例操作的FPGA或ASIC的设备中实现。
此外，本公开还可以提供包含以上计算机程序的载体，其中该载体是电子信号、光信号、无线电信号或计算机可读介质中的一种。该计算机可读介质可以是，例如，光学光盘或电子存储装置，如RAM(随机存取存储器)，ROM(只读存储器)，闪存，磁带，CD-ROM，DVD，蓝光光盘或类似。
在本公开的一些实施例中，该VR360媒体可以是OMAF媒体。在本公开的一些实施例中，该VR360播放器可以是OMAF播放器。
基于以上的描述，本领域内技术人能能够理解，本公开可以通过装置、方法或是计算机可读介质来呈现。一般来说，这些各种可能的实施例可以通过硬件或特殊用途的电路，软件，逻辑，或是以上的任意组合来实现。举例来说，一些方面可以通过硬件来实现，且其他方面可以通过固件，或是通过控制器或微处理器或是其他计算设备来执行的软件，尽管本公开并不局限于此。同时本公开示例性实施例的不同方面可以被用框图、流程图、或是其他图来进行图例说明或描述，众所周知此处描述的这些框、装置、系统、技术或方法可以非约束性示例的通过硬件、软件、固件、特殊用途的电路或逻辑，一般用途的硬件或控制器或其他计算设备，或以上一些组合来实现。
基于以上的描述，本领域内技术人能能够理解本公开可以被呈现为装置、方法、或是计算机程序产品。一般来说，各种示例性的实施例可以被应用于硬件或特殊用户的电路，软件，逻辑或以上任意组合。举例来说，一些方面可以通过硬件来实现，且其他方面可以通过固件，或是通过控制器或微处理器或是其他计算设备来执行的软件，尽管本公开并不局限于此。同时本公开示例性实施例的不同方面可以被用框图、流程图、或是其他图来进行图例说明或描述，众所周知此处描述的这些框、装置、系统、技术或方法可以非约束性示例的通过硬件、软件、固件、特殊用途的电路或逻辑，一般用途的硬件或控制器或其他计算设备，或以上一些组合来实现。
虽然本说明书包含许多具体实现细节，但这些不应被解释为对任何公开或可要求保护的范围的限制，而是作为特定于特定公开的特定实施例的特征的描述。在单独实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此声明，但是在某些情况下可以从组合中切除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这样的操作，或者执行所有示出的操作，以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包成多种软件产品。
当结合附图阅读时，鉴于前面的描述，对本公开的前述示例性实施例的各种修改，调整对于相关领域的技术人员而言将变得显而易见。任何和所有修改仍将落入本公开的非限制性和示例性实施例的范围内。此外，本公开的这些实施例所属领域的技术人员将会想到本文所阐述的公开内容的其他实施例，其具有前述描述和相关附图中呈现的教导的益处。
因此，应理解，本公开的实施例不限于所公开的特定实施例，修改和其他实施例旨在包括在所附权利要求的范围内。尽管这里使用了特定术语，但它们仅用于一般性和描述性意义，而不是用于限制的目的。

Claims (40)

1.一种在虚拟现实360(VR360)应用中传输视点切换能力的方法，包括：
确定在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
将所述配置传输到所述VR360应用。
2.根据权利要求1所述的方法，其中所述配置是附在节点或切换过渡的ISOBMFF容器。
3.根据权利要求1或2所述的方法，其中所述配置包括以下任一参数或是参数任何组合：
视口参数，指示特定视点切换的初始视口；
过渡效果参数，指示特定视点切换的特定过渡效果；
激活窗口参数，指示视点切换的至少一个激活窗口；
切换时点参数，指示特定视点切换的在目的媒体时间中的播放时间线的起始位置。
4.根据权利要求3所述的方法，其中所述视口参数包括：
视口标识符，指示目的视点是否配置有初始视口。
5.根据权利要求1所述的方法，其中所述配置还包括：多种切换情况中每一种切换情况具有最多一个视口参数，该参数包括以下的至少一个参数：
数字参数，指示视点切换数；
ID参数，指示视点切换中的目的视点的ID。
6.根据权利要求3所述的方法，其中所述过渡效果参数包括以下的至少一种参数：
过渡效果标识，指示是否配置了过渡效果；
过渡效果类型标识，指示特定切换的过渡效果的类型；
过渡效果指示符，指示特定过渡效果视频存储的位置。
7.根据权利要求3所述的方法，其中该切换时点参数包括以下的至少一种参数：
时间线切换偏移量标识符，指示是否设置了时间偏移量；
偏移量指示符，指示偏移量的数值；
与当前相关标识符，指示出偏移量的起始点。
8.根据权利要求3所述的方法，其中该激活窗口参数包括以下的至少一种参数：
最小时间标识符，指示切换过渡的最小时间是否被配置，如果最小时间被配置，则过渡在该最小时间之后被激活；
最小时间参数，指示最小时间的数值；
最大时间标识符，指示切换过渡的最大时间是否被配置，如果最大时间被配置，则过渡在该最大时间之前被激活；
最大时间参数，指示最大时间的数值。
9.根据权利要求8所述的方法，其中该激活窗口参数附在播放时间线的时间元数据轨道。
10.一种在虚拟现实360(VR360)应用中传输视点切换能力的方法，包括：
获取在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
根据所述配置在所述VR360应用的视点间进行切换。
11.根据权利要求10所述的方法，其中所述配置是附在节点或切换过渡的ISOBMFF容器。
12.根据权利要求10或11所述的方法，其中所述配置包括以下任一参数或是参数任何组合：
视口参数，指示特定视点切换的初始视口；
过渡效果参数，指示特定视点切换的特定过渡效果；
激活窗口参数，指示视点切换的至少一个激活窗口；
切换时点参数，指示特定视点切换的在目的媒体时间中的播放时间线的起始位置。
13.根据权利要求12所述的方法，其中所述视口参数包括：
视口标识符，指示目的视点是否配置有初始视口。
14.根据权利要求12所述的方法，其中所述配置还包括：多种切换情况中每一种切换情况具有最多一个视口参数，该参数包括以下的至少一个参数：
数字参数，指示视点切换数；
ID参数，指示视点切换中的目的视点的ID。
15.根据权利要求12所述的方法，其中所述过渡效果参数包括以下的至少一种参数：
过渡效果标识，指示是否配置了过渡效果；
过渡效果类型标识，指示特定切换的过渡效果的类型；
过渡效果指示符，指示特定过渡效果视频存储的位置。
16.根据权利要求12所述的方法，其中所述切换时点参数包括以下的至少一种参数：
时间线切换偏移量标识符，指示是否设置了时间偏移量；
偏移量指示符，指示偏移量的数值；
与当前相关标识符，指示出偏移量的起始点。
17.根据权利要求12所述的方法，其中所述激活窗口参数包括以下的至少一种参数：
最小时间标识符，指示切换过渡的最小时间是否被配置，如果最小时间被配置，则过渡在该最小时间之后被激活；
最小时间参数，指示最小时间的数值；
最大时间标识符，指示切换过渡的最小时间是否被配置，如果最大时间被配置，则过渡只在该只最大时间之前被激活；
最大时间参数，指示最大时间的数值。
18.根据权利要求17所述的方法，其中所述激活窗口参数附在播放时间线的时间元数据轨道。
19.一种在虚拟现实360(VR360)应用中传输视点切换能力的设备，包括至少一个内存，以及被配置为执行以下指令的至少一个处理器：
确定在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
将所述配置传输到所述VR360应用。
20.一种在虚拟现实360(VR360)应用中传输视点切换能力的设备，包括至少一个内存，以及被配置为执行以下指令的至少一个处理器：
获取在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
根据所述配置在所述VR360应用的视点间进行切换。
21.一种计算机可读介质具有存储在其中的可以被处理器调用和执行的至少一个指令以执行操作：
确定在虚拟现实360(VR360)应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
将所述配置传输到所述VR360应用。
22.一种计算机可读介质具有存储在其中的可以被处理器调用和执行的至少一个指令以执行操作：
获取在虚拟现实360(VR360)应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
根据所述配置在所述VR360应用的视点间进行切换。
23.一种装置，包括：
确定模块，被配置为确定在VR360中在视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；以及
传输模块，被配置为将该配置传输到VR360应用中。
24.根据权利要求23所述的装置，其中所述配置是附在节点或切换过渡的ISOBMFF容器。
25.根据权利要求22或23所述的装置，其中所述配置包括以下任一参数或是参数任何组合：
视口参数，指示特定视点切换的初始视口；
过渡效果参数，指示特定视点切换的特定过渡效果；
激活窗口参数，指示特定视点切换的至少一个激活窗口；
切换时点参数，指示特定视点切换的在目的媒体时间中的播放时间线的起始位置。
26.根据权利要求25所述的装置，其中所述视口参数包括：
视口标识符，指示目的视点是否配置有初始视口。
27.根据权利要求25所述的装置，其中所述配置还包括：多种切换情况中每一种切换情况具有最多一个视口参数，该参数包括以下的至少一个参数：
数字参数，指示视点切换数；
ID参数，指示视点切换中的目的视点的ID。
28.根据权利要求25所述的装置，其中所述过渡效果参数包括以下的至少一种参数：
过渡效果标识，指示是否配置了过渡效果；
过渡效果类型标识，指示特定切换的过渡效果的类型；
过渡效果指示符，指示特定过渡效果视频存储的位置。
29.根据权利要求25所述的装置，其中该切换时点参数包括以下的至少一种参数：
时间线切换偏移量标识符，指示是否设置了时间偏移量；
偏移量指示符，指示偏移量的数值；
与当前相关标识符，指示出偏移量的起始点。
30.根据权利要求25所述的装置，其中该激活窗口参数包括以下的至少一种参数：
最小时间标识符，指示切换过渡的最小时间是否被配置，如果最小时间被配置，则过渡在该最小时间之后被激活；
最小时间参数，指示最小时间的数值；
最大时间标识符，指示切换过渡的最大时间是否被配置，如果最大时间被配置，则过渡在该最大时间之前被激活；
最大时间参数，指示最大时间的数值。
31.根据权利要求30所述的装置，其中该激活窗口参数附在播放时间线的时间元数据轨道。
32.一种装置，包括：
获取模块，被配置为获取在VR360应用中的视点之间进行切换的配置；其中所述视点之间进行切换为VR360应用在至少两个不同视点之间移动，其中所述不同视点为播放所述VR360应用的不同的地点；
切换模块，被配置为根据所述配置在所述VR360应用的视点间进行切换。
33.根据权利要求32所述的装置，其中所述配置是附在节点或切换过渡的ISOBMFF容器。
34.根据权利要求32或33所述的装置，其中所述配置包括以下任一参数或是参数任何组合：
视口参数，指示特定视点切换的初始视口；
过渡效果参数，指示特定视点切换的特定过渡效果；
激活窗口参数，指示特定视点切换的至少一个激活窗口；
切换时点参数，指示特定视点切换的在目的媒体时间中的播放时间线的起始位置。
35.根据权利要求34所述的装置，其中所述视口参数包括：
视口标识符，指示目的视点是否配置有初始视口。
36.根据权利要求34所述的装置，其中所述配置还包括：多种切换情况中每一种切换情况具有最多一个视口参数，该参数包括以下的至少一个参数：
数字参数，指示视点切换数；
ID参数，指示视点切换中的目的视点的ID。
37.根据权利要求34所述的装置，其中所述过渡效果参数包括以下的至少一种参数：
过渡效果标识，指示是否配置了过渡效果；
过渡效果类型标识，指示特定切换的过渡效果的类型；
过渡效果指示符，指示特定过渡效果视频存储的位置。
38.根据权利要求34所述的装置，其中所述切换时点参数包括以下的至少一种参数：
时间线切换偏移量标识符，指示是否设置了时间偏移量；
偏移量指示符，指示偏移量的数值；
与当前相关标识符，指示出偏移量的起始点。
39.根据权利要求34所述的装置，其中所述激活窗口参数包括以下的至少一种参数：
最小时间标识符，指示切换过渡的最小时间是否被配置，如果最小时间被配置，则过渡在该最小时间之后被激活；
最小时间参数，指示最小时间的数值；
最大时间标识符，指示切换过渡的最小时间是否被配置，如果最大时间被配置，则过渡只在该只最大时间之前被激活；
最大时间参数，指示最大时间的数值。
40.根据权利要求39所述的装置，其中所述激活窗口参数附在播放时间线的时间元数据轨道。
CN202110976866.6A 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置 Pending CN113691883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110976866.6A CN113691883A (zh) 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110976866.6A CN113691883A (zh) 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置
CN201980001273.9A CN110313175B (zh) 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置
PCT/CN2019/078877 WO2020186478A1 (en) 2019-03-20 2019-03-20 Method and device for transmitting viewpoint switching capabilities in a vr360 application

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980001273.9A Division CN110313175B (zh) 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置

Publications (1)

Publication Number Publication Date
CN113691883A true CN113691883A (zh) 2021-11-23

Family

ID=68083718

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980001273.9A Active CN110313175B (zh) 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置
CN202110976866.6A Pending CN113691883A (zh) 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980001273.9A Active CN110313175B (zh) 2019-03-20 2019-03-20 在vr360应用中传输视点切换能力的方法和装置

Country Status (7)

Country Link
US (1) US20220150458A1 (zh)
EP (1) EP3753257A4 (zh)
JP (1) JP7286791B2 (zh)
KR (1) KR20210138090A (zh)
CN (2) CN110313175B (zh)
SG (1) SG11202110312XA (zh)
WO (1) WO2020186478A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4128808A1 (en) * 2020-04-02 2023-02-08 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN111447503A (zh) * 2020-04-26 2020-07-24 烽火通信科技股份有限公司 一种多视点视频的视点切换方法、服务器和系统
CN113949829B (zh) * 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179867A (ja) * 2001-12-10 2003-06-27 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
CN101627410A (zh) * 2007-03-15 2010-01-13 汤姆森许可贸易公司 用于在场景图之间进行自动美感过渡的方法和设备
CN103004224A (zh) * 2010-07-21 2013-03-27 诺基亚公司 在流会话中指示切换点的方法和装置
CN106921864A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 视频播放方法和装置
US20180054650A1 (en) * 2016-08-16 2018-02-22 Visbit Inc. Interactive 360º VR Video Streaming
WO2018071562A1 (en) * 2016-10-12 2018-04-19 Viar Inc Virtual/augmented reality content management system
CN108111899A (zh) * 2017-12-29 2018-06-01 中兴通讯股份有限公司 视频传输方法、客户端、服务器
US20180232108A1 (en) * 2015-09-14 2018-08-16 Sony Corporation Information processing device and information processing method
CN108702528A (zh) * 2016-02-17 2018-10-23 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
CN109076255A (zh) * 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
US9337982B2 (en) * 2013-04-05 2016-05-10 Qualcomm Incorporated Adaptive antenna management in LTE
US9110573B2 (en) * 2013-04-26 2015-08-18 Google Inc. Personalized viewports for interactive digital maps
US9848212B2 (en) * 2015-07-10 2017-12-19 Futurewei Technologies, Inc. Multi-view video streaming with fast and smooth view switch
US20170244959A1 (en) * 2016-02-19 2017-08-24 Adobe Systems Incorporated Selecting a View of a Multi-View Video
EP3432590A4 (en) 2016-03-14 2019-02-27 Sony Corporation DISPLAY DEVICE AND TERMINAL INFORMATION PROCESSING DEVICE
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
CN107888993B (zh) * 2016-09-30 2020-11-06 华为技术有限公司 一种视频数据的处理方法及装置
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN107959861B (zh) * 2016-10-18 2020-08-25 华为技术有限公司 一种数据处理方法、相关设备及系统
CN106791888A (zh) * 2016-12-20 2017-05-31 三星电子（中国）研发中心 基于用户视角的全景图片的传输方法和装置
FI20166017A (fi) * 2016-12-22 2018-06-23 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
JP6872631B2 (ja) * 2017-03-23 2021-05-19 ヴィド スケール インコーポレイテッド ３６０度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
WO2018193330A1 (en) * 2017-04-20 2018-10-25 Nokia Technologies Oy Method and apparatus for delivery of streamed panoramic images
US10453273B2 (en) * 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US10375375B2 (en) * 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
CN109218274A (zh) 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
US11122246B2 (en) * 2017-07-19 2021-09-14 Euclideon Holographics Pty Ltd Multiple observer improvement for a virtual environment
US11622153B2 (en) * 2017-10-04 2023-04-04 Interdigital Madison Patent Holdings, Sas Customized 360-degree media viewing
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置
CN116708847A (zh) * 2018-03-22 2023-09-05 Vid拓展公司 方法、系统及非暂时性计算机可读介质
CN111937397A (zh) * 2018-04-03 2020-11-13 华为技术有限公司 媒体数据处理方法及装置
WO2019194434A1 (ko) * 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
WO2020065129A1 (en) * 2018-09-28 2020-04-02 Nokia Technologies Oy Method and apparatus for enabling multiple timeline support for omnidirectional content playback
CN114979750A (zh) * 2019-01-08 2022-08-30 诺基亚技术有限公司 用于虚拟现实的方法、装置和计算机可读介质
US10974147B1 (en) * 2019-12-19 2021-04-13 Sony Interactive Entertainment Inc. Spectator switch board customized to user viewport selection actions

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179867A (ja) * 2001-12-10 2003-06-27 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
CN101627410A (zh) * 2007-03-15 2010-01-13 汤姆森许可贸易公司 用于在场景图之间进行自动美感过渡的方法和设备
CN103004224A (zh) * 2010-07-21 2013-03-27 诺基亚公司 在流会话中指示切换点的方法和装置
US20180232108A1 (en) * 2015-09-14 2018-08-16 Sony Corporation Information processing device and information processing method
CN106921864A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 视频播放方法和装置
CN108702528A (zh) * 2016-02-17 2018-10-23 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
CN109076255A (zh) * 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备
US20180054650A1 (en) * 2016-08-16 2018-02-22 Visbit Inc. Interactive 360º VR Video Streaming
WO2018071562A1 (en) * 2016-10-12 2018-04-19 Viar Inc Virtual/augmented reality content management system
CN108111899A (zh) * 2017-12-29 2018-06-01 中兴通讯股份有限公司 视频传输方法、客户端、服务器

Also Published As

Publication number Publication date
CN110313175A (zh) 2019-10-08
JP7286791B2 (ja) 2023-06-05
CN110313175B (zh) 2021-10-01
EP3753257A4 (en) 2021-09-15
KR20210138090A (ko) 2021-11-18
WO2020186478A1 (en) 2020-09-24
SG11202110312XA (en) 2021-10-28
EP3753257A1 (en) 2020-12-23
US20220150458A1 (en) 2022-05-12
JP2022525906A (ja) 2022-05-20

Similar Documents

Publication Publication Date Title
CN110313175B (zh) 在vr360应用中传输视点切换能力的方法和装置
KR102384489B1 (ko) 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
US9535250B2 (en) Head mounted display device and method for controlling the same
US20210067840A1 (en) Providing virtual content based on user context
EP3354007A1 (en) Video content selection
US10911809B2 (en) Communication apparatus, communication method, and program
KR20150011943A (ko) 방송 제공 장치, 방송 제공 시스템 및 이들의 방송 제공 방법
US20090317062A1 (en) Image processing method and apparatus
US11568893B2 (en) Image acquisition system and method
KR20180052255A (ko) 스트리밍 컨텐츠 제공 방법, 및 이를 위한 장치
US10291875B2 (en) Signal processing apparatus and method of generating audio signal
US20230010754A1 (en) Non-television experience triggers
US20200045359A1 (en) Reproduction device, generation device, reproduction system, program, recording medium
US20200374567A1 (en) Generation apparatus, reproduction apparatus, generation method, reproduction method, control program, and recording medium
WO2018196530A1 (zh) 一种视频信息处理方法及终端、计算机存储介质
US9667905B1 (en) Switcher for wireless display devices
RU2811076C1 (ru) Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360
RU2781059C1 (ru) Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360
RU2791924C1 (ru) Способ и устройство для воспроизведения всенаправленного медиа и машиночитаемый носитель
US20230334716A1 (en) Apparatus and method for providing 3-dimensional spatial data based on spatial random access
KR20180013243A (ko) 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치
US11375254B2 (en) Control apparatus
KR101634558B1 (ko) 멀티앵글영상 재생방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination