CN108282449A - 一种应用于虚拟现实技术的流媒体的传输方法和客户端 - Google Patents

一种应用于虚拟现实技术的流媒体的传输方法和客户端 Download PDF

Info

Publication number
CN108282449A
CN108282449A CN201710011452.3A CN201710011452A CN108282449A CN 108282449 A CN108282449 A CN 108282449A CN 201710011452 A CN201710011452 A CN 201710011452A CN 108282449 A CN108282449 A CN 108282449A
Authority
CN
China
Prior art keywords
information
client
media
mapping
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710011452.3A
Other languages
English (en)
Other versions
CN108282449B (zh
Inventor
邸佩云
谢清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710011452.3A priority Critical patent/CN108282449B/zh
Priority to EP17890257.3A priority patent/EP3557834A4/en
Priority to PCT/CN2017/098289 priority patent/WO2018126702A1/zh
Publication of CN108282449A publication Critical patent/CN108282449A/zh
Priority to US16/503,565 priority patent/US11095936B2/en
Application granted granted Critical
Publication of CN108282449B publication Critical patent/CN108282449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32246—Virtual reality based interface scheduler
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种应用于虚拟现实技术的流媒体的传输方法和客户端，所述方法包括：客户端向服务器发送媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收数据推送，所述辅助信息指示客户端支持虚拟现实呈现的属性；所述客户端接收媒体呈现描述和媒体数据，其中，所述媒体呈现描述和所述媒体数据是所述服务器响应所述媒体信息获取请求后发出的。根据本发明实施例的应用于虚拟现实技术的流媒体传输的方法和装置，可以降低传输时延，提高传输效率。

Description

一种应用于虚拟现实技术的流媒体的传输方法和客户端
技术领域
本发明涉及流媒体数据处理领域，尤其涉及一种应用于虚拟现实技术的流媒体的传输方法和客户端。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，可以使用户沉浸到该环境中。VR主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。当VR视频(或者360度视频，或者全方位视频(英文：Omnidirectional video))在头戴设备和手持设备上呈现时，只有对应于用户头部的方位部分的视频图像呈现和相关联的音频呈现。
随着虚拟现实(英文：virtual reality，VR)技术的日益发展完善，360度视角等VR视频的观看应用越来越多地呈现在用户面前。全方位VR视频的内容会覆盖用户的360度的全部视野，为了给观看者提供浸入式的体验，呈现给用户的视频内容需要是正向的，也就是给用户呈现的视频内容是和自然界物体的上下方向是一致的。
在VR视频的观看过程中，用户通常视角范围可为120度*120度左右，图1是360度视频的示意图，左边深色框和右边浅色框分别是两个视角所对应的空间区域。用户A可以选择观看左边深色框的视频内容，用户B可以选择观看右边浅色框的视频内容；用户A也可以选择进行视角切换，从观看左边深色框的视频内容切换到观看右边浅色框的视频内容。
流媒体传输技术，是指将一连串的媒体数据压缩后，经过网络分段发送数据，在网络上传输以供客户端播放的一种技术。流媒体传输有顺序流式传输(ProgressiveStreaming)和实时流式传输(Realtime Streaming)两种方式。流媒体传输协议主要包括超文本传输协议(HyperText Transfer Protocol，HTTP)，实时传输协议(Real-timeTransport Protocol,RTP)、实时传输控制协议(Real-time Transport ControlProtocal,RTCP)、资源预定协议(Resource reserve Protocol)、实时流传输协议(RealTime Streaming Protocol，RTSP)，路由选择表维护协议(Routing Table MaintenanceProtocol，RMTP)等。
2011年11月，MPEG组织批准了DASH标准，DASH标准是基于HTTP协议传输媒体流的技术规范(以下称DASH技术规范)；DASH技术规范主要由两大部分组成：媒体呈现描述(英文：Media Presentation Description，MPD)和媒体文件格式(英文：file format)。在DASH标准中，媒体呈现描述被称为MPD，MPD可以是一个xml的文件，文件中的信息是采用分级方式描述，如图2所示，上一级的信息被下一级完全继承。在该文件中描述了一些媒体元数据，这些元数据可以使得客户端了解服务器中的媒体内容信息，并且可以使用这些信息构造请求segment的http-URL。
在DASH标准中，媒体呈现(英文：media presentation)，是呈现媒体内容的结构化数据的集合；媒体呈现描述(英文：media presentation description)，一个规范化描述媒体呈现的文件，用于提供流媒体服务；时期(英文：period)，一组连续的时期组成整个媒体呈现，时期具有连续和不重叠的特性；表示(英文：representation)，封装有一个或多个具有描述性元数据的的媒体内容成分(编码的单独的媒体类型，例如音频、视频等)的结构化的数据集合即表示是传输格式中一个或者多个码流的集合和封装，一个表示中包含一个或者多个分段；自适应集(英文：AdaptationSet)，表示同一媒体内容成分的多个可互替换的编码版本的集合，一个自适应集包含一个或者多个表示；子集(英文：subset)，一组自适应集合的组合，当播放器播放其中所有自适应集合时，可以获得相应的媒体内容；分段信息，是媒体呈现描述中的HTTP统一资源定位符引用的媒体单元，分段信息描述媒体数据的分段，媒体数据的分段可以存储在一个文件中，也可以单独存储，在一种可能的方式中，MPD中会存储媒体数据的分段。相应的MPD对segment的URL相关信息的描述也分为几种，一种是通过模板或者列表的形式描述segment的相关信息；另一种是通过描述一个索引分段(indexsegment)来描述segment的相关信息，索引分段中描述了segment在所存储的一个文件中segment的字节偏移，大小以及持续时间(duration)等信息。
有关MPEG-DASH技术的相关技术概念可以参考ISO/IEC 23009-1:2014Information technology--Dynamic adaptive streaming over HTTP(DASH)--Part 1:Media presentation description and segment formats，中的有关规定，也可以参考历史标准版本中的相关规定，如ISO/IEC 23009-1:2013或ISO/IEC 23009-1:2012等。
图3描述了现有技术中一种根据流媒体技术进行文件传输的方式，如图3所示：
步骤1、请求媒体呈现描述(Media Presentation Description，MPD)；
客户端向服务器发出http-get请求，请求要观看的节目的MPD文件。
步骤2、响应客户端请求，发送MPD；
服务器侧接收到客户端的http-get请求，向客户端发送MPD文件；
步骤3、解析MPD,选择要请求的分段(segment)；
客户端接收到MPD文件后，解析MPD文件，获得各个表示的信息。根据客户端的情况，比如客户端解码能力，客户端带宽等，选择合适的表示。
步骤4、请求segment；
客户端请求表示对应的segment。
步骤5、响应客户端请求，发送segment；
服务器接收到客户端的请求，向客户端发送segment。
步骤6、解码segment,客户端呈现；
客户端解析接收到的segment，将解析出的视频数据送入解码器，解码后呈现。
在上述的步骤中，客户端在接收到segment之前会有2个往返时延(Round-Triptime,RTT)，第一个RTT是从步骤1到2的时延，第二个RTT是从步骤4到5的时延；在当前的网络环境中，一个RTT的时延范围大概为50ms到200ms；也就是说客户端在初始阶段，请求数据的时延大概为100ms到400ms之间。在进行VR视频播放时，特别是在VR视频快速呈现或者用户视角切换等场景下，上述时延范围会造成非常差的用户体验。
发明内容
为解决上述技术问题，本发明第一方面实施例提供了一种应用于虚拟现实技术的流媒体的传输方法，所述方法包括：
客户端向服务器发送媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收服务器推送数据，所述辅助信息指示客户端支持虚拟现实呈现的属性；
所述客户端接收媒体呈现描述和媒体数据，其中，所述媒体呈现描述和所述媒体数据是所述服务器响应所述媒体信息获取请求后发出的。
在一种可能的实现方式中，所述客户端接收媒体数据。在该种实施方式下客户端可以通过其它的方式(除服务器响应所述媒体信息获取请求外的其它实现方式，例如客户端发送一个新的请求)得到媒体呈现描述，或者不得到媒体呈现描述。
在客户端接收媒体呈现描述的情况下，客户端可以根据媒体呈现描述请求后续的数据。
根据本发明实施例的流媒体的传输方法，客户端向服务器发送的媒体信息获取请求中包括了指示客户端支持虚拟现实呈现的属性的辅助信息，服务器可以根据该辅助信息确定相应的媒体数据，并将媒体数据发送给客户端，从而使得客户端针对该部分媒体数据无需再发送新的请求，有效降低了传输时延。
在本发明的一种可能的实现方式中，媒体信息获取请求是一个基于超文本传输协议(HTTP)的请求，例如可以是一个HTTP GET请求。
在一种可能的实现方式中，媒体信息获取请求包括统一资源定位符(URL)信息，所述客户端能力信息和所述辅助信息是所述统一资源定位符信息中的参数。
在本发明的一种可能的实现方式中，客户端能力信息可以是根据ISO/IEC DIS23009-6Information technology--Dynamic adaptive streaming over HTTP(DASH)--Part 6:DASH with server push and websockets中规定的信息。例如：接受推送(push)的指示信息，或者其它形式的表示客户端支持推送业务的指示信息。
在一个示例中，媒体信息获取请求中包括客户端能力信息的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000。”
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，这两种信息都可以用来表示客户端支持推送业务。
type＝“video”表示客户端请求的数据类型是视频，bitrate＝“2000000”表示客户端的带宽不超过2Mbps；height＝“720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端能最多接收5Mbytes的媒体分段数据，这几种信息主要是用来表示客户端支持的传输属性，不表示支持虚拟现实呈现的属性。
可以理解的是，客户端能力信息也可以只包括上述示例中的一种或多种信息，上述示例只是为了帮助理解本发明实施例而做出的一种举例，不是对本发明实施例的一种具体限制。
在本发明的一种可能的实现方式中，所述辅助信息包括下列信息中的至少一种：视点信息，视角信息，映射方式信息，流传输方式信息。
在本发明的一种实现方式中，视点信息表示的是用户观看360度视频时的视角落点。例如图4所示，O点表示360度视频的球形空间坐标系的原点(一般用来表示用户所处的位置)，P点表示用户的视点。视点信息可以用P点在球面上的坐标表示，比如P点的经度纬度信息，或者P点的俯仰角，偏航角或滚动角，或者是P点与球心O点的连线PO与图4中的水平面的夹角或者与图4中的垂直面的夹角表示。可以理解的是，P点只是为了帮助理解本发明实施例所述的视点的一种具体示例，而不是对本发明的一种具体限制，视点也可以是指VR视频对应的球面坐标上的任意一点。
偏航角，俯仰角，滚动角可以用来表示物体在惯性坐标系中的姿态，也可以称为欧拉角。在一种可能的实现方式中，偏航角信息，俯仰角信息，滚动角信息等信息可以是以角度为单位的信息，也可以是以像素为单位的信息，或者是以某个大小的块为单位的数据。在一个示例中，如图5所示，偏航角为ɑ，俯仰角为β，侧方滚动角(侧滚角)为θ。
在本发明的一种可能的实现方式中，所述视角信息包括视角位置信息或视角类型信息。
视角信息可以表示用户在360度视频中的视角覆盖范围。下面结合图6-8给出视角的具体示例。在图6-图8中，球面的阴影部分是视角范围，视角范围的四个角的顶点分别是B,E,G,I；在图6中，顶点BEGI是过球心的圆环和平行于坐标轴x轴和y轴的圆环在球面上的交点；在图7中，顶点BEGI是过球心的4个圆环在球面上的交点，其中每两个圆环在拥有相同的直径；在图8中，顶点BEGI是两组平行圆环在球面上的交点。球面上的点C是视角的中心位置点，点O是球心，DH边和AF边对应的角分别是视角高度和宽度，BI边，EG边和DH边对应的角度相同；BE边，IG边和AF边对应的角度相同；宽度角和高度角的顶点在Z轴上；在图6中，BE边对应的角的顶点是J，J是BE所在圆环和Z后的交点，BI边对应的交的顶点是O点；在图7中的J点和L点和图6中的J点获取方式相同，BE边对应的角的顶点是J点，BI边对应的交的顶点是L点；在图8中，BE边和BI边对应的顶点都是O点；在在上述的图6到图8的视角信息中包括C点的信息，宽度信息，高度信息，以及视角类型信息信息，视角类型包括图6到图8所示视角范围确定的方式所确定的视角。
服务器获得客户端的视点信息或者视角信息后，选择与视点信息或者视角信息相关的表示；与视点信息或者视角信息相关的表示是指视点或者视角对应的空间视频的表示，或者是和视点信息/视角信息相关的片(tile)表示，或者是一个全VR视频(即360度视频)；一个全VR视频的视频数据可以划分为多个tile,每一个tile独立编码后用一个tile表示进行描述，tile表示对应的视频数据是全VR视频数据中的部分数据。
在VR视频内容准备时，服务器可以将VR视频的每个帧全部编码，在编码的帧中可以有一部分的视频质量是高质量编码；也可以将VR视频帧划分为多个tile，每个tile对应VR视频中的部分空间区域，在编码时，对每个tile都独立的准备表示，服务器选择视点或者视角所涉及的一个或者多个tile的表示；VR视频中的tile划分可以如图9所示，在图9中，球面的空间区域，先映射成平面，之后平面被划分成9个空间区域。已有的球面到平面的映射方式有很多种，图9的示例中只是采用经纬图映射来描述tile划分，现有技术中已有的其他映射方式也支持tile划分，在此不再赘述。确定了表示后，服务器将表示的部分数据或者是一个时段的数据发送到客户端。
在本发明的一种可能的实现方式中，视点信息或者视角信息可以携带在由客户端发送到服务器的快速呈现参数集中(FastStartParams)，也可以携带在统一资源定位符(URL)参数中。比如增加参数名为viewpoint或者FOV或者ROI的参数，分别表示视点或者视角。viewpoint的取值可以是上述实现方式中的P点的信息；FOV或者ROI的信息可以是上述实现方式中的视角的描述信息。
在本发明的一种实现方式的示例中，客户端向服务器发送的媒体获取请求的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”；viewpoint＝“30,45”。
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，type＝“video”表示客户端请求的数据类型是视频。bitrate＝“2000000”表示客户端的带宽不超过2Mbps；height＝”720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端最多能接收5Mbytes的媒体分段数据；viewpoint＝“30,45”是视点信息，表示用户的视点坐标。
服务器可以针对客户端的上述请求发出如下响应：
Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；viewpoint＝“30,45”。
其中，Push-Policy表示服务器支持向客户端推送数据，“urn:mpeg:dash:fdh:2016:push-fast-start”表示服务器向客户端推送的数据支持客户端的快速呈现；type＝“video”表示推送的数据类型是视频。bitrate＝“1800000”表示推送的数据带宽为1.8Mbps；B＝“3000000”表示推送的数据是3Mbytes的媒体分段数据；viewpoint＝“30,45”是视点信息，表示推送的数据覆盖视点坐标。
在一种实现方式中，服务器也可以不发送响应，而直接向客户端发送视频数据。
在客户端启动VR视频观看或者用户进行视角切换的场景下，通过在请求中增加视点信息或者视角信息，服务器可以快速的确定客户端所需要的表示或者视频数据，从而向客户端进行推送，减少了客户端的请求次数，有效降低了时延。
在本发明的一种实现方式的示例中，客户端向服务器发送的媒体获取请求的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”；FOV＝“30,45,120,120”。
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，type＝“video”表示客户端请求的数据类型是视频。bitrate＝“2000000”表示客户端的带宽不超过2Mbps；height＝“720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端能最多接收5Mbytes的媒体分段数据；FOV＝“30,45,120,120”是视角信息，表示用户的视角范围。
服务器可以针对客户端的上述请求作出如下的响应：
Push-Policy:”urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；FOV＝“30,45,120,120”。
其中，Push-Policy表示服务器支持向客户端推送数据，“urn:mpeg:dash:fdh:2016:push-fast-start”表示服务器向客户端推送的数据支持客户端的快速呈现；type＝“video”表示推送的数据类型是视频。bitrate＝“1800000”表示推送的数据带宽为1.8Mbps；B＝“3000000”表示推送的数据是3Mbytes的媒体分段数据；FOV＝“30,45,120,120”表示视角信息，30,45是视角中心点信息，120,120是视角的宽高；上述的视角也可以表示为FOV＝“30,45,120,120,2，”该信息中的2表示视角类型，比如2表示的视角类型是图7中描述的视角。
在一种实现方式中，服务器也可以不发送响应，而直接向客户端发送视频数据。
在本发明的一种可能的实现方式中，所述映射方式信息指示的映射方式包括下列至少之一的方式：球形映射，柱形映射，经纬图映射，立方体映射，八面体映射，二十面体映射，等面积映射或分段球面映射。
客户端可以向服务器发送客户端支持的映射方式。在VR视频中，每一个VR帧都是一个球面，但是现有的编码以及处理技术都是基于平面进行的，所以在球面VR帧进行编码之前，会将球面映射成为平面图；典型的映射方式有经纬图，立方体，柱面等。
在一种可能的实现方式中，增加的参数名可以是projectType，该参数的取值可以是映射方式的英文全拼，也可以是缩写，或者是已经预先定义好的码字。
在一种具体的示例中，客户端发送到服务器测的媒体信息获取请求如下
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”；projectType＝“cube,erp”。
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，type＝“video”表示客户端请求的数据类型是视频。bitrate＝“2000000”表示客户端的带宽不超过2Mbps；height＝“720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端能最多接收5Mbytes的媒体分段数据；projectType＝“cube,erp”是映射方式信息，表示客户端支持的映射方式，在本示例中，映射方式是立方体和经纬图。
针对上述请求，服务器可以向客户端发出如下响应：
Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；projectType＝“erp”。
其中，Push-Policy表示服务器支持向客户端推送数据，“urn:mpeg:dash:fdh:2016:push-fast-start”表示服务器向客户端推送的数据支持客户端的快速呈现；type＝“video”表示推送的数据类型是视频。bitrate＝“1800000”表示推送的数据带宽为1.8Mbps；B＝“3000000”表示推送的数据是3Mbytes的媒体分段数据；projectType＝“erp”表示数据的映射方式是经纬图。
在一种可能的方式中，服务器也可以不向客户端发送响应，而直接发送视频数据。
通过在客户端发送到服务器的信息中增加映射方式信息，在服务器中有多种映射方式的表示的时候，可以使得服务器快速确定客户端能够支持的映射方式的表示，向客户端推送表示的数据，减少客户端和服务器的交互时延。
在本发明的一种可能的实现方式中，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：片(tile)方式或者完整帧方式。
客户端向服务器发送客户端支持的流传输方式。在VR视频传输中，可以有两种视频流的传输方式，一种是将一个VR视频帧的内容都传输给客户端(完整帧方式)，另一种是将VR视频内容划分成多个片(tile)，每一个片对应内容独立编码(tile方式)，在传输时可以将客户端的视角所涉及到的内容部分的片的表示发送到客户端，划分方式可以如图9所示。在一种实现的方式中，服务器可以同时传输一个低质量的完整的VR视频帧的数据和至少一个高质量的片(tile)的数据。
在一种可能的实现方式中，增加的参数名可以是streamType，该参数的取值可以是传输方式的英文全拼，也可以是缩写，或者是已经预先定义好的码字。
在一个具体的示例中，客户端发送的媒体信息获取请求的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”；streamType＝“tile”。
客户端向服务器请求视频数据，请求字节数为5MByte，请求的最大分辨率是720p，最大码率是2mbps；客户端能够支持的传输方式是tile方式。
针对上述请求，服务器可以向客户端发出如下响应：
Push-Policy:”urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；streamType＝“tile”。
服务器向客户端发送视频数据3MByte，码率1.8mbps，传输的数据是tile的数据。
上述示例中其它字段的含义可以参考前述示例中的对应部分，在此不再赘述。
在一种可能的方式中，服务器也可以不向客户端发送响应，而直接发送视频数据。
在客户端发送到服务器的请求中增加了流传输方式信息，在服务器支持多种流传输方式的时候，可以使得服务器快速确定客户端能够支持的流传输方式的表示，向客户端推送表示的数据，减少客户端和服务器的交互时延。
在一种可能的实现中，客户端的请求信息中可以不携带type＝“”；bitrate＝“”；B＝“”中的一个或者多个信息；
在一种可能的实现中，上述实施例中的Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”也可以是其他的信息，比如Accept-faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”或者faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch。”
Accept-faceback-Policy或者faceback-Policy:表示客户端可以将用户观看VR的情况反馈给服务器或者内容分发网络(Content delivery network，CDN)，“urn:mpeg:dash:fdh:2016:cdn-prefetch”表示服务器或者CDN可以通过反馈信息来预估用户的视点或者视角的变化，预先从头结点服务器将用户在将来要请求的数据获取到边缘服务器或者CDN节点上，从而减少客户端从头结点获取新视点数据的端到端时延。
在一种具体的示例中，客户端发送到服务器测的媒体信息获取请求如下，
Accept-faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”；
表示客户端支持服务器或者CDN的数据预取功能，客户端可以将客户端的信息反馈给CDN；
针对上述请求，服务器可以向客户端发出如下响应：
faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”；
表示服务器或者CDN支持数据预取功能，可以接受客户端的反馈信息；
在一种具体的示例中，客户端发送到服务器测的媒体信息获取请求如下，
Accept-faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”；type＝“viewpoint，FOV，projectType，streamType”。
表示客户端支持Accept-faceback-Policy向服务器或者CDN的反馈数据；“urn:mpeg:dash:fdh:2016:cdn-prefetch”表示客户端反馈的数据支持服务器或者CDN的数据预取功能；type＝“viewpoint，FOV，projectType，streamType”表示客户端可以反馈的数据类型，比如客户端支持的数据类型有视点/视角/映射方式/流传输方式。
针对上述请求，服务器或者CDN的响应可以是：
faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”；type＝“viewpoint”
表示服务器只支持视点信息。
在一种具体的示例中，客户端发送到服务器测的媒体信息获取请求如下，
Accept-faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”；viewpoint＝“30,45”；
表示客户点反馈的视点信息是视点信息，视点是“30,45”。
在一种实现方式中，对于上述的示例信息，服务器可以不发送响应信息。
在一种具体的示例中，客户端发送到服务器侧的媒体信息获取请求如下，
Accept-faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”；FOV＝“30,45,120,120”表示客户点反馈的视点信息是视角信息，视角是“30,45,120,120”；上述的视角也可以表示为FOV＝”30,45,120,120,2”，该信息中的2表示视角类型，比如2表示的视角类型是图7中描述的视角。
在一种实现方式中，对于上述的示例信息，服务器可以不发送响应信息。
在本实施例中客户端还可以反馈其他信息，比如映射方式和传输方式，这里不再赘述。
针对上述请求，服务器可以向客户端发出如下响应：
faceback-Policy:“urn:mpeg:dash:fdh:2016:cdn-prefetch”；
表示服务器或者CDN支持数据预取功能，可以接受客户端的反馈信息。
在一种实现方式中，客户端发送到服务器侧的媒体信息获取请求，可以独立发送，也可以和请求分段数据或者媒体呈现描述的请求信息一起发送。
在一种可能的实现方式中，本发明实施例所述的媒体呈现描述，可以是一个包括了视频数据的索引信息的文件，该文件的格式既可以是使用的标准协议，如使用超文本标记语言(HyperText Markup Language，HTML)构建的xml文件；也可以是使用其它私有协议构建的文件。
在一种可能的实现方式中，媒体呈现描述可以是基于MPEG-DASH标准得到的文件。
在一种可能的实现方式中，本发明实施例所述的视频数据，可以包括一帧或多帧图像数据，可以是采集设备采集到的原始数据，也可以是对采集的原始数据进行编码后的数据。在一种实现方式中，可以采用ITU H.264或ITU H.265等编码标准对原始采集数据进行编码。在一种实现方式中，视频数据包括一个或多个媒体分段(segment)。在一种示例中，服务器会为同一个视频内容准备多种版本的码流，每个版本的码流称为表示(representation)。表示是在传输格式中的一个或者多个码流的集合和封装，一个表达中包含一个或者多个分段(segment)。不同版本的码流的码率、分辨率等编码参数可以不同，每个码流分割成多个小的文件，每个小文件被称为分段。在客户端请求媒体分段数据的过程中可以在不同的媒体表示之间切换，在一个示例中，服务器为一部电影准备了3个表示，包括rep1，rep2，rep3。其中，rep1是码率为4mbps(每秒兆比特)的高清视频，rep2是码率为2mbps的标清视频，rep3是码率为1mbps的标清视频。每个表示的分段可以首尾相接的存在一个文件中，也可以独立存储为一个个的小文件。Segment可以按照标准ISO/IEC 14496-12中的格式封装(ISO BMFF(Base Media File Format))，也可以是按照ISO/IEC 13818-1中的格式封装(MPEG-2TS)。
在一种实现方式中，视频数据也可以根据私有协议封装。可以包括一段时间长度(例如5s)的媒体内容，也可以只包括某一个时间点(例如11点59分10秒)的媒体内容。
本发明第二方面实施例提供了一种应用于虚拟现实技术的流媒体传输客户端，所述客户端包括：发送器，用于向服务器发送媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收服务器推送数据，所述辅助信息指示客户端支持虚拟现实呈现的属性；接收器，用于接收媒体呈现描述和媒体数据，其中，所述媒体呈现描述和所述媒体数据是所述服务器响应所述媒体信息获取请求后发出的。
在本发明一种可能的实现方式中，所述辅助信息包括下列信息中的至少一种：视点信息，视角信息，映射方式信息，流传输方式信息。
在本发明一种可能的实现方式中，所述视角信息包括视角位置信息或视角类型信息。
在本发明一种可能的实现方式中，所述映射方式信息指示的映射方式包括下列至少之一的方式：
球形映射，柱形映射，经纬图映射，立方体映射，八面体映射，二十面体映射，等面积映射或分段球面映射。
在本发明一种可能的实现方式中，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：
片(tile)方式或者完整帧方式。
在本发明一种可能的实现方式中，所述媒体信息获取请求是一个HTTP请求。
在本发明一种可能的实现方式中，所述媒体信息获取请求包括统一资源定位符(URL)信息，所述客户端能力信息和所述辅助信息是所述统一资源定位符信息中的参数。
可以理解的是，本发明装置实施例的具体实现方式以及有关特征的示例，可以采用上述第一方面方法实施例对应的实现方式，在此不再赘述。
本发明第三方面实施例公开了一种应用于虚拟现实技术的流媒体的传输方法，其特征在于，所述方法包括：
服务器接收客户端发送的媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收服务器推送数据，所述辅助信息指示客户端支持虚拟现实呈现的属性；
所述服务器响应所述媒体信息获取请求，向所述客户端发送媒体呈现描述和媒体数据。
在本发明一种可能的实现方式中，所述辅助信息包括下列信息中的至少一种：
视点信息，视角信息，映射方式信息，流传输方式信息。
在本发明一种可能的实现方式中，所述视角信息包括视角位置信息或视角类型信息。
在本发明一种可能的实现方式中，所述映射方式信息指示的映射方式包括下列至少之一的方式：
球形映射，柱形映射，经纬图映射，立方体映射，八面体映射，二十面体映射，等面积映射或分段球面映射。
在本发明一种可能的实现方式中，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：
片(tile)方式或者完整帧方式。
在本发明一种可能的实现方式中，所述媒体信息获取请求是一个HTTP请求。
在本发明一种可能的实现方式中，所述媒体信息获取请求包括统一资源定位符(URL)信息，所述客户端能力信息和所述辅助信息是所述统一资源定位符信息中的参数。
上述实现方式的具体示例和特征释义可以参考第一方面实施例中对应部分的实施例，在此不再赘述。
本发明第四方面的实施例公开了一种应用于虚拟现实技术的流媒体传输的服务器，其特征在于，所述服务器包括：
接收器，用于接收客户端发送的媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收服务器推送数据，所述辅助信息指示客户端支持虚拟现实呈现的属性；
发送器，所述发送器用于响应所述媒体信息获取请求，向所述客户端发送媒体呈现描述和媒体数据。
在本发明一种可能的实现方式中，所述辅助信息包括下列信息中的至少一种：视点信息，视角信息，映射方式信息，流传输方式信息。
在本发明一种可能的实现方式中，所述视角信息包括视角位置信息或视角类型信息。
在本发明一种可能的实现方式中，所述映射方式信息指示的映射方式包括下列至少之一的方式：
球形映射，柱形映射，经纬图映射，立方体映射，八面体映射，二十面体映射，等面积映射或分段球面映射。
在本发明一种可能的实现方式中，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：
片(tile)方式或者完整帧方式。
在本发明一种可能的实现方式中，所述媒体信息获取请求是一个HTTP请求。
在本发明一种可能的实现方式中，所述媒体信息获取请求包括统一资源定位符(URL)信息，所述客户端能力信息和所述辅助信息是所述统一资源定位符信息中的参数。
上述实现方式的具体示例可以参考上述第三方面实施例和第一方面实施例中对应部分的实施例，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的用户在观看360度视频时的视角空间的示意图。
图2是本发明实施例的基于MPEG-DASH进行流媒体传输时的媒体展现描述的结构示意图。
图3是现有技术中的一种基于流媒体技术的视频数据的传输方法的流程示意图。
图4是本发明实施例的一种实现方式的视点的示意图。
图5是本发明实施例的一种实现方式的偏航角，俯仰角，侧方滚动角的示意图。
图6是本发明实施例的一种实现方式的视角的示意图。
图7是本发明实施例的另一种实现方式的视角的示意图。
图8是本发明实施例的另一种实现方式的视角的示意图。
图9是本发明实施例的根据经纬图进行片(tile)划分的一种示意图。
图10是本发明实施例的应用于虚拟现实技术的流媒体传输的实现方式的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图10描述本发明实施例的应用与虚拟现实技术的流媒体传输的实现方式的示意图。
如图10所示，客户端121包括接收器1210和发送器1211，服务器122包括接收器1221和发送器1220。客户端121还可以包括其他部件，如显示屏，处理器等，在此不再示出；服务器122还可以包括处理器等，在此也不再示出。
步骤S100：客户端向服务器发送媒体信息获取请求。
客户端121可以通过发送器1210向服务器122发送媒体信息获取请求。
客户端121向服务器122发送媒体信息获取请求，媒体信息获取请求包括客户端能力信息和辅助信息，其中，客户端能力信息指示客户端支持接收服务器推送数据，辅助信息指示客户端支持虚拟现实呈现的属性。
根据本发明实施例的流媒体的传输方法，客户端向服务器发送的媒体信息获取请求中包括了指示客户端支持虚拟现实的方式的辅助信息，服务器可以根据该辅助信息确定相应的媒体数据，并将媒体数据发送给客户端，从而使得客户端针对该部分媒体数据无需再发送新的请求，有效降低了传输时延。
在一种可能的实现方式中，媒体信息获取请求包括统一资源定位符(URL)信息，客户端能力信息和辅助信息是统一资源定位符信息中的参数。
在本发明的一种可能的实现方式中，客户端能力信息可以是根据ISO/IEC DIS23009-6Information technology--Dynamic adaptive streaming over HTTP(DASH)--Part 6:DASH with server push and websockets中规定的信息。例如：接受推送(push)的指示信息，或者支持推送快速呈现的指示信息。
在一个示例中，媒体信息获取请求中包括客户端能力信息的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”。
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，type＝“video”表示客户端请求的数据类型是视频。bitrate＝“2000000”表示客户端的带宽接近但不出超过2Mbps；height＝“720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端能最多接收5Mbytes的媒体分段数据。
在本发明的一种可能的实现方式中，辅助信息包括下列信息中的至少一种：视点信息，视角信息，映射方式信息，流传输方式信息。
在本发明的一种可能的实现方式中，视点信息或者视角信息可以携带在由客户端121发送到服务器122的快速呈现参数集中(FastStartParams)，也可以携带在统一资源定位符(URL)参数中。比如增加参数名为viewpoint或者FOV或者ROI的参数，分别表示视点或者视角。viewpoint的取值可以是上述实现方式中的P点的信息；FOV或者ROI的信息可以是上述实现方式中的视角的描述信息。
在本发明的一种实现方式的示例中，客户端121向服务器122发送的媒体获取请求的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”；viewpoint＝“30,45”。
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，type＝“video”表示客户端请求的数据类型是视频。bitrate＝“2000000”表示客户端的带宽接近但不出超过2Mbps；height＝“720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端最多能接收5Mbytes的媒体分段数据；viewpoint＝“30,45”是视点信息，表示用户的视点坐标。
服务器122可以针对客户端121的上述请求发出如下响应：
Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；viewpoint＝“30,45”。
其中，Push-Policy表示服务器支持向客户端推送数据，“urn:mpeg:dash:fdh:2016:push-fast-start”表示服务器向客户端推送的数据支持客户端的快速呈现；type＝“video”表示推送的数据类型是视频。bitrate＝“1800000”表示推送的数据带宽为1.8Mbps；B＝“3000000”表示推送的数据是3Mbytes的媒体分段数据；viewpoint＝“30,45”是视点信息，表示推送的数据覆盖视点坐标。在客户端启动VR视频观看或者用户进行视角切换的场景下，通过在请求中增加视点信息或者视角信息，服务器可以快速的确定客户端所需要的表示或者视频数据，从而向客户端进行推送，减少了客户端的请求次数，有效降低了时延。
在本发明的一种实现方式的示例中，客户端121向服务器122发送的媒体获取请求的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”；FOV＝“30,45,120,120”。
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，type＝“video”表示客户端请求的数据类型是视频。bitrate＝“2000000”表示客户端的带宽不超过2Mbps；height＝“720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端能最多接收5Mbytes的媒体分段数据；FOV＝“30,45,120,120”是视角信息，表示用户的视角范围。
服务器122可以针对客户端121的上述请求作出如下的响应：
Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；FOV＝“30,45,120,120”。
其中，Push-Policy表示服务器支持向客户端推送数据，“urn:mpeg:dash:fdh:2016:push-fast-start”表示服务器向客户端推送的数据支持客户端的快速呈现；type＝“video”表示推送的数据类型是视频。bitrate＝“1800000”表示推送的数据带宽为1.8Mbps；B＝“3000000”表示推送的数据是3Mbytes的媒体分段数据；FOV＝“30,45,120,120”表示视角信息，30,45是视角中心点信息，120,120是视角的宽高；上述的视角也可以表示为FOV＝“30,45,120,120,2，”该信息中的2表示视角类型，比如2表示的视角类型是图7中描述的视角。
客户端121可以向服务器122发送客户端支持的映射方式。在VR视频中，每一个VR帧都是一个球面，但是现有的所有的编码以及处理技术都是平面的，所以在球面VR进行编码之前，会将球面映射成为平面图；典型的映射方式有经纬图，立方体，柱面等。
在一种可能的实现方式中，增加的参数名可以是projectType，该参数的取值可以是映射方式的英文全拼，也可以是缩写，或者是已经预先定义好的码字。
在一种具体的示例中，客户端121发送到服务器122的媒体信息获取请求如下
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝”5000000”；projectType＝“cube,erp”。
其中，Accept-Push-Policy表示客户端可以具备接收服务器push信息的能力，urn:mpeg:dash:fdh:2016:push-fast-start表示客户端支持推送形式的快速呈现，type＝“video”表示客户端请求的数据类型是视频。bitrate＝“2000000”表示客户端的带宽接近但不出超过2Mbps；height＝“720”表示客户端支持的分辨率高度不超出720行(pixels)；B＝“5000000”表示客户端能最多接收5Mbytes的媒体分段数据；projectType＝”cube,erp”是映射方式信息，表示客户端支持的映射方式，在本示例中，映射方式是立方体和经纬图。
针对上述请求，服务器122可以向客户端121发出如下响应：
Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；projectType＝“erp”
其中，Push-Policy表示服务器支持向客户端推送数据，“urn:mpeg:dash:fdh:2016:push-fast-start”表示服务器向客户端推送的数据支持客户端的快速呈现；type＝“video”表示推送的数据类型是视频。bitrate＝“1800000”表示推送的数据带宽为1.8Mbps；B＝“3000000”表示推送的数据是3Mbytes的媒体分段数据；projectType＝“erp”表示数据的映射方式是经纬图。
通过在客户端发送到服务器的信息中增加映射方式信息，在服务器中有多种映射方式的表示的时候，可以使得服务器快速确定客户端能够支持的映射方式的表示，向客户端推送表示的数据，减少客户端和服务器的交互时延。
在本发明的一种可能的实现方式中，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：片(tile)方式或者完整帧方式。
客户端向服务器发送客户端支持的流传输方式。在VR视频传输中，可以有两种视频流的传输方式，一种是将一个VR视频帧的内容都传输给客户端(完整帧方式)，另一种是将VR视频内容划分成多个片(tile)，每一个片对应内容独立编码(tile方式)，在传输时可以将客户端的视角所涉及到的内容部分的片的表示发送到客户端，划分方式可以如图9所示。在一种实现的方式中，服务器可以同时传输一个低质量的完整的VR视频帧和至少一个高质量的片(tile)的数据。
在一种可能的实现方式中，增加的参数名可以是streamType，该参数的取值可以是传输方式的英文全拼，也可以是缩写，或者是已经预先定义好的码字。
在一个具体的示例中，客户端121发送的媒体信息获取请求的示例如下：
Accept-Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“2000000”；height＝“720”；B＝“5000000”；streamType＝“tile”。
客户端向服务器请求视频数据，请求字节数为5MByte，请求的最大分辨率是720p，最大码率是2mbps；客户端能够支持的传输方式是tile方式。
针对上述请求，服务器122可以向客户端121发出如下响应：
Push-Policy:“urn:mpeg:dash:fdh:2016:push-fast-start”；type＝“video”；bitrate＝“1800000”；B＝“3000000”；streamType＝“tile”
服务器向客户端发送视频数据3MByte，码率1.8mbps，传输的数据是tile的数据。
在客户端发送到服务器的请求中增加了流传输方式信息，在服务器支持多种流传输方式的时候，可以使得服务器快速确定客户端能够支持的流传输方式的表示，向客户端推送表示的数据，减少客户端和服务器的交互时延。
在一种可能的实现中，客户端的请求信息中可以不携带type＝“”；bitrate＝“”；B＝“”中的一个或者多个信息。
步骤S200：服务器发送媒体呈现描述和视频数据。
服务器122的接收器1221接收到媒体信息获取请求，服务器122响应媒体信息获取请求，通过发送器1220向客户端121发送媒体呈现描述和媒体数据。
在一种实现方式中，服务器获得客户端的视点信息或者视角信息后，选择与视点信息或者视角信息相关的表示；与视点信息或者视角信息相关的表示是指视点或者视角对应的空间视频的表示，或者是和视点信息/视角信息相关的片(tile)表示，或者是一个全VR视频(即360度视频)；一个全VR视频的视频数据可以划分为多个tile,每一个tile独立编码后用一个tile表示进行描述，tile表示对应的视频数据是全VR视频数据中的部分数据。
在VR视频内容准备时，服务器可以将VR视频的每个帧全部编码，在编码的帧中可以有一部分的区域的视频质量是高质量编码；也可以将VR视频帧划分为多个tile，每个tile是VR视频中的部分空间区域，在编码时，对每个tile都独立的准备表示，服务器选择视点或者视角所涉及的一个或者多个tile的表示；VR视频中的tile划分可以如图9所示，在图9中，球面的空间区域，先映射成平面，之后平面被划分成9个空间区域。已有的球面到平面的映射方式有很多种，图9的示例中只是采用经纬图映射来描述tile划分，现有技术中已有的其他映射方式也支持tile划分，在此不再赘述。确定了表示后，服务器将表示的部分数据或者是一个时段的数据发送到客户端。
客户端121在收到媒体呈现描述和视频数据后，可以对根据媒体呈现描述或者视频数据执行不同的操作，例如呈现，存储，发送新的请求等。具体的处理方式可以参考现有技术中的处理，在此不再赘述。
可以理解的是，本发明客户端和服务器的实施例的具体实现方式以及有关特征的示例，可以采用上述方法实施例对应的实现方式，在此不再赘述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述装置和系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(ROM：Read-Only Memory)或随机存储记忆体(RAM：RandomAccess Memory)等。

Claims (21)

1.一种应用于虚拟现实技术的流媒体的传输方法，其特征在于，所述方法包括：
客户端向服务器发送媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收服务器推送数据，所述辅助信息指示客户端支持虚拟现实呈现的属性；
所述客户端接收媒体呈现描述和媒体数据，其中，所述媒体呈现描述和所述媒体数据是所述服务器响应所述媒体信息获取请求后发出的。
2.根据权利要求1所述的传输方法，其特征在于，所述辅助信息包括下列信息中的至少一种：
视点信息，视角信息，映射方式信息，流传输方式信息。
3.根据权利要求2所述的传输方法，其特征在于，所述视角信息包括视角位置信息或视角类型信息。
4.根据权利要求2所述的传输方法，其特征在于所述映射方式信息指示的映射方式包括下列至少之一的方式：
球形映射，柱形映射，经纬图映射，立方体映射，八面体映射，二十面体映射，等面积映射或分段球面映射。
5.根据权利要求2所述的传输方法，其特征在于，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：
片(tile)方式或者完整帧方式。
6.根据权利要求1-5任意之一所述的传输方法，其特征在于，所述媒体信息获取请求是一个超文本传输协议(HTTP)请求。
7.根据权利要求1-6任意之一所述的传输方法，其特征在于，所述媒体信息获取请求包括统一资源定位符(URL)信息，所述客户端能力信息和所述辅助信息是所述统一资源定位符信息中的参数。
8.一种应用于虚拟现实技术的流媒体的传输方法，其特征在于，所述方法包括：
服务器接收客户端发送的媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收服务器推送数据，所述辅助信息指示客户端支持虚拟现实呈现的属性；
所述服务器响应所述媒体信息获取请求，向所述客户端发送媒体呈现描述和媒体数据。
9.根据权利要求8所述的传输方法，其特征在于，所述辅助信息包括下列信息中的至少一种：
视点信息，视角信息，映射方式信息，流传输方式信息。
10.根据权利要求9所述的传输方法，其特征在于，所述视角信息包括视角位置信息或视角类型信息。
11.根据权利要求9所述的传输方法，其特征在于所述映射方式信息指示的映射方式包括下列至少之一的方式：
球形映射，柱形映射，经纬图映射，立方体映射，八面体映射，二十面体映射，等面积映射或分段球面映射。
12.根据权利要求9所述的传输方法，其特征在于，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：
片(tile)方式或者完整帧方式。
13.根据权利要求8-12任意之一所述的传输方法，其特征在于，所述媒体信息获取请求是一个超文本传输协议(HTTP)请求。
14.根据权利要求8-13任意之一所述的传输方法，其特征在于，所述媒体信息获取请求包括统一资源定位符(URL)信息，所述客户端能力信息和所述辅助信息是所述统一资源定位符信息中的参数。
15.一种应用于虚拟现实技术的流媒体传输的客户端，其特征在于，所述客户端包括：
发送器，用于向服务器发送媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收服务器推送数据，所述辅助信息指示客户端支持虚拟现实呈现的属性；
接收器，用于接收媒体呈现描述和媒体数据，其中，所述媒体呈现描述和所述媒体数据是所述服务器响应所述媒体信息获取请求后发出的。
16.根据权利要求15所述的客户端，其特征在于，所述辅助信息包括下列信息中的至少一种：
视点信息，视角信息，映射方式信息，流传输方式信息。
17.根据权利要求16所述的客户端，其特征在于，所述视角信息包括视角位置信息或视角类型信息。
18.根据权利要求16所述的客户端，其特征在于，所述映射方式信息指示的映射方式包括下列至少之一的方式：
球形映射，柱形映射，经纬图映射，立方体映射，八面体映射，二十面体映射，等面积映射或分段球面映射。
19.根据权利要求16所述的客户端，其特征在于，所述流传输方式信息指示的流传输方式包括下列至少之一的方式：
片(tile)方式或者完整帧方式。
20.根据权利要求15-19任意之一所述的客户端，其特征在于，所述媒体信息获取请求是一个超文本传输协议(HTTP)请求。
21.根据权利要求15-20任意之一所述的客户端，其特征在于，所述媒体信息获取请求包括统一资源定位符(URL)信息，所述客户端能力信息和所述辅助信息是所述统一资源定位符信息中的参数。
CN201710011452.3A 2017-01-06 2017-01-06 一种应用于虚拟现实技术的流媒体的传输方法和客户端 Active CN108282449B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710011452.3A CN108282449B (zh) 2017-01-06 2017-01-06 一种应用于虚拟现实技术的流媒体的传输方法和客户端
EP17890257.3A EP3557834A4 (en) 2017-01-06 2017-08-21 METHOD FOR TRANSMITTING CONTINUOUS MULTIMEDIA CONTENT APPLIED TO VIRTUAL AND CUSTOMER REALITY TECHNOLOGY
PCT/CN2017/098289 WO2018126702A1 (zh) 2017-01-06 2017-08-21 一种应用于虚拟现实技术的流媒体的传输方法和客户端
US16/503,565 US11095936B2 (en) 2017-01-06 2019-07-04 Streaming media transmission method and client applied to virtual reality technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710011452.3A CN108282449B (zh) 2017-01-06 2017-01-06 一种应用于虚拟现实技术的流媒体的传输方法和客户端

Publications (2)

Publication Number Publication Date
CN108282449A true CN108282449A (zh) 2018-07-13
CN108282449B CN108282449B (zh) 2020-10-09

Family

ID=62789003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710011452.3A Active CN108282449B (zh) 2017-01-06 2017-01-06 一种应用于虚拟现实技术的流媒体的传输方法和客户端

Country Status (4)

Country Link
US (1) US11095936B2 (zh)
EP (1) EP3557834A4 (zh)
CN (1) CN108282449B (zh)
WO (1) WO2018126702A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525842A (zh) * 2018-10-30 2019-03-26 深圳威尔视觉传媒有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
WO2020119822A1 (zh) * 2018-12-14 2020-06-18 深圳市中兴微电子技术有限公司 虚拟现实的显示方法及装置、设备、计算机存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US10757482B2 (en) * 2017-12-05 2020-08-25 Fdn. for Res.&Bus., Seoul Nat. Univ. of Sci.&Tech. System and method for predicting user viewpoint using location information of sound source in 360 VR contents
CN110490979B (zh) * 2019-07-29 2023-07-21 南京师范大学 一种Web环境下基于深度图的虚实融合装置及方法
US20220124135A1 (en) * 2020-09-25 2022-04-21 Mediatek Singapore Pte. Ltd. Systems and methods of server-side streaming adaptation in adaptive media streaming systems
US11570227B2 (en) 2020-12-04 2023-01-31 Tencent America LLC Set up and distribution of immersive media to heterogenous client end-points
CN114900508B (zh) * 2022-05-16 2023-08-29 深圳市瑞云科技有限公司 一种基于webrtc传输VR应用数据的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217322A (zh) * 2011-05-27 2011-10-12 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
CN103905924A (zh) * 2012-12-28 2014-07-02 联芯科技有限公司 终端侧的视频自适应接收方法和装置
CN104067628A (zh) * 2012-01-19 2014-09-24 Vid拓展公司 用于支持对观看条件自适应的视频传输的方法和系统
WO2015014773A1 (en) * 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
CN104954354A (zh) * 2014-03-25 2015-09-30 英特尔公司 数字内容的上下文感知流式传送
CN105408916A (zh) * 2013-07-26 2016-03-16 华为技术有限公司 用于自适应流媒体中的空间自适应的系统和方法
WO2016130749A1 (en) * 2015-02-11 2016-08-18 Vid Scale, Inc. Systems and methods for generalized http headers in dynamic adaptive streaming over http (dash)
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339364B2 (en) * 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
CN102843349B (zh) * 2011-06-24 2018-03-27 中兴通讯股份有限公司 实现移动增强现实业务的方法及系统、终端及服务器
WO2013104820A1 (en) * 2012-01-09 2013-07-18 Nokia Corporation Method and apparatus for providing an architecture for delivering mixed reality content
WO2014119524A1 (ja) * 2013-02-01 2014-08-07 株式会社セルシス 三次元オブジェクトの多視点描画装置、方法、及びプログラム
KR102077305B1 (ko) * 2013-05-09 2020-02-14 삼성전자 주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
US9930270B2 (en) * 2015-10-15 2018-03-27 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10430558B2 (en) * 2016-04-28 2019-10-01 Verizon Patent And Licensing Inc. Methods and systems for controlling access to virtual reality media content
EP3264371B1 (en) * 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
US20180150982A1 (en) * 2016-11-29 2018-05-31 Bank Of America Corporation Facilitating digital data transfers using virtual reality display devices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217322A (zh) * 2011-05-27 2011-10-12 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
CN104067628A (zh) * 2012-01-19 2014-09-24 Vid拓展公司 用于支持对观看条件自适应的视频传输的方法和系统
CN103905924A (zh) * 2012-12-28 2014-07-02 联芯科技有限公司 终端侧的视频自适应接收方法和装置
CN105408916A (zh) * 2013-07-26 2016-03-16 华为技术有限公司 用于自适应流媒体中的空间自适应的系统和方法
WO2015014773A1 (en) * 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
CN104954354A (zh) * 2014-03-25 2015-09-30 英特尔公司 数字内容的上下文感知流式传送
WO2016130749A1 (en) * 2015-02-11 2016-08-18 Vid Scale, Inc. Systems and methods for generalized http headers in dynamic adaptive streaming over http (dash)
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525842A (zh) * 2018-10-30 2019-03-26 深圳威尔视觉传媒有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
CN109525842B (zh) * 2018-10-30 2022-08-12 深圳威尔视觉科技有限公司 基于位置的多Tile排列编码方法、装置、设备和解码方法
WO2020119822A1 (zh) * 2018-12-14 2020-06-18 深圳市中兴微电子技术有限公司 虚拟现实的显示方法及装置、设备、计算机存储介质
CN111324200A (zh) * 2018-12-14 2020-06-23 深圳市中兴微电子技术有限公司 一种虚拟现实的显示方法及装置、计算机存储介质
US11474594B2 (en) 2018-12-14 2022-10-18 Zte Corporation Virtual reality display method, device and apparatus, and computer storage medium
CN111324200B (zh) * 2018-12-14 2022-11-25 深圳市中兴微电子技术有限公司 一种虚拟现实的显示方法及装置、计算机存储介质

Also Published As

Publication number Publication date
US20190349627A1 (en) 2019-11-14
CN108282449B (zh) 2020-10-09
EP3557834A4 (en) 2019-10-30
EP3557834A1 (en) 2019-10-23
WO2018126702A1 (zh) 2018-07-12
US11095936B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
CN108282449A (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10757162B2 (en) Video data processing method and apparatus
CN108965929B (zh) 一种视频信息的呈现方法、呈现视频信息的客户端和装置
JP7058273B2 (ja) 情報処理方法および装置
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
CN107888993B (zh) 一种视频数据的处理方法及装置
CN107888939A (zh) 一种视频数据的处理方法及装置
CN109644296A (zh) 一种视频流传输方法、相关设备及系统
KR20190008325A (ko) 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램
US10965928B2 (en) Method for 360 video processing based on multiple viewpoints and apparatus therefor
US10313763B2 (en) Method and apparatus for requesting and receiving selected segment streams based on projection information
CN107959861B (zh) 一种数据处理方法、相关设备及系统
WO2018058993A1 (zh) 一种视频数据的处理方法及装置
WO2018120474A1 (zh) 一种信息的处理方法及装置
CN108271068A (zh) 一种基于流媒体技术的视频数据的处理方法及装置
CN108271084B (zh) 一种信息的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant