CN108810636B - 视频播放方法、虚拟现实设备、服务器、系统及存储介质 - Google Patents

视频播放方法、虚拟现实设备、服务器、系统及存储介质 Download PDF

Info

Publication number
CN108810636B
CN108810636B CN201710294033.5A CN201710294033A CN108810636B CN 108810636 B CN108810636 B CN 108810636B CN 201710294033 A CN201710294033 A CN 201710294033A CN 108810636 B CN108810636 B CN 108810636B
Authority
CN
China
Prior art keywords
resolution
view
video stream
picture
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710294033.5A
Other languages
English (en)
Other versions
CN108810636A (zh
Inventor
居然
李晋
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201710294033.5A priority Critical patent/CN108810636B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010211963.1A priority patent/CN111510782A/zh
Priority to JP2019558730A priority patent/JP7110234B2/ja
Priority to EP18790785.2A priority patent/EP3609178B1/en
Priority to PCT/CN2018/084496 priority patent/WO2018196790A1/zh
Priority to KR1020197034532A priority patent/KR102280134B1/ko
Publication of CN108810636A publication Critical patent/CN108810636A/zh
Priority to US16/664,093 priority patent/US11159848B2/en
Priority to IL270228A priority patent/IL270228B2/en
Application granted granted Critical
Publication of CN108810636B publication Critical patent/CN108810636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种视频播放方法、设备及系统。该方法包括：VR设备接收服务器发送的第一分辨率的第一视角的VR视频流以及服务器持续发送的第二分辨率的全视角VR视频流，第一分辨率大于第二分辨率；采用第一视角的VR视频流播放第一视角的画面；在确定视角发生变化时，采用全视角VR视频流和第一视角的VR视频流中的第一种或全部两种，播放当前视角的画面；向服务器发送携带有用于指示变化至的第二视角的参数的视角信息；接收服务器发送的第一分辨率的第二视角的VR视频流；采用第二视角的VR视频流播放第二视角的画面。本申请实施例提供的方案，同时克服了网络VR业务占用带宽大和时延高的问题，且能够降低服务器的存储开销，并避免产生流量突发。

Description

视频播放方法、虚拟现实设备、服务器、系统及存储介质
技术领域
本申请实施例涉及虚拟现实(virtual reality，VR)技术领域，特别涉及一种视频播放方法、设备及系统。
背景技术
VR技术是一种可以创建和体验虚拟世界的计算机仿真技术，VR技术能够为用户提供视觉、听觉、触觉等多感官的沉浸式体验。网络VR技术是指通过网络向用户提供VR业务的技术。部署在网络中的业务服务器通过网络向VR设备传输VR视频流，由VR设备对接收到的VR视频流进行播放。
目前，通常采用如下两种方案传输和播放VR视频流。第一种方案，服务器向VR设备发送360度全景的VR视频流，VR设备采用360度全景的VR视频流播放与用户的观看视角相对应的画面。由于360度全景的VR视频流的分辨率和数据量较高，因此传输360度全景的VR视频流需要占用较大的带宽，普通家庭用户的带宽无法满足360度全景的VR视频流的传输需求。第二种方案，服务器从360度全景的VR视频流中提取与用户的观看视角对应的VR视频流，服务器仅向VR设备传输与用户的观看视角对应的VR视频流，VR设备在接收到上述VR视频流之后直接进行播放。上述第一种方案可称为360度传输方案，第二种方案可称为视场(Field of View，FOV)传输方案。相较于第一种方案，第二种方案能够节省带宽，但也存在另一个问题，当用户视角发生切换时，VR设备需要从服务器请求获取切换后的视角对应的VR视频流，由于传输和缓存耗时的存在，会导致光子运动(Motion to Photon， MTP)时延较高，无法达到VR技术所要求的低于20毫秒的MTP时延的需求。其中，MTP 时延是指从用户视角发生切换到VR设备显示切换后的视角对应的画面的时延。
因此，上述现有技术无法同时克服网络VR业务占用带宽大和时延高的问题。
发明内容
本申请实施例提供了一种视频播放方法、设备及系统，用以解决现有技术所存在的无法同时克服网络VR业务占用带宽大和时延高的问题。
一方面，本申请实施例提供一种视频播放方法，该方法包括：VR设备接收服务器发送的第一分辨率的第一视角的VR视频流以及服务器持续发送的第二分辨率的全视角VR视频流，第一分辨率大于第二分辨率；VR设备采用第一分辨率的第一视角的VR视频流，播放第一视角的画面；在VR设备确定视角发生变化时，VR设备采用第二分辨率的全视角VR视频流和第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放当前视角的画面；VR设备向服务器发送视角信息，该视角信息中携带有用于指示变化至的第二视角的参数；服务器根据上述参数向VR设备发送第一分辨率的第二视角的VR视频流；VR设备采用第一分辨率的第二视角的VR视频流，播放第二视角的画面。
本申请实施例提供的方案中，服务器向VR设备发送两条业务数据流，其中一条是高分辨率的观看视角的VR视频流，用于满足视角固定状态下的显示需求，另一条是低分辨率的全视角VR视频流，用于满足视角切换时的显示需求。相较于360度传输方案，带宽占用减小，且由于低分辨率的全视角VR视频流覆盖了360度视角，视角切换时所需的画面数据不必从服务器请求获取，因此降低了视角切换时的显示时延。
在一个可能的设计中，VR设备采用第二分辨率的全视角VR视频流，播放当前视角的画面，包括：VR设备对第二分辨率的全视角VR视频流进行解码，得到全视角画面；VR设备从全视角画面中提取当前视角的画面；VR设备播放当前视角的画面。
本申请实施例提供的方案中，在视角变化的过程中，VR设备从视频缓冲区中读取第二分辨率的全视角VR视频流，采用第二分辨率的全视角VR视频流播放当前视角的画面。由于第二分辨率的全视角VR视频流存储于本地的视频缓冲区中，VR设备不必从服务器请求获取，因此能够降低视角切换时的MTP时延，满足低于20毫秒的MTP时延的需求。另外，在视角变化的过程中(例如用户转头的过程中)，虽然显示的是低分辨率的画面，但是由于人眼运动过程中感受到的画面本身就是模糊的，因此向用户呈现低分辨率的画面并不会影响到视觉体验。
在一个可能的设计中，VR设备采用第二分辨率的全视角VR视频流和第一分辨率的第一视角的VR视频流，播放当前视角的画面，包括：VR设备对第一分辨率的第一视角的VR视频流进行解码，得到第一视角的画面；VR设备对第二分辨率的全视角VR视频流进行解码，得到全视角画面；VR设备从第一视角的画面中提取重合画面，并从全视角画面中提取非重合画面，其中，重合画面是指第一视角的画面与当前视角的画面的重合区域的画面，非重合画面是指当前视角的画面中除重合区域以外的画面；VR设备将重合画面和非重合画面拼合得到当前视角的画面；VR设备播放当前视角的画面。
本申请实施例提供的方案中，在视角变化的过程中，当前视角与第一视角之间仍然可能存在一定的重合，对于重合区域，仍然可以采用高分辨率的画面进行播放，以尽可能地减少清晰度损失。
在一个可能的设计中，VR设备接收服务器发送的第一分辨率的第二视角的VR视频流之后，还包括：VR设备检测已接收到的第一分辨率的第二视角的VR视频流与当前播放画面的时间戳是否同步，上述同步是指已接收到的第一分辨率的第二视角的VR视频流的时间戳包括当前播放画面的时间戳；若同步，则VR设备执行采用第一分辨率的第二视角的VR视频流，播放第二视角的画面的步骤；若未同步，则VR设备采用第二分辨率的全视角VR视频流和第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放第二视角的画面。
本申请实施例提供的方案中，还通过VR设备检测已接收到的第一分辨率的第二视角的 VR视频流与当前播放画面的时间戳是否同步，确保向用户流畅而又准确地播放VR视频。
在一个可能的设计中，VR设备接收服务器发送的第一分辨率的第一视角的VR视频流以及服务器持续发送的第二分辨率的全视角VR视频流之后，还包括：VR设备将第一分辨率的第一视角的VR视频流存储至第一视频缓冲区，并将第二分辨率的全视角VR视频流存储至第二视频缓冲区。
本申请实施例提供的方案中，VR设备将不同分辨率的VR视频流通过两个视频缓冲区独立存储，有利于快速地选择不同的VR视频流进行播放，提高选择切换时的流畅性。
在一个可能的设计中，该方法还包括：当VR设备确定视角发生变化时，或者，当VR设备采用第一分辨率的第二视角的VR视频流，播放第二视角的画面时，VR设备对第一视频缓冲区中缓存的第一分辨率的第一视角的VR视频流进行数据老化处理。
本申请实施例提供的方案中，当VR设备无需用到第一视频缓冲区中缓存的第一分辨率的第一视角的VR视频流时，对上述数据进行数据老化处理，能够尽快释放第一视频缓冲区的缓存资源。
在一个可能的设计中，VR设备采用第一分辨率的第一视角的VR视频流，播放第一视角的画面，包括：VR设备对第一分辨率的第一视角的VR视频流进行解码，得到第一视角的画面，VR设备播放第一视角的画面。VR设备采用第一分辨率的第二视角的VR视频流，播放第二视角的画面，包括：VR设备对第一分辨率的第二视角的VR视频流进行解码，得到第二视角的画面，VR设备播放第二视角的画面。
本申请实施例提供的技术方案中，由于VR设备对不同的VR视频流分别单独进行解码，因此能够对不同的VR视频流进行区分。
另一方面，本申请实施例提供一种VR设备，该VR设备具有实现上述方法示例中VR设备侧行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或者单元。
在一个可能的设计中，VR设备的结构中包括处理器和通信接口，所述处理器被配置为支持VR设备执行上述方法中相应的功能。所述通信接口用于支持VR设备与其它设备之间的通信。进一步的，VR设备还可以包括存储器，所述存储器用于与处理器耦合，其保存VR设备必要的程序指令和数据。
又一方面，本申请实施例提供一种服务器，该服务器具有实现上述方法示例中服务器侧行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或者单元。
在一个可能的设计中，服务器的结构中包括处理器和通信接口，所述处理器被配置为支持服务器执行上述方法中相应的功能。所述通信接口用于支持服务器与其它设备之间的通信。进一步的，服务器还可以包括存储器，所述存储器用于与处理器耦合，其保存服务器必要的程序指令和数据。
又一方面，本申请实施例提供一种视频播放系统，该系统包括上述方面所述的VR设备和服务器。
再一方面，本申请实施例提供一种计算机存储介质，用于储存为上述VR设备所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
再一方面，本申请实施例提供一种计算机存储介质，用于储存为上述服务器所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
还一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述方面所述的VR设备侧的方法。
还一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述方面所述的服务器侧的方法。
相较于现有技术，本申请实施例提供的方案中，服务器向VR设备发送两条业务数据流，其中一条是高分辨率的观看视角的VR视频流，用于满足视角固定状态下的显示需求，另一条是低分辨率的全视角VR视频流，用于满足视角切换时的显示需求。相较于360度传输方案，带宽占用减小，且由于低分辨率的全视角VR视频流覆盖了360度视角，视角切换时所需的画面数据不必从服务器请求获取，因此降低了视角切换时的显示时延。
附图说明
图1A是一个例子提供的一种生成单个视角的VR画面的示意图；
图1B是一个例子提供的一种生成多个视角的VR画面的示意图；
图2A是本申请一个实施例提供的应用场景的示意图；
图2B是本申请另一个实施例提供的应用场景的示意图；
图3是本申请一个实施例提供的视频播放方法的流程图；
图4是本申请实施例提供的一种拼合当前视角的画面的示意图；
图5A是本申请另一个实施例提供的视频播放方法的流程图；
图5B是与图5A实施例对应的交互示意图；
图6A是本申请一个实施例提供的设备的示意性框图；
图6B是本申请一个实施例提供的设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行描述。
本申请实施例描述的系统架构以及业务场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
请参考图2A，其示出了本申请实施例提供的一种可能的应用场景的示意图。该应用场景可以是网络VR系统，网络VR系统是指通过网络向用户提供VR业务的系统。该应用场景可以包括：VR设备21和服务器22。
VR设备21用于接收服务器22发送的VR视频流，并基于上述VR视频流播放画面，以实现向用户提供观看VR视频的功能。VR设备21可以是头戴式的VR显示设备，例如VR 头盔、VR眼镜等等。当然，VR设备还可以是其它任意能够用于播放VR视频的设备。
服务器22中存储有VR视频资源，用于向VR设备21提供VR视频流。服务器22可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。可选地，服务器22是用于提供网络VR业务的后台服务器，例如某一用于提供网络VR业务的网站或应用的后台服务器。
VR设备21与服务器22之间具有通信连接。上述通信连接可以是无线网络连接，也可以是有线网络连接。
在图2A实施例提供的应用场景的基础上，结合参考图2B，本申请实施例还提供了另一种可能的应用场景的示意图。该应用场景除包括VR设备21和服务器22之外，还包括至少一个摄像头23。
摄像头23用于采集VR视频流，并将采集到的VR视频流发送给服务器22。
摄像头23与服务器22之间具有通信连接。上述通信连接可以是无线网络连接，也可以是有线网络连接。
图2B实施例提供的应用场景适用于直播场景。
在一个例子中，提供了一种传输和播放VR视频的方法。服务器预先将360度视角划分为30个视角，每个视角的VR画面的生成过程如图1A所示。以目标视角为例，目标视角是上述30个视角中的任意一个视角，服务器从360度全景画面11中提取目标视角区域的画面12，360度全景画面11中除去目标视角区域的画面12后的剩余画面可称为背景区域画面13，服务器降低背景区域画面13的分辨率，得到低分辨率的背景区域画面14，目标视角的VR 画面15包括目标视角区域的画面12和低分辨率的背景区域画面14。这样，30个视角的VR 画面可如图1B所示。
在一个例子中，假设用户当前观看的是视角2，VR设备从服务器接收视角2的VR视频流并存储至视频缓冲区，VR设备采用视角2的VR视频流播放视角2的画面。当用户从视角2切换至视角3时，VR设备向服务器请求获取视角3的VR视频流，由于网络传输和视频缓冲均需要耗费一定时间，因此在视角3的VR视频流到达VR设备并可用于播放之前，VR设备会先从本地缓存的视角2的VR视频流的低分辨率的背景区域画面中提取当前视角的画面进行播放。在视角切换的过程中，虽然显示的是低分辨率的画面，但是由于人眼运动过程中感受到的画面本身就是模糊的，因此在视角切换的过程中显示低分辨率的画面并不会明显地降低视觉体验。
上述例子提供的方案虽然克服了网络VR业务占用带宽大和时延高的问题，但存在如下技术问题：
第一，服务器端的存储开销大；服务器需要预先存储30个视角的VR视频流，并且每个视角的VR视频流均包括低分辨率的背景区域画面，上述低分辨率的背景区域画面内容存在大量重合，因此增加了服务器端的存储开销；
第二，视角切换时会导致流量突发；由于在视角切换的过程中，从VR设备请求获取切换后的视角的VR视频流，到其接收并使用该切换后的视角的VR视频流进行播放，需要消耗一定时间(包括数据传输和解码所需的时间)，如果VR设备缓存的切换前的视角的VR视频流在上述一定时间内被播放完，则VR设备会产生显示中断，因此为了避免显示中断，在视角切换的过程中，服务器需要同时向VR设备发送切换前的视角的VR视频流和切换后的视角的VR视频流，这就使得在视角切换时需要占用双倍带宽，导致流量突发。
为了克服网络VR业务占用带宽大和时延高的问题，同时避免产生上述例子所存在的问题，本申请实施例提供了一种视频播放方法，以及基于这个方法的设备及系统。在本申请实施例中，服务器向VR设备发送两条业务数据流，其中一条是高分辨率的观看视角的VR视频流，用于满足视角固定状态下的显示需求，另一条是低分辨率的全视角VR视频流，用于满足视角切换时的显示需求。相较于360度传输方案，带宽占用减小，且由于低分辨率的全视角VR视频流覆盖了360度视角，视角切换时所需的画面数据不必从服务器请求获取，因此降低了视角切换时的显示时延。与上述例子相比，服务器端无需重复存储多份低分辨率的全视角VR视频流，存储开销减少，并且服务器在根据视角信息确定VR设备的视角发生变化时，即可停止向VR设备发送第一视角的VR视频流，转而发送变化至的第二视角的VR 视频流，因此不会产生流量突发的问题。
下面将基于上面所述的本申请实施例涉及的共性方面，对本申请实施例进一步详细说明。
请参考图3，其示出了本申请一个实施例提供的视频播放方法的流程图。该方法可以应用于图2A或图2B所示的应用场景中。该方法可以包括如下几个步骤。
步骤301，服务器向VR设备发送第一分辨率的第一视角的VR视频流，并向VR设备持续发送第二分辨率的全视角VR视频流，第一分辨率大于第二分辨率。
在本申请实施例中，服务器向VR设备发送两条业务数据流，其中一条是高分辨率的观看视角的VR视频流(也即第一分辨率的观看视角(如第一视角、第二视角)的VR视频流)，用于满足视角固定状态下的显示需求，另一条是低分辨率的全视角VR视频流(也即第二分辨率的全视角VR视频流)，用于满足视角切换时的显示需求。其中，第二分辨率的全视角 VR视频流不受视角变化的影响，在业务提供过程中，由服务器向VR设备持续发送。在本申请实施例中，分辨率的高低决定了VR视频的清晰度，分辨率越高，则VR视频的清晰度越高；分辨率越低，则VR视频的清晰度越低。
在一个示例中，服务器中存储有第一分辨率的全视角VR视频流和第二分辨率的全视角 VR视频流。服务器在检测到VR设备请求获取某一视角的VR视频流时，从第一分辨率的全视角VR视频流中提取该视角的VR视频流。例如，服务器在检测到VR设备请求获取第一视角的VR视频流时，从第一分辨率的全视角VR视频流中提取第一视角的VR视频流。通过上述方式，服务器仅需存储第一分辨率的全视角的VR视频流以及第二分辨率的全视角VR 视频流，由于第二分辨率的全视角VR视频流占用的存储开销大约为第一分辨率的全视角VR 视频流的0.1倍左右，因此占用的总存储开销大约为第一分辨率的全视角的VR视频流的1.1倍左右，相比于上述例子，充分减少了服务器的存储开销。
在另一个示例中，服务器中存储有第一分辨率的n个视角的VR视频流和第二分辨率的全视角VR视频流，n为大于1的整数。在实际应用中，n的取值可根据实际经验得到，该n个视角组合后能够涵盖全视角，例如n为25、30、35等等。服务器在检测到VR设备请求获取某一视角的VR视频流时，从第一分辨率的n个视角的VR视频流中选取该视角的VR视频流。例如，服务器在检测到VR设备请求获取第一视角的VR视频流时，从第一分辨率的n 个视角的VR视频流中选取第一视角的VR视频流，第一视角是n个视角中的一个视角。通过上述方式，服务器中无需重复存储多份第二分辨率的全视角VR视频流，仅需存储一份即可，相比于上述例子，也在一定程度上减少了服务器的存储开销。另外，在此示例中，服务器在接收到VR设备的请求之后，无需从全视角VR视频流中提取VR设备所需的那个视角的VR视频流，仅需从存储的n个视角的VR视频流中直接选取VR设备所需的那个视角的 VR视频流即可，有助于缩短服务器对VR设备的请求的响应时延。
另外，上述第一分辨率的n个视角的VR视频流，可以由服务器从第一分辨率的全视角 VR视频流中分别提取得到；也可以是n个独立的视频流，每一个视角的VR视频流由一个或多个摄像头独立采集得到。
可选地，第二分辨率的全视角VR视频流由第一分辨率的全视角VR视频流转换得到。上述分辨率转换操作可以由服务器执行，也可以由与服务器相连的其它设备(例如用于向服务器提供VR视频资源的源服务器)执行。当然，在其它可能的实现方式中，如果第一分辨率的n个视角的VR视频流是n个独立的视频流，每一个视角的VR视频流由一个或多个摄像头独立采集得到，那么在一种方式中，服务器可以先将第一分辨率的n个视角的VR视频流进行整合，得到第一分辨率的全视角VR视频流，而后将第一分辨率的全视角VR视频流转换为第二分辨率的全视角VR视频流；在另一种方式中，服务器也可以分别将第一分辨率的n个视角的VR视频流转换为第二分辨率的n个视角的VR视频流，而后将第二分辨率的n 个视角的VR视频流进行整合，得到第二分辨率的全视角VR视频流。
可选地，通过改变VR视频流的影像传输格式，以实现分辨率转换。例如，第一分辨率的VR视频流可以采用两倍通用影像传输格式(Double Common Intermediate Format，DCIF)、四倍通用影像传输格式(4CIF)等影像传输格式；第二分辨率的VR视频流可以采用通用影像传输格式(Common Intermediate Format，CIF)、四分之一通用影像传输格式(Quarter Common Intermediate Format，QCIF)等影像传输格式。示例性地，以第一分辨率的全视角 VR视频流采用4CIF，第二分辨率的全视角VR视频流采用QCIF为例，第一分辨率为704×576，第二分辨率为176×144。
VR视频流可采用流媒体协议传输。在流媒体协议中，采用不同的标识对多条不同的媒体流进行区分。例如，当流媒体协议为实时传输协议(Real-time TransportProtocol，RTP)时， RTP中采用同步信源(Synchronization Source，SSRC)标识符(identifier)和特约信源 (Contributing Source，CSRC)标识符来区分多条不同的媒体流。又例如，当流媒体协议为实时消息传输协议(Real Time Messaging Protocol，RTMP)时，采用消息流标识(message stream ID)来区分多条不同的媒体流。又例如，当流媒体协议为基于超文本传输协议的视频直播 (HTTP Live Streaming，HLS)协议时，采用统一资源标识符(Uniform Resource Identifier， URI)来区分多条不同的媒体流。因此，当服务器向VR设备发送两条VR视频流时，这两条 VR视频流能够用流媒体协议定义的标识进行区分。另外，根据不同的流媒体协议的规定，上述用于区分媒体流的标识可以携带在每一个数据包中，也可以仅携带在头数据包(也即第一个数据包)中。在其它可能的示例中，由于VR设备对不同的媒体流(在本申请实施例中，媒体流也即VR视频流)分别单独解码，因此可以对不同的媒体流进行区分。
相应地，VR设备接收服务器发送的第一分辨率的第一视角的VR视频流以及服务器持续发送的第二分辨率的全视角VR视频流。VR设备将第一分辨率的第一视角的VR视频流存储至第一视频缓冲区，并将第二分辨率的全视角VR视频流存储至第二视频缓冲区。其中，第一视频缓冲区用于存储第一分辨率的某一视角的VR视频流，第二视频缓冲区用于存储第二分辨率的全视角VR视频流。在本申请实施例中，VR设备将不同分辨率的VR视频流通过两个视频缓冲区独立存储，有利于快速地选择不同的VR视频流进行播放，提高选择切换时的流畅性。
步骤302，VR设备采用第一分辨率的第一视角的VR视频流，播放第一视角的画面。
VR设备对第一分辨率的第一视角的VR视频流进行解码，得到第一视角的画面，然后播放第一视角的画面。在本申请实施例中，对VR视频流的编解码算法不作限定。例如，动态图像专家组(Moving Picture Experts Group，MPEG)标准提供的编解码算法、视频编解码器 (Video Codec，VC)涉及的相关算法、H.264编解码算法等等。
可选地，VR设备在检测到第一视频缓冲区中缓存的第一视角的VR视频流的数据量大于预设阈值时，开始从第一视频缓冲区中读取第一视角的VR视频流并进行解码播放。其中，预设阈值可根据实际经验预先设定。
步骤303，在VR设备确定视角发生变化时，VR设备采用第二分辨率的全视角VR视频流和第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放当前视角的画面。
VR设备在播放VR视频的过程中，实时检测视角是否发生变化，也即检测是否从第一视角变化至其它视角。在VR设备确定视角发生变化时，VR设备采用第二分辨率的全视角VR 视频流和第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放当前视角的画面，当前视角是指VR设备实时确定出的视角；在VR设备确定视角未发生变化时，VR设备继续采用第一分辨率的第一视角的VR视频流播放第一视角的画面。
在一个示例中，VR设备采用第二分辨率的全视角VR视频流，播放当前视角的画面。该步骤可以包括如下几个子步骤：
1、VR设备对第二分辨率的全视角VR视频流进行解码，得到全视角画面；
2、VR设备从全视角画面中提取当前视角的画面；
3、VR设备播放当前视角的画面。
在视角变化的过程中，VR设备从第二视频缓冲区中读取第二分辨率的全视角VR视频流，采用第二分辨率的全视角VR视频流播放当前视角的画面。由于第二分辨率的全视角VR视频流存储于本地的第二视频缓冲区中，VR设备不必从服务器请求获取，因此能够降低视角切换时的MTP时延，满足低于20毫秒的MTP时延的需求。另外，在视角变化的过程中(例如用户转头的过程中)，虽然显示的是低分辨率的画面，但是由于人眼运动过程中感受到的画面本身就是模糊的，因此向用户呈现低分辨率的画面并不会影响到视觉体验。
在另一个示例中，VR设备采用第二分辨率的全视角VR视频流和第一分辨率的第一视角的VR视频流，播放当前视角的画面。该步骤可以包括如下几个子步骤：
1、VR设备对第一分辨率的第一视角的VR视频流进行解码，得到第一视角的画面；
2、VR设备对第二分辨率的全视角VR视频流进行解码，得到全视角画面；
3、VR设备从第一视角的画面中提取重合画面，并从全视角画面中提取非重合画面；
4、VR设备将重合画面和非重合画面拼合得到当前视角的画面；
5、VR设备播放当前视角的画面。
重合画面是指第一视角的画面与当前视角的画面的重合区域的画面，非重合画面是指当前视角的画面中除重合区域以外的画面。在视角变化的过程中，当前视角与第一视角之间仍然可能存在一定的重合，对于重合区域，仍然可以采用高分辨率的画面进行播放，以尽可能地减少清晰度损失。
结合参考图4，其示出了本申请实施例提供的一种拼合当前视角的画面的示意图。第一视角41(图中实线正方形框所示)与当前视角42(图中虚线正方形框所示)存在重合区域 43(图中具有斜线填充的矩形框所示)。VR设备从第一分辨率的第一视角的画面44中提取重合画面45，从第二分辨率的全视角画面46中提取非重合画面47，将上述重合画面45和非重合画面47进行拼合，得到当前视角的画面48。可选地，VR设备将重合画面45和非重合画面47缩放到同一分辨率后进行拼合，得到当前视角的画面48。
在本申请实施例中，对上述另一个示例中的子步骤1和2的执行先后顺序不作限定。上述子步骤1可以在子步骤2之前执行，也可以在子步骤2之后执行，或者与子步骤2同时执行。
另外，在本申请实施例中，视角发生变化可以是指当前视角与原始视角不同，也可以是指当前视角与原始视角之间的变化量小于预设门限值，该预设门限值可以根据实际需求预先设定。
步骤304，VR设备向服务器发送视角信息，视角信息中携带有用于指示变化至的第二视角的参数。
在一个示例中，VR设备主动向服务器上报视角信息。例如，VR设备每隔第一预设时间间隔向服务器发送一次视角信息，每一次上报的视角信息中携带有用于指示当前视角(也即上报时刻的视角)的参数。上述第一预设时间间隔可以根据实际需求预先设定。又例如，VR 设备在检测到视角发生变化时，向服务器发送视角信息，视角信息中携带有用于指示变化至的第二视角的参数，而在检测到视角未发生变化时，VR设备并不向服务器发送视角信息。
在另一个示例中，VR设备在接收到服务器发送的轮询请求之后，向服务器发送视角信息。例如，服务器每隔第二预设时间间隔向VR设备发送一次轮询请求，VR设备接收到轮询请求之后，向服务器发送视角信息，每一次上报的视角信息中携带有用于指示当前视角(也即上报时刻的视角)的参数。上述第二预设时间间隔可以根据实际需求预先设定。
相应地，服务器接收VR设备发送的视角信息。通过本申请实施例提供的方式，能够确保服务器及时地获知VR设备的视角发生变化。
步骤305，服务器根据上述参数，向VR设备发送第一分辨率的第二视角的VR视频流。
服务器根据视角信息中携带的用于指示变化至的第二视角的参数，获取第一分辨率的第二视角的VR视频流，而后向VR设备发送该第一分辨率的第二视角的VR视频流。
在一个示例中，如果服务器中存储有第一分辨率的全视角VR视频流，则服务器从第一分辨率的全视角VR视频流中提取第二视角的VR视频流。
在另一个示例中，如果服务器中存储有第一分辨率的n个视角的VR视频流，则服务器从第一分辨率的n个视角的VR视频流中选取第二视角的VR视频流。
相应地，VR设备接收服务器发送的第一分辨率的第二视角的VR视频流。VR设备将第一分辨率的第二视角的VR视频流存储至第一视频缓冲区。
在本申请实施例中，服务器在根据视角信息确定VR设备的视角发生变化时，即可停止向VR设备发送第一视角的VR视频流，转而发送变化至的第二视角的VR视频流，因此不会产生流量突发的问题。另外，由于低分辨率的全视角VR视频流是单独持续发送的，因此在第二视角的VR视频流到达VR设备之前，VR设备可以采用低分辨率的全视角VR视频流播放当前视角的画面，不会产生显示中断。
步骤306，VR设备采用第一分辨率的第二视角的VR视频流，播放第二视角的画面。
VR设备对第一分辨率的第二视角的VR视频流进行解码，得到第二视角的画面，然后播放第二视角的画面。
可选地，当VR设备无需用到第一视频缓冲区中缓存的第一分辨率的第一视角的VR视频流时，VR设备对第一视频缓冲区中缓存的第一视角的VR视频流进行数据老化处理。数据老化处理是指清除缓存数据，对第一视角的VR视频流进行数据老化处理是指将第一视频缓冲区中的第一视角的VR视频流进行清除。通过上述方式，能够尽快释放第一视频缓冲区的缓存资源。
在VR设备确定视角发生变化时，如果VR设备采用第二分辨率的全视角VR视频流播放当前视角的画面，则当VR设备确定视角发生变化时，即可对第一视频缓冲区中缓存的第一分辨率的第一视角的VR视频流进行数据老化处理。在VR设备确定视角发生变化时，如果VR设备采用第二分辨率的全视角VR视频流和第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放当前视角的画面，则当VR设备采用第一分辨率的第二视角的VR 视频流播放第二视角的画面时，可以对第一视频缓冲区中缓存的第一分辨率的第一视角的VR 视频流进行数据老化处理。
本申请实施例提供的方案中，服务器向VR设备发送两条业务数据流，其中一条是高分辨率的观看视角的VR视频流，用于满足视角固定状态下的显示需求，另一条是低分辨率的全视角VR视频流，用于满足视角切换时的显示需求。相较于360度传输方案，带宽占用减小，且由于低分辨率的全视角VR视频流覆盖了360度视角，视角切换时所需的画面数据不必从服务器请求获取，因此降低了视角切换时的显示时延。与上述例子相比，服务器端无需重复存储多份低分辨率的全视角VR视频流，存储开销减少，并且服务器在根据视角信息确定VR设备的视角发生变化时，即可停止向VR设备发送第一视角的VR视频流，转而发送变化至的第二视角的VR视频流，因此不会产生流量突发的问题。
结合参考图5A和图5B，其示出了本申请另一个实施例提供的视频播放方法的流程图。该方法可以应用于图2A或图2B所示的应用场景中。该方法可以包括如下几个步骤。
在图5B中，圆圈中表示的流程1-10分别对应下述步骤501-510。
步骤501，VR设备向服务器发送业务请求，该业务请求中携带有用于指示第一视角的参数。
业务请求用于请求从服务器中获取VR视频资源。
相应地，服务器接收VR设备发送的业务请求。
步骤502，服务器向VR设备发送第一分辨率的第一视角的VR视频流，并向VR设备持续发送第二分辨率的全视角VR视频流，第一分辨率大于第二分辨率。
服务器在接收到业务请求之后，根据业务请求中携带的用于指示第一视角的参数，获取第一分辨率的第一视角的VR视频流，并发送给VR设备。此外，服务器还向VR设备持续发送第二分辨率的全视角VR视频流，直至VR设备停止从服务器请求获取VR视频资源，也即直至业务结束。另外，第二分辨率的VR视频流可以由第一分辨率的VR视频流进行视频转码得到，例如第二分辨率是第一分辨率的10％。
相应地，VR设备接收服务器发送的第一分辨率的第一视角的VR视频流以及服务器持续发送的第二分辨率的全视角VR视频流。
结合参考图5B，服务器中设置有两路发送缓存，包括第一发送缓存和第二发送缓存。其中，第一发送缓存用于向VR设备发送第一分辨率的某一视角的VR视频流(也可称为FOV 视频流)，第二发送缓存用于向VR设备发送第二分辨率的全视角VR视频流(也可称为360 度视频流)。相应地，VR设备中设置有两路接收缓存，包括第一接收缓存和第二接收缓存。其中，第一接收缓存也即图3实施例中介绍的第一视频缓冲区，用于存储接收到的第一分辨率的某一视角的VR视频流(也可称为FOV视频流)，第二接收缓存也即图3实施例中介绍的第二视频缓冲区，用于存储接收到的第二分辨率的全视角VR视频流(也可称为360度视频流)。
步骤503，VR设备采用第一分辨率的第一视角的VR视频流，播放第一视角的画面。
VR设备在第一视频缓冲区中的VR视频流缓冲到一定长度(例如1秒)后，从第一视频缓冲区中读取第一分辨率的第一视角的VR视频流，并对其进行解码播放。
步骤504，在VR设备确定视角发生变化时，VR设备向服务器发送视角信息，视角信息中携带有用于指示变化至的第二视角的参数。
可选地，VR设备向服务器发送视角切换请求，视角切换请求中携带有用于指示变化至的第二视角的参数，视角切换请求用于请求获取变化至的第二视角的VR视频流。
相应地，服务器接收VR设备发送的视角信息。
步骤505，VR设备对第一视频缓冲区中缓存的第一分辨率的第一视角的VR视频流进行数据老化处理。
例如，VR设备清除第一视频缓冲区中存储的数据，准备接收第一分辨率的第二视角的 VR视频流。
步骤506，VR设备采用第二分辨率的全视角VR视频流播放当前视角的画面。
VR设备从第二视频缓冲区中读取第二分辨率的全视角VR视频流，对其进行解码得到全视角画面，从从全视角画面中提取当前视角的画面进行播放。
需要说明的一点是，在本申请实施例中，对上述步骤504、505和506的执行先后顺序不作限定，上述3个步骤可以按序先后执行，也可以同时执行。
步骤507，服务器根据上述视角信息中携带有用于指示变化至的第二视角的参数，向VR 设备发送第一分辨率的第二视角的VR视频流。
服务器在根据视角信息确定VR设备的视角发生变化时，即可停止向VR设备发送第一视角的VR视频流，转而发送变化至的第二视角的VR视频流。相应地，VR设备接收服务器发送的第一分辨率的第二视角的VR视频流。
另外，服务器在确定VR设备的视角发生变化时，可以清除第一发送缓存中的数据，准备发送第一分辨率的第二视角的VR视频流。
步骤508，VR设备检测已接收到的第一分辨率的第二视角的VR视频流与当前播放画面的时间戳是否同步；若是，则执行下述步骤509；若否，则执行下述步骤510。
VR设备在接收到第一分辨率的第二视角的VR视频流之后，与当前播放画面的时间戳进行比对，判断两者的时间戳是否同步。可选地，上述同步是指已接收到的第一分辨率的第二视角的VR视频流的时间戳包括当前播放画面的时间戳。也即，如果已接收到的第一分辨率的第二视角的VR视频流的时间戳包括当前播放画面的时间戳，则说明已接收到的第一分辨率的第二视角的VR视频流未过期；如果已接收到的第一分辨率的第二视角的VR视频流的时间戳不包括当前播放画面的时间戳，则说明已接收到的第一分辨率的第二视角的VR视频流可能已过期，VR设备可将过期的VR视频流丢弃。
步骤509，VR设备采用第一分辨率的第二视角的VR视频流，播放第二视角的画面。
如果时间戳同步，则VR设备采用第一分辨率的第二视角的VR视频流播放第二视角的画面。
步骤510，VR设备采用第二分辨率的全视角VR视频流播放第二视角的画面。
如果时间戳未同步，则VR设备仍然采用第二分辨率的全视角VR视频流播放第二视角的画面，直至时间戳同步时，转而采用第一分辨率的第二视角的VR视频流播放第二视角的画面。
可选地，如果时间戳未同步，VR设备向服务器发送同步请求，该同步请求用于请求服务器反馈与当前播放画面的时间戳相同步的VR视频流。服务器接收到VR设备发送的同步请求之后，向VR设备发送一段时间之后VR设备需要的第一分辨率的第二视角的VR视频流。例如，服务器可以根据原始发送的第二视角的VR视频流的时间戳往后推移一段时间，得到新的时间戳，并从新的时间戳开始向VR设备发送第一分辨率的第二视角的VR视频流。又例如，VR设备向服务器发送的同步请求中可以携带当前播放画面的时间戳，服务器可以根据当前播放画面的时间戳以及数据传输、编解码所需的耗时，预测得到新的时间戳，并从新的时间戳开始向VR设备发送第一分辨率的第二视角的VR视频流。当然，在其它可能的实现方式中，服务器在上述步骤507中向VR设备发送第一分辨率的第二视角的VR视频流时，可根据当前发送的第二分辨率的全视角VR视频流的时间戳，从该时间戳开始或者从该时间戳延后一段时间得到的新的时间戳开始，向VR设备发送第一分辨率的第二视角的VR视频流。通过上述方式，可以加快时间戳的同步过程，避免因时间戳长时间不同步而导致VR设备长时间地播放第二分辨率的画面，影响到用户的视觉体验。
另外，考虑到用户在观看VR视频的过程中，其观看视角可能会始终处于变化状态，这就导致VR设备向服务器反馈的视角信息无法跟上实际的观看视角。因此，服务器端还可设置相应的视角预测机制，该视角预测机制用于根据VR设备反馈的视角信息预测实际的观看视角，从而向VR设备反馈其所需视角的视频数据，达到视角同步的目的。
本申请实施例提供的方案中，还通过VR设备检测已接收到的第一分辨率的第二视角的 VR视频流与当前播放画面的时间戳是否同步，确保向用户流畅而又准确地播放VR视频。
在上述方法实施例中，仅从VR设备和服务器的交互角度对本申请提供的技术方案进行介绍说明。上述有关VR设备侧的步骤可以单独实现成为VR设备侧的视频播放方法，有关服务器侧的步骤可以单独实现成为服务器侧的视频播放方法。
可以理解的是，设备(例如VR设备、服务器)为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块(或单元)。结合本申请中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的技术方案的范围。
本申请实施例可以根据上述方法示例对设备(例如VR设备、服务器)进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用集成的单元的情况下，图6A示出了上述实施例中所涉及的设备的一种可能的结构示意图。设备600包括：处理单元602和通信单元603。处理单元602用于对设备600的动作进行控制管理。例如，当设备600为VR设备时，处理单元602用于支持设备600执行图3中的步骤302至304、步骤306，以及图5A中的步骤501、步骤503至506以及步骤508 至510，和/或用于执行本文所描述的技术的其它步骤。当设备600为服务器时，处理单元602 用于支持设备600执行图3中的步骤301和305，以及图5A中的步骤502和507，和/或用于执行本文所描述的技术的其它步骤。通信单元603用于支持设备600与其它设备的通信。设备600还可以包括存储单元601，用于存储设备600的程序代码和数据。
其中，处理单元502可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路 (Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信单元603可以是通信接口、收发器、收发电路等，其中，通信接口是统称，可以包括一个或多个接口，例如服务器与VR设备之间的接口。存储单元601可以是存储器。
当处理单元602为处理器，通信单元603为通信接口，存储单元601为存储器时，本申请实施例所涉及的设备可以为图6B所示的设备。
参阅图6B所示，该设备610包括：处理器612、通信接口613、存储器611。可选地，设备610还可以包括总线614。其中，通信接口613、处理器612以及存储器611可以通过总线614相互连接；总线614可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。所述总线614可以分为地址总线、数据总线、控制总线等。为便于表示，图6B中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
上述图6A或图6B所示的设备可以是服务器或VR设备。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块(或单元)组成，软件模块(或单元)可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(ErasableProgrammable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC 中。另外，该ASIC可以位于设备中。当然，处理器和存储介质也可以作为分立组件存在于设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。本申请实施例还提供了计算机程序产品，当该计算机程序产品被执行时，其用于实现上述功能。另外，可以将上述计算机程序存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (21)

1.一种视频播放方法，其特征在于，所述方法包括：
虚拟现实VR设备接收服务器发送的第一分辨率的第一视角的VR视频流以及所述服务器持续发送的第二分辨率的全视角VR视频流，所述第一分辨率大于所述第二分辨率；
所述VR设备采用所述第一分辨率的第一视角的VR视频流，播放所述第一视角的画面；
在所述VR设备确定视角发生变化时，所述VR设备采用所述第二分辨率的全视角VR视频流和所述第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放当前视角的画面；
所述VR设备向所述服务器发送视角信息，所述视角信息中携带有用于指示变化至的第二视角的参数；
所述VR设备接收所述服务器发送的所述第一分辨率的第二视角的VR视频流；
所述VR设备采用所述第一分辨率的第二视角的VR视频流，播放所述第二视角的画面。
2.根据权利要求1所述的方法，其特征在于，所述VR设备采用所述第二分辨率的全视角VR视频流，播放当前视角的画面，包括：
所述VR设备对所述第二分辨率的全视角VR视频流进行解码，得到全视角画面；
所述VR设备从所述全视角画面中提取所述当前视角的画面；
所述VR设备播放所述当前视角的画面。
3.根据权利要求1所述的方法，其特征在于，所述VR设备采用所述第二分辨率的全视角VR视频流和所述第一分辨率的第一视角的VR视频流，播放当前视角的画面，包括：
所述VR设备对所述第一分辨率的第一视角的VR视频流进行解码，得到所述第一视角的画面；
所述VR设备对所述第二分辨率的全视角VR视频流进行解码，得到全视角画面；
所述VR设备从所述第一视角的画面中提取重合画面，并从所述全视角画面中提取非重合画面，其中，所述重合画面是指所述第一视角的画面与所述当前视角的画面的重合区域的画面，所述非重合画面是指所述当前视角的画面中除所述重合区域以外的画面；
所述VR设备将所述重合画面和所述非重合画面拼合得到所述当前视角的画面；
所述VR设备播放所述当前视角的画面。
4.根据权利要求1所述的方法，其特征在于，所述VR设备接收所述服务器发送的所述第一分辨率的第二视角的VR视频流之后，还包括：
所述VR设备检测已接收到的所述第一分辨率的第二视角的VR视频流与当前播放画面的时间戳是否同步，所述同步是指已接收到的所述第一分辨率的第二视角的VR视频流的时间戳包括当前播放画面的时间戳；
若已接收到的所述第一分辨率的第二视角的VR视频流与当前播放画面的时间戳同步，则所述VR设备执行所述采用所述第一分辨率的第二视角的VR视频流，播放所述第二视角的画面的步骤。
5.根据权利要求4所述的方法，其特征在于，所述VR设备检测已接收到的所述第一分辨率的第二视角的VR视频流与当前播放画面的时间戳是否同步之后，还包括：
若已接收到的所述第一分辨率的第二视角的VR视频流与当前播放画面的时间戳未同步，则所述VR设备采用所述第二分辨率的全视角VR视频流和所述第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放所述第二视角的画面。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述VR设备接收服务器发送的第一分辨率的第一视角的VR视频流以及所述服务器持续发送的第二分辨率的全视角VR视频流之后，还包括：
所述VR设备将所述第一分辨率的第一视角的VR视频流存储至第一视频缓冲区，并将所述第二分辨率的全视角VR视频流存储至第二视频缓冲区。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当所述VR设备确定视角发生变化时，或者，当所述VR设备采用所述第一分辨率的第二视角的VR视频流播放所述第二视角的画面时，所述VR设备对所述第一视频缓冲区中缓存的所述第一分辨率的第一视角的VR视频流进行数据老化处理。
8.一种视频播放方法，其特征在于，所述方法包括：
服务器向虚拟现实VR设备发送第一分辨率的第一视角的VR视频流，并向所述VR设备持续发送第二分辨率的全视角VR视频流，所述第一分辨率大于所述第二分辨率；
所述服务器接收所述VR设备发送的视角信息，所述视角信息中携带有用于指示变化至的第二视角的参数；
所述服务器根据所述参数，向所述VR设备发送所述第一分辨率的第二视角的VR视频流。
9.根据权利要求8所述的方法，其特征在于，所述第二分辨率的全视角VR视频流由所述第一分辨率的全视角VR视频流转换得到。
10.一种虚拟现实VR设备，其特征在于，所述VR设备包括：通信单元和处理单元；
所述通信单元，用于接收服务器发送的第一分辨率的第一视角的VR视频流以及所述服务器持续发送的第二分辨率的全视角VR视频流，所述第一分辨率大于所述第二分辨率；
所述处理单元，用于采用所述第一分辨率的第一视角的VR视频流，播放所述第一视角的画面；
所述处理单元，还用于在所述VR设备确定视角发生变化时，采用所述第二分辨率的全视角VR视频流和所述第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放当前视角的画面；
所述通信单元，还用于向所述服务器发送视角信息，所述视角信息中携带有用于指示变化至的第二视角的参数；
所述通信单元，还用于接收所述服务器发送的所述第一分辨率的第二视角的VR视频流；
所述处理单元，还用于采用所述第一分辨率的第二视角的VR视频流，播放所述第二视角的画面。
11.根据权利要求10所述的VR设备，其特征在于，所述处理单元，用于：
对所述第二分辨率的全视角VR视频流进行解码，得到全视角画面；
从所述全视角画面中提取所述当前视角的画面；
播放所述当前视角的画面。
12.根据权利要求10所述的VR设备，其特征在于，所述处理单元，用于：
对所述第一分辨率的第一视角的VR视频流进行解码，得到所述第一视角的画面；
对所述第二分辨率的全视角VR视频流进行解码，得到全视角画面；
从所述第一视角的画面中提取重合画面，并从所述全视角画面中提取非重合画面，其中，所述重合画面是指所述第一视角的画面与所述当前视角的画面的重合区域的画面，所述非重合画面是指所述当前视角的画面中除所述重合区域以外的画面；
将所述重合画面和所述非重合画面拼合得到所述当前视角的画面；
播放所述当前视角的画面。
13.根据权利要求10所述的VR设备，其特征在于，
所述处理单元，还用于检测已接收到的所述第一分辨率的第二视角的VR视频流与当前播放画面的时间戳是否同步，所述同步是指已接收到的所述第一分辨率的第二视角的VR视频流的时间戳包括当前播放画面的时间戳；
所述处理单元，还用于若已接收到的所述第一分辨率的第二视角的VR视频流与当前播放画面的时间戳同步，则执行所述采用所述第一分辨率的第二视角的VR视频流，播放所述第二视角的画面的步骤。
14.根据权利要求13所述的VR设备，其特征在于，
所述处理单元，还用于若已接收到的所述第一分辨率的第二视角的VR视频流与当前播放画面的时间戳未同步，则采用所述第二分辨率的全视角VR视频流和所述第一分辨率的第一视角的VR视频流中的第一种或全部两种，播放所述第二视角的画面。
15.根据权利要求10至14任一项所述的VR设备，其特征在于，所述VR设备，还包括：存储单元；
所述存储单元，用于将所述第一分辨率的第一视角的VR视频流存储至第一视频缓冲区，并将所述第二分辨率的全视角VR视频流存储至第二视频缓冲区。
16.根据权利要求15所述的VR设备，其特征在于，
所述处理单元，还用于当确定视角发生变化时，或者，当采用所述第一分辨率的第二视角的VR视频流播放所述第二视角的画面时，对所述第一视频缓冲区中缓存的所述第一分辨率的第一视角的VR视频流进行数据老化处理。
17.一种服务器，其特征在于，所述服务器，包括：通信单元和处理单元；
所述通信单元，用于向虚拟现实VR设备发送第一分辨率的第一视角的VR视频流，并向所述VR设备持续发送第二分辨率的全视角VR视频流，所述第一分辨率大于所述第二分辨率；
所述通信单元，还用于接收所述VR设备发送的视角信息，所述视角信息中携带有用于指示变化至的第二视角的参数；
所述处理单元，用于根据所述参数，获取所述第一分辨率的第二视角的VR视频流；
所述通信单元，还用于向所述VR设备发送所述第一分辨率的第二视角的VR视频流。
18.根据权利要求17所述的服务器，其特征在于，所述第二分辨率的全视角VR视频流由所述第一分辨率的全视角VR视频流转换得到。
19.一种视频播放系统，其特征在于，所述系统包括：VR设备和服务器；
所述VR设备是如权利要求10至16任一项所述的VR设备；
所述服务器是如权利要求17或18所述的服务器。
20.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至7任一项所述的方法。
21.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求8或9任一项所述的方法。
CN201710294033.5A 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器、系统及存储介质 Active CN108810636B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202010211963.1A CN111510782A (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器及计算机存储介质
CN201710294033.5A CN108810636B (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器、系统及存储介质
EP18790785.2A EP3609178B1 (en) 2017-04-28 2018-04-25 Video playing method, device and system
PCT/CN2018/084496 WO2018196790A1 (zh) 2017-04-28 2018-04-25 视频播放方法、设备及系统
JP2019558730A JP7110234B2 (ja) 2017-04-28 2018-04-25 ビデオ再生方法、デバイス、およびシステム
KR1020197034532A KR102280134B1 (ko) 2017-04-28 2018-04-25 비디오 재생 방법, 장치 및 시스템
US16/664,093 US11159848B2 (en) 2017-04-28 2019-10-25 Video playing method, device, and system
IL270228A IL270228B2 (en) 2017-04-28 2019-10-28 Method, device and system for a video game

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710294033.5A CN108810636B (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器、系统及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010211963.1A Division CN111510782A (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108810636A CN108810636A (zh) 2018-11-13
CN108810636B true CN108810636B (zh) 2020-04-14

Family

ID=63920203

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710294033.5A Active CN108810636B (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器、系统及存储介质
CN202010211963.1A Pending CN111510782A (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器及计算机存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010211963.1A Pending CN111510782A (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器及计算机存储介质

Country Status (7)

Country Link
US (1) US11159848B2 (zh)
EP (1) EP3609178B1 (zh)
JP (1) JP7110234B2 (zh)
KR (1) KR102280134B1 (zh)
CN (2) CN108810636B (zh)
IL (1) IL270228B2 (zh)
WO (1) WO2018196790A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102532645B1 (ko) * 2016-09-20 2023-05-15 삼성전자 주식회사 적응적 스트리밍 서비스에서 스트리밍 어플리케이케이션으로 데이터를 제공하는 방법 및 장치
CN111263191B (zh) * 2018-11-30 2023-06-27 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
CN111935557B (zh) * 2019-05-13 2022-06-28 华为技术有限公司 视频处理方法、装置及系统
CN110442011A (zh) * 2019-07-29 2019-11-12 中国计量大学 一种能连续检测虚拟现实设备动态延时的方法及采用该方法的延时检测系统
CN110604921B (zh) * 2019-08-31 2023-11-10 咪咕互动娱乐有限公司 一种显示内容切换方法、服务器和可存储介质
CN110999377A (zh) * 2019-11-22 2020-04-10 北京小米移动软件有限公司 资源切换方法、装置及存储介质
CN112995752A (zh) * 2019-12-12 2021-06-18 中兴通讯股份有限公司 全视角互动直播方法、系统、终端及计算机可读存储介质
US11328157B2 (en) * 2020-01-31 2022-05-10 Honeywell International Inc. 360-degree video for large scale navigation with 3D in interactable models
CN111246261A (zh) * 2020-02-28 2020-06-05 北京视博云信息技术有限公司 一种内容投放的方法、装置及系统
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置
CN114501071A (zh) * 2020-10-27 2022-05-13 中国移动通信有限公司研究院 视频处理方法、视频播放方法及设备
US11838375B2 (en) * 2020-11-12 2023-12-05 Harman International Industries, Incorporated Universal software communication bus
CN112954394B (zh) * 2021-01-28 2023-07-28 广州虎牙科技有限公司 一种高清视频的编码及解码播放方法、装置、设备和介质
CN113259770B (zh) * 2021-05-11 2022-11-18 北京奇艺世纪科技有限公司 视频播放方法、装置、电子设备、介质及产品
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
CN114938456A (zh) * 2022-01-20 2022-08-23 上海瞳观智能科技有限公司 Vr直播系统及方法
CN115022611B (zh) * 2022-03-31 2023-12-29 青岛虚拟现实研究院有限公司 Vr画面显示方法、电子设备及可读存储介质
CN114866787B (zh) * 2022-07-04 2022-09-23 深圳市必提教育科技有限公司 一种直播实现方法及系统
CN115631320B (zh) * 2022-12-23 2023-02-28 腾讯科技（深圳）有限公司 预计算单元格显示方法、预计算单元格生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534727A (zh) * 2011-05-17 2014-01-22 苹果公司 全景处理
CN103548357A (zh) * 2011-05-19 2014-01-29 Lg电子株式会社 视频流发送装置、视频流接收装置、视频流发送方法和视频流接收方法
CN104125501A (zh) * 2013-04-25 2014-10-29 美国博通公司 用于处理视频数据的系统和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222675B1 (en) * 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
DE59906217D1 (de) 1999-12-30 2003-08-07 Swisscom Mobile Ag Verfahren für die übermittlung von bilddaten
JP4082546B2 (ja) * 2000-02-17 2008-04-30 株式会社リコー ３次元仮想空間構築システム
US6611268B1 (en) * 2000-05-30 2003-08-26 Microsoft Corporation System and process for generating 3D video textures using video-based rendering techniques
US7129981B2 (en) * 2002-06-27 2006-10-31 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
HU0500357D0 (en) * 2005-04-04 2005-05-30 Innoracio Fejlesztoe Es Kutata Dynamic display and method for enhancing the effective resolution of displays
JP2012222399A (ja) * 2011-04-04 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生システム、映像再生方法、映像再生装置及びプログラム
JP6075889B2 (ja) * 2014-06-10 2017-02-08 日本電信電話株式会社 映像配信装置及び映像再生装置
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US20160353146A1 (en) * 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
WO2016191694A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
US10096130B2 (en) * 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
CN105791882B (zh) 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
EP3440843A4 (en) 2016-04-08 2019-08-28 Visbit Inc. VIEWED 360 Degree VIDEO STREAMING
CN105916060A (zh) * 2016-04-26 2016-08-31 乐视控股（北京）有限公司 数据传输的方法、装置及系统
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534727A (zh) * 2011-05-17 2014-01-22 苹果公司 全景处理
CN103548357A (zh) * 2011-05-19 2014-01-29 Lg电子株式会社 视频流发送装置、视频流接收装置、视频流发送方法和视频流接收方法
CN104125501A (zh) * 2013-04-25 2014-10-29 美国博通公司 用于处理视频数据的系统和方法

Also Published As

Publication number Publication date
JP7110234B2 (ja) 2022-08-01
IL270228B1 (en) 2023-03-01
CN111510782A (zh) 2020-08-07
KR102280134B1 (ko) 2021-07-20
US11159848B2 (en) 2021-10-26
WO2018196790A1 (zh) 2018-11-01
US20200059694A1 (en) 2020-02-20
EP3609178B1 (en) 2024-04-10
CN108810636A (zh) 2018-11-13
IL270228A (zh) 2019-12-31
JP2020519094A (ja) 2020-06-25
KR20190137915A (ko) 2019-12-11
EP3609178A4 (en) 2020-03-25
EP3609178A1 (en) 2020-02-12
IL270228B2 (en) 2023-07-01

Similar Documents

Publication Publication Date Title
CN108810636B (zh) 视频播放方法、虚拟现实设备、服务器、系统及存储介质
KR101453239B1 (ko) 인코딩된 비디오 데이터의 스트리밍
CN117581552A (zh) 在传输预创作视频帧和合成视频帧之间切换
CN112219403B (zh) 沉浸式媒体的渲染视角度量
KR102030983B1 (ko) 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
AU2018250308B2 (en) Video compression using down-sampling patterns in two phases
US20150207715A1 (en) Receiving apparatus, transmitting apparatus, communication system, control method for receiving apparatus, control method for transmitting apparatus, and recording medium
US20170013206A1 (en) Communication system, communication apparatus, communication method and program
EP3833034A1 (en) Contiguous streaming of media stream
CN113596112A (zh) 一种面向视频监控的传输方法
CN112752074A (zh) 数据传输方法、装置、终端设备和存储介质
JP7486527B2 (ja) イマーシブメディアコンテンツの提示および双方向性の３６０°ビデオ通信
EP2744215A1 (en) Method for streaming AV content and method for presenting AV content
CN117795969A (zh) 用于请求瓦片流的方法和系统
US20180262790A1 (en) Systems and methods for adaptive streaming using jpeg 2000

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant