JP2020519094A - ビデオ再生方法、デバイス、およびシステム - Google Patents

ビデオ再生方法、デバイス、およびシステム Download PDF

Info

Publication number
JP2020519094A
JP2020519094A JP2019558730A JP2019558730A JP2020519094A JP 2020519094 A JP2020519094 A JP 2020519094A JP 2019558730 A JP2019558730 A JP 2019558730A JP 2019558730 A JP2019558730 A JP 2019558730A JP 2020519094 A JP2020519094 A JP 2020519094A
Authority
JP
Japan
Prior art keywords
viewing angle
resolution
video stream
image
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019558730A
Other languages
English (en)
Other versions
JP7110234B2 (ja
Inventor
然 居
然 居
晋 季
晋 季
峰 李
峰 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020519094A publication Critical patent/JP2020519094A/ja
Application granted granted Critical
Publication of JP7110234B2 publication Critical patent/JP7110234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • H04N21/4384Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

ビデオ再生方法、デバイス、およびシステムが提供される。本方法は、VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信することであって、第1の解像度が第2の解像度よりも大きいものと、第1の視野角のVRビデオストリームを使用することによって第1の視野角の画像を再生すること、視野角が変化していると決定した場合、フル視野角のVRビデオストリームと第1の視野角のVRビデオストリームの第1または両方を使用することによって、現在の視野角の画像を再生すること、変化した第2の視野角を示すためのパラメータを搬送する、視野角情報をサーバに送信すること、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信すること、および第2の視野角のVRビデオストリームを使用することによって第2の視野角の画像を再生することを含む。本出願の実装形態で提供される解決策は、ネットワークVRサービスの高いレイテンシと大きな帯域幅の占有の両方の問題を解決し、サーバのストレージオーバーヘッドを削減し、トラフィックバーストを回避できる。

Description

本出願は、2017年4月28日に中国国家知的財産局に提出され、「ビデオ再生方法、デバイス、およびシステム」という名称の中国特許出願第201710294033.5号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願の実施形態は、仮想現実(virtual reality、VR)技術の分野に関し、特に、ビデオ再生方法、デバイス、およびシステムに関する。
VR技術は、仮想世界が作成され、体験されることを可能にするコンピュータシミュレーション技術で、VR技術は、視覚、聴覚、触覚、およびその他の感覚の没入体験をユーザに提供できる。ネットワークVR技術は、ネットワークを使用してユーザにVRサービスを提供する技術である。ネットワークに展開されたサービスサーバは、ネットワークを使用してVRビデオストリームをVRデバイスに送信し、VRデバイスは受信したVRビデオストリームを再生する。
現在、VRビデオストリームの送信および再生には通常、次の2つの解決策が使用される、すなわち、第1の解決策では、サーバは360度のパノラマVRビデオストリームをVRデバイスに送信し、VRデバイスは360度のパノラマVRビデオストリームを使用して、ユーザの視野角に対応する画像を再生する。360度のパノラマVRビデオストリームの解像度は比較的高く、360度のパノラマVRビデオストリームのデータ量は比較的大きいため、360度パノラマVRビデオストリームを送信するには、比較的大きな帯域幅が占有される必要があるので、一般的なホームユーザが使用する帯域幅は、360度のパノラマVRビデオストリームの送信要件を満たすことができない。第2の解決策では、サーバは、360度のパノラマVRビデオストリームから、ユーザの視野角に対応するVRビデオストリームを抽出し、サーバは、ユーザの視野角に対応するVRビデオストリームのみをVRデバイスに送信して、VRデバイスはVRビデオストリームを受信して直接再生する。第1の解決策は360度の伝送解決策と呼ばれ、第2の解決策は視野(Field of View、FOV)伝送解決策と呼ばれることがある。第1の解決策と比較して、第2の解決策は帯域幅を節約できるが、次の問題を有する、すなわち、ユーザの視野角が変わると、VRデバイスは、サーバから、変化した視野角に対応するVRビデオストリームの取得を要求する必要がある。伝送およびバッファリングには特定の時間がかかるため、モーションからフォトン(Motion to Photon、MTP)のレイテンシは比較的高く、VR技術によって必要とされる20ミリ秒未満のMTPレイテンシ要件を満たすことはできない。MTPレイテンシは、ユーザの視野角の変化と、変化した視野角に対応する画像のVRデバイスによる表示の間のレイテンシである。
したがって、従来技術では、高いレイテンシおよびネットワークVRサービスの大きな帯域幅の占有の問題を一緒に解決することはできない。
本出願の実施形態は、従来技術ではネットワークVRサービスの高いレイテンシおよび大きな帯域幅の占有の問題を一緒に解決できないという困難を克服するためのビデオ再生方法、デバイス、およびシステムを提供する。
一態様によると、本出願の一実施形態は、ビデオ再生方法を提供し、本方法は、VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信するステップであって、第1の解像度が第2の解像度よりも大きい、ステップと、VRデバイスによって、第1の視野角の第1の解像度VRビデオストリームを使用して第1の視野角の画像を再生するステップと、VRデバイスが、視野角が変化していると決定した場合、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって、現在の視野角の画像を再生するステップと、VRデバイスによって、視野角情報をサーバに送信するステップであって、視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ステップと、サーバによって、パラメータに基づいて第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信するステップと、VRデバイスによって、第2の視野角の第1の解像度VRビデオストリームを使用して第2の視野角の画像を再生するステップを含む。
本出願のこの実施形態で提供される解決策によると、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームで、視野角の切り替え中に表示要件を満たすために使用される。この解決策では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。
可能な設計では、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生するステップが、VRデバイスによって、フル視野角の画像を取得するために、フル視野角の第2の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、フル視野角の画像から現在の視野角の画像を抽出するステップと、VRデバイスによって、現在の視野角の画像を再生するステップとを含む。
本出願のこの実施形態で提供される解決策によると、視野角の変化中に、VRデバイスはビデオバッファからフル視野角の第2の解像度VRビデオストリームを読み取り、フル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する。フル視野角の第2の解像度VRビデオストリームはローカルビデオバッファに保存されるため、VRデバイスはサーバからVRビデオストリームを取得するように要求する必要がない。したがって、視野角の切り替え中のMTPレイテンシは削減され得、20ミリ秒未満のMTPレイテンシ要件が満たされる。さらに、視野角の変化中(例えば、ユーザが頭を回すプロセス)、低解像度の画像が表示されるが、移動中に人間の目によって感知される画像はぼやけているため、ユーザに低解像度の画像を表示しても視覚的な体験が低下することはない。
可能な設計では、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームおよび第1の視野角の第1の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生するステップは、VRデバイスによって、第1の視野角の画像を取得するために、第1の視野角の第1の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、フル視野角の画像を取得するために、フル視野角の第2の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、第1の視野角の画像から重複画像を抽出するステップとフル視野角の画像から非重複画像を抽出するステップであって、重複画像が、第1の視野角の画像と現在の視野角の画像の間の重複領域の画像で、非重複画像が、現在の視野角の画像の重複領域の画像とは異なる画像である、ステップと、VRデバイスによって、現在の視野角の画像を取得するために、重複画像と非重複画像を組み合わせるステップと、VRデバイスによって、現在の視野角の画像を再生するステップとを含む。
本出願のこの実施形態で提供される解決策によると、視野角の変化中、現在の視野角と第1の視野角の間に重複領域が引き続き存在し得る。重複領域の画像は、引き続き高解像度を使用して再生され、鮮明度の損失を可能な限り減らすことができる。
可能な設計では、VRデバイスによって、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信するステップの後、本方法が、VRデバイスによって、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが、現在再生されている画像のタイムスタンプと同期するかどうかを検出するステップであって、「同期」が、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプを含むことを意味する、ステップと、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期している場合、VRデバイスによって、第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生するステップを実行するステップ、または第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期していない場合、VRデバイスによって、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって、第2の視野角の画像を再生するステップをさらに含む。
本出願のこの実施形態で提供される解決策によると、VRデバイスは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期しているかどうかをさらに検出して、ユーザ向けの正確なVRビデオ再生を確保する。
可能な設計では、VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信した後、本方法は、VRデバイスによって、第1の視野角の第1の解像度VRビデオストリームを第1のビデオバッファに格納し、フル視野角の第2の解像度VRビデオストリームを第2のビデオバッファに保存するステップをさらに含む。
本出願のこの実施形態で提供される解決策によると、VRデバイスは、2つのビデオバッファを使用し、再生用の異なるVRビデオストリームの迅速な選択を容易にし、切り替えのスムーズさを向上させることによって、異なる解像度でVRビデオストリームを個別に格納する。
可能な設計では、本方法は、VRデバイスが視野角が変化していると決定した場合、またはVRデバイスが第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生する場合、VRデバイスによって、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングを実行するステップをさらに含む。
本出願のこの実施形態で提供される解決策によると、VRデバイスが、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームを使用する必要がない場合、VRデバイスはデータでデータエージングを実行する。これにより、第1のビデオバッファのバッファリングリソースはできるだけ早く解放できる。
可能な設計では、VRデバイスによって、第1の視野角の第1の解像度VRビデオストリームを使用することによって第1の視野角の画像を再生するステップは、VRデバイスによって、第1の視野角の画像を取得するために、第1の視野角の第1の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、第1の視野角の画像を再生するステップとを含み、VRデバイスによって、第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生するステップは、VRデバイスによって、第2の視野角の画像を取得するために、第2の視野角の第1の解像度VRビデオストリームをデコードするステップと、VRデバイスによって、第2の視野角の画像を再生するステップとを含む。
本出願のこの実施形態で提供される技術的解決策によると、VRデバイスは異なるVRビデオストリームを別々にデコードするので、異なるVRビデオストリームは互いに区別され得る。
別の態様によると、本出願の一実施形態は、VRデバイスを提供する。VRデバイスは、上記の方法例におけるVRデバイス側の動作を実装する機能を有する。当該機能はハードウェアの使用により実装されても、ハードウェアにより対応するソフトウェアの実行によって実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する1つ以上のモジュールまたはユニットを含む。
可能な設計では、VRデバイスの構造はプロセッサおよび通信インタフェースを含む。プロセッサは、前述の方法で対応する機能を実行する際にVRデバイスをサポートするように構成される。通信インタフェースは、VRデバイスと別のデバイスの間の通信をサポートするように構成される。さらに、VRデバイスは、メモリをさらに含むことができる。メモリは、プロセッサと結合し、VRデバイスに必要なプログラム命令およびデータを格納するように構成される。
さらに別の態様によると、本出願の一実施形態は、サーバを提供する。サーバは、上記の方法例におけるサーバ側の動作を実装する機能を有する。当該機能はハードウェアの使用により実装されても、ハードウェアにより対応するソフトウェアの実行によって実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する1つ以上のモジュールまたはユニットを含む。
可能な設計では、サーバの構造はプロセッサおよび通信インタフェースを含む。プロセッサは、前述の方法で対応する機能を実行する際にサーバをサポートするように構成される。通信インタフェースは、サーバと別のデバイスの間の通信をサポートするように構成される。さらに、サーバは、メモリをさらに含むことができる。メモリは、プロセッサと結合し、サーバに必要なプログラム命令およびデータを格納するように構成される。
さらに別の態様によると、本出願の一実施形態は、ビデオ再生システムを提供する。当該システムは、前述の態様で説明されたVRデバイスおよびサーバを含む。
さらに別の態様によると、本出願の一実施形態は、前述のVRデバイスによって使用されるコンピュータソフトウェア命令を格納するように構成された、コンピュータ記憶媒体を提供し、コンピュータソフトウェア命令は前述の態様を実行するために設計されたプログラムを含む。
さらなる態様によると、本出願の一実施形態は、前述のサーバによって使用されるコンピュータソフトウェア命令を格納するように構成された、コンピュータ記憶媒体を提供し、コンピュータソフトウェア命令は前述の態様を実行するために設計されたプログラムを含む。
なおさらなる態様によると、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が実行されると、コンピュータプログラム製品は、前述の態様に従ってVRデバイス側で方法を実行するように構成される。
さらなる態様によると、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が実行されると、コンピュータプログラム製品は、前述の態様に従ってサーバ側で本方法を実行するように構成される。
先行技術と比較して、本出願のこの実施形態で提供される解決策によると、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームで、視野角の切り替え中に表示要件を満たすために使用される。当該解決策では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。
一実施例による単一の視野角のVR画像を生成する概略図である。 一実施例による複数の視野角のVR画像を生成する概略図である。 本出願の一実施形態による適用シナリオの概略図である。 本出願の別の実施形態による適用シナリオの概略図である。 本出願の一実施形態によるビデオ再生方法のフローチャートである。 本出願の一実施形態による、組み合わせによって現在の視野角の画像を取得する概略図である。 本出願の別の実施形態によるビデオ再生方法のフローチャートである。 図5Aの実施形態に対応する概略相互作用図である。 本出願の一実施形態によるデバイスの概略ブロック図である。 本出願の一実施形態によるデバイスの概略構造図である。
本出願の目的、技術的解決策、および利点をより明確にするために、以下では、添付の図面を参照して本出願の実施形態における技術的解決策について説明する。
本出願の実施形態で説明されるシステムアーキテクチャおよびサービスシナリオは、本出願の実施形態で提供される技術的解決策をより明確に説明することを意図しており、本出願の実施形態での技術的解決策に対する制限を意味するわけではない。当業者は、システムアーキテクチャの進化および新しいサービスシナリオの出現で、本発明の実施形態で提供される技術的解決策が同様の技術的問題にさらに適用可能であることを周知することができる。
図2Aは、本出願の一実施形態による可能な適用シナリオの概略図である。適用シナリオはネットワークVRシステムであり得、ネットワークVRシステムはネットワークを使用することによってユーザにVRサービスを提供するシステムである。適用シナリオは、VRデバイス21およびサーバ22を含み得る。
VRデバイス21は、サーバ22によって送信されたVRビデオストリームを受信し、VRビデオストリームに基づいて画像を再生し、ユーザにVRビデオを表示する機能を提供するように構成される。VRデバイス21は、VRヘルメットまたはVR眼鏡などの頭部装着型VR表示デバイスであってもよい。もちろん代替として、VRデバイスは、VRビデオの再生に使用され得る他のいずれかのデバイスであってもよい。
サーバ22は、VRビデオリソースを格納し、VRデバイス21にVRビデオストリームを提供するように構成される。サーバ22は、サーバ、複数のサーバを含むサーバクラスタ、またはクラウドコンピューティングサービスセンターであってもよい。任意選択で、サーバ22は、ネットワークVRサービスのウェブサイトまたはアプリケーションを提供するように構成されたバックグラウンドサーバなど、ネットワークVRサービスを提供するように構成されたバックグラウンドサーバである。
VRデバイス21とサーバ22の間には通信接続がある。通信接続は、無線ネットワーク接続でも、有線ネットワーク接続でもよい。
図2Bを参照し、図2Aの実施形態で提供される適用シナリオに基づくと、本出願の一実施形態は、別の可能な適用シナリオの概略図をさらに提供する。適用シナリオには、VRデバイス21およびサーバ22だけでなく、少なくとも1つのカメラ23も含まれる。
カメラ23は、VRビデオストリームを収集し、収集したVRビデオストリームをサーバ22に送信するように構成される。
カメラ23とサーバ22の間には通信接続がある。通信接続は、無線ネットワーク接続でも、有線ネットワーク接続でもよい。
図2Bの実施形態で提供される適用シナリオは、ライブ放送シナリオに適用可能である。
一例では、VRビデオを送信および再生する方法が提供される。サーバは、360度の視野角を事前に30個の視野角に分割し、各視野角のVR画像を生成するプロセスは図1Aに示される。目標視野角は一例として使用され、目標視野角は前述の30個の視野角のいずれかである。サーバは、360度のパノラマ画像11から目標視野角領域の画像12を抽出し、360度のパノラマ画像11から目標視野角領域の画像12を除去した後に残る画像は背景領域画像13と呼ばれる場合がある。サーバは、背景領域画像13の解像度を下げ、低解像度の背景領域画像14を取得する。目標視野角のVR画像15は、目標視野角領域の画像12および低解像度の背景領域画像14を含む。このようにして、30個の視野角のVR画像が図1Bに示され得る。
一例では、ユーザの現在の視野角が視野角2であると仮定すると、VRデバイスはサーバから視野角2のVRビデオストリームを受信し、VRビデオストリームをビデオバッファに格納し、VRデバイスは視野角2のVRビデオストリームを使用することによって、視野角2の画像を再生する。ユーザが視野角2から視野角3に切り替えると、VRデバイスはサーバから視野角3のVRビデオストリームの取得を要求する。ネットワーク伝送とビデオバッファリングの両方が特定の時間を必要とするため、視野角3のVRビデオストリームがVRデバイスに到達して再生できるようになる前に、VRデバイスは最初に、現在の視野角の画像を視野角2のローカルにバッファリングされたVRビデオストリームの低解像度の背景領域画像から抽出し、画像を再生する。視野角の切り替え中、低解像度の画像が表示される。しかしならが、移動中に人間の目によって感知された画像はぼやけているため、視野角の切り替え中に低解像度の画像を表示しても、視覚体験が明らかに低下することはない。
前述の例で提供されている解決策は、ネットワークVRサービスの高いレイテンシおよび大きな帯域幅の占有の問題を解決するが、次の技術的な問題を有する。
最初に、サーバ側のストレージオーバーヘッドが大きい。サーバは30個の視野角のVRビデオストリームを事前格納する必要があり、各視野角のVRビデオストリームは低解像度の背景領域画像を含む。低解像度の背景領域画像は大量のコンテンツの重複内容を有しているため、サーバ側のストレージオーバーヘッドが増加する。
次に、視野角の切り替え中にトラフィックバーストが発生する。視野角の切り替え中、VRデバイスによる、変化した視野角のVRビデオストリームを取得するための要求から、VRデバイスによる、変化した視野角のVRビデオストリームの受信および再生用のVRビデオストリームの使用までの動作には、特定の時間(データの伝送およびデコードに必要な時間を含む)が必要である。VRデバイスによってバッファリングされた、変化した視野角のVRビデオストリームが前述の特定の時間内に最後まで再生されると、VRデバイスで表示の中断が発生する。したがって、表示の中断を避けるために、視野角の切り替え中に、サーバは変化前の視野角のVRビデオストリームと変化した視野角のVRビデオストリームを同時にVRデバイスに送信する必要がある。この場合、視野角の切り替え中に2倍の帯域幅を使用する必要があり、その結果、トラフィックがバーストする。
ネットワークVRサービスの高いレイテンシおよび大きな帯域幅の占有の問題を解決し、前述の例の問題も回避するために、本出願の実施形態は、ビデオ再生方法、および本方法に基づくデバイスおよびシステムを提供する。本出願の実施形態では、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームであり、視野角の切り替え中に表示要件を満たすために使用される。本出願の実施形態では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。前述の例と比較して、本出願の実施形態では、サーバは、フル視野角の低解像度VRビデオストリームを繰り返し格納する必要がなく、ストレージオーバーヘッドを削減し、そして視野角情報に基づいて、VRデバイスの視野角が変化したと決定した場合、サーバは第1の視野角のVRビデオストリームのVRデバイスへの送信を停止し、次に変化した第2の視野角のVRビデオストリームの送信を行うことができ、その結果、トラフィックバーストは発生しない。
以下は、本出願の実施形態における共通性に基づいて、本出願の実施形態を詳細にさらに説明する。
図3は、本出願の一実施形態によるビデオ再生方法のフローチャートである。本方法は、図2Aまたは図2Bに示される適用シナリオに適用され得る。本方法には、以下のステップが含まれる場合がある。
ステップ301。サーバは、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームをVRデバイスに送信し、第1の解像度が第2の解像度より大きい。
本出願のこの実施形態では、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリーム(つまり、視野角の第1の解像度VRビデオストリーム(第1の視野角または第2の視野角など))で、固定視野角の場合、表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリーム(つまり、フル視野角の第2の解像度VRビデオストリーム)で、視野角の切り替え中に表示要件を満たすために使用される。本出願のこの実施形態では、解像度がVRビデオの鮮明度を決定する。より高い解像度はVRビデオの鮮明度が高いことを示し、より低い解像度はVRビデオの鮮明度が低いことを示す。
サーバは、視野角の変化に関係なく、フル視野角の第2の解像度VRビデオストリームをVRデバイスに送信する。一例では、サーバは、第1の視野角のVRビデオストリームをVRデバイスに送信するプロセスで、フル視野角のVRビデオストリームをVRデバイスに連続的に送信する。別の例では、サーバはフル視野角のVRビデオストリームをプリセットされた時間間隔でVRデバイスに送信する。プリセットされた時間間隔は同じでも異なっていてもよく、これは本出願のこの実施形態では限定されない。
一例では、サーバは、フル視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを格納する。VRデバイスが視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、フル視野角の第1の解像度VRビデオストリームから視野角のVRビデオストリームを抽出する。例えば、VRデバイスが第1の視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、フル視野角の第1の解像度VRビデオストリームから第1の視野角のVRビデオストリームを抽出する。この場合、サーバは、フル視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームのみを格納するだけで済む。フル視野角の第2の解像度VRビデオストリームによって占有されるストレージオーバーヘッドは、フル視野角の第1の解像度VRビデオストリームによって占有されるものの約0.1倍である。したがって、全体のストレージオーバーヘッドは、フル視野角の第1の解像度VRビデオストリームによって占有されるものの約1.1倍である。前述の例と比較すると、本方法では、サーバのストレージオーバーヘッドが大幅に削減される。
別の例では、サーバはn個の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを格納し、nは1より大きい整数である。実際の適用では、nの値は実際の経験に基づいて取得でき、組み合わせられたn個の視野角でフル視野角をカバーできる。例えば、nは25、30、または35である。VRデバイスが視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、n個の視野角の第1の解像度VRビデオストリームから視野角のVRビデオストリームを選択する。例えば、VRデバイスが第1の視野角のVRビデオストリームの取得を要求していることを検出すると、サーバは、n個の視野角の第1の解像度VRビデオストリームから第1の視野角のVRビデオストリームを選択する。第1の視野角は、n個の視野角の1つである。このように、サーバは、フル視野角の第2の解像度VRビデオストリームを繰り返し格納する必要はなく、フル視野角の第2の解像度VRビデオストリームを格納するだけで済む。前述の例と比較すると、本方法では、サーバのストレージオーバーヘッドがある程度削減される。さらに、この例では、サーバは、VRデバイスから要求を受信した後、フル視野角のVRビデオストリームから、VRデバイスによって必要とされる視野角のVRビデオストリームを抽出する必要がなく、n個の視野角の格納されたVRビデオストリームから、VRデバイスによって必要とされる視野角のVRビデオストリームを直接選択するだけで済む。これは、VRデバイスからの要求に対するサーバの応答のレイテンシを短縮するのに役立つ。
さらに、n個の視野角の第1の解像度VRビデオストリームは、サーバによって、フル視野角の第1の解像度VRビデオストリームから個別に抽出されるか、n個の独立したビデオストリームであり得、各視野角のVRビデオストリームは、1台以上のカメラによって個別に収集される。
任意選択で、フル視野角の第2の解像度VRビデオストリームは、フル視野角の第1の解像度VRビデオストリームから変換される。前述の解像度変換動作は、サーバによって実行されるか、サーバに接続された別のデバイス(サーバにVRビデオリソースを提供するように構成されたソースサーバなど)によって実行され得る。確かに、他の可能な実装形態では、n個の視野角の第1の解像度VRビデオストリームがn独立したビデオストリームであり、各視野角のVRビデオストリームが1つ以上のカメラによって個別に収集される場合、1つの方法では、サーバは、n個の視野角の第1の解像度VRビデオストリームを最初に統合して、フル視野角の第1の解像度VRビデオストリームを取得し、次に、フル視野角の第1の解像度VRビデオストリームをフル視野角の第2の解像度VRビデオストリームに変換することができるか、または、別の方法では、サーバは、n個の視野角の第1の解像度VRビデオストリームを、それぞれn個の視野角の第2の解像度VRビデオストリームに変換し、次に、n個の視野角の第2の解像度VRビデオストリームを統合して、フル視野角の第2の解像度VRビデオストリームを取得することができる。
任意選択で、解像度変換は、VRビデオストリームの画像伝送形式を変更することによって実装される。例えば、2倍共通中間フォーマット(Double Common Intermediate Format、DCIF)または4倍共通中間フォーマット(4CIF)などの画像伝送フォーマットは、第1の解像度VRビデオストリームに使用でき、共通中間フォーマット(Common Intermediate Format、CIF)または四半期共通中間フォーマット(Quarter Common Intermediate Format、QCIF)などの画像伝送フォーマットは、第2の解像度VRビデオストリームに使用できる。例えば、4CIFはフル視野角の第1の解像度VRビデオストリームに使用され、QCIFはフル視野角の第2の解像度VRビデオストリームに使用され、この場合、第1の解像度は704×576で、第2の解像度は176×144である。
VRビデオストリームは、ストリーミングメディアプロトコルを使用して送信され得る。ストリーミングメディアプロトコルでは、複数の異なるメディアストリームを区別するために、異なる識別子が使用される。例えば、ストリーミングメディアプロトコルがリアルタイムトランスポートプロトコル(Real−time Transport Protocol、RTP)の場合、RTPの同期ソース(Synchronization Source、SSRC)識別子(identifier)、および寄与ソース(Contributing Source、CSRC)識別子が、複数の異なるメディアストリームを区別するために使用される。別の例では、ストリーミングメディアプロトコルがリアルタイムメッセージングプロトコル(Real Time Messaging Protocol、RTMP)の場合、メッセージストリーム識別子(message stream ID)が、複数の異なるメディアストリームを区別するために使用される。さらに別の例では、ストリーミングメディアプロトコルがHTTPライブストリーミング(HTTP Live Streaming、HLS)プロトコルの場合、ユニフォームリソース識別子(Uniform Resource Identifier、URI)が、複数の異なるメディアストリームを区別するために使用される。したがって、サーバが2つのVRビデオストリームをVRデバイスに送信する場合、2つのVRビデオストリームは、ストリーミングメディアプロトコルによって定義された識別子を使用して区別され得る。さらに、異なるストリーミングメディアプロトコルの規定に応じて、メディアストリーム間を区別するための識別子は、各データパケットで搬送される場合と、第1のデータパケット(つまり、最初のデータパケット)でのみ搬送される場合がある。別の可能な例では、VRデバイスが異なるメディアストリームを個別にデコードするため(本出願のこの実施形態では、メディアストリームはVRビデオストリームである)、異なるメディアストリームは互いに区別され得る。
それに対応して、VRデバイスは、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信する。VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを第1のビデオバッファに格納し、フル視野角の第2の解像度VRビデオストリームを第2のビデオバッファに格納する。第1のビデオバッファは、特定の視野角の第1の解像度VRビデオストリームを格納するために使用され、第2のビデオバッファは、フル視野角の第2の解像度VRビデオストリームを格納するために使用される。本出願のこの実施形態では、VRデバイスは、2つのビデオバッファを使用し、再生用の異なるVRビデオストリームの迅速な選択を容易にし、切り替えのスムーズさを向上させることによって、異なる解像度でVRビデオストリームを個別に格納する。
ステップ302。VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを使用することによって、第1の視野角の画像を再生する。
VRデバイスは、第1の視野角の第1の解像度VRビデオストリームをデコードして、第1の視野角の画像を取得し、次に第1の視野角の画像を再生する。本出願のこの実施形態では、VRビデオストリームのコーデックアルゴリズムは限定されない。例えば、コーデックアルゴリズムは、動画専門家集団(Moving Picture Experts Group、MPEG)規格、ビデオコーデック(Video Codec、VC)関連アルゴリズム、またはH.264コーデックアルゴリズムによって提供されるコーデックアルゴリズムである。
任意選択で、VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角のVRビデオストリームのデータ量がプリセットされたしきい値より大きいことを検出すると、第1のビデオバッファから第1の視野角のVRビデオストリームの読み取りを開始し、VRビデオストリームをデコードして再生する。プリセットされたしきい値は、実際の経験に基づいてプリセットされ得る。
ステップ303。VRデバイスが、視野角が変化していると決定した場合、VRデバイスは、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって現在の視野角の画像を再生する。
VRビデオ再生プロセスでは、VRデバイスは、視野角が変化しているかどうか、つまり、視野角が第1の視野角から別の視野角に変化しているかどうかをリアルタイムで検出する。VRデバイスが視野角が変化していると決定する場合、VRデバイスは、フル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって現在の視野角の画像を再生し、現在の視野角は、VRデバイスによってリアルタイムで決定される視野角である。視野角が変化していないとVRデバイスが決定する場合、VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを使用することによって、第1の視野角の画像の再生を続ける。
一例では、VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する。このステップは、次のサブステップを含む場合がある。
1.VRデバイスは、フル視野角の第2の解像度VRビデオストリームをデコードして、フル視野角の画像を取得する。
2.VRデバイスは、現在の視野角の画像をフル視野角の画像から抽出する。
3.VRデバイスは、現在の視野角の画像を再生する。
視野角の変化中に、VRデバイスは第2のビデオバッファからフル視野角の第2の解像度VRビデオストリームを読み取り、フル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する。フル視野角の第2の解像度VRビデオストリームはローカルの第2のビデオバッファに保存されるため、VRデバイスはサーバからVRビデオストリームを取得するように要求する必要がない。したがって、視野角の切り替え中のMTPレイテンシは削減され得、20ミリ秒未満のMTPレイテンシ要件が満たされる。さらに、視野角の変化中(例えば、ユーザが頭を回すプロセス)、低解像度の画像が表示されるが、移動中に人間の目によって感知される画像はぼやけているため、ユーザに低解像度の画像を表示しても視覚的な体験が低下することはない。
別の例では、VRデバイスは、フル視野角の第2の解像度VRビデオストリームおよび第1の視野角の第1の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する。このステップは、次のサブステップを含む場合がある。
1.VRデバイスは、第1の視野角の第1の解像度VRビデオストリームをデコードして、第1の視野角の画像を取得する。
2.VRデバイスは、フル視野角の第2の解像度VRビデオストリームをデコードして、フル視野角の画像を取得する。
3.VRデバイスは、第1の視野角の画像から重複画像を抽出し、フル視野角の画像から非重複画像を抽出する。
4.VRデバイスは、重複画像と非重複画像を組み合わせて、現在の視野角の画像を取得する。
5.VRデバイスは、現在の視野角の画像を再生する。
重複画像は、第1の視野角の画像と現在の視野角の画像の間の重複領域の画像であり、非重複画像は、現在の視野角の画像の重複領域の画像とは異なる画像である。視野角の変化中、現在の視野角と第1の視野角の間に重複領域が引き続き存在し得る。重複領域の画像は、引き続き高解像度を使用して再生され、鮮明度の損失を可能な限り減らすことができる。
図4は、本出願のこの実施形態による、組み合わせによって現在の視野角の画像を取得する概略図である。重複領域43(図の斜線で塗りつぶされた長方形のボックスによって表示)は、第1の視野角41(図の実線の四角のボックスによって表示)と現在の視野角42(図の破線の四角のボックスによって表示)の間に存在する。VRデバイスは、第1の視野角の第1の解像度の画像44から重複画像45を抽出し、第2の解像度のフル視野角の画像46から非重複画像47を抽出し、重複画像45と非重複画像47を組み合わせ、現在の視野角の画像48を取得する。任意選択で、VRデバイスは、重複画像45および非重複画像47を同じ解像度にスケーリングし、それらを組み合わせて現在の視野角の画像48を取得する。
本出願のこの実施形態では、別の例におけるサブステップ1およびサブステップ2を実行するためのシーケンスは限定されない。サブステップ1は、サブステップ2の前に実行されることも、サブステップ2の後に実行されることも、サブステップ2と同時に実行されることもできる。
さらに、本出願のこの実施形態では、視野角の変化は、現在の視野角が元の視野角と異なること、または現在の視野角と元の視野角の間の変化量がプリセットされたしきい値よりも小さいこと、およびプリセットされたしきい値は、実際の必要性に基づいてプリセットされ得ることを意味し得る。
ステップ304。VRデバイスは、視野角情報をサーバに送信し、視野角情報は、変化した第2の視野角を示すためのパラメータを搬送する。
一例では、VRデバイスはサーバに視野角情報を事前に報告する。例えば、VRデバイスは、最初にプリセットされた時間間隔で視野角情報をサーバに送信し、毎回報告される視野角情報は、現在の視野角(つまり、報告時の視野角)を示すパラメータを保持する。第1のプリセットされた時間間隔は、実際の必要性に基づいてプリセットされてもよい。別の例として、VRデバイスは、視野角が変化していることを検出した場合、視野角情報をサーバに送信し、視野角情報は、変化した第2の視野角を示すパラメータを保持し、視野角が変化していないことを検出すると、VRデバイスは視野角情報をサーバに送信しない。
別の例では、VRデバイスは、サーバによって送信されたポーリング要求を受信した後、サーバに視野角情報を送信する。例えば、サーバは、第2のプリセットされた時間間隔でポーリング要求をVRデバイスに送信し、VRデバイスはポーリング要求を受信した後、サーバに視野角情報を送信する。毎回報告される視野角情報は、現在の視野角(つまり、レポート時の視野角)を示すためのパラメータを含む。第2のプリセットされた時間間隔は、実際の必要性に基づいてプリセットされてもよい。
それに対応して、サーバはVRデバイスによって送信された視野角情報を受信する。本出願のこの実施形態で提供される方法は、サーバがタイムリーな方法でVRデバイスの視野角の変化を確実に習得できるようにする。
ステップ305。サーバは、前述のパラメータに基づいて、第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信する。
サーバは、変化した第2の視野角を示すため、視野角情報で搬送されたパラメータに基づいて、第2の視野角の第1の解像度VRビデオストリームを取得し、次に第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信する。
一例では、サーバがフル視野角の第1の解像度VRビデオストリームを格納している場合、サーバはフル視野角の第1の解像度VRビデオストリームから第2の視野角のVRビデオストリームを抽出する。
別の例では、サーバがn個の視野角の第1の解像度VRビデオストリームを格納している場合、サーバはフル視野角の第1の解像度VRビデオストリームから第2の視野角のVRビデオストリームを選択する。
それに対応して、VRデバイスは、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信する。VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを第1のビデオバッファに格納する。
本出願のこの実施形態では、視野角情報に基づいて、VRデバイスの視野角が変化したことを決定する場合、サーバは、第1の視野角のVRビデオストリームをVRデバイスに送信することを停止し、次に、変化した第2の視野角のVRビデオストリームを送信することができ、その結果、トラフィックバーストは発生しない。さらに、フル視野角の低解像度VRビデオストリームが個別に送信され、したがって、第2の視野角のVRビデオストリームがVRデバイスに到達する前に、VRデバイスはフル視野角の低解像度VRビデオストリームを使用することによって現在の視野角の画像を再生でき、表示の中断は発生しない。
ステップ306。VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
VRデバイスは、第2の視野角の第1の解像度VRビデオストリームをデコードして、第2の視野角の画像を取得し、次に第2の視野角の画像を再生する。
任意選択で、VRデバイスが、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームを使用する必要がない場合、VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角のVRビデオストリームでデータエージングを実行する。データエージングは、バッファリングされたデータを除去することを示し、第1の視野角のVRビデオストリームでデータエージングを実行すると、第1の視野角のVRビデオストリームが第1のビデオバッファから削除される。このようにして、第1のビデオバッファのバッファリングリソースはできるだけ早く解放され得る。
VRデバイスが、視野角が変化していると決定したとき、VRデバイスがフル視野角の第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する場合、VRデバイスが、視野角が変化していると決定したとき、VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングを実行してもよい。VRデバイスが視野角が変化していると決定したとき、VRデバイスがフル視野角の第2の解像度VRビデオストリームと第1の視野角の第1の解像度VRビデオストリームの第1または両方を使用することによって現在の視野角の画像を再生する場合、VRデバイスが第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生するとき、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングが実行され得る。
本出願のこの実施形態で提供される解決策によると、サーバは2つのサービスデータストリームをVRデバイスに送信する。1つは、視野角の高解像度VRビデオストリームで、視野角が固定されている場合の表示要件を満たすために使用される。もう1つは、フル視野角の低解像度VRビデオストリームで、視野角の切り替え中に表示要件を満たすために使用される。この解決策では、360度の伝送解決策と比較して、帯域幅の占有が削減される。さらに、フル視野角の低解像度VRビデオストリームは360度の視野角をカバーし、その結果、視野角の切り替え中に必要とされる画像データは、要求することによってサーバから取得される必要がなく、それによって視野角の切り替え中の表示レイテンシを短縮する。前述の例と比較して、この解決策では、サーバは、フル視野角の低解像度VRビデオストリームを繰り返し格納する必要がなく、ストレージオーバーヘッドを削減し、そして視野角情報に基づいて、VRデバイスの視野角が変化したと決定した場合、サーバは第1の視野角のVRビデオストリームのVRデバイスへの送信を停止し、次に変化した第2の視野角のVRビデオストリームの送信を行うことができ、その結果、トラフィックバーストは発生しない。
図5Aおよび図5Bは、本出願の別の実施形態によるビデオ再生方法のフローチャートである。本方法は、図2Aまたは図2Bに示される適用シナリオに適用され得る。本方法には、以下のステップが含まれる場合がある。
図5Bでは、丸によって表されたステップ1から10は、それぞれ、以下のステップ501から510に対応する。
ステップ501。VRデバイスは、サービス要求をサーバに送信し、サービス要求は第1の視野角を示すためのパラメータを搬送する。
サービス要求は、サーバからVRビデオリソースを取得する要求に使用される。
それに対応して、サーバはVRデバイスによって送信されたサービス要求を受信する。
ステップ502。サーバは、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームをVRデバイスに送信し、第1の解像度が第2の解像度より大きい。
サービス要求を受信した後、サーバは、最初の視野角を示すための、サービス要求で搬送された、パラメータに基づいて第1の視野角の第1の解像度VRビデオストリームを取得し、VRビデオストリームをVRデバイスに送信する。加えて、サーバは、VRデバイスがサーバからVRビデオリソースを取得するための要求を停止するまで、つまりサービスが停止するまで、フル視野角の第2の解像度VRビデオストリームをVRデバイスにさらに送信する。さらに、第2の解像度VRビデオストリームは、第1の解像度VRビデオストリームのビデオトランスコーディングによって取得できる。例えば、第2の解像度は第1の解像度の10%である。
それに対応して、VRデバイスは、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信する。
図5Bを参照すると、第1の送信バッファおよび第2の送信バッファを含む、送信バッファの2つのチャネルがサーバに設定される。第1の送信バッファは、視野角の第1の解像度VRビデオストリーム(FOVビデオストリームとも呼ばれる場合がある)をVRデバイスに送信するために使用され、第2の送信バッファは、フル視野角の第2の解像度VRビデオストリーム(360度のビデオストリームとも呼ばれる場合がある)をVRデバイスに送信するために使用される。それに対応して、VRデバイスには、第1の受信バッファと第2の受信バッファを含む、受信バッファの2つのチャネルが設定される。第1の受信バッファ、すなわち、図3の実施形態で説明された第1のビデオバッファは、視野角の受信された第1の解像度VRビデオストリーム(FOVビデオストリームとも呼ばれる場合がある)を格納するために使用され、第2の受信バッファ、すなわち、図3の実施形態で説明された第2のビデオバッファは、フル視野角の受信した第2の解像度VRビデオストリーム(360度のビデオストリームとも呼ばれる場合がある)を格納するために使用される。
ステップ503。VRデバイスは、第1の視野角の第1の解像度VRビデオストリームを使用することによって、第1の視野角の画像を再生する。
第1のビデオバッファのVRビデオストリームのバッファリングされたビデオデータが特定の時間長(例えば、1秒)に到達すると、VRデバイスは第1のビデオバッファから第1の視野角の第1の解像度VRビデオストリームを読み取り、VRビデオストリームをデコードして再生する。
ステップ504。VRデバイスが、視野角が変化していると決定した場合、VRデバイスは、視野角情報をサーバに送信し、視野角情報は、変化した第2の視野角を示すためのパラメータを搬送する。
任意選択で、VRデバイスは視野角の切り替え要求をサーバに送信する。視野角の切り替え要求は、変化した第2の視野角を示すためのパラメータを搬送し、視野角の切り替え要求は、変化した第2の視野角のVRビデオストリームの取得を要求するために使用される。
それに対応して、サーバはVRデバイスによって送信された視野角情報を受信する。
ステップ505。VRデバイスは、第1のビデオバッファにバッファリングされた第1の視野角の第1の解像度VRビデオストリームでデータエージングを実行する。
例えば、VRデバイスは、第1のビデオバッファに格納されているデータを削除し、第2の視野角の第1の解像度VRビデオストリームを受信する準備をする。
ステップ506。VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する。
VRデバイスは、第2のビデオバッファからフル視野角の第2の解像度VRビデオストリームを読み取り、VRビデオストリームをデコードしてフル視野角の画像を取得し、再生用に現在の視野角の画像をフル視野角の画像から抽出する。
本出願のこの実施形態では、ステップ504、505、および506を実行するためのシーケンスは限定されないことに留意していただきたい。前述の3つのステップは、順次または同時に実行してもよい。
ステップ507。サーバは、変化した第2の視野角を示すために、視野角情報で搬送される、パラメータに基づいて、第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信する。
視野角情報に基づいて、VRデバイスの視野角が変化したことを決定する場合、サーバは、第1の視野角のVRビデオストリームをVRデバイスに送信することを停止し、次に、変化した第2の視野角のVRビデオストリームを送信することができる。それに対応して、VRデバイスは、サーバによって送信された第2の視野角の第1の解像度VRビデオストリームを受信する。
さらに、VRデバイスの視野角が変化したと決定した場合、サーバは第1の送信バッファからデータを削除することができ、第2の視野角の第1の解像度VRビデオストリームを送信する準備をする。
ステップ508。VRデバイスは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期しているかどうかを検出し、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期される場合、ステップ509を実行するか、または第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期されていない場合、ステップ510を実行する。
VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを受信した後、VRビデオストリームのタイムスタンプを現在再生されている画像のタイムスタンプと比較して、タイムスタンプが同期しているかどうかを決定する。任意選択として、「同期」とは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが、現在再生されている画像のタイムスタンプを含むことを意味する。つまり、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプを含む場合、第2の視野角の受信した第1の解像度VRビデオストリームが期限切れになっていないことを示す。第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプを含まない場合、第2の視野角の受信した第1の解像度VRビデオストリームが期限切れになっていることを示す場合があり、VRデバイスは期限切れのVRビデオストリームを破棄する場合がある。
ステップ509。VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
タイムスタンプが同期されている場合、VRデバイスは、第2の視野角の第1の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
ステップ510。VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって、第2の視野角の画像を再生する。
タイムスタンプが同期されていない場合、VRデバイスは、フル視野角の第2の解像度VRビデオストリームを使用することによって第2の視野角の画像を引き続き再生し、タイムスタンプが同期されるようになったとき、第2の視野角の第1の解像度VRビデオストリームを使用することによって第2の視野角の画像を再生する。
任意選択で、タイムスタンプが同期されていない場合、VRデバイスはサーバに同期要求を送信し、同期要求は、当該タイムスタンプが現在再生されている画像のタイムスタンプと同期されているVRビデオストリームをフィードバックするようサーバに要求するために使用される。VRデバイスによって送信された同期要求を受信した後、サーバは、一定の時間後にVRが必要とする第2の視野角の第1の解像度VRビデオストリームを送信する。例えば、サーバは、第2の視野角の当初送信したVRビデオストリームのタイムスタンプを一定の時間後方に移動することによって新しいタイムスタンプを取得することができ、新しいタイムスタンプから第2の視野角の第1の解像度VRビデオストリームの送信を開始する。別の例では、VRデバイスによってサーバに送信された同期要求は、現在再生されている画像のタイムスタンプを搬送することができ、サーバは現在再生されている画像のタイムスタンプならびにデータの伝送およびエンコードとデコードに必要とされる時間に基づく予測を通じて新しいタイムスタンプを取得することができ、新しいタイムスタンプから第2の視野角の第1の解像度VRビデオストリームの送信を開始する。確かに、別の可能な実装形態では、ステップ507で第2の視野角の第1の解像度VRビデオストリームをVRデバイスに送信するとき、サーバは、フル視野角の現在送信中の第2の解像度VRビデオストリームのタイムスタンプに基づき、つまり、タイムスタンプから、またはタイムスタンプを一定の時間後方に移動した後に取得された新しいタイムスタンプから、第2の視野角の第1の解像度VRビデオストリームのVRデバイスへの送信を開始することができる。これにより、タイムスタンプの同期プロセスが高速化され、タイムスタンプが長時間同期されず、結果としてVRデバイスが長時間にわたって第2の解像度の画像を再生することから、ユーザの視覚体験が影響されることを防ぐことができる。
さらに、ユーザがVRビデオを視聴しているプロセスでは、ユーザの視野角は常に変化している可能性があり、その結果、VRデバイスによってサーバにフィードバックされる視野角情報は実際の視野角に追いつくことができない。したがって、対応する視野角予測メカニズムはサーバ側でさらに設定され得る。視野角予測メカニズムは、VRデバイスによってフィードバックされる視野角情報に基づいて実際の視野角を予測し、次に視野角の同期を実装するために、VRデバイスによって必要とされる視野角のビデオデータを、VRデバイスにフィードバックするために使用される。
本出願のこの実施形態で提供される解決策によると、VRデバイスは、第2の視野角の受信した第1の解像度VRビデオストリームのタイムスタンプが現在再生されている画像のタイムスタンプと同期しているかどうかをさらに検出して、ユーザ向けの正確なVRビデオ再生を確保する。
前述の方法の実施形態では、本出願で提供される技術的解決策は、単に、VRデバイスとサーバの間の相互作用の観点から説明されている。VRデバイス側のステップは、VRデバイス側のビデオ再生方法として別個に実装されてもよく、サーバ側のステップは、サーバ側のビデオ再生方法として別個に実装されてもよい。
前述の機能を実装するために、デバイス(例えば、VRデバイスまたはサーバ)は、機能を実行するために対応するハードウェア構造および/またはソフトウェアモジュール(またはユニット)を含むことを理解していただきたい。本出願で開示される実施形態を参照して説明される例でのユニットおよびアルゴリズムステップは、本出願の実施形態でのハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせによって実装され得る。機能がハードウェアによって、またはハードウェアを駆動するコンピュータソフトウェアによって実行されるかどうかは、特定の用途および技術的解決策の設計制約により異なる。特定の用途ごとに、当業者であれば、説明した機能を実装するために異なる方法を使用することができるが、当該実装形態が本出願の実施形態の技術的解決策の範囲を逸脱すると見なされるべきではない。
本出願の実施形態では、デバイス(例えば、VRデバイスまたはサーバ)は、前述の方法例に基づいて機能ユニットに分割され得る。例えば、各機能ユニットは1つの機能に対応していてもよいし、2つ以上の機能が1つの処理ユニットに統合されていてもよい。統合されたユニットはハードウェアの形で実装されてもよく、またはソフトウェアの機能的ユニットの形で実施されてもよい。本出願の実施形態でのユニット分割は一例であり、単に論理的な機能分割であり、実際の実装形態では他の分割であってもよいことに留意していただきたい。
統合ユニットが使用される場合、図6Aは、前述の実施形態におけるデバイスの可能な概略構造図である。デバイス600は、処理ユニット602および通信ユニット603を含む。処理ユニット602は、デバイス600の動作を制御および管理するように構成される。例えば、デバイス600がVRデバイスである場合、処理ユニット602は、図3のステップ302から304およびステップ306、図5Aのステップ501、ステップ503から506、およびステップ508から510ならびに/または本明細書で説明された技術を実装するための別のステップの実行においてデバイス600をサポートするように構成される。デバイス600がサーバである場合、処理ユニット602は、図3のステップ301および305、図5Aのステップ502および507、ならびに/または本明細書で説明された技術を実装するための別のステップの実行においてデバイス600をサポートするように構成される。通信ユニット603は、デバイス600と別のデバイスの間の通信をサポートするように構成される。デバイス600は、記憶ユニット601をさらに含むことができ、記憶ユニット601は、デバイス600のプログラムコードおよびデータを格納するように構成される。
処理ユニット502は、例えば、中央処理装置(Central Processing Unit、CPU)、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor、DSP)、特定用途向け集積回路、(Application−Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)、または別のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネント、またはそれらの組み合わせなどのプロセッサまたはコントローラであってもよい。コントローラ/プロセッサは、本出願で開示された内容を参照して説明された各種例示的な論理ブロック、モジュール、および回路を実装または実行することができる。代替として、プロセッサは、計算機能を実行する組み合わせ、例えば、1つ以上のマイクロプロセッサを含む組み合わせ、またはDSPとマイクロプロセッサとの組み合わせであり得る。通信ユニット603は、通信インタフェース、トランシーバ、トランシーバ回路などとしてもよい。通信インタフェースは集合的な用語であり、1つ以上のインタフェース、例えばサーバとVRデバイスの間のインタフェースを含む場合がある。記憶ユニット601はメモリであってもよい。
処理ユニット602がプロセッサであり、通信ユニット603が通信インタフェースであり、記憶ユニット601がメモリである場合、本出願のこの実施形態におけるデバイスは、図6Bに示されるデバイスであり得る。
図6Bを参照すると、デバイス610は、プロセッサ612、通信インタフェース613、およびメモリ611を含む。任意選択として、デバイス610は、バス614をさらに含むことができる。通信インタフェース613、プロセッサ612、およびメモリ611は、バス614を使用して互いに接続されてもよい。バス614はペリフェラルコンポーネント相互接続(Peripheral Component Interconnect、短縮してPCI)バス、拡張業界標準アーキテクチャ(Extended Industry Standard Architecture、短縮してEISA)バスなどとすることができる。バス614は、アドレスバス、データバス、コントロールバスなどに分類され得る。表現を容易にするために、図6Bでバスを表すために1本の太い線のみが使用されているが、これは1本のバスのみまたは1つのタイプのバスしかないことを意味するものではない。
図6Aまたは図6Bに示されるデバイスは、サーバまたはVRデバイスであり得る。
本出願の実施形態で開示された内容を参照して説明された方法またはアルゴリズムステップは、ハードウェアによって実装されてもよく、ソフトウェア命令を実行することによってプロセッサによって実装されてもよい。ソフトウェア命令は対応するソフトウェアモジュール(またはユニット)を含み得る。ソフトウェアモジュール(またはユニット)は、ランダムアクセスメモリ(Random Access Memory、RAM)、フラッシュメモリ、読み出し専用メモリ(Read Only Memory、ROM)、消去可能プログラマブル読み出し専用メモリ(Erasable Programmable ROM、EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(Electrically EPROM、EEPROM)、レジスタ、ハードディスク、リムーバブルハードディスク、コンパクトディスク読み出し専用メモリ(CD−ROM)、または当業界で周知された他の形式の記憶媒体に格納することができる。例えば、例示的記憶媒体はプロセッサに結合され、それによりプロセッサは記憶媒体から情報を読み取ることや、記憶媒体に情報を書き込むことができる。もちろん、記憶媒体は代替としてプロセッサの構成要素であり得る。プロセッサおよび記憶媒体はASIC内に配置されてもよい。さらに、ASICはデバイスに配置されてもよい。もちろん、プロセッサおよび記憶媒体は、個別の構成要素としてデバイス内に代替的に存在してもよい。
当業者は、前述の1つ以上の例では、本出願の実施形態で説明されている機能がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせによって実装され得ることを認識していただきたい。本出願の実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品が実行されると、コンピュータプログラム製品は前述の機能を実装するように構成される。加えて、コンピュータプログラム製品は、コンピュータ可読媒体に格納されてもよく、またはコンピュータ可読媒体の1つ以上の命令またはコードとして送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含み、通信媒体は、コンピュータプログラムをある場所から別の場所に伝送することを可能にする任意の媒体を含む。記憶媒体は、汎用または専用コンピュータにアクセス可能な任意の利用可能な媒体とし得る。
前述の特定の実装形態では、本出願の実施形態の目的、技術的解決策、および有益な効果が、詳細にさらに説明される。前述の説明は、本出願の実施形態の特定の実装形態に過ぎず、本出願の実施形態の保護範囲を限定することを意図するものではないことを理解していただきたい。本出願の実施形態の技術的解決策に基づいてなされたいかなる修正、同等の置換、または改良も、本出願の実施形態の保護範囲内にあるものとする。
11 360度のパノラマ画像
12 目標視野角領域の画像
13 背景領域画像
14 低解像度の背景領域画像
15 目標視野角のVR画像
21 VRデバイス
22 サーバ
23 カメラ
41 第1の視野角
42 現在の視野角
43 重複領域
44 第1の視野角の第1の解像度の画像
45 重複画像
46 第2の解像度のフル視野角の画像
47 非重複画像
48 現在の視野角の画像
502 処理装置
600 デバイス
601 記憶ユニット
602 処理ユニット
603 通信ユニット
610 デバイス
611 メモリ
612 プロセッサ
613 通信インタフェース
614 バス
処理ユニット602は、例えば、中央処理装置(Central Processing Unit、CPU)、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor、DSP)、特定用途向け集積回路、(Application−Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)、または別のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネント、またはそれらの組み合わせなどのプロセッサまたはコントローラであってもよい。コントローラ/プロセッサは、本出願で開示された内容を参照して説明された各種例示的な論理ブロック、モジュール、および回路を実装または実行することができる。代替として、プロセッサは、計算機能を実行する組み合わせ、例えば、1つ以上のマイクロプロセッサを含む組み合わせ、またはDSPとマイクロプロセッサとの組み合わせであり得る。通信ユニット603は、通信インタフェース、トランシーバ、トランシーバ回路などとしてもよい。通信インタフェースは集合的な用語であり、1つ以上のインタフェース、例えばサーバとVRデバイスの間のインタフェースを含む場合がある。記憶ユニット601はメモリであってもよい。

Claims (21)

  1. ビデオ再生方法であって、前記方法が、
    仮想現実VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信するステップであって、前記第1の解像度が前記第2の解像度よりも大きい、ステップと、
    前記VRデバイスによって、前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第1の視野角の画像を再生するステップと、
    前記VRデバイスが、前記視野角が変化していると決定した場合、前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって、現在の視野角の画像を再生するステップと、
    前記VRデバイスによって、視野角情報を前記サーバに送信するステップであって、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ステップと、
    前記VRデバイスによって、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信するステップと、
    前記VRデバイスによって、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生するステップと
    を含む方法。
  2. 前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームを使用することによって現在の視野角の画像を再生する前記ステップが、
    前記VRデバイスによって、フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードするステップと、
    前記VRデバイスによって、前記フル視野角の画像から前記現在の視野角の前記画像を抽出するステップと、
    前記VRデバイスによって、前記現在の視野角の前記画像を再生するステップと
    を含む、請求項1に記載の方法。
  3. 前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームおよび前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する前記ステップが、
    前記VRデバイスによって、前記第1の視野角の前記画像を取得するために、前記第1の視野角の前記第1の解像度VRビデオストリームをデコードするステップと、
    前記VRデバイスによって、フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードするステップと、
    前記VRデバイスによって、前記第1の視野角の前記画像から重複画像を抽出するステップと前記フル視野角の画像から非重複画像を抽出するステップであって、前記重複画像が、前記第1の視野角の前記画像と前記現在の視野角の前記画像の間の重複領域の画像で、前記非重複画像が、前記現在の視野角の前記画像の前記重複領域の前記画像とは異なる画像である、ステップと、
    前記VRデバイスによって、前記現在の視野角の前記画像を取得するために、前記重複画像と前記非重複画像を組み合わせるステップと、
    前記VRデバイスによって、前記現在の視野角の前記画像を再生するステップと
    を含む、請求項1に記載の方法。
  4. 前記VRデバイスによって、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信する前記ステップの後、前記方法が、
    前記VRデバイスによって、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、前記現在再生されている画像のタイムスタンプと同期するかどうかを検出するステップであって、「同期」が、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプを含むことを意味する、ステップと、
    前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記VRデバイスによって、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生する前記ステップを実行するステップと
    をさらに含む、請求項1に記載の方法。
  5. 前記VRデバイスによって、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、前記現在再生されている画像のタイムスタンプと同期するかどうかを検出する前記ステップの後、前記方法が、
    前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって前記第2の視野角の前記画像を再生するステップ
    をさらに含む、請求項4に記載の方法。
  6. VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信する前記ステップの後、前記方法が、
    前記VRデバイスによって、前記第1の視野角の前記第1の解像度VRビデオストリームを第1のビデオバッファに格納し、前記フル視野角の前記第2の解像度VRビデオストリームを第2のビデオバッファに保存するステップ
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記方法が、
    前記VRデバイスが前記視野角が変化していると決定した場合、または前記VRデバイスが前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の前記画像を再生する場合、前記VRデバイスによって、前記第1のビデオバッファにバッファリングされた前記第1の視野角の前記第1の解像度VRビデオストリームでデータエージングを実行するステップと
    をさらに含む、請求項6に記載の方法。
  8. ビデオ再生方法であって、前記方法が、
    サーバによって、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを仮想現実VRデバイスに送信するステップであって、前記第1の解像度が前記第2の解像度より大きい、ステップと、
    前記サーバによって、前記VRデバイスによって送信された視野角情報を受信するステップであって、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ステップと
    前記サーバによって、前記パラメータに基づいて、前記第2の視野角の第1の解像度VRビデオストリームを前記VRデバイスに送信するステップと
    を含む方法。
  9. 前記フル視野角の前記第2の解像度VRビデオストリームが、前記フル視野角の第1の解像度VRビデオストリームから変換される、請求項8に記載の方法。
  10. 仮想現実VRデバイスであって、前記VRデバイスが通信ユニットおよび処理ユニットを備え、
    前記通信ユニットが、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信し、前記第1の解像度が前記第2の解像度よりも大きい、ように構成され、
    前記処理ユニットが、前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第1の視野角の画像を再生するように構成され、
    前記処理ユニットが、前記VRデバイスが、前記視野角が変化していると決定した場合、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって、現在の視野角の画像を再生するようにさらに構成され、
    前記通信ユニットが、視野角情報を前記サーバに送信し、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ようにさらに構成され、
    前記通信ユニットが、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信するようにさらに構成され、
    前記処理ユニットが、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生するようにさらに構成される、
    VRデバイス。
  11. 前記処理ユニットが、
    フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードし、
    前記フル視野角の画像から前記現在の視野角の前記画像を抽出し、
    前記現在の視野角の前記画像を再生する
    ように構成される、請求項10に記載のVRデバイス。
  12. 前記処理ユニットが、
    前記第1の視野角の前記画像を取得するために、前記第1の視野角の前記第1の解像度VRビデオストリームをデコードし、
    フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードし、
    前記第1の視野角の前記画像から重複画像を抽出し、前記フル視野角の画像から非重複画像を抽出し、前記重複画像が、前記第1の視野角の前記画像と前記現在の視野角の前記画像の間の重複領域の画像で、前記非重複画像が、前記現在の視野角の前記画像の前記重複領域の前記画像とは異なる画像であり、
    前記現在の視野角の前記画像を取得するために、前記重複画像と前記非重複画像を組み合わせて、
    前記現在の視野角の前記画像を再生する、
    ように構成される、請求項10に記載のVRデバイス。
  13. 前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、前記現在再生されている画像のタイムスタンプと同期するかどうかを検出し、「同期」が、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプを含むことを意味する、ようにさらに構成され、
    前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生する前記ステップを実行するようにさらに構成される、
    請求項10に記載のVRデバイス。
  14. 前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの前記第1または両方を使用することによって前記第2の視野角の前記画像を再生するようにさらに構成される、
    請求項13に記載のVRデバイス。
  15. 前記VRデバイスが、記憶ユニットをさらに備え、
    前記記憶ユニットが、前記第1の視野角の前記第1の解像度VRビデオストリームを第1のビデオバッファに格納し、前記フル視野角の前記第2の解像度VRビデオストリームを第2のビデオバッファに格納するように構成される、
    請求項10から14のいずれか一項に記載のVRデバイス。
  16. 前記処理ユニットが、前記視野角が変化していると決定された場合、または前記第2の視野角の前記画像が前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって再生される場合、前記第1のビデオバッファにバッファリングされた前記第1の視野角の前記第1の解像度VRビデオストリームでデータエージングを実行するようにさらに構成される、
    請求項15に記載のVRデバイス。
  17. サーバであって、前記サーバが、通信ユニットおよび処理ユニットを備え、
    前記通信ユニットが、第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを仮想現実VRデバイスに送信し、前記第1の解像度が前記第2の解像度より大きい、ように構成され、
    前記通信ユニットが、前記VRデバイスによって送信された視野角情報を受信し、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ようにさらに構成され、
    前記処理ユニットが、前記パラメータに基づいて、前記第2の視野角の第1の解像度VRビデオストリームを取得する、ように構成され、
    前記通信ユニットが、前記第2の視野角の前記第1の解像度VRビデオストリームを前記VRデバイスに送信するようにさらに構成される、
    サーバ。
  18. 前記フル視野角の前記第2の解像度VRビデオストリームが、前記フル視野角の第1の解像度VRビデオストリームから変換される、請求項17に記載のサーバ。
  19. ビデオ再生システムであって、前記システムが、VRデバイスおよびサーバを備え、
    前記VRデバイスが、請求項10から16のいずれか一項に記載のVRデバイスで、
    前記サーバが、請求項17または18に記載のサーバである、
    システム。
  20. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体が、実行可能な命令を格納し、前記実行可能な命令が、請求項1から7のいずれか一項に記載の方法を実行するために使用される、コンピュータ記憶媒体。
  21. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体が、実行可能な命令を格納し、前記実行可能な命令が、請求項8または9に記載の方法を実行するために使用される、コンピュータ記憶媒体。
JP2019558730A 2017-04-28 2018-04-25 ビデオ再生方法、デバイス、およびシステム Active JP7110234B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710294033.5 2017-04-28
CN201710294033.5A CN108810636B (zh) 2017-04-28 2017-04-28 视频播放方法、虚拟现实设备、服务器、系统及存储介质
PCT/CN2018/084496 WO2018196790A1 (zh) 2017-04-28 2018-04-25 视频播放方法、设备及系统

Publications (2)

Publication Number Publication Date
JP2020519094A true JP2020519094A (ja) 2020-06-25
JP7110234B2 JP7110234B2 (ja) 2022-08-01

Family

ID=63920203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558730A Active JP7110234B2 (ja) 2017-04-28 2018-04-25 ビデオ再生方法、デバイス、およびシステム

Country Status (7)

Country Link
US (1) US11159848B2 (ja)
EP (1) EP3609178B1 (ja)
JP (1) JP7110234B2 (ja)
KR (1) KR102280134B1 (ja)
CN (2) CN111510782A (ja)
IL (1) IL270228B2 (ja)
WO (1) WO2018196790A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102532645B1 (ko) * 2016-09-20 2023-05-15 삼성전자 주식회사 적응적 스트리밍 서비스에서 스트리밍 어플리케이케이션으로 데이터를 제공하는 방법 및 장치
CN111263191B (zh) * 2018-11-30 2023-06-27 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
CN111935557B (zh) * 2019-05-13 2022-06-28 华为技术有限公司 视频处理方法、装置及系统
CN110442011A (zh) * 2019-07-29 2019-11-12 中国计量大学 一种能连续检测虚拟现实设备动态延时的方法及采用该方法的延时检测系统
CN110604921B (zh) * 2019-08-31 2023-11-10 咪咕互动娱乐有限公司 一种显示内容切换方法、服务器和可存储介质
CN110999377A (zh) * 2019-11-22 2020-04-10 北京小米移动软件有限公司 资源切换方法、装置及存储介质
CN112995752A (zh) * 2019-12-12 2021-06-18 中兴通讯股份有限公司 全视角互动直播方法、系统、终端及计算机可读存储介质
US11328157B2 (en) * 2020-01-31 2022-05-10 Honeywell International Inc. 360-degree video for large scale navigation with 3D in interactable models
CN111246261A (zh) * 2020-02-28 2020-06-05 北京视博云信息技术有限公司 一种内容投放的方法、装置及系统
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置
CN114501071A (zh) * 2020-10-27 2022-05-13 中国移动通信有限公司研究院 视频处理方法、视频播放方法及设备
US11838375B2 (en) * 2020-11-12 2023-12-05 Harman International Industries, Incorporated Universal software communication bus
CN112954394B (zh) * 2021-01-28 2023-07-28 广州虎牙科技有限公司 一种高清视频的编码及解码播放方法、装置、设备和介质
CN113259770B (zh) * 2021-05-11 2022-11-18 北京奇艺世纪科技有限公司 视频播放方法、装置、电子设备、介质及产品
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质
CN114938456A (zh) * 2022-01-20 2022-08-23 上海瞳观智能科技有限公司 Vr直播系统及方法
CN115022611B (zh) * 2022-03-31 2023-12-29 青岛虚拟现实研究院有限公司 Vr画面显示方法、电子设备及可读存储介质
CN114866787B (zh) * 2022-07-04 2022-09-23 深圳市必提教育科技有限公司 一种直播实现方法及系统
GB2624904A (en) * 2022-11-30 2024-06-05 Sony Interactive Entertainment Inc Virtual reality streaming system and method
CN115631320B (zh) * 2022-12-23 2023-02-28 腾讯科技(深圳)有限公司 预计算单元格显示方法、预计算单元格生成方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229397A (ja) * 2000-02-17 2001-08-24 Ricoh Co Ltd 3次元仮想空間構築方法及びシステム並びに記憶媒体
JP2003519982A (ja) * 1999-12-30 2003-06-24 スイスコム・モバイル・アクチエンゲゼルシヤフト 画像データを伝送するための方法
US20040003409A1 (en) * 2002-06-27 2004-01-01 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
JP2012222399A (ja) * 2011-04-04 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生システム、映像再生方法、映像再生装置及びプログラム
JP2016015705A (ja) * 2014-06-10 2016-01-28 日本電信電話株式会社 映像配信装置及び映像再生装置
JP2016165105A (ja) * 2015-03-05 2016-09-08 ノキア テクノロジーズ オーユー 映像ストリーミング方法
US20170084086A1 (en) * 2015-09-22 2017-03-23 Facebook, Inc. Systems and methods for content streaming
JP2019516297A (ja) * 2016-04-08 2019-06-13 ヴィズビット インコーポレイテッド ビューを意識した360度ビデオストリーミング

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222675B1 (en) * 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
US6611268B1 (en) * 2000-05-30 2003-08-26 Microsoft Corporation System and process for generating 3D video textures using video-based rendering techniques
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
HU0500357D0 (en) * 2005-04-04 2005-05-30 Innoracio Fejlesztoe Es Kutata Dynamic display and method for enhancing the effective resolution of displays
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
WO2012157999A2 (ko) * 2011-05-19 2012-11-22 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
DE102014207607B4 (de) * 2013-04-25 2019-09-19 Avago Technologies International Sales Pte. Ltd. System und Verfahren zur Verarbeitung von Videodaten
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US20160353146A1 (en) * 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
EP3304487A1 (en) * 2015-05-27 2018-04-11 Google LLC Streaming spherical video
CN105791882B (zh) 2016-03-22 2018-09-18 腾讯科技(深圳)有限公司 视频编码方法及装置
CN105916060A (zh) * 2016-04-26 2016-08-31 乐视控股(北京)有限公司 数据传输的方法、装置及系统
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子(中国)研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003519982A (ja) * 1999-12-30 2003-06-24 スイスコム・モバイル・アクチエンゲゼルシヤフト 画像データを伝送するための方法
JP2001229397A (ja) * 2000-02-17 2001-08-24 Ricoh Co Ltd 3次元仮想空間構築方法及びシステム並びに記憶媒体
US20040003409A1 (en) * 2002-06-27 2004-01-01 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
JP2012222399A (ja) * 2011-04-04 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生システム、映像再生方法、映像再生装置及びプログラム
JP2016015705A (ja) * 2014-06-10 2016-01-28 日本電信電話株式会社 映像配信装置及び映像再生装置
JP2016165105A (ja) * 2015-03-05 2016-09-08 ノキア テクノロジーズ オーユー 映像ストリーミング方法
US20170084086A1 (en) * 2015-09-22 2017-03-23 Facebook, Inc. Systems and methods for content streaming
JP2019516297A (ja) * 2016-04-08 2019-06-13 ヴィズビット インコーポレイテッド ビューを意識した360度ビデオストリーミング

Also Published As

Publication number Publication date
EP3609178B1 (en) 2024-04-10
JP7110234B2 (ja) 2022-08-01
KR102280134B1 (ko) 2021-07-20
IL270228B2 (en) 2023-07-01
US11159848B2 (en) 2021-10-26
EP3609178A1 (en) 2020-02-12
WO2018196790A1 (zh) 2018-11-01
IL270228A (ja) 2019-12-31
KR20190137915A (ko) 2019-12-11
US20200059694A1 (en) 2020-02-20
CN108810636B (zh) 2020-04-14
EP3609178A4 (en) 2020-03-25
CN108810636A (zh) 2018-11-13
CN111510782A (zh) 2020-08-07
IL270228B1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
JP7110234B2 (ja) ビデオ再生方法、デバイス、およびシステム
US10187668B2 (en) Method, system and server for live streaming audio-video file
EP4099703A2 (en) Switching between transmitting a preauthored video frame and a composited video frame
US11228764B2 (en) Streaming multiple encodings encoded using different encoding parameters
KR101737325B1 (ko) 멀티미디어 시스템에서 멀티미디어 서비스의 경험 품질 감소를 줄이는 방법 및 장치
US11695816B2 (en) Video streaming
US11109092B2 (en) Synchronizing processing between streams
CN112219403B (zh) 沉浸式媒体的渲染视角度量
US11523144B2 (en) Communication apparatus, communication method, and computer-readable storage medium
CN113141522B (zh) 资源传输方法、装置、计算机设备及存储介质
EP2629476A1 (en) Adaptive display streams
CN111447503A (zh) 一种多视点视频的视点切换方法、服务器和系统
US10687106B2 (en) System and method for distributed control of segmented media
JP2023171661A (ja) タイルベースの没入型ビデオをエンコードするためのエンコーダおよび方法
US20230291777A1 (en) Video streaming
CN115604496A (zh) 一种显示设备、直播切台方法及存储介质
JP2014072652A (ja) 映像コンテンツ配信装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220720

R150 Certificate of patent or registration of utility model

Ref document number: 7110234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150